Анализ текста на читаемость по закону Ципфа

Что такое закон Ципфа?

Закон Ципфа – это явление, согласно которому в большинстве естественных языков частота употребления слов обратно пропорциональна их рангу. Самое часто используемое слово, которому присваивают первый ранг, в языке встречается примерно вдвое чаще, чем второе по частоте, в три раза чаще, чем третье и так далее. Этот закон применим не только к словам в тексте, но и к распределению доходов в обществе, численности жителей в городах в зависимости от их размера и многому другому.

Формула выглядит так:

С = (Частота употребления слова х Ранг частоты) / Общее количество слов

Для работы с текстом есть несколько сценариев использования:

• Определение частоты использования слов

Закон Ципфа помогает определить, какие слова наиболее распространены. Это полезно при создании словарей для анализа текстов или для определения ключевых слов. Например, в обзорах продуктов слова «качество» и «функциональность» могут встречаться чаще других и указывать на содержание и тему.

• Поиск информации и ранжирование результатов

Закон Ципфа или аналогичная усовершенствованная формула могут использовать в алгоритмах поисковых систем для ранжирования результатов поиска. При этом ключевые слова, которые встречаются редко, могут получить больший вес, чтобы выдача была более информативной.

• Обучение и оценка работы языковых моделей

Закон помогает определить, насколько естественно выглядит текст, который написала нейросеть, например, чат-бот.

Текст, обработанный по формуле закона Ципфа, можно изобразить в виде графика, где по оси Х находится количество упоминаний, а по оси Y — сами слова.

Как правило, самые ценные слова, определяющие тематику и специфику текста, находятся где-то в середине графика. В начале находятся те, которые встречаются чаще всего в любом тексте — предлоги, союзы, частицы, глаголы. Слова в конце графика обычно низкочастотные, не имеющие большого значения при продвижении в выдаче. Ключевые слова нужно использовать умеренно, чтобы поисковые роботы и пользователи не посчитали контент спамным.

Как работает этот инструмент?

Анализ проверяет текст на естественность, по сути он измеряет тошноту и плотность. Чем выше оценка, тем более качественный текст. Хорошим показателем считается 50% и выше. Обратите внимание, что инструмент не показывает уникальность — еще один показатель оценки текста.

Нужно ли ориентироваться на показатель Ципфа при написании текста?

Оценка текста по закону Ципфа и другие показатели качества, не самодостаточны. Для ранжирования имеет значение качество контента страницы в целом, скорость загрузки, ссылочная масса, авторитет ресурса. Текст получается качественным и ценным, когда автор вкладывает в него пользу и заботится об удобстве читателей. Что можно улучшить в тексте:

• Создать структуру, четко сформулировать основную мысль и не отклоняться от темы;
• Убрать лишние местоимения, повторы, канцеляризмы;
• Добавить статистику и подтвержденные факты или экспертные мнения;
• Включить в текст иллюстрации, где уместно;
• Подумать о вопросах по теме, которые могут появиться у читателя, и ответить на них.