|
В настоящее время одной из развитых статистических методик выделения терминов из текста (с полнотой выделения 70% и чистотой выделения 97%) является методика, описанная Остапенко В.Е. (72), где показано, что частотная, дисперсионная и параболическая модели текста, взятые отдельно, оказываются недостаточно аффективными для указанных целей. В связи с этим предлагается свести задачу выявления и классификации терминов целостного текста к некоторой последовательности операций, которая предполагает комбинированное использование всех трех моделей. Начальным этапом осуществления указанной методики является построение частной модели (путем упорядочения множества языковых единиц по убыванию абсолютных частот) и дисперсионной модели (путем упорядочения множества языковых единиц по убыванию значения дисперсии их распределения в тексте). |
39 Не останавливаясь подробно на рассмотрении тех или иных параметров, заметим, что на современном этапе для установления значимости термина используются не только данные о распределении слов в тексте (абсолютная частота встречаемости в тексте), но и данные о распределении слов в массиве документов (при этом частота слова в рассматриваемом тексте сравнивается с частотой его появления в целом массиве текстов) [Итоги науки и техники, 1983]. В настоящее время одной из развитых статистических методик выделения терминов из текста (с полнотой выделения 70% и чистотой выделения 97%) является методика, описанная в работе [Остапенко, 1987], где показано, что частотная, дисперсионная и параболическая модели текста, взятые отдельно, оказываются недостаточно эффективными для указанных целей. В связи с этим предлагается свести задачу выявления и классификации терминов целостного текста к некоторой последовательности операций, которая предполагает комбинированное использование всех трех моделей. Заметим, что начальным этапом осуществления указанной методики является построение частотной модели (путем упорядочения множества языковых единиц по убыванию абсолютных частот) и дисперсионной модели (путем упорядочения множества языковых единиц по убыванию значения дисперсии их распределения в тексте) . |