|
ru.algorithms
- RU.ALGORITHMS ----------------------------------------------------------------
From : Alexander Chelmodeev 2:5062/17.5 25 Aug 2001 16:00:04
To : Evgeny Pisarev
Subject : частота встpечаемости слов в тексте
--------------------------------------------------------------------------------
02 Авг 2001 Чт в 19:05 : Evgeny Pisarev --> George Shepelev:
GS>> Можно. Будет набор правил, маленький словарь и большой-большой
GS>> список исключений ;)
EP> Я думаю, и не очень-то и большой: если учесть что на Яндексе крутиться
EP> словарь на 120-150 Килослов, и учитывая ср. длину слова в 8 букв,
EP> получаем: 150*8*1000 = 1 200 000 Байт. Фи, какой-то мегабайт... :) А
EP> если все исключения пронумеровать (я думаю, типа Integer хватит) и
EP> добавить к каждому слову этот тип исключения, то получим 1 800 000
EP> Байт. + 200 000 байт, на описание самих исключений...
Реально цифры будут на порядок больше. У меня в частотном словаре 740 тыс.
слов (все словоформы и слова с ошибочным написанием). В словарь не попали ещё
~300 тыс. слов с частотой =1.
EP> Что мы 2 Мб данных не обработаем, что-ли? :)
... http://ichip.chat.ru ... mailto:ichip(a)chat.ru
--- GoldED/386 3.00.Beta5+ Chip&Deal
* Origin: Жуpнaл учетa пocещaемocти и уcвoяемocти cлушaтелей (2:5062/17.5)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
