Главная страница


ru.algorithms

 
 - RU.ALGORITHMS ----------------------------------------------------------------
 From : Alex Astafiev                        2:5000/228.16  07 Oct 2001  02:52:39
 To : Andrey Dudko
 Subject : Похожесть стpок
 -------------------------------------------------------------------------------- 
 
 
 []
 
  AA>> Задача пред-обработки, фильтрации состоит в устранении
  AA>> высокочастотного "шума" и нормализации данных.
  AD> Что-то я не совсем понял, как ты собиpаешься фильтpовать
  AD> один-единственный вектоp. Hельзя ли поконкpетнее? :)
 
 Запросто. Только фильтровать не единственный вектор, я ж написал, что
 фильтрация проводится перед векторизацией.  Я надеюсь, слово "вектор" не ввело
 в заблуждение?
 
 Hапример, фильтрация такова -
 
 1.  Устраняем все знаки которые <HЕ БУКВЫ>, то есть , ; : . - знак тире  итд.
 2.  Что-то делаем с латинскими буквами.
 3.  Делаем заглавные буквы прописными - то есть делаем тексту LowerCase
 4.  Устраняем повторы букв. Hапример в слове "длинношеее" останется длиноше.
 
 5.  (опционально) возможно удаляем/преобразуем Ё к Е, Й к И,  итд.
 6.  Возможно, удаляем мягкий/твердый знаки.
 7.  Пройтись по тексту алгоритмом Soundex/Metaphone адаптированным к русскому,
     но тут уже нужно решать. Soundex/Metaphone иногда может давать сильные  
 ошибки.
 И можно даже пойти далее, кто во что горазд.
 Кто что придумает.
 Давай спросим уважаемых подписчиков эхи, может кто придумает что-то
 оригинальное/дополнит?
 
 при этом можно использовать совсем неожиданные фильтры и подходы.
 Hапример, перекодировать буквы в соответствии с их частотой в алфавите/речи
 и как-то оттолкнуться от этого. В данном случае, каждая буква слова будет
 выражаться как высота столбика, или "яркость" в некотором слове - гистограмме.
 Взять и фильтрануть банальным фильтром каждое слово, так сказать, сгладить его
 "спектр".
 
 представить буквы а-ля как битовую маску или текст как набор пикселов и
 пройтись по ним сглаживающим фильтром.
 Как вариант, можно кодировать вектора и провести фильтрацию  (проводить
 векторизацию и фильтрацию ) следующим образом:
 
 1. Проводим все этапы фильтрации, что я описал сверху, кроме 7-й.
 
 2. Условимся, что векторизовать будем в одномерное пространство. Вектор -
 бинарный код с максимальной длинной равной алфавиту, то есть вектор - бинарное
 число. К примеру, для английского языка длинна вектора будет 26 бит, потому что
 там всего 26 букв.
 
 3. Векторизуем так - если в слове есть "A" - устанавливаем некий бит отвечающий
 за "A"  , если "Б" то за "Б" и так далее.
 В результате получатся набор некоторых кодов
 
 (отсюда можно пойти двумя путями)
 
 Первый путь - рассматривать получившиеся бинарные паттерны как числа, причем, в
 этом случае, вероятно, стоит рассматривать на этапе 3. буквы не просто так, а с
 определенным весом, соответственно частоте появления.
 
 Второй путь - несколько иной, мы принимаем каждый бит такого бинарного паттерна
 за измерение, за координату в нашем пространстве.
 
 Получится что расстояние между векторами (словами исходного текста) будет
 зависеть от количества отличающихся бит паттерна. При этом мы получим
 дополнительный бонус в виде того что будут игнорироваться повторы букв,
 случайные перестановки букв, итп.
 --- Alex Raider / Flash inc.
  * Origin: Alex Raider/ Flash inc. 1992-2001 (2:5000/228.16)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

 Тема:    Автор:    Дата:  
 Похожесть стpок   Alex Astafiev   07 Oct 2001 02:52:39 
 Похожесть стpок   Andrey Dudko   07 Oct 2001 23:34:42 
Архивное /ru.algorithms/174643bbfdd72.html, оценка 2 из 5, голосов 10
Яндекс.Метрика
Valid HTML 4.01 Transitional