|
|
ru.algorithms- RU.ALGORITHMS ---------------------------------------------------------------- From : Alex Astafiev 2:5000/228.16 07 Oct 2001 02:52:39 To : Andrey Dudko Subject : Похожесть стpок -------------------------------------------------------------------------------- [] AA>> Задача пред-обработки, фильтрации состоит в устранении AA>> высокочастотного "шума" и нормализации данных. AD> Что-то я не совсем понял, как ты собиpаешься фильтpовать AD> один-единственный вектоp. Hельзя ли поконкpетнее? :) Запросто. Только фильтровать не единственный вектор, я ж написал, что фильтрация проводится перед векторизацией. Я надеюсь, слово "вектор" не ввело в заблуждение? Hапример, фильтрация такова - 1. Устраняем все знаки которые <HЕ БУКВЫ>, то есть , ; : . - знак тире итд. 2. Что-то делаем с латинскими буквами. 3. Делаем заглавные буквы прописными - то есть делаем тексту LowerCase 4. Устраняем повторы букв. Hапример в слове "длинношеее" останется длиноше. 5. (опционально) возможно удаляем/преобразуем Ё к Е, Й к И, итд. 6. Возможно, удаляем мягкий/твердый знаки. 7. Пройтись по тексту алгоритмом Soundex/Metaphone адаптированным к русскому, но тут уже нужно решать. Soundex/Metaphone иногда может давать сильные ошибки. И можно даже пойти далее, кто во что горазд. Кто что придумает. Давай спросим уважаемых подписчиков эхи, может кто придумает что-то оригинальное/дополнит? при этом можно использовать совсем неожиданные фильтры и подходы. Hапример, перекодировать буквы в соответствии с их частотой в алфавите/речи и как-то оттолкнуться от этого. В данном случае, каждая буква слова будет выражаться как высота столбика, или "яркость" в некотором слове - гистограмме. Взять и фильтрануть банальным фильтром каждое слово, так сказать, сгладить его "спектр". представить буквы а-ля как битовую маску или текст как набор пикселов и пройтись по ним сглаживающим фильтром. Как вариант, можно кодировать вектора и провести фильтрацию (проводить векторизацию и фильтрацию ) следующим образом: 1. Проводим все этапы фильтрации, что я описал сверху, кроме 7-й. 2. Условимся, что векторизовать будем в одномерное пространство. Вектор - бинарный код с максимальной длинной равной алфавиту, то есть вектор - бинарное число. К примеру, для английского языка длинна вектора будет 26 бит, потому что там всего 26 букв. 3. Векторизуем так - если в слове есть "A" - устанавливаем некий бит отвечающий за "A" , если "Б" то за "Б" и так далее. В результате получатся набор некоторых кодов (отсюда можно пойти двумя путями) Первый путь - рассматривать получившиеся бинарные паттерны как числа, причем, в этом случае, вероятно, стоит рассматривать на этапе 3. буквы не просто так, а с определенным весом, соответственно частоте появления. Второй путь - несколько иной, мы принимаем каждый бит такого бинарного паттерна за измерение, за координату в нашем пространстве. Получится что расстояние между векторами (словами исходного текста) будет зависеть от количества отличающихся бит паттерна. При этом мы получим дополнительный бонус в виде того что будут игнорироваться повторы букв, случайные перестановки букв, итп. --- Alex Raider / Flash inc. * Origin: Alex Raider/ Flash inc. 1992-2001 (2:5000/228.16) Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
Архивное /ru.algorithms/174643bbfdd72.html, оценка из 5, голосов 10
|