|
ru.cgi.perl
- RU.CGI.PERL ------------------------------------------------------------------
From : Artem Chuprina 2:5020/400 23 Nov 2001 18:09:13
To : "Turuntcev V.V."
Subject : Re: Все сайты интернет
--------------------------------------------------------------------------------
Здравствуй, Turuntcev V.V..
TVV> Как то же эти поисковые машины работают ..... причем довольно эффективно
А они совсем другую задачу решают. Их "все сайты Интернета" напрочь не
интересуют.
TVV> .... за минуту найти сотню сайтов вдобавок еще по какому нибудь закону
TVV> Зипфа обработать тект и выдать все это юзверю .... Hаверное, я хочу
TVV> понять как сделать поисковую машину, ну на Перле ессно )
Для начала тебе бы научиться хотя бы правильно ставить подобную задачу. То
есть получить базовые знания по теории информации и программированию. Для
потом - берешь машину немеряной мощности, водружаешь на нее базу данных
недетской стоимости, желательно специфическую (с нормальными реляционными
будут проблемы), вешаешь все это на канал толщиной с канализационную трубу,
и начинаешь следующую процедуру: берешь откуда попало начальный список урлов,
берешь LWP, запрашиваешь каждый урл, парсишь ответ, извлекаешь из него все
ссылки, пополняешь список урлов. Контентом пополняешь базу данных
в зависимости от используемого поискового движка. Далее по циклу. Если
попадается урл откуда попало, тоже не брезгуешь и добавляешь в список. По
имеющемуся списку урлов периодически проходишься на предмет обновления. Что ты
будешь потом делать с полученной информацией - второй вопрос. О нем, конечно,
стоило бы задуматься сразу, но тебе и первого на ближайшую пару лет хватит,
с твоими-то знаниями...
--
Artem Chuprina
RFC2822: <ran@ran.pp.ru>, FIDO: 2:5020/358.49, ICQ: 13038757
Творить - не делать! (c)Элхэ Hиеннах
Отправлено через сервер Talk.Ru - http://www.talk.ru
--- ifmail v.2.15dev5
* Origin: Talk.Ru (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
