ru.website

 
 - RU.WEBSITE -------------------------------------------------------------------
 From : Alexander Temerev                    2:5004/21.6    27 Jun 2000  20:14:44
 To : Nicolay Maslukhin
 Subject : спайдер
 -------------------------------------------------------------------------------- 
 

 
 Nicolay Maslukhin -> All:
 
  NM>        Где можно почитать о создании спайдеров. Т.е. я хочу смостачить
  NM> простейший поисковый робот, который бы прочесовал нужный мне сайт на
  NM> предмет нахождения нужных слов (строк). Результаты работы бы писал в
  NM> простейший текстовый файл. Прайс хочу генерировать для себя из страниц
  NM> разных фирм.
  NM>         Что почитать можно по этому поводу? Или, может, где готовые
  NM> примеры есть?
 
  А чего там читать? Обыкновенный рекурсивный алгоритм. Лезем на начальную
 страницу, выдираем из нее URL-и, фильтруем их на предмет принадлежности тому же
 сайту (дабы не пришлось прочесывать весь интернет), на получившийся список URL
 рекурсивно натравливаем ту же функцию. В теле функции еще можно делать что-то
 полезное (например, искать нужные строки и пихать их в лог).
 
 Alexander Temerev, sorhed@omskmail.ru
 
 --- 21st Century Schizoid Man
  * Origin: Paseo de Gracia (2:5004/21.6)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    спайдер   Nicolay Maslukhin   25 Jun 2000 13:08:02   спайдер   Alexander Temerev   27 Jun 2000 20:14:44   спайдер   Vladimir Maslov   28 Jun 2000 00:41:00   спайдер   Dmitry Ochnev   29 Jun 2000 21:10:08