|
ru.perl
- RU.PERL ----------------------------------------------------------------------
From : Artem Chuprina 2:5020/400 10 Jun 2003 17:22:15
To : "Dmitri A. Martynoff"
Subject : Re: Поиск неработающих ссылок на сайте
--------------------------------------------------------------------------------
Хмутро.
DAM> 1. Прочитать заданную страницу вебсайта.
DAM> 2. Hайти на ней все ссылки на другие страницы этого сайта.
DAM> 3. Для каждой ссылки:
DAM> а) Прочитать соответствующую страницу;
DAM> б) В случае получения 404-й или 500-й ошибки - записать в лог, на какой
DAM> странице обнаружена ошибочная ссылка, и какая именно;
DAM> в) В случае успешного прочтения, рекурсивно, п.2.
DAM> В принципе написать не проблема, но, если вдруг есть что-то готовое,
DAM> зачем изобретать велосипед? Если кто знает, сообщите, пожалуйста, где можно
DAM> скачать.
DAM> И как быть в случае усложненного варианта: если сервер не возвращает
DAM> код ошибки, а делает редирект на страницу с сообщением об ошибке?
И в том, и в другом случае use LWP::Simple и алгоритм обхода по вкусу. В
"усложненном" варианте ты просто вместо кода анализируешь, куда тебя
отредиректили (заголовок Location). Правда, куда редиректит данный конкретный
сервер, надо знать.
--
Artem Chuprina
RFC2822: <ran@ran.pp.ru>, FIDO: 2:5020/122.256, ICQ: 13038757
--- ifmail v.2.15dev5
* Origin: Leninsky 45 home network (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
Re: Поиск неработающих ссылок на сайте