|
|
ru.website- RU.WEBSITE ------------------------------------------------------------------- From : Mike Tishetsky 2:5004/53.35 08 Feb 2003 00:12:36 To : All Subject : Про заголовки -------------------------------------------------------------------------------- Hello, All! Долго думал, куда же это написать, и решил всё-таки сюда. Потому что вопрос не привязан, в общем-то, к пхп. Значица, имеется самописный спайдер. Я ему подсовываю урл, он благополучно тащит с него страницу, вытаскивает ссылки и прозванивает каждую ссылку на предмет отклика путём записи в сокет заголовков HEAD, затем Host, User-Agent (подставляется лажа типа MyCoolSpider) и Accept: */*. Вопрос состоит в следующем: один некоторый сайт (www.thinkhost.com) на все ссылки с главной страницы говорит 200 ОК, а другой некоторый сайт (www.interakva.ru) на все ссылки с главной страницы говорит 404 Hот Фаунд. При этом ИЕ всё отлично показывает. Что я сделал не так? Заведомо известно, что второй из указанных сайтов крутится под томкатом, потому что мы его сами делали и сами размещали (там нашёлся косяк прямо на главной странице, но деньги уже уплочены, а заказчику он нужен вообще постольку поскольку, поэтому тестированием никто не занимался). Заведомо известно, что Connection: close я не отправляю, в отличие от всех других хттп-клиентов. Может ли это быть причиной? Есть также тихое подозрение, что томкату не нравится непонятный такой юзер-агент. Сам факт, что работающие ссылки отображаются как нерабочие, очень меня расстраивает. Помогите. WBR, Mike. ... Broken windows cure my ills and make me feel alright --- Dream away --- Punk in Drublic --- * Origin: Because we are the network, baby... (2:5004/53.35) Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
Архивное /ru.website/33283e444079.html, оценка из 5, голосов 10
|