ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Igor Chumak                          2:5020/400     24 Dec 2002  20:11:13
 To : Aleksey Cheusov
 Subject : Re: wget
 -------------------------------------------------------------------------------- 
 

 Hello, Aleksey!
 You wrote to Alexandr Burdejny on Tue, 24 Dec 2002 14:58:10 +0000 (UTC):
 
  AC> Alexandr Burdejny <Alexandr.Burdejny@p2.f24.n467.z2.fidonet.org>
  AC> writes:
 
  >> Alexander Dilevsky <dil@cea.ru> wrote:
  >>>> Можно ли заставить wget скачать документацию с сайта
  >>>> www.chipinfo.ru/docs
  AD>>> ?
  >>>> Что там за сайт такой, что он качать не хочет?
 
  AD>>> В тамошнем robots.txt запрещено скачивать файлы из /docs:
  AD>>> User-agent: *
  AD>>> Disallow: /docs/
  AD>>> wget - программа вежливая, и при рекурсивном скачивании проверяет
  AD>>> robots.txt.
  AD>>> Попробуй скачать один конкретный документ, который нужен.
 
  >> скажи вгету -e robots=off и он не будет на этот файл обращать
  >> внимания...
 
  AC> А это не варварство?
  AC> Зачем тогда хозяева robots.txt писали?
 
 Чтобы пауков отвадить наверное. Кроме wget ещё индексаторы всякие бывают..
 Мож yandex тоже на robots.xt смотрит.
 
 With best regards, Igor Chumak.  E-mail: igorУХОg-auto.pul.kiev.ua
 
 --- ifmail v.2.15dev5
  * Origin: Adamant ISP news server (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    Re: wget   Aleksey Cheusov   24 Dec 2002 18:58:10   Re: wget   Igor Chumak   24 Dec 2002 20:11:13   Re: wget   Maksim Pozdeyev   25 Dec 2002 10:12:30