ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Alexandr Burdejny                    2:467/24.2     24 Dec 2002  21:53:08
 To : "Igor Chumak"
 Subject : Re: wget
 -------------------------------------------------------------------------------- 
 

  >>> Alexander Dilevsky <dil@cea.ru> wrote:
  >>>>> Можно ли заставить wget скачать документацию с сайта
  >>>>> www.chipinfo.ru/docs
  AD>>>> ?
  >>>>> Что там за сайт такой, что он качать не хочет?
 IC> 
  AD>>>> В тамошнем robots.txt запрещено скачивать файлы из /docs:
  AD>>>> User-agent: *
  AD>>>> Disallow: /docs/
  AD>>>> wget - программа вежливая, и при рекурсивном скачивании проверяет
  AD>>>> robots.txt.
  AD>>>> Попробуй скачать один конкретный документ, который нужен.
 IC> 
  >>> скажи вгету -e robots=off и он не будет на этот файл обращать
  >>> внимания...
 IC> 
  AC>> А это не варварство?
  AC>> Зачем тогда хозяева robots.txt писали?
 IC> 
 IC> Чтобы пауков отвадить наверное. Кроме wget ещё индексаторы всякие бывают..
 IC> Мож yandex тоже на robots.xt смотрит.
 
 по поводу robots.txt советую почитать на www.bog.pp.ru
 мужик неплохо обписал как и чем оно управляет...
 
 -- 
 
 Kernel panic. User core dumped...
 --- tin/1.5.11-20020130 ("Toxicity") (UNIX) (Linux/2.4.19 (i586))
  * Origin: AquaBudService (2:467/24.2@fidonet)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор