ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Alexandr Burdejny                    2:467/24.2     25 Dec 2002  00:36:32
 To : Aleksey Cheusov
 Subject : Re: wget
 -------------------------------------------------------------------------------- 
 

 >> >> Можно ли заставить wget скачать документацию с сайта www.chipinfo.ru/docs
 >> AD> ?
 >> >> Что там за сайт такой, что он качать не хочет?
 >> AD> 
 >> AD> В тамошнем robots.txt запрещено скачивать файлы из /docs:
 >> AD> User-agent: *
 >> AD> Disallow: /docs/
 >> AD> wget - программа вежливая, и при рекурсивном скачивании проверяет
 >> AD> robots.txt.
 >> AD> Попробуй скачать один конкретный документ, который нужен.
 >> 
 >> скажи вгету -e robots=off и он не будет на этот файл обращать внимания...
 AC> 
 AC> А это не варварство?
 AC> Зачем тогда хозяева robots.txt писали?
 
 дабы глупые роботы, и юзверги не умеющие читать мануалы, не могли качать
 все подряд
 :))))
 
 а сам вгет не то чтобы вежливый он, я бы сказал слишком правильный...
 что сказали делать, то и сделал...
 
 -- 
 
 Kernel panic. User core dumped...
 --- tin/1.5.11-20020130 ("Toxicity") (UNIX) (Linux/2.4.19 (i586))
  * Origin: AquaBudService (2:467/24.2@fidonet)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор