ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Aleksey Cheusov                      2:5020/400     24 Dec 2002  18:58:10
 To : Alexandr Burdejny
 Subject : Re: wget
 -------------------------------------------------------------------------------- 
 

 Alexandr Burdejny <Alexandr.Burdejny@p2.f24.n467.z2.fidonet.org> writes:
 
 > Alexander Dilevsky <dil@cea.ru> wrote:
 > >> Можно ли заставить wget скачать документацию с сайта www.chipinfo.ru/docs
 > AD> ?
 > >> Что там за сайт такой, что он качать не хочет?
 > AD> 
 > AD> В тамошнем robots.txt запрещено скачивать файлы из /docs:
 > AD> User-agent: *
 > AD> Disallow: /docs/
 > AD> wget - программа вежливая, и при рекурсивном скачивании проверяет
 > AD> robots.txt.
 > AD> Попробуй скачать один конкретный документ, который нужен.
 > 
 > скажи вгету -e robots=off и он не будет на этот файл обращать внимания...
 
 А это не варварство?
 Зачем тогда хозяева robots.txt писали?
 
 -- 
 Best regards, Aleksey Cheusov.
 --- ifmail v.2.15dev5
  * Origin: Science Soft (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    Re: wget   Aleksey Cheusov   24 Dec 2002 18:58:10   Re: wget   Igor Chumak   24 Dec 2002 20:11:13   Re: wget   Maksim Pozdeyev   25 Dec 2002 10:12:30