ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Alexander Dilevsky                   2:5020/400     20 Dec 2002  11:46:56
 To : Alexandr Burdejny
 Subject : Re: wget
 -------------------------------------------------------------------------------- 
 

 "Alexandr Burdejny" <Alexandr.Burdejny@p2.f24.n467.z2.fidonet.org> wrote in
 message news:3487899425@piton.aquabudservice.ua...
 
 > Alexander Dilevsky <dil@cea.ru> wrote:
 > >> Можно ли заставить wget скачать документацию с сайта
 
 www.chipinfo.ru/docs
 
 > AD> ?
 > >> Что там за сайт такой, что он качать не хочет?
 > AD>
 > AD> В тамошнем robots.txt запрещено скачивать файлы из /docs:
 > AD> User-agent: *
 > AD> Disallow: /docs/
 > AD> wget - программа вежливая, и при рекурсивном скачивании проверяет
 > AD> robots.txt.
 > AD> Попробуй скачать один конкретный документ, который нужен.
 >
 > скажи вгету -e robots=off и он не будет на этот файл обращать внимания...
 
 А откуда такая информация? В мане про эту хитрость ничего не сказано.
 
 --
  Alexander Dilevsky
  dil@cea.ru
 --- ifmail v.2.15dev5
  * Origin: Demos online service (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    Re: wget   Alexander Dilevsky   20 Dec 2002 11:46:56   Re: wget   Dmitri I GOULIAEV   20 Dec 2002 11:59:17   Re: wget   Alexander Dilevsky   20 Dec 2002 12:09:02   Re: wget   Dmitri I GOULIAEV   20 Dec 2002 12:59:06   wget   Andrey Melnikov   20 Dec 2002 16:00:04   Re: wget   Alex Korchmar   20 Dec 2002 14:36:20