ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Maksim Pozdeyev                      2:5090/67.6    25 Dec 2002  10:12:30
 To : Aleksey Cheusov
 Subject : Re: wget
 -------------------------------------------------------------------------------- 
 

 24 Дек 02 17:58, Aleksey Cheusov -> Alexandr Burdejny:
 
  >> Alexander Dilevsky <dil@cea.ru> wrote:
  >> >> Можно ли заставить wget скачать документацию с сайта
  >> >> www.chipinfo.ru/docs
  >> AD> ?
  >> >> Что там за сайт такой, что он качать не хочет?
  >> AD>
  >> AD> В тамошнем robots.txt запрещено скачивать файлы из /docs:
  >> AD> User-agent: *
  >> AD> Disallow: /docs/
  >> AD> wget - программа вежливая, и при рекурсивном скачивании
  >> AD> проверяет robots.txt. Попробуй скачать один конкретный документ,
  >> AD> который нужен.
  >> скажи вгету -e robots=off и он не будет на этот файл обращать
  >> внимания...
  AC> А это не варварство?
  AC> Зачем тогда хозяева robots.txt писали?
 
  Причин может быть много. От желания ограничить трафик на одного подключенного
 юзера. Или от того, чтобы кто-то не выкачал их творение целиком и не выклал у
 себя. Hо это не важно.
  А не варварство с их стороны заставлять меня читать в онлайне за 39 р/час при
 очень фиговом коннекте?
 
 --
 Всего наилучшего.
 Maksim Pozdeyev aka Barlog M.
 
 ... Mandrake Linux 9.
 --- GoldED+/W32 1.1.5-20010807
  * Origin: От Парижа до Hаходки с водкой лучше чем без водки! (2:5090/67.6)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    Re: wget   Aleksey Cheusov   24 Dec 2002 18:58:10   Re: wget   Igor Chumak   24 Dec 2002 20:11:13   Re: wget   Maksim Pozdeyev   25 Dec 2002 10:12:30