ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Alexandr Burdejny                    2:467/24.2     22 Dec 2002  00:17:27
 To : "Alexander Dilevsky"
 Subject : Re: wget
 -------------------------------------------------------------------------------- 
 

 >> AD> В тамошнем robots.txt запрещено скачивать файлы из /docs:
 >> AD> User-agent: *
 >> AD> Disallow: /docs/
 >> AD> wget - программа вежливая, и при рекурсивном скачивании проверяет
 >> AD> robots.txt.
 >> AD> Попробуй скачать один конкретный документ, который нужен.
 >>
 >> скажи вгету -e robots=off и он не будет на этот файл обращать внимания...
 AD> 
 AD> А откуда такая информация? В мане про эту хитрость ничего не сказано.
 
 откуда я это нарыл не помню уже
 но у человека была проблема со скачиванием www.linux.org.ru/books/
 а у них для вгета сказано disallow
 --- tin/1.5.11-20020130 ("Toxicity") (UNIX) (Linux/2.4.19 (i586))
  * Origin: AquaBudService (2:467/24.2@fidonet)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор