ru.unix.bsd

 
 - RU.UNIX.BSD ------------------------------------------------------------------
 From : Andrew Khlebutin                     2:5020/400     25 Sep 2001  12:43:37
 To : All
 Subject : Q: robots.txt for apache?
 -------------------------------------------------------------------------------- 
 

 Добрый день!
 
 Углядел  в  логах  апача,  что  систематически  с  некоторых  адресов
 запрашивается  файл  robots.txt.  Догадываюсь  что это для роботов, но
 ничего  про это не знаю. Где можно почитать про формат этого файла или
 может кто-нибудь поделится этим файлом с комментариями?
 
 -- 
 Заранее благодарен,
 Андрей Хлебутин
 
 --- ifmail v.2.15dev5
  * Origin: Demos online service (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    Q: robots.txt for apache?   Andrew Khlebutin   25 Sep 2001 12:43:37   Re: Q: robots.txt for apache?   Dmitriy Kyrhlarov   25 Sep 2001 12:51:47