ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Igor Plekhov                         2:5020/400     10 Jul 2001  04:01:49
 To : All
 Subject : Re: robots.txt
 -------------------------------------------------------------------------------- 
 

 On Thu, 5 Jul 2001 09:45:32 +0000 (UTC), Dmitry Ivanov <dimss@solutions.lv>
 wrote:
 
 > 
 > > Мой www-сервер периодически опрашивается всякими поисковыми системами на
 > > предмет файла robots.txt
 > > Hе подскажите, зачем он нужен и какой должен быть формат этого файла?
 > 
 > Это нужно всяческим поисковым машинам, чтобы знать, где можно ходить по 
 > твоему сайту. Подробнее - info wget
 
 вернее, где ходить не нужно ;-)
 http://www.robotstxt.org
 
 Игорь
 -- 
 Registered Linux User #124759
 Hi! I'm a .signature virus! Copy me into your ~/.signature to help me spread!
 --- ifmail v.2.15dev5
  * Origin: http://irex.vl.ru (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    robots.txt   Sergey Sokolov   05 Jul 2001 12:10:36   Re: robots.txt   Dmitry Ivanov   05 Jul 2001 13:45:32   Re: robots.txt   Igor Plekhov   10 Jul 2001 04:01:49   Re: robots.txt   Serhii Hlodin   06 Jul 2001 00:29:35