ru.linux

 
 - RU.LINUX ---------------------------------------------------------------------
 From : Andrew Vetlugin                      2:5040/87      07 Jun 2005  20:45:02
 To : Sergey Terentiev
 Subject : скрипт для wget
 -------------------------------------------------------------------------------- 
 

 04 Jun 05 00:18, you wrote to all:
 
  ST> Пытаюсь прикрутить wget для автономной скачки файлов с инета в
  ST> заданное время. Сейчас это сделано так: 1. По крону запускается скрипт
  ST> ppp-on, который дозванивается до провайдера, и запускает wget с
  ST> ключами -c -i files.url 2. Раз в 10 минут по крону запускается скрипт,
  ST> который проверяет наличие соединения, и если его нет, то запускает
  ST> скрипт из п. 1 3. По крону запускается скрипт который в заданное время
  ST> запускает ppp-down и killall wget
 
  ST> Собственно проблемы:
  ST> 1. Hесмотря на наличие ключа -c часто большие файлы получаются битыми.
  ST> Когда образ тянется неделю, а потом оказывается битым, довольно
  ST> обидно. 2. Hеобходимость контролировать: докачались ли все файлы? Hе
  ST> пора ли убирать из крона запуск всей этой лабуды? Если файлов много, а
  ST> скачались не все, из списка файлов надо убрать скачанные. Короче
  ST> лишние действия руками.
 
  ST> Пока решаю проблему  1, т.к. она более важная.
  ST> Единственное что придумал - wget'у плохеет от того, что я его убиваю
  ST> без предупреждения (killall wget) и поэтому файл получается битый. Это
  ST> правда только мое предположение. Как вариант - посылать wget'у сигнал
  ST> STOP Попробовал так:
 
 wget'у плохеет скорее всего от другого. Смотри ситуацию:
 1. ppp-on
 2. wget ...
 3. рвется соединение
 4. ppp-on
 5. wget ...
 
 Если между 3 и 4 разность времени небольшая - то у тебя работают два wget,
 качают один файл и файл естественно окажется битым. У меня от убивания wget'а по
 TERM или KILL ничего не ломается в скачанных файлах.
 
 Я юзаю такой вот скриптец (по совету из этой же или соденей эхи):
 === Cut ===
 #!/bin/bash
 
 wget -r -t0 -c -b -a wget-log -l1 -i links.lst --convert-links
 --backup-converted
 
 exec tail -f wget-log
 === Cut ===
 
 Пускаешь его один раз и не заморачиваешься. Следить надо только за ppp
 соединением.
 
 Устанавливать ppp соединение надо только если есть процесс wget.
 Как только wget закончил - значит у тебя все скачалось.
 
 PS: еще одна трабла. Если пустить wget, а DNS провайдера недоступен, то он
 нифига не скачает и выйдет почти сразу - скажет не могу адреса разрешить.
 
 Andrew
 
 ... 20:37:00  up 8 days, 23:10,  4 users,  load average: 0.00, 0.08, 0.06
 --- GoldED+/LNX 1.1.5
  * Origin: What the hell am I trying to say? (2:5040/87)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    скрипт для wget   Sergey Terentiev   04 Jun 2005 00:18:09   Re: скрипт для wget   Konstantin Tokar   07 Jun 2005 13:12:37   скрипт для wget   Andrew Vetlugin   07 Jun 2005 20:45:02