|
ru.perl
- RU.PERL ----------------------------------------------------------------------
From : Andrii Manchulenko 2:5020/400 06 Jul 2000 14:21:56
To : All
Subject : мульти-паучок [?]
--------------------------------------------------------------------------------
можно ли (и как лучше) реализовать простого www-робота, но
с _паралельным_ выполнением нескольких заданий одновременно?
допустим, имеется некоторая база с URL в количестве N-штук,
которые нужно проверить на предмет того, живы они ещё или нет.
если N невелико, например, штук 100, то можно последовательно
одну за одной за пару минут их проверить, соорудив паучка
через LWP::UserAgent и озадачив его HEAD-запросом..
а вот как быть, если этих самых URL вовсе не 100, а 100.000?
последовательный перебор займет дни, если не недели:((
(1) как такую задачу можно реализовать на перле?
(2) тоже самое, но на ActivePerl (т.е. на виндовз-сервере)?
заранее огромное спасибо всем, кто сможет помочь,
am
--
Andrii Manchulenko
am@ukrainet.lviv.ua
--- ifmail v.2.15dev5
* Origin: SDA Technologies, Inc. (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
