|
ru.perl
- RU.PERL ----------------------------------------------------------------------
From : Artur Penttinen 2:5020/400 06 Jul 2000 15:50:40
To : All
Subject : Re: мульти-паучок [?]
--------------------------------------------------------------------------------
On 6 Jul 2000, Andrii Manchulenko wrote:
> From: Andrii Manchulenko <am@ukrainet.lviv.ua>
> Newsgroups: fido7.ru.perl
> Subject: мульти-паучок [?]
> Date: 6 Jul 2000 14:21:56 +0400
> Organization: SDA Technologies, Inc.
>
> можно ли (и как лучше) реализовать простого www-робота, но
> с _паралельным_ выполнением нескольких заданий одновременно?
>
> допустим, имеется некоторая база с URL в количестве N-штук,
> которые нужно проверить на предмет того, живы они ещё или нет.
>
> если N невелико, например, штук 100, то можно последовательно
> одну за одной за пару минут их проверить, соорудив паучка
> через LWP::UserAgent и озадачив его HEAD-запросом..
>
>
> а вот как быть, если этих самых URL вовсе не 100, а 100.000?
> последовательный перебор займет дни, если не недели:((
>
>
> (1) как такую задачу можно реализовать на перле?
>
> (2) тоже самое, но на ActivePerl (т.е. на виндовз-сервере)?
>
>
> заранее огромное спасибо всем, кто сможет помочь,
пофоркаться с пулом урлей?
поклонироваться, если есть треды.
perldoc LWP::Parallel
WBW, Artur
--
Если будешь слушаться советов, то вместо своих ошибок будешь совершать чужие.
--- ifmail v.2.15dev5
* Origin: Gamma NNTP server Moscow Russia (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
