|
|
ru.perl- RU.PERL ---------------------------------------------------------------------- From : Ivan Frolkov 2:5020/175.2 16 Jun 2005 12:56:11 To : Oleg N Kotenko Subject : работа с файлами --------------------------------------------------------------------------------
Thu Jun 16 2005 10:05, Oleg N Kotenko wrote to All:
ONK> Задача. Hеобходимо обрабатывать текстовые файлы (логи). Большие. Сейчас
ONK> делается рабоче-крестьянским методом while ( <FILE> ) { ... } Из-за
ONK> размера файлов всё это занимает весьма немаленькое время (сейчас
ONK> обработка логов длится где-то час). Hужно ускорить. Как это можно
ONK> сделать? Файлы нужно обрабатывать построчно.
А ты их mmapить попробуй. Толку никакого, зато наэтосамишься вдоволь...
Вообще говоря, ты бы разобрался, где у тебя основной тормоз - в чтении с диска
или в логике. Если в чтении - поставь новый диск, читай с нескольких, парси на
нескольких машинах и все, что там еще полагается; если в логике - правь,
соответственно, логику.
--- ifmail v.2.15dev5
* Origin: FidoNet Online - http://www.fido-online.com (2:5020/175.2)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
Архивное /ru.perl/3300ac4faad5.html, оценка из 5, голосов 10
|