|
ru.unix.bsd
- RU.UNIX.BSD ------------------------------------------------------------------
From : Victor Sudakov 2:5020/400 21 Dec 2002 18:45:18
To : Ivan Voytas
Subject : Re: Учет тpаффика
--------------------------------------------------------------------------------
Ivan Voytas wrote:
> VS> awk
> ??
Да.
> VS> Грамотно написанный анализатор логов на awk (а твоя статистика не что
> VS> иное как логи) значительно производительнее любого PostgreSQL. Hа
> VS> целом ряде типичных задач, таких как "посчитать суммарный трафик по
> VS> каждому абоненту" или "проанализировать трафик по портам и протоколам".
> Анализ плайнтекстового лога размеров гиг в 5 (а если без оптимизации, то будет
> раз в 8 больше) быстрее, чем select из sql-базы?? :-) Эээ, позвольте с вами не
> согласится. Ж))
Соглашаться или не соглашаться - это твое право, однако у меня есть
результаты многочисленных измерений с секундомером (командой time).
Кроме того, я утверждаю, что awk быстрее СУБД не вообще, а на определенном
классе задач. Достаточно типичных при подсчете трафика, логов диалапа и пр.
Возьмем к примеру такую таблицу:
srcIP dstIP prot srcPort dstPort octets packets
195.184.192.18 213.59.238.11 17 53 53 58 1
213.241.5.3 213.59.238.11 17 37610 53 629 9
212.5.219.31 213.59.238.11 17 4056 53 143 2
194.67.45.10 213.59.239.186 6 80 1605 40 1
193.233.109.10 213.59.238.98 6 3008 80 542 5
195.2.91.103 213.59.239.186 6 80 1610 52 1
Так вот скрипт на awk вида
awk '{total[$2]+=$6} END {while (i in total) print i, total[i]}' < table
будет почти всегда быстрее, чем
select sum(octets) from table group by dstIP;
в силу того, что awk проедет по таблице ровно один раз и накопит все
результаты в массиве total, тогда как СУБД будет елозить по таблице
многократно (скорее всего понадобится один проход на каждое значение
dstIP). По крайней мере PostgreSQL и MySQL вели себя именно так и
проигрывали. Я даже наблюдал в PostgreSQL парадоксальный результат:
когда поле dstIP было проиндексировано, время генерации отчета резко
возрастало.
Hе следует недооценивать мощности простых инструментов.
--
Victor Sudakov, VAS4-RIPE, VAS47-RIPN
2:5005/149@fidonet http://vas.tomsk.ru/
--- ifmail v.2.15dev5
* Origin: Golden Bough (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
