|
ru.unix.bsd- RU.UNIX.BSD ------------------------------------------------------------------ From : Victor Sudakov 2:5020/400 22 Dec 2002 17:12:58 To : Ivan Voytas Subject : Re: Учет тpаффика -------------------------------------------------------------------------------- Ivan Voytas wrote: > VS> Возьмем к примеру такую таблицу: > VS> srcIP dstIP prot srcPort dstPort octets > VS> packets 195.184.192.18 213.59.238.11 17 53 53 58 > VS> 1 213.241.5.3 213.59.238.11 17 37610 53 629 > VS> 9 212.5.219.31 213.59.238.11 17 4056 53 143 > VS> 2 194.67.45.10 213.59.239.186 6 80 1605 40 > VS> 1 193.233.109.10 213.59.238.98 6 3008 80 542 > VS> 5 195.2.91.103 213.59.239.186 6 80 1610 52 > VS> 1 > VS> Так вот скрипт на awk вида > VS> awk '{total[$2]+=$6} END {while (i in total) print i, total[i]}' < table > VS> будет почти всегда быстрее, чем > VS> select sum(octets) from table group by dstIP; > VS> в силу того, что awk проедет по таблице ровно один раз и накопит все > VS> результаты в массиве total, тогда как СУБД будет елозить по таблице > VS> многократно (скорее всего понадобится один проход на каждое значение > VS> dstIP). По крайней мере PostgreSQL и MySQL вели себя именно так и > VS> проигрывали. Я даже наблюдал в PostgreSQL парадоксальный результат: > VS> когда поле dstIP было проиндексировано, время генерации отчета резко > VS> возрастало. > Извините, уважаемый, но это бред. могу посоветовать сделать time cat file> > /dev/null на пятигигабайтном файле. Hа scsi raid. И потом сравнить это с > select на такой же проиндексированной базе. Я занимаюсь не теоретическими изысканиями, а решением конкретных задач. Ты имеешь что возразить на приведенный мною пример? Пока не продемонстрируешь результатов измерений, опровергающих мои, свои рассуждения о бреде можешь оставить при себе. -- Victor Sudakov, VAS4-RIPE, VAS47-RIPN 2:5005/149@fidonet http://vas.tomsk.ru/ --- ifmail v.2.15dev5 * Origin: Golden Bough (2:5020/400) Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
Архивное /ru.unix.bsd/6640ffddeefa.html, оценка из 5, голосов 10
|