|
ru.unix.bsd- RU.UNIX.BSD ------------------------------------------------------------------ From : Eugene M. Zheganin 2:5054/79.2 23 Dec 2002 12:04:02 To : Victor Sudakov Subject : Учет тpаффика -------------------------------------------------------------------------------- 21 Dec 02 в 17:45, Victor Sudakov -=> Ivan Voytas о "Re: Учет тpаффика": [...] VS> Так вот скрипт на awk вида VS> awk '{total[$2]+=$6} END {while (i in total) print i, total[i]}' < VS> table VS> будет почти всегда быстрее, чем VS> select sum(octets) from table group by dstIP; VS> в силу того, что awk проедет по таблице ровно один раз и накопит все VS> результаты в массиве total, тогда как СУБД будет елозить по таблице VS> многократно (скорее всего понадобится один проход на каждое значение VS> dstIP). По крайней мере PostgreSQL и MySQL вели себя именно так и VS> проигрывали. Я даже наблюдал в PostgreSQL парадоксальный результат: VS> когда поле dstIP было проиндексировано, время генерации отчета резко VS> возрастало. VS> Hе следует недооценивать мощности простых инструментов. Извини, может я и самодовольный идиот 8)), но на данном этапе не поверю. Hет индексов, не собрана статистика, база не вакуумирована и т.д. Давай мерять. Я выгружу из своей базы с 15 миллионами записей как раз в таком формате текстовый дамп, и поглядим на конкретные цифры на одной и той же машине. Только скрипт с тебя. Или конкретно этому скрипту можно подсовывать stdout таблицы из текста ? Hа этом остаюсь искренне Ваш, Евгений. --- GoldED+/BSD 1.1.5 * Origin: ----> Default GoldED Origin <---- (2:5054/79.2) Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
Архивное /ru.unix.bsd/28173e06a81f.html, оценка из 5, голосов 10
|