|
ru.unix.bsd
- RU.UNIX.BSD ------------------------------------------------------------------
From : Eugene M. Zheganin 2:5054/79.2 23 Dec 2002 12:04:02
To : Victor Sudakov
Subject : Учет тpаффика
--------------------------------------------------------------------------------
21 Dec 02 в 17:45, Victor Sudakov -=> Ivan Voytas о "Re: Учет тpаффика":
[...]
VS> Так вот скрипт на awk вида
VS> awk '{total[$2]+=$6} END {while (i in total) print i, total[i]}' <
VS> table
VS> будет почти всегда быстрее, чем
VS> select sum(octets) from table group by dstIP;
VS> в силу того, что awk проедет по таблице ровно один раз и накопит все
VS> результаты в массиве total, тогда как СУБД будет елозить по таблице
VS> многократно (скорее всего понадобится один проход на каждое значение
VS> dstIP). По крайней мере PostgreSQL и MySQL вели себя именно так и
VS> проигрывали. Я даже наблюдал в PostgreSQL парадоксальный результат:
VS> когда поле dstIP было проиндексировано, время генерации отчета резко
VS> возрастало.
VS> Hе следует недооценивать мощности простых инструментов.
Извини, может я и самодовольный идиот 8)), но на данном этапе не поверю. Hет
индексов, не собрана статистика, база не вакуумирована и т.д. Давай мерять. Я
выгружу из своей базы с 15 миллионами записей как раз в таком формате текстовый
дамп, и поглядим на конкретные цифры на одной и той же машине. Только скрипт с
тебя. Или конкретно этому скрипту можно подсовывать stdout таблицы из текста ?
Hа этом остаюсь искренне Ваш, Евгений.
--- GoldED+/BSD 1.1.5
* Origin: ----> Default GoldED Origin <---- (2:5054/79.2)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
