|
ru.cisco
- RU.CISCO ---------------------------------------------------------------------
From : Constantin Stefanov 2:5020/400 31 May 2005 10:37:08
To : Gennady Abramov
Subject : Re: netflow коллектор какой лучше
--------------------------------------------------------------------------------
Gennady Abramov wrote:
> >> ЗЫ Только Оpакл позволит плоско pаботать с таким количеством записей в
> >> одной таблице за счет многоуpовневого pазбиения на pазделы - всё
> >> остальное извpат. фpивеpные БД издохнут не pодившись. Интеpбейз валится
> >> на объеме в несколько миллионов записей в таблице (около 3-4).
> CS> select count(*) from ip_accounting
> CS> 73507895
> Если это неаггрегированные значения - то с февраля ты , получается, прокачал
> через себя порядка 50Гб, что , безусловно, очень смешные значения.
> CS> База - PostgreSQL. Hе особо напрягается. Hе миллиарды, конечно, да и
> CS> скорость небольшая - это данные чуть меньше чем за четыре месяца ( с
> CS> начала февраля). Так что жить можно. Хотя из такого объема выборки
> CS> делать в реальном времени тяжело - для этих целей есть отдельная таблица
> CS> с уже агрегированными значениями.
> И - тем не менее - а зачем?
> Почему - при несильно больших объемах - нельзя хранить данные в
> компрессированных raw бинарниках, а в базу лить только "уже аггрегированные
> значения"?
> Тем более , что делать аггрегацию силами базы , мягко говоря, неоптимальное
> решение задачи при даже небольших объемах.
Да не вопрос. Решение было сделано на коленке, когда быстро поандобился
учет. уже сейчас я думаю именно так и поступить - хранить первичные
данные от netflow, а в базу - только аггрегированные таблицы для показа
через веб. Правда, когда руки дойдут - пока и так работает. Я это к
тому, что даже ьесплатная база вполне может выдержать таблицу с
десятками миллионов записей. То, что такое решение неоптимально -
видимо, я с этим соглашусь.
--
Константин Стефанов
--- ifmail v.2.15dev5.3
* Origin: Demos online service (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
