 |
|
|
ru.cisco- RU.CISCO --------------------------------------------------------------------- From : Gennady Abramov 2:5020/400 30 May 2005 22:05:44 To : Constantin Stefanov Subject : Re: netflow коллектор какой лучше -------------------------------------------------------------------------------- Mon May 30 2005 14:17, Constantin Stefanov wrote to Maxim Basunov: >> SO>>> Потому что тогда база сдохнет от объема. >> SO>>> У меня поток netflow -- 200Kbit/s. Это порядка 500 записей в секунду >> SO>>> или 50 миллионов в сутки. >> YA>> 500 записей в секунду, причем когда отложенная запись устраивает - >> это YA>> не много в общем-то. >> >> SO> Причем тут отложенная запись, если вопрос в том, что через год записей >> SO> будет 15 миллиардов? >> >> Ты не повеpишь - человеку хочется тоpмознуть кpутейший сан с оpаклом и с >> внешним FC накопителем на кучу теpабайт. >> >> ЗЫ Только Оpакл позволит плоско pаботать с таким количеством записей в >> одной таблице за счет многоуpовневого pазбиения на pазделы - всё >> остальное извpат. фpивеpные БД издохнут не pодившись. Интеpбейз валится >> на объеме в несколько миллионов записей в таблице (около 3-4). CS> select count(*) from ip_accounting CS> 73507895 Если это неаггрегированные значения - то с февраля ты , получается, прокачал через себя порядка 50Гб, что , безусловно, очень смешные значения. CS> База - PostgreSQL. Hе особо напрягается. Hе миллиарды, конечно, да и CS> скорость небольшая - это данные чуть меньше чем за четыре месяца ( с CS> начала февраля). Так что жить можно. Хотя из такого объема выборки CS> делать в реальном времени тяжело - для этих целей есть отдельная таблица CS> с уже агрегированными значениями. И - тем не менее - а зачем? Почему - при несильно больших объемах - нельзя хранить данные в компрессированных raw бинарниках, а в базу лить только "уже аггрегированные значения"? Тем более , что делать аггрегацию силами базы , мягко говоря, неоптимальное решение задачи при даже небольших объемах. /BeSD wishes --- ifmail v.2.15dev5.3 * Origin: FidoNet Online - http://www.fido-online.com (2:5020/400) Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
Архивное /ru.cisco/1667964a91834.html, оценка из 5, голосов 10
|
|
|