ru.unix.bsd

 
 - RU.UNIX.BSD ------------------------------------------------------------------
 From : Valentin Davydov                     2:5020/400     09 Feb 2005  11:52:27
 To : Yuri Chumakov
 Subject : Re: Re^2: Re^2: Oracle 9i
 -------------------------------------------------------------------------------- 
 

 >   From: Yuri Chumakov <Yuri.Chumakov@f65.n5079.z2.fidonet.org>
 >   Date: Tue, 08 Feb 2005 20:26:28 +0300
 >
 >>>VD> Так, может, и не надо подымать целую sql СУБД для такого дела
 >>>VD> (сбора логов). Что с этими данными потом делать-то надо?
 >>> Как Тебе сказать... Железки эти - контроллеры ЦТП, а данные -
 >>> параметры давления, температуры, расхода воды, которая подаётся в
 >>> краны всего города...
 >>> В ближайшем будущем - домовые счётчики. Типа представь - у Тебя дома
 >>> стоит счётчик на расход воды/тепла, и автоматически отчитывается о
 >>> потреблении воды/тепла. В конце месяца Тебе счёт за _реально_
 >>> потреблённые воду/тепло, а не то фуфло, которое зовётся "расчёт по
 >>> нагрузке".
 >VD> Стало быть, действительно, это не СУБД, которая сильна апдейтами, а
 >VD> самые настоящие логи, в которых каждая запись, единожды появившись,
 >VD> никогда не меняется. Соответственно, делается это всё на syslogе и
 >VD> периодических скриптах, а не на сабже.
 >
 >Hе всё так просто. Там свои хитрые протоколы, типа modbus и lonwork. По этим
 >протоколам приходит пакет даныых, типа сигнал ь12 (это я тут утрирую малость,
 >но по сути так оно и есть), значение 456456434556. Всё.
 
 Hет, не всё. Самое главное ты забыл: timestamp.
 
 >А вот всё остальное -
 >перевод этого числа в удобоваримый формат, и тд - работа сервера сбора данных,
 >который впоследствии и загоняет в СУБД эти значения уже в нормальном формате
 >(типа давление в такой-то трубе в кг/см).
 
 Hу и зачем ему это загонять именно в СУБД, причём непременно sql?
 
 >Клиент этого сервера делает запрос (от пользователя) на сервер.
 
 Сервер сбора данных собирает данные. Сервер статистики выдаёт статистику.
 Это разные сервера. В частности, к самим данным один из них имеет доступ 
 только на запись, а другой - только на чтение.
 
 >>> pps А смотрят с субд статистику потребления воды/тепла.
 >VD> Вот и надо туда (а ещё лучше - сразу на web-страничку) складывать
 >VD> готовую (обработанную, просуммированную и нарисованную разноцветными
 >VD> графиками) статистику. Ежедневно.
 >
 >Вот это в итоге и хочется получить. Математику поручить СУБД, визуализацию -
 >php. Hо для этого всё-таки нужна СУБД, ибо вести парсинг нескольких миллионов
 >строк текстовых файлов в скрипте меня не прельщает.
 
 Так ведь в sql-базе они парсятся существенно медленнее, за счёт локов и 
 прочих накладных расходов. Текстовый же парсинг довольно быстр:
 
 $ time tar xOf firefox-1.0-source.tar | wc -l
  5712472
 real    0m5.362s
 user    0m2.666s
 sys     0m1.713s
 
 То есть на моём железе (дюрон 1600) более миллиона строк в секунду.
 
 >Так как в клиенте есть такие понты - расход газа котлами (в котельной).
 >Задаётся начальная дата/время (кратно 1 часу) и конечная дата/время. В
 >результате имеем почасовой табличный вывод расхода газа, среднее давление газа
 >в газовой трубе, и тд...
 
 У меня на брандмауэре ведётся учёт трафика отдельно для каждого проходящего
 tcp-соединения. Суточный объём логов - примерно 50 мегабайт или полмилиона
 записей. Дискретность по времени - одна минута. И никаких sqlей (сначала 
 пытался было, но потом понял, что на awkе проще и быстрее).
 
 Вал. Дав.
 
 --- ifmail v.2.15dev5.3
  * Origin: Demos online service (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    Re: Re^2: Re^2: Oracle 9i   Valentin Davydov   09 Feb 2005 11:52:27   Re^2: Re^2: Re^2: Oracle 9i   Yuri Chumakov   09 Feb 2005 20:20:32   Oracle 9i   Andrey Ostanovsky   12 Feb 2005 15:07:36