|
ru.linux
- RU.LINUX ---------------------------------------------------------------------
From : Evgenij M. Baldin 2:5020/400 13 Mar 2002 12:49:57
To : Vitaly Lugovsky
Subject : Re: PostgreSQL тюнинг?
--------------------------------------------------------------------------------
Добрый день
Vitaly Lugovsky <vsl@ontil.ihep.su> wrote:
> Evgenij M. Baldin <baldin@slon.inp.nsk.su> wrote:
> EMB> Конкретезирую - есть массив данных в 10 тыс. чисел - каждые n минут это
> EMB> новый массив данных - то есть если использовать РБД, то это таблица, где
> EMB> столбцы это каналы, а строки это время.
> Почему это?!? Имеет место быть отношение ЧИСЛО-КАHАЛ-ВРЕМЯ.
> Поскольку на одно время приходится много каналов (одновременно данные
> снимаются, так?), то имеем две таблицы в 2HФ:
> ЧИСЛО-КАHАЛ-RUN
такие таблицы тоже есть, но время вставки непомерно большое - на INSERT
одной такой записи уходит примерно по 0.1 сек; для 10 тыс каналов - 1000
спекунд; для 10 таблиц - 3 часа - 10 таблиц для одной калибровочной
программы это реальность. Хотя конечно это все от бедности - если бы
электроника хорошо работала, если бы мы знали что контролировать - то
проводилась бы это процедура раз в неделю для всех и все - а так когда
на 10 систем 20 физиков :( - каждый лепит кто во что горазд
> RUN-ВРЕМЯ
Да - это есть
> А иначе это не РБД, а туплы какие-то блин CERNlib-овые... Кстати, даже
> там никому в голову не приходит делать тупл в тыщу колонок. И, кстати,
> именно подобное тупловое хранилище тут было бы куда как более уместно.
В принципе, на предидущих экспериментах так и делалолось - но там
плотность людей на канал электроники была не сравненно выше :)
(эксперименты были поменьше, а народу на них было побольше) В самом
начале я пробовал нечто такое сконструировать - мне эта задача не по зубам
оказалась :( - это связано с обилием клиентов и у каждого свои требования
Кроме того, когда эти эксперименты проходили из доступных БД были только
hepdb - а это вам не фигушки воробушкам показывать :) - на сколько я знаю
доступиться к данным, которые туда складывались так никому не удалось
(один раз попытались - через двое суток это занятие бросили :) )
> EMB> это не справочник - это слепок системы на текущий момент, который имеет
> EMB> дурную привычку со временем меняться временами очень не слабо, а что
> EMB> самое неприятное никогда не знаешь зарание какой ,,слепок'' когда
> EMB> пригодится. Таблицы- справочники тоже есть - там да, столбцов немного.
> Если честно, я совсем не понял, зачем тут РБД. Проще много-много бинарных
> файлов, по файлу на момент измерения. Ведь ключевой элемент тут только один,
> время. Или всё же возможны хитрые запросы по измеренным значениям?
Слишком много файлов получается - когда не самая большая система имеет
свалку из нескольких десятков тысяч записей - на это смотреть тяжело,
причем формат меняется от времени - здесь больше не техническая, а
психологическая проблема
>>> Я, собственно, и не собираюсь варганить это ни за какое время.
> EMB> Я это понимаю :) - это варганю я - я прошу совета - то есть того, что
> EMB> люди, как правило, не против дать :)
> Всё ещё недостаточна постановка задачи. Какого вида запросы имеют место
> быть над этими данными, зачем выбрана была RDBMS?
Hа входе имеются массивы с данными (от 10 до 10тыс чисел INT) - число
таких массив несколько сотен (точнее где-то около трех сотен, естественно,
массивов в 10тыс чисел гораздо меньше чем в 100 чисел) - нужно уметь их
стандартным образом сохранять и иметь возможность по времени к ним
доступаться за более-менее приемлимое время. То есть вставка типа минуты,
доступ быстрее чем доли секунды. Платформы vax и pc, языки fortran и с.
РБД Postgres, была взята по причине наличия стандартного простого
интерфейса вставки/доступа, поддержки транзакций и исходников
(требовалось на vax портировать)
С уважением
Евгений
--
Budker Institute of Nuclear Physics
e-mail: E.M.Baldin@inp.nsk.su
WWW: http://www.inp.nsk.su/~baldin
--- ifmail v.2.15dev5
* Origin: BINP, Novosibirsk, Russia (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
