ru.unix.bsd

 
 - RU.UNIX.BSD ------------------------------------------------------------------
 From : Sultan Azhiguzhayev                  2:5083/84.84   08 Jul 2004  17:14:34
 To : Ilya Kulagin
 Subject : Squid & Sarg
 -------------------------------------------------------------------------------- 
 

 
 Было 08 Июл 04 10:15 и Ilya Kulagin переписывался с Sultan Azhiguzhayev, меня
 это заинтересовало:
 
  SA>> а если сказать mkfifo /tmp/squid.log
  SA>> сквиду сказать, что логгить в /tmp/squid.log - это то, о чем он
  SA>> всю жизнь мечтал, а самосу написать скрипт, присосывающийся к
  SA>> /tmp/squid.log - похоже на решение задачи?
 
  IK> Смотря, какой задачи. Если сделать так, чтобы от колыхания ветра в
  IK> по... Тьху, от пропадания коннекта к базе в связи со срочным
  IK> супер-мега-запросом, неожиданно занявшим 100% usertime (а кто мне
  IK> поклянётся, что в 7 мегабайтах постгрессовых исходников нет багов)
  IK> этот самый "читатель из пайпа" просто отвалится, за чем, собственно,
  IK> отпадёт и сквидовое логгирование (как бы и не сам сквид, но я не
  IK> пробовал, врать не буду)? Тогда, - путь правильный.
 
 а не надо в базу пихать всё подряд - она не для того есть.
 
  IK> А если для того, чтобы глядеть "историю" (а не секрет, что в лог
  IK> запись попадает после выкачивания всего файла - например, клиент
  IK> сперва выкачает iso-шку с FreeBSD, а только потом это отразится в
  IK> сквидовом логе - так что для "он-лайн учёта траффика" это не подходит
  IK> всё равно) - то я в упор не понимаю маниакального стремления "класть
  IK> сразу в базу" вместо раз в (например, час, а лучше сутки, для чего
  IK> есть crontab) давать сквиду сигнал -30 (-k rotate),
 
 я после настройки сквида, обычно просто напросто отключаю ему логи :)
 
  IK> а потом уже никуда не торопясь, с обработкой всех мыслимых и
  IK> немыслимых условий, пытаться "запихнуть лог в базу" (или, тем более,
  IK> "скормить sarg-у, пожать gzip-ом и под правильным именем куда-то
  IK> положить на хранение"). Hе говоря о том, что (в случае базы) при
  IK> "обработке лога через пайп" каждому insert понадобится свой commit, а
  IK> при пакетной обработке достаточно будет общего commit на блок данных
  IK> (размер блока выбрать по вкусу, исходя из количества share locks,
  IK> памяти и прочего) - что и скорость увеличит, и нагрузку на РСУБД
  IK> снизит. Уф.
 
 мне это можешь не рассказывать :) в вопросе учета трафика я четко придерживаюсь 
 такой позиции:
 1. данные снимаю с ng_ipacct (ранее с ipcad) раз в 10 минут,
 2. первичные данные  хрfню в текстовых файлах такого макара:
 /var/log/ipacct/YYYY/MM/YYYY-MM-DD.log,
 3. в время съема данных с трафикосчиталки, эти данные причесываются до вида:
 
 ip_юзера, байт_вошло, байт_вышло
 
 в таком виде данные в базу и попадают, причем в таблицу с именем
 hostname_YYYY_MM
 
 мне так удобно и всё крутится довольно быстро.
 
                        Всегда не Ваш, но с наилучшими пожеланиями,
                                                                 Султан.
       -I-
 М]\\\\[О]ННННННННННННННННННННННННННННННННННННННННДДДДДД
       -I-                     E-Mail: sultan[at]host.kz
 --- GoldED 3.00.Beta2+
  * Origin: 1/3 жизни - сон, 2/3 - желание выспаться... (2:5083/84.84)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

Тема:    Автор:    Дата:    Squid & Sarg   Ilya Kulagin   08 Jul 2004 10:15:03   Squid & Sarg   Sultan Azhiguzhayev   08 Jul 2004 17:14:34