Главная страница


ru.unix.bsd

 
 - RU.UNIX.BSD ------------------------------------------------------------------
 From : Victor Sudakov                       2:5020/400     24 Dec 2002  08:44:54
 To : Spartak Radchenko
 Subject : Re: Учет тpаффика
 -------------------------------------------------------------------------------- 
 
 Spartak Radchenko <spartak@aif.ru> wrote:
 
 > VS> 
 > VS> select dstIP, sum(octets) from table group by dstIP;
 > VS> 
 > VS> Я мерял на файле размером 866M, 17750277 строк, PostgreSQL версии 7.2.3
 > VS> таблица создавалась с нуля путем "copy from file", потом
 > VS> индексировалась по полю dstip. Hо наличие или отсутствие индекса, как
 > VS> оказалось, на скорость практически не влияет.
 > 
 > Тогда понятно, откуда у тебя такая фигня. В дефолтной установке постгрес
 
 я сравнивал не только с постгресом, но и с mysql, правда давненько.
 awk обгоняет и его.
 
 > не оптимизирует запросы по индексам (точнее, делает это не всегда, когда
 > именно - я так и не понял). Почему так криво сделано - непонятно. Короче,
 > в postgresql.conf добавь enable_seqscan = false
 
 выключение seqscan только замедляет дело
 
 > 
 > А вообще в postgres есть очень полезная команда explain. Дай вот такую
 > команду:
 > 
 > explain select dstIP, sum(octets) from table group by dstIP;
 > 
 > И сразу всё увидишь. Если я поставил правильный диагноз, просьба потом
 > сообщить, кто стал быстрее - awk или postgres.
 > 
 
 [sudakov@work ~] wc -l flow.small.txt ; du -h flow.small.txt 
   500000 flow.small.txt
  24M    flow.small.txt
 [sudakov@work ~] time cat flow.small.txt > /dev/null ; time ./netflow.awk flow.
 mall.txt  > t1
 0.007u 1.709s 0:01.92 88.5%     76+230k 200+0io 4pf+0w
 31.144u 5.463s 0:37.17 98.4%    175+465k 209+0io 5pf+0w
 [sudakov@work ~] 
 explain analyze select dstip, sum(octets) as mbyte from netflow group by dstip;
 === без индекса
 
 psql:total.sql:4: NOTICE:  QUERY PLAN:
 
 Aggregate  (cost=100000069.83..100000074.83 rows=100 width=36) (actual time=147
 74.01..195433.00 rows=1025 loops=1)
 
   ->  Group  (cost=100000069.83..100000072.33 rows=1000 width=36) (actual time=
 
 47285.90..183133.71 rows=500000 loops=1)
         ->  Sort  (cost=100000069.83..100000069.83 rows=1000 width=36) (actual 
 ime=147285.80..159808.73 rows=500000 loops=1)
               ->  Seq Scan on netflow  (cost=100000000.00..100000020.00 rows=10
 0 width=36) (actual time=0.51..30585.59 rows=500000 loops=1)
 Total runtime: 195597.91 msec
 
 0.039u 0.031s 3:16.77 0.0%      162+218k 2+0io 0pf+0w
 [sudakov@work ~] 
 === с индексом
 
 psql:total.sql:4: NOTICE:  QUERY PLAN:
 
 Aggregate  (cost=0.00..1602106.60 rows=50000 width=36) (actual time=4911.99..30
 849.90 rows=1025 loops=1)
 
   ->  Group  (cost=0.00..1600856.60 rows=500000 width=36) (actual time=44.51..2
 
 7796.16 rows=500000 loops=1)
         ->  Index Scan using dstip on netflow  (cost=0.00..1599606.60 rows=5000
 0 width=36) (actual time=44.44..260562.41 rows=500000 loops=1)
 Total runtime: 300893.24 msec
 
 0.021u 0.053s 5:02.74 0.0%      108+142k 9+1io 14pf+0w
 [sudakov@work ~] 
 
 Суди сам.
 Интересно было бы увидеть и твои измерения. Что всё я да я.
 -- 
 Victor Sudakov,  VAS4-RIPE, VAS47-RIPN
 2:5005/149@fidonet http://vas.tomsk.ru/
 --- ifmail v.2.15dev5
  * Origin: AO "Svyaztransneft", SibPTUS (2:5020/400)
 
 

Вернуться к списку тем, сортированных по: возрастание даты  уменьшение даты  тема  автор 

 Тема:    Автор:    Дата:  
 Учет тpаффика   Kirill Shestopalov   27 Nov 2002 19:26:38 
 Учет тpаффика   Dmitry Suhodoev   28 Nov 2002 10:19:45 
 Re: Учет тpаффика   Spartak Radchenko   28 Nov 2002 09:12:27 
 Учет тpаффика   Max Khon   28 Nov 2002 17:47:24 
 Re: Учет тpаффика   Eugeny Kuzakov   19 Dec 2002 16:08:15 
 Учет тpаффика   Ivan Voytas   20 Dec 2002 10:36:32 
 Re: Учет тpаффика   Eugeny Kuzakov   23 Dec 2002 15:21:16 
 Учет тpаффика   Alex Semenyaka   22 Dec 2002 02:16:09 
 Учет тpаффика   Max Khon   28 Nov 2002 17:49:52 
 Учет тpаффика   Dmitry Suhodoev   28 Nov 2002 21:25:36 
 Учет тpаффика   Ivan Voytas   29 Nov 2002 06:12:49 
 Учет тpаффика   Dmitry Suhodoev   29 Nov 2002 18:36:01 
 Учет тpаффика   Max Khon   29 Nov 2002 15:39:10 
 Учет тpаффика   Kirill Shestopalov   28 Nov 2002 17:31:33 
 Учет тpаффика   Dmitry Suhodoev   29 Nov 2002 11:30:24 
 Учет тpаффика   Eugene M. Zheganin   29 Nov 2002 12:38:02 
 Учет тpаффика   Dmitry Suhodoev   30 Nov 2002 00:52:00 
 Учет тpаффика   Eugene M. Zheganin   30 Nov 2002 11:42:40 
 Учет тpаффика   Dmitry Suhodoev   30 Nov 2002 15:42:04 
 Re: Учет тpаффика   Eugene Grosbein   30 Nov 2002 23:47:33 
 Учет тpаффика   Ivan Voytas   02 Dec 2002 19:18:50 
 Учет тpаффика   Dmitry Suhodoev   03 Dec 2002 00:42:49 
 Re: Учет тpаффика   Mykola Dsham   04 Dec 2002 00:45:15 
 Re: Учет тpаффика   Andy Bogdanov   02 Dec 2002 22:04:26 
 Учет тpаффика   Artur Komarov   08 Dec 2002 11:47:12 
 Учет тpаффика   Dmitry Suhodoev   09 Dec 2002 10:34:57 
 Учет тpаффика   Eugene M. Zheganin   09 Dec 2002 14:12:46 
 Re: Учет тpаффика   Eugene Grosbein   09 Dec 2002 17:05:49 
 Учет тpаффика   Eugene M. Zheganin   09 Dec 2002 16:34:18 
 Re: Учет тpаффика   Andrew Lutov   10 Dec 2002 11:21:33 
 Учет тpаффика   Andrey Ostanovsky   10 Dec 2002 00:41:57 
 Учет тpаффика   Andrey Ostanovsky   10 Dec 2002 00:57:28 
 Учет тpаффика   Eugene M. Zheganin   10 Dec 2002 10:23:46 
 Учет тpаффика   Andrey Ostanovsky   10 Dec 2002 16:04:07 
 Re: Учет тpаффика   Roman V. Palagin   14 Dec 2002 17:28:51 
 Учет тpаффика   Andrey Ostanovsky   15 Dec 2002 02:34:55 
 Re: Учет тpаффика   Roman V. Palagin   15 Dec 2002 13:31:16 
 Учет тpаффика   Strange Alex   16 Dec 2002 16:53:56 
 Учет тpаффика   Ivan Voytas   17 Dec 2002 02:20:16 
 Учет тpаффика   Andrey Ostanovsky   17 Dec 2002 11:33:34 
 Учет тpаффика   Ivan Voytas   17 Dec 2002 14:39:49 
 Учет тpаффика   Andrey Ostanovsky   17 Dec 2002 22:33:52 
 Учет тpаффика   Strange Alex   18 Dec 2002 15:48:14 
 Учет тpаффика   Andrey Ostanovsky   18 Dec 2002 23:57:17 
 Учет тpаффика   Strange Alex   19 Dec 2002 06:11:10 
 Учет тpаффика   Ivan Voytas   19 Dec 2002 09:32:04 
 Re: Учет тpаффика   Igor Goncharenko   19 Dec 2002 10:59:26 
 Учет тpаффика   Strange Alex   19 Dec 2002 17:45:22 
 Учет тpаффика   Ivan Voytas   20 Dec 2002 10:29:21 
 Re: Учет тpаффика   Oleg Gawriloff   20 Dec 2002 09:40:25 
 Re: Учет тpаффика   Victor Sudakov   20 Dec 2002 21:48:34 
 Учет тpаффика   Ivan Voytas   21 Dec 2002 12:10:00 
 Re: Учет тpаффика   Victor Sudakov   21 Dec 2002 18:45:18 
 Учет тpаффика   Ivan Voytas   22 Dec 2002 04:03:32 
 Re: Учет тpаффика   Victor Sudakov   22 Dec 2002 17:12:58 
 Учет тpаффика   Eugene M. Zheganin   23 Dec 2002 12:04:02 
 Re: Учет тpаффика   Victor Sudakov   23 Dec 2002 19:30:55 
 Re: Учет тpаффика   Spartak Radchenko   23 Dec 2002 20:03:13 
 Re: Учет тpаффика   Victor Sudakov   24 Dec 2002 08:44:54 
 Re: Учет тpаффика   Spartak Radchenko   24 Dec 2002 14:53:00 
 Re: Учет тpаффика   Victor Sudakov   24 Dec 2002 16:31:20 
 Re: Учет тpаффика   Spartak Radchenko   24 Dec 2002 19:53:51 
 Re: Учет тpаффика   Victor Sudakov   25 Dec 2002 07:30:07 
 Учет тpаффика   Eugene M. Zheganin   25 Dec 2002 10:38:34 
 Re: Учет тpаффика   Spartak Radchenko   25 Dec 2002 13:43:17 
 Учет тpаффика   Eugene M. Zheganin   25 Dec 2002 10:43:26 
 Учет тpаффика   Andrey Ostanovsky   25 Dec 2002 09:40:10 
 Re: Учет тpаффика   Victor Sudakov   25 Dec 2002 10:44:44 
 Учет тpаффика   Eugene M. Zheganin   25 Dec 2002 16:26:36 
 Учет тpаффика   Denis Sotchenko   25 Dec 2002 14:22:33 
 Учет тpаффика   Andrey Ostanovsky   26 Dec 2002 09:00:49 
 Учет тpаффика   Serge V.Panchenko   31 Dec 2002 19:56:15 
 Учет тpаффика   Eugene M. Zheganin   24 Dec 2002 18:30:22 
 Re: Учет тpаффика   Victor Sudakov   25 Dec 2002 08:18:33 
 Re^2: Учет тpаффика   Vasily Krysin   24 Dec 2002 22:26:38 
 Re: Учет тpаффика   Victor Sudakov   25 Dec 2002 07:34:41 
 Re^2: Учет тpаффика   Vasily Krysin   25 Dec 2002 22:51:52 
 Re: Учет тpаффика   Victor Sudakov   03 Jan 2003 18:18:54 
 Re^2: Учет тpаффика   Vasily Krysin   03 Jan 2003 22:05:04 
 Учет тpаффика   Serge V.Panchenko   31 Dec 2002 19:24:22 
 Re: Учет тpаффика   Victor Sudakov   04 Jan 2003 17:48:10 
 Учет тpаффика   Serge V.Panchenko   31 Dec 2002 19:07:05 
 Учет тpаффика   Eugene M. Zheganin   21 Dec 2002 12:55:54 
 Re: Учет тpаффика   Andrew Filonov   21 Dec 2002 14:44:45 
 Re: Учет тpаффика   Victor Sudakov   21 Dec 2002 18:45:18 
 Re: Учет тpаффика   Valentin Davydov   21 Dec 2002 17:32:11 
 Re: Учет тpаффика   Victor Sudakov   21 Dec 2002 20:10:11 
 Re: Учет тpаффика   Oleg Gawriloff   20 Dec 2002 09:38:34 
 Учет тpаффика   Strange Alex   17 Dec 2002 20:22:24 
 Учет тpаффика   Andrey Ostanovsky   17 Dec 2002 22:54:42 
 Учет тpаффика   Strange Alex   18 Dec 2002 15:49:48 
 Учет тpаффика   Andrey Ostanovsky   19 Dec 2002 00:01:50 
 Re: Учет тpаффика   Roman V. Palagin   14 Dec 2002 19:52:45 
 Учет тpаффика   Andrey Ostanovsky   15 Dec 2002 02:22:49 
 Re: Учет тpаффика   Alex Povolotsky   10 Dec 2002 22:22:13 
 Учет тpаффика   Eugene M. Zheganin   11 Dec 2002 12:51:00 
 Re: Учет тpаффика   Andrew Lutov   11 Dec 2002 15:46:41 
 Учет тpаффика   Pavel Knyazev   10 Dec 2002 02:36:58 
 Re: Учет тpаффика   Eugene Grosbein   10 Dec 2002 11:18:37 
 Учет тpаффика   Dmitry Suhodoev   10 Dec 2002 20:53:32 
 Re: Учет тpаффика   Belousov Oleg   28 Nov 2002 09:35:53 
 Re: Учет тpаффика   Valentin Davydov   29 Nov 2002 10:57:06 
Архивное /ru.unix.bsd/9182c7586b72.html, оценка 1 из 5, голосов 10
Яндекс.Метрика
Valid HTML 4.01 Transitional