|
ru.unix.bsd
- RU.UNIX.BSD ------------------------------------------------------------------
From : Anatoly Tsyganenko 2:5020/400 11 Jul 2007 02:25:48
To : All
Subject : Теряются пакеты, уперся в производительность или что-то еще?
--------------------------------------------------------------------------------
Здравствуйте!
Имеются несколько серверов с bge интерфейсами. Серверы используются
исключительно как NAT. В качестве NAT используется pf. Транляция
большого пула на маленький, и порядка 300 бинат правил. Количество
сессий в районе 100к.
Hа обоих серверах сходная картина. Hачинают терятся пакеты, netstat -
Ibge0 -w1 показывает следующее
input (bge0) output
packets errs bytes packets errs bytes colls
24767 695 13387434 23548 0 12932187 0
24757 875 13258971 23615 0 12979207 0
24989 775 13711420 23156 0 13169125 0
24805 111 13977311 23246 0 13407011 0
25014 1046 13847165 23850 0 13395915 0
25232 0 14225520 23906 0 13764969 0
24737 695 13466198 23719 0 13073794 0
24788 1185 13368363 23633 0 12999223 0
24987 847 13819741 23725 0 13354681 0
Это на первом сервере, на втором входящих ошибок еще больше.
polling выключен, при включении число ошибок сильно
увеличивается(HZ=4000). Проблем с физикой нет, проверял/менял кабель.
Воткнуты сервера в Cat6509, flow control выключен, интерфейсы ошибок
не показывают.
Почему теряются пакеты? Уперся в производительность? Менять pf на что-
то другое? Какой счетчик в ядре учитывает количество ошибок на
интерфейсе(может удастся понять кто в драйвере адаптера генерит
ошибки)? Что использовать для ната на гигабитных линках?
top
сервер 1
last pid: 59345; load averages: 1.05, 1.14,
1.15 up
0+14:01:32 19:51:22
76 processes: 5 running, 54 sleeping, 17 waiting
CPU states: 0.0% user, 0.0% nice, 8.9% system, 44.0% interrupt,
47.1% idle
Mem: 23M Active, 27M Inact, 75M Wired, 1548K Cache, 167M Buf, 1782M
Free
Swap: 2048M Total, 2048M Free
PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU
COMMAND
15 root 1 -44 - 0K 16K CPU0 0 180:00 89.50%
swi1: net
11 root 1 171 ki31 0K 16K RUN 1 356:31 80.81%
idle: cpu1
6 root 1 8 - 0K 16K RUN 0 112:30 16.94%
thread taskq
12 root 1 171 ki31 0K 16K RUN 0 569:37 9.03%
idle: cpu0
34 root 1 -68 - 0K 16K WAIT 1 449:49 0.00%
irq272: bge0
сервер 2
last pid: 41791; load averages: 0.97, 1.05,
1.05
up 8+17:05:04 21:51:05
75 processes: 4 running, 55 sleeping, 16 waiting
CPU states: % user, % nice, % system, % interrupt,
% idle
Mem: 23M Active, 21M Inact, 102M Wired, 20K Cache, 214M Buf, 1653M
Free
Swap: 4096M Total, 4096M Free
PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU
COMMAND
22 root 1 -68 -187 0K 16K CPU1 1 147.3H 93.60%
irq49: bge0
11 root 1 171 52 0K 16K RUN 0 170.8H 91.55%
idle: cpu0
12 root 1 -32 -151 0K 16K WAIT 0 37.8H 6.84%
swi4: clock sio
10 root 1 171 52 0K 16K RUN 1 61.7H 4.93%
idle: cpu1
Конфигурации.
Сервер 1:
sun x2100 m2
7.0-CURRENT FreeBSD 7.0-CURRENT #4: Tue Jul 10 04:59:23 MSD 2007
Одна штука CPU: Dual-Core AMD Opteron(tm) Processor 1214 (2220.19-MHz
K8-class CPU)
Сетевуха
bge0: <Broadcom NetXtreme Gigabit Ethernet Controller, ASIC rev.
0x9003> mem 0xfdff0000-0xfdffffff,0xfdfe0000-0xfdfeffff irq 17 at
device 4.0 on pci6
miibus2: <MII bus> on bge0
brgphy0: <BCM5714 10/100/1000baseTX PHY> PHY 1 on miibus2
brgphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseT,
1000baseT-FDX, auto
bge0: Ethernet address: 00:1b:24:3e:03:3f
bge0: [ITHREAD]
Сервер 2:
Supermicro уже не помню какой, сервер очень далеко, посмотреть не могу
6.2-RELEASE-p5 FreeBSD 6.2-RELEASE-p5 #0: Mon Jun 25 11:10:26 MSD 2007
Две штуки CPU: AMD Opteron(tm) Processor 248 (2205.01-MHz K8-class
CPU)
Сетевуха
bge0: <Broadcom BCM5704 B0, ASIC rev. 0x2100> mem
0xfe8e0000-0xfe8effff irq 49 at device 3.0 on pci2
miibus0: <MII bus> on bge0
brgphy0: <BCM5704 10/100/1000baseTX PHY> on miibus0
brgphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, 1000baseTX,
1000baseTX-FDX, auto
bge0: Ethernet address: 00:30:48:56:92:66
--- ifmail v.2.15dev5.3
* Origin: http://groups.google.com (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
