|
ru.unix.bsd
- RU.UNIX.BSD ------------------------------------------------------------------
From : Constantin Stefanov 2:5020/400 30 May 2005 13:56:43
To : Slawa Olhovchenkov
Subject : Re: Linux and FreeBSD
--------------------------------------------------------------------------------
Slawa Olhovchenkov wrote:
> >> А какая latency у вышеописанных технологий?
> CS> InfiniBand - 4-5 мкс (это уже на программном уровне, но ниже MPI, что-то
> CS> вроде ping), SCI - 1.2 мкс (железная), 4 получается уже на уровне MPI.
> CS> Что там у Myrinet - судя по сайту, 2.7 мкс на железе, плюс где-то 0,15
> CS> до MPI.
>
> Это прости, что мерялось, а? Или это "петька, приборы! 17! что 17? а что
> приборы?"
> комп в комп в тыкается или есть какой-то свитч?
> какой размер пакета?
> А то время передачи 1500 байт по гигабитному каналу 1500*8/10^9*10^6=12мкс.
Чтобы не быть голословным, вот тебе результат быстрого теста для
InfiniBand. По всей видимости, это не round-trip delay, а просто
задержка от начала передачи сообщения джо его полного приема картой на
том конце.
Длина латентность,
сооб- мкс
щения,
байт
0 5.7
1 5.97
10 6.01
100 6.35
1000 9.82
1500 10.27
1501 10.26
2000 10.88
5000 13.27
10000 19.44
100000 127.48
Система не самая лучшая (свитч не фонтан, да и глюк в матери мешает),
поэтому получается больше 5 мкс. 4 мкс, по утверждению разработчика,
достигается на PCI Express.
Теперь жду от тебя аналогичной таблички на гигабитный эзернет, и , в
идеале, на 10 Gb.
Что куда тыкается - это от технологии зависит. InfiniBand и Myrinet -
там свитч есть. В SCI - нет, там станции обйединены в тор (одномерный,
двумерный или трехмерный, есть варианты).
Сразу насчет соседнего письма. В Myrinet - точно не store-and-forward,
там на каждое сообщение пробивается что-то типа виртуального канала. А
уж свитч устроен так, чтобы это все блокировалось как можно реже (не
уверен, что там используется схема вообще свободная от блокировок, но
такое может быть).
В InfiniBand - точно не знаю. Вероятно, тоже не store-and-forward. Там
внутри свитча fat-tree, т.е. такая схема, которая может коммутировать
одноверменно любые пары портов без блокировок (то есть скорость обмена
пары узлов не зависит от того, какая нагрузка на остальных парах).
А теперь объясни, где там ЖОПА в не store-and-forward.
Теперь насчет драйверов. Во-первых, в этих технологиях нет такого
маленького ограничения на макс. размер пакета. Я не знаю, где он какой,
но даже если инкрементировать размер сообщения по единичке, то скачка,
как на ethernet от 1500 к 1501 ты не получишь, т.е. меньше прерывания.
Во-вторых, на InfinBand релизована хитрая технология RDMA (Remote DMA),
которая позволяет дать карточке команду "отслать вот эту область данных
(ну или принять от того-то туда-то)", после чего весь процесс произойдет
без прерываний, т.е. опять имеем уменьшение нагрузки. Hа карте стоит
достаточно большая своя память (от 128 МБ), так что опять часто дергать
не приходится. Hа карте релизована аппаратно что-то вроде схемы портов
для TCP, т.е. карта сама может разбираться, какой поток для какой
программы и запихивать его в нужную область ОЗУ без участия драйверов.
> CS> А что касается пропускных способностей, то тут InfiniBand впереди
> CS> планеты всей. У них сейчас есть карты на 2 порта по 10Гбит/сек, с
> CS> возможностью аппаратного объединения.
>
> 10GE уже год как есть.
Вероятно, это будет альтернативой. Оно слишком недавно появилось, чтобы
получить широкое распространение. Хотя опять-таки надо смотреть на
параметры и цены.
--
Константин Стефанов
--- ifmail v.2.15dev5.3
* Origin: Demos online service (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
