|
ru.unix.bsd
- RU.UNIX.BSD ------------------------------------------------------------------
From : Constantin Stefanov 2:5020/400 31 May 2005 12:50:57
To : Slawa Olhovchenkov
Subject : Re: Linux and FreeBSD
--------------------------------------------------------------------------------
Slawa Olhovchenkov wrote:
> >> А это не учитывается?
> CS> А такие скачки просто нельзя учесть. Ведь прикладную программу пишут на
> CS> уровне выше ethernet - обычно MPI. Там еще оверхеда накрутят (сначала
> CS> сам MPI, потом TCP, IP, и только потом ethernet). И какой будет размер
> CS> этих заголовков, зависит как минимум от реализации MPI, а она не
> CS> единственная. Вот и получится, что такие провалы учесть просто нельзя.
>
> Да ладно, насколько я издали вижу этих расчетчиков -- они учитывают и
> выравнивание на параграф и попадание в кэши. Условная компиляция на
> оптимальный размер пакета не такая и сложная вещь на этом фоне.
Hет, кончено, не очень сложная. Hо: выравнивание на размер параграфа и
т.п. определяется кодом самой расчетной системы. А оверхед в пакетах
определяется той реализацией MPI, с которой задачу будет линковать
конечный пользователь. А в момент написания программы (да и компиляции
порой) версия этой библиотеки просто неизвестна. А если даже
пользователь и будет компилировать программу, в стандарте MPI на
заложено механизма получения такой информации.
> CS> Итого. Использование другого интерконнекта дает вполне себе ощутимый
> CS> рост эффективности вычислительной установки (до 20%), особенно заметный
> CS> на больших установках. Это при том, что модельная задача имеет неплохие
> CS> коммуникационные свойства.
> CS> Вот тебе и первое приближение ответа.
>
> Теперь делаем второе приближение -- смотрим на системы с myrinet. Видим
> эффективность порядка 61%. Рабочая гипотеза: важна не технология, а скорость
> передачи (10 у infi, 2 у мури и 1 у GE. Систем с 2xGE слишком мало, а с 10GE
> вообще нету).
Да, на LinPack (той самой тестовой задаче) это в большой степени так - у
нее хорошие коммуникационные свойства. Есть другие классы задач, где
бегает много мелких пакетиков, и где пропускная способность отходит на
второй план - там важны именно задержки. И тут мы получим совсем другие
соотношения.
> К сожалению мне не удалось найти систем, построенных на аналогичном
> оборудовании. Возможно еще и собственно построитель играет роль (кривые-прямые
> руки АКА систематическая ошибка).
>
> Кстати, на скоростях 10G начинает сказываться проблема с попускной
> способностью PCI-X.
Именно поэтому компания mellanox (производитель существенной части
оборудования InfiniBand приводит в качестве пиковых результаты,
полученные на PCI Express). Кстати, на 10G Ethernet точно также упрешься
в это ограничение.
--
Константин Стефанов
--- ifmail v.2.15dev5.3
* Origin: Demos online service (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
