|
ru.unix.bsd
- RU.UNIX.BSD ------------------------------------------------------------------
From : Andrew Kant 2:469/83.1 04 Dec 2007 21:42:18
To : Vadim Guchenko
Subject : Исследование производительности UFS
--------------------------------------------------------------------------------
Monday December 03 2007 13:59, Vadim Guchenko wrote to All:
VG> Hа сервере по крону раз в 5 минут запускается некое приложение, которое
VG> обновляет/пересоздает на диске большое количество мелких файлов (порядка
VG> 40 тысяч). Размеры файлов от 0 до 250 KB.
VG> Мне непонятно одно. Почему при увеличении размера фрагмента многократно
VG> увеличивается объем данных, записываемых на диск? При минимальном
VG> размере фрагмента (512 байт) запись на диск происходит со средней
VG> скоростью 1.12 MB/s. Т.е. за один цикл работы приложения должно
VG> записаться порядка 1.12 MB/s * 300 s = 336 MB. Если же размер фрагмента
VG> равен 65536 байт, то запись идет со средней скоростью 9.10 MB/s, т.е. за
VG> один цикл работы приложения записывается порядка 9.10 MB/s * 300 s =
VG> 2730 MB. Почти в 9 раз больше! Полезные данные те же самые, их объем и
VG> структура не менялись. Откуда берутся лишние 2,4 гига?
В каждом файле в среднем половина лишнего фрагмента.
итого 40000*64Кб/2= ~1.2Гб. Плюс еще метаданные. Hо и этого уже достаточно -
теоретические цифры как раз твоего порядка.
VG> предположение, что возможно система всегда записывает фрагмент на диск
VG> целиком, независимо от того, сколько фактически байт в нем занято. Так
VG> ли это и какой в этом смысл?
на нижнем уровне работа идет именно с целыми блоками, а не с их частями. Смысл
- в ускорении. Ищется некая золотая середина между скоростью и потерями в
объеме, ты сам это видел. С другой стороны, слишком большое увеличение приводит
к слишком большом ожидании при случайном доступе (последний блок в файле можно
рассматривать как вырожденный случай такого доступа :)
Good bye!
Andrew
--- GoldED+/W32 1.1.4.7
* Origin: * KAA * (2:469/83.1)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
