Параллельные вычисления в ИММ УрО РАН
|
|
Параллельная файловая система PVFS на МВС-1000/16На МВС-1000/16 стала доступна параллельная файловая система PVFS (разработка Clemson University и Арагонской Национальной Лаборатории, см. сайт разработчиков.) Под параллельностью здесь понимается то, что вывод каждого процесса параллельной задачи пишется поочерёдно на диски нескольких вычислительных узлов, и хранится каждый файл на нескольких узлах сразу, кусками фиксированного размера. Напомним, что в стандартном случае все считающиеся на МВС процессы пишут на один диск. Для оценки производительности необходимо учитывать, что пропускная способность сети чуть больше 20 МБайт/с, а дисков в узлах МВС приблизительно 17 МБайт/с. К примеру, если на диск пишет лишь один процесс параллельной задачи, то максимальный выигрыш от использования PVFS будет порядка 10%. Если же одновременно пишут 10 процессов, то общая скорость обменов c PVFS будет максимум 170 МБайт/с, а в стандартном случае лишь 17 МБайт/с. Использование PVFS может дать следующие преимущества:
PVFS не даст выигрыша в следующих случаях:
Возможны 3 способа использования PVFS (способы упорядочены по возрастанию затрат труда программиста и получаемого выигрыша в производительности):
На рисунке представлены данные о производительности PVFS, достигаемой на больших (16 МБайт) обменах с диском. В этом варианте данные пишутся на диски 4-х узлов. По оси абсцисс отложено число параллельных процессов, использующих PVFS, а по оси ординат суммарная пропускная способность. Видно, что максимум достигается весьма быстро, то есть для параллельной работы с большими объемами PVFS приспособлена весьма неплохо. Излом графика в районе 15-го процесса объясняется нынешней конструкцией MBC-1000/16.
Замечания, предложения, сообщения об ошибках горячо приветствуются. За консультациями обращайтесь, пожалуйста, к Сергею Владимировичу Шарфу scharf@imm.uran.ru, Тел. (343)375-35-11, местный 35-11. |