Функции коллективного обмена данными

Основные особенности и отличия от коммуникаций типа "точка-точка":

ü на прием и/или передачу работают одновременно ВСЕ задачи-абоненты указываемого коммуникатора;

ü коллективная функция выполняет одновременно и прием, и передачу; она имеет большое количество параметров, часть которых нужна для приема, а часть для передачи; в разных задачах та или иная часть игнорируется;

ü как правило, значения ВСЕХ параметров (за исключением адресов буферов) должны быть идентичными во всех задачах;

ü MPI назначает идентификатор для сообщений автоматически;

ü кроме того, сообщения передаются не по указываемому коммуникатору, а по временному коммуникатору-дупликату;

ü тем самым потоки данных коллективных функций надежно изолируются друг от друга и от потоков, созданных функциями "точка-точка".

 

MPI_Bcast рассылает содержимое буфера из задачи, имеющей в указанной области связи номер root, во все остальные:

 

MPI_Bcast(buf, count, dataType, rootRank, communicator);

 

Аргументы функции:

 

1.Адрес буфера, из которого в ветви №rootRank берутся, а в остальных задачах помещаются данные.

 

2.Размер буфера. Задается не в байтах, а в количестве ячеек. Указывает, сколько ячеек требуется передать и максимальную емкость приемного буфера.

 

3.Тип ячейки буфера. Для описания базовых типов Си в MPI определены константы MPI_INT, MPI_CHAR, MPI_DOUBLE и так далее, имеющие тип MPI_Datatype. Их названия образуются префиксом "MPI_" и именем соответствующего типа (int, char, double,...), записанным заглавными буквами.

 

4.Номер ветви, из которой происходит посылка данных. Все остальные ветви внутри коммуникатора communicator принимают данные.

 

5.Описатель области связи (коммуникатор).

 

Функция MPI_Bcast эквивалентна по результату (но не по внутреннему устройству) следующему фрагменту:

 

int commSize, myRank;

MPI_Comm_size(communicator, &commSize);

MPI_Comm_rank(communicator, &myRank);

if(myRank == rootRank)

for(i=0; i<commSize; i++)

MPI_Send(buf, count, dataType, i,

tempMsgTag, communicator);

MPI_Recv(buf, count, dataType, rootRank, tempMsgTag,

communicator, &status);

 

MPI_Gather (sendBuf, sendCount, sendType, recvBuf, recvCount, recvType, rootRank, communicator) ("совок") собирает в приемный буфер задачи root передающие буфера остальных задач. Ее аналог:

 

MPI_Send(sendBuf, sendCount, sendType, rootRank,...);

if(myRank == rootRank) {

MPI_Type_extent(recvType, &elemSize);

for(i=0; i<commSize; i++)

MPI_Recv(((char*))recvBuf) + (i * recvCount * elemSize),

recvCount, recvType, i,...);

}

 

Заметьте, что а) recvType и sendType могут быть разные и, таким образом, будут задавать разную интерпретацию данных на приемной и передающей стороне; б) задача-приемник также отправляет данные в свой приемный буфер.

Векторный вариант "совка" - MPI_Gatherv - позволяет задавать разное количество отправляемых данных в разных задачах-отправителях. Соответственно, на приемной стороне задается массив позиций в приемном буфере, по которым следует размещать поступающие данные, и максимальные длины порций данных от всех задач. Оба массива содержат позиции/длины не в байтах, а в количестве ячеек типа recvCount. Ее аналог:

 

MPI_Send(sendBuf, sendCount, sendType, rootRank,...);

if(myRank == rootRank) {

MPI_Type_extent(recvType, &elemSize);

for(i=0; i<commSize; i++)

MPI_Recv(((char*))recvBuf) + displs[i] * recvCounts[i]

* elemSize, recvCounts[i], recvType, i,...);

}

 

MPI_Scatter (sendBuf, sendCount, sendType, recvBuf, recvCount, recvType, rootRank, communicator) ("разбрызгиватель"): выполняет обратную "совку" операцию - части передающего буфера из задачи root распределяются по приемным буферам всех задач. Ее аналог:

 

if(myRank == rootRank) {

MPI_Type_extent(recvType, &elemSize);

for(i=0; i<commSize; i++)

MPI_Send(((char*)sendBuf) + i*sendCount*elemSize,

sendCount, sendType, i,...);

}

MPI_Recv(recvBuf, recvCount, recvType, rootRank,...);

 

И ее векторный вариант - MPI_Scatterv, рассылающая части неодинаковой длины в приемные буфера неодинаковой длины.

MPI_Allgather аналогична MPI_Gather, но прием осуществляется не в одной задаче, а во всех: каждая имеет специфическое содержимое в передающем буфере, и все получают одинаковое содержимое в буфере приемном. Как и в MPI_Gather, приемный буфер последовательно заполняется данными изо всех передающих. Вариант с неодинаковым количеством данных называется MPI_Allgatherv.

MPI_Alltoall: каждый процесс нарезает передающий буфер на куски и рассылает куски остальным процессам; каждый процесс получает куски от всех остальных и поочередно размещает их приемном буфере. Это "совок" и "разбрызгиватель" в одном флаконе. Векторный вариант называется MPI_Alltoallv.

Коллективные функции несовместимы с "точка-точка": недопустимым, например, является вызов в одной из принимающих широковещательное сообщение задач MPI_Recv вместо MPI_Bcast.

Точки синхронизации

Этим занимается всего одна функция:

 

int MPI_Barrier(MPI_Comm comm);

 

MPI_Barrier останавливает выполнение вызвавшей ее задачи до тех пор, пока не будет вызвана из всех остальных задач, подсоединенных к указываемому коммуникатору. Гарантирует, что к выполнению следующей за MPI_Barrier инструкции каждая задача приступит одновременно с остальными.

Это единственная в MPI функция, вызовами которой гарантированно синхронизируется во времени выполнение различных ветвей. Некоторые другие коллективные функции в зависимости от реализации могут обладать, а могут и не обладать свойством одновременно возвращать управление всем ветвям; но для них это свойство является побочным и необязательным - если Вам нужна синхронность, используйте только MPI_Barrier.

Синхронизация может потребоваться перед аварийным завершением: там ветвь 0 рапортует об ошибке, и чтобы ни одна из оставшихся ветвей вызовом MPI_Abort не завершила нулевую досрочно-принудительно, перед MPI_Abort ставится барьер.