Функции поддержки распределенных операций

Идея проста: в каждой задаче имеется массив. Над нулевыми ячейками всех массивов производится некоторая операция (сложение/произведение/ поиск минимума/максимума и т.д.), над первыми ячейками производится такая же операция и т.д. Четыре функции предназначены для вызова этих операций и отличаются способом размещения результата в задачах.

 

MPI_Reduce: массив с результатами размещается в задаче с номером root:

 

int vector[16];

int resultVector[16];

MPI_Comm_rank(MPI_COMM_WORLD, &myRank);

for(i=0; i<16; i++)

vector[i] = myRank*100 + i;

MPI_Reduce(

vector, /* каждая задача в коммуникаторе предоставляет вектор */

resultVector, /* задача номер 'root' собирает данные сюда */

16, /* количество ячеек в исходном и результирующем массивах */

MPI_INT, /* и тип ячеек */

MPI_SUM, /* описатель операции: поэлементное сложение векторов */

0, /* номер задачи, собирающей результаты в 'resultVector' */

MPI_COMM_WORLD /* описатель области связи */

);

if(myRank==0)

/* печатаем resultVector, равный сумме векторов */

 

Предопределенных описателей операций в MPI насчитывается 12:

 

ü MPI_MAX и MPI_MIN ищут поэлементные максимум и минимум;

ü MPI_SUM вычисляет сумму векторов;

ü MPI_PROD вычисляет поэлементное произведение векторов;

ü MPI_LAND, MPI_BAND, MPI_LOR, MPI_BOR, MPI_LXOR, MPI_BXOR - логические и двоичные операции И, ИЛИ, исключающее ИЛИ;

ü MPI_MAXLOC, MPI_MINLOC - поиск индексированного минимума/максимума - здесь не рассматриваются.

 

В таблице 1 приводятся допустимые типы элементов массивов для различных операций.

 

Таблица 1

Операция	Допустимый тип операндов
MPI_MAX, MPI_MIN	целые и вещественные
MPI_SUM, MPI_PROD	целые, вещественные, комплексные
MPI_LAND, MPI_LOR, MPI_LXOR	целые и логические
MPI_LAND, MPI_LOR, MPI_LXOR	целые (в т.ч. байтовые)

 

Количество поддерживаемых операциями типов для ячеек векторов строго ограничено вышеперечисленными. Никакие другие встроенные или пользовательские описатели типов использоваться не могут. Обратите также внимание, что все операции являются ассоциативными ("(a+b)+c = a+(b+c)") и коммутативными ("a+b = b+a").

MPI_Allreduce: результат рассылается всем задачам, параметр 'root' убран.

MPI_Reduce_scatter: каждая задача получает не весь массив-результат, а его часть. Длины этих частей находятся в массиве-третьем параметре функции. Размер исходных массивов во всех задачах одинаков и равен сумме длин результирующих массивов.

MPI_Scan: аналогична функции MPI_Allreduce в том отношении, что каждая задача получает результрующий массив. Главное отличие: здесь содержимое массива-результата в задаче i является результатом выполнение операции над массивами из задач с номерами от 0 до i включительно.

Коммуникаторы

Коммуникаторы служат той же цели, что и идентификаторы сообщений - помогают ветви-приемнику и ветви-получателю надежнее определять друг друга, а также содержимое сообщения.

Ветви внутри параллельного приложения могут объединяться в подколлективы для решения промежуточных задач - посредством создания групп, и областей связи над группами. Пользуясь описателем этой области связи, ветви гарантированно ничего не примут извне подколлектива, и ничего не отправят наружу. Параллельно при этом они могут продолжать пользоваться любым другим имеющимся в их распоряжении коммуникатором для пересылок вне подколлектива, например, MPI_COMM_WORLD для обмена данными внутри всего приложения.

Коммуникаторы распределяются автоматически в отличие от идентификаторов (целые числа) распределяемые пользователем вручную, что служит источником частых ошибок вследствие путаницы на приемной стороне. Важно помнить, что все функции, создающие коммуникатор, являются коллективными. Именно это качество позволяет таким функциям возвращать в разные ветви один и тот же описатель.

Создать коммуникатор можно несколькими способами.

Копирование. Самый простой способ создания коммуникатора - скопировать уже имеющийся:

 

MPI_Comm tempComm;

MPI_Comm_dup(MPI_COMM_WORLD, &tempComm);

/*... передаем данные через tempComm... */

MPI_Comm_free(&tempComm);

 

Новая группа при этом не создается - набор задач остается прежним. Новый коммуникатор наследует все свойства копируемого.

Расщепление. Соответствующая коммуникатору группа расщепляется на непересекающиеся подгруппы, для каждой из которых заводится свой коммуникатор.

 

MPI_Comm_split(

existingComm, /* существующий описатель, например MPI_COMM_WORLD */

indexOfNewSubComm, /* номер подгруппы, куда надо поместить ветвь */

rankInNewSubComm, /* желательный номер в новой подгруппе */

&newSubComm); /* описатель области связи новой подгруппы */

 

Эта функция имеет одинаковый первый параметр во всех ветвях, но разные второй и третий - и в зависимости от них разные ветви определяются в разные подгруппы; возвращаемый в четвертом параметре описатель будет принимать в разных ветвях разные значения (всего столько разных значений, сколько создано подгрупп). Если indexOfNewSubComm равен MPI_UNDEFINED, то в newSubComm вернется MPI_COMM_NULL, то есть ветвь не будет включена ни в какую из созданных групп.

Создание через группы. В предыдущих двух случаях коммуникатор создается от существующего коммуникатора напрямую, без явного создания группы: группа либо та же самая, либо создается автоматически. Самый же общий способ таков:

 

1. функцией MPI_Comm_group определяется группа, на которую указывает соответствующий коммуникатор;

2. на базе существующих групп функциями семейства MPI_Group_xxx создаются новые группы с нужным набором ветвей;

3. для итоговой группы функцией MPI_Comm_create создается коммуникатор; не забудьте, что она должна быть вызвана во ВСЕХ ветвях-абонентах коммуникатора, передаваемого первым параметром;

4. все описатели созданных групп очищаются вызовами функции MPI_Group_free.

 

Такой механизм позволяет, в частности, не только расщеплять группы подобно MPI_Comm_split, но и объединять их. Всего в MPI определено 7 разных функций конструирования групп.