3. Обе ЭВМ решают параллельно одну и ту же задачу, но результаты выдает только основная ЭВМ, а в случае выхода ее из строя результаты начинает выдавать и резервная ЭВМ. При этом «почтовый ящик» используется для взаимного контроля. Если в комплексе работают три ЭВМ, можно применить систему голосо-вания, когда окончательный результат выдается при его совпадении не менее, чем у двух ЭВМ. При любой организации работы в режиме резервирования в косвенно-связанных ММВК переключение ЭВМ выполняется либо по командам оператора, либо с помощью специальных дополнительных устройств, отслеживающих прохождение процесса и вырабатывающих специальные управляющие сигналы. Быстрый переход при этом возможен только тогда, когда комплексом выполняется ограниченное число задач, а это ведет к низкой эффективности использования оборудования.
Следующий вид связи обеспечивает большую гибкость ММВК. В них могут использоваться сразу три вида связей:
- через общее оперативное запоминающее устройство (ООЗУ);
- связь процессор – процессор с помощью адаптера межпроцессорной связи, иначе прямое управление;
- связь через адаптер канал – канал (АКК).
Связь через общую оперативную память также как и у косвенно-связанных комплексов носит информационный характер, хотя и является более сильной, чем через общую внешнюю память. Обмен информацией через ООЗУ осуществляется также по прин-
ципу «почтового ящика». Однако, так как процессоры имеют к ней прямой доступ, все процессы протекают с существенно большей скоростью, а промежуток в выдаче результатов при переходе с одной машины на другую сокращается до минимума.
Неприятным моментом работы комплекса через ООЗУ может оказаться отказ последнего, что приведет к отказу всей системы. Для исключения таких случаев ООЗУ строят по модульному принципу с резервированием информации. Это, естественно ведет к усложнению организации вычислительного процесса и к усложнению операционной системы. Приходится считаться с нецелесообразностью передачи значительных объемов информации между процессорами, так как это практически парализует работу последних. Разрешение этой проблемы нашли в организации связи между машинами через адаптер канал-канал, связывающий каналы машин. Адаптер обычно подключают к селекторным каналам ЭВМ, что обеспечивает достаточно быстрый обмен информацией большими массивами. По скорости эта связь сравнима со связью через общую оперативную память, а по объему – передаче больших объемов информации через общие внешние запоминающие устройства.
Прежде, чем рассмотреть многомашинный комплекс с различными видами связей, отвлечемся ненадолго для того, чтобы хоть бегло ознакомиться с принципом многомодульного построения памяти. Содержание принципа заключается в том, что основная оперативная память строится из набора физически раздельных частей – модулей, снабженных собственными буферными регистрами адреса (ABR) и данных (DBR), обеспечивающих одновремен-ный доступ к более, чем одному модулю. Поскольку модули адресуемы, важно знать, как между ними распределены адреса. Существует два метода распределения адресов между модулями. По первому методу адресации старшая часть адреса определяет «номер» модуля, а младшая часть – положение слова в модуле. Данные в модуле расположены в виде непрерывной последовательности n-го количества слов. На рисунке 3.4 представлен пример такой структуры. При этом различные устройства могут обращаться к различным модулям.
Слова данных можно расположить не последовательно в одном модуле, а последовательно по номерам модулей. В этом случае меняется способ адресации. Он назван чередованием адресов памяти. Младшие k бит адреса выбирают модуль, а старшие m бит адресуют слово данного модуля. Устройства, способные автоматически генерировать последовательные адреса, могут одновременно активизировать несколько модулей памяти сразу. Благодаря такой организации ускоряется доступ к блоку данных и эффективнее используется вся система памяти. Чередование адресов требует обязательного количества модулей памяти равное 
, иначе в адресном пространстве могутвозникать пробелы.
 |
Вернемся к рассмотрению архитектуры многомашинных комплексов. На рисунке 3.5 представлено изображение комплекса со всеми видами связи. Для простоты рассматривается двухмашинный комплекс. Связь между процессорами через канал прямого управления позволяет одному процессору управлять работой другого через механизм прерываний, улучшает динамику перехода от основной ЭВМ к резервной и осуществляет полный взаимный контроль.
При этом виде связи, адаптер межпроцессорной связи тем или иным способом подключается к процессорам через их системные шины. Загрузка резервной ЭВМ собственными задачами обеспечивает высокую надежность при высокой производительности многомашинных комплексов. При этом, как правило, используется не один вид связи, а сразу несколько, в том числе и косвенная связь. Вычислительные комплексы с сателлитными ЭВМпо видам связи, в принципе, ничем не отличаются от обычных многомашинных комплексов.
Правда, чаще используют связь между машинами через адаптер канал-канал. Вообще, для этого вида комплексов характерен не вид связи, а способ взаимодействия машин. Особенностью является различие ЭВМ по своим характеристикам, например, по производительности, соподчиненность машин и различие функций, выполняемых каждой ЭВМ. Сателлитной ЭВМ поручают выполнение обмена информацией между основной ЭВМ и внешними запоминающими устройствами или связи удаленных абонентов с основной ЭВМ. Она может производить предварительную сортировку информации, преобразовывать ее в форму, удобную для обработки основной ЭВМ или к виду, удобному для пользователя (например, строить графики) и др. Таким образом, сателлитная ЭВМ разгружает основную машину от непроизводительной работы.
Вычислительные комплексы могут включать не одну, а несколько сателлитных ЭВМ, где каждая ориентирована на выполнение определенных функций, например, одна осуществляет связь с устройствами ввода-вывода, другая обеспечивает работу с удаленными абонентами, третья обеспечивает файловую систему и т.д. Сателлитные комплексы призваны решать только одну задачу – увеличение производительности, не оказывая заметного влияния на надежность.
3.3 Примеры реализации многомашинных комплексов
3.3.1 Комплексы на базе средних и больших машин
Начиная с 1969 года, содружеством из семи социалистических государств начала реализовываться программа разработки и изготовления единой системы ЭВМ – ЕС ЭВМ. С самого начала предусматривалось создание не только однопроцессорных машин, но и вычислительных комплексов на основе технических и программных средств этих ЭВМ. В рамках этой системы создавались двухмашинные и двухпроцессорные комплексы - из соображений технико-экономической эффективности.
Первым двухмашинным комплексом был комплекс ВК-1010, построенный на базе ЭВМ ЕС-1030. В комплексе были использованы:
- связь прямого управления - канал прямого управления;
- связь адаптер канал-канал (АКК)
- связь на уровне общих внешних запоминающих устройств
(ВЗУ: НМД и НМЛ).
Не было лишь общей оперативной памяти и, естественно, не было этой связи.
Архитектура комплекса (структурная схема) представлена на рисунке 3.6.
Эту систему можно считать типовой для ЕС ЭВМ, последующие двухмашинные комплексы создавались на базе ЕС-1033, ЕС-1035, ЕС-1045, ЕС-1060. Через канал прямого управления к комплексу подключаются пульт управления и блок состояния вычислительного комплекса, которые вместе образуют устройство управления вычислительным комплексом. Блок состояния включает в себя блок управления и регистры состояния, с помощью которых определяют режим работы ВК. Запись в регистры состояния осуществляется либо оператором с пульта, либо по командам ПРЯМАЯ ЗАПИСЬ. Командой ПРЯМОЕ ЧТЕНИЕ содержимое этих регистров может быть переписано в оперативную память.
Интерфейс прямого управления включает в себя:
- восемь входных и восемь выходных линий данных;
- четыре линии синхронизации;
- две линии внешних сигналов;
- линии записи и чтения.
С пульта управления с помощью блока состояния можно переключиться в:
- требуемый режим работы;
- начальную загрузку программ;
- внешнее прерывание;
- включение и выключение питания.
Пульт имеет индикацию состояний ЭВМ и сигнализацию об аварийных состояниях.
Адаптеры канал-канал работают независимо, с высокой пропускной способностью, примерно 1 Мб/с, и позволяют обмен большими объемами информации. Они принимают и расшифровывают команды каналов и обеспечивают управление передачей информации между каналами и синхронизацию их работы. Данные через адаптер канал-канал передаются в последовательной структуре. В связи с этим предусмотрены два метода доступа: последовательный с очередями и базисный последовательный. Для каждого имеется свой набор макрокоманд.
Третье средство комплексирования – связь через внешние запоминающие устройства: накопители на магнитных дисках (НМД) и накопители на магнитных лентах (НМЛ).
Комплекс может работать в одном из трех режимов, описанных в разделе 3.2.
Аппаратные средства комплексирования дополняются соответствующими программными средствами. Первые комплексы работали под управлением специализированной операционной системы ОС-К1. Позже, программные средства, обеспечивающие различные режимы комплексирования были встроены в операционную систему ОС ЕС. Для обращения одного процессора к другому по
интерфейсу прямого управления служит макрокоманда ПРЯМАЯ ЗАПИСЬ.
3.3.2 Комплексы на базе мини-ЭВМ
В качестве другого примера комплексирования машин, можно привести комплексы на базе малых или по-другому - мини-ЭВМ. Можно назвать отечественные машины типа СМ-1, СМ-2, СМ-3, СМ-4, СМ 1420, М-600, М-700 и американские типа PDP-11/40. Мини - ЭВМ, как правило, имеют одношинную архитектуру – единственную в системе магистраль, называемую общей шиной, к которой подключаются все устройства машины. Физически общая шина представляет собой набор из N-го количества линий, по которым передается вся информация, необходимая для функционирования. Например, широко распространенная отечественная шина имела 56 линий. Такие машины собирали в комплекс, используя для этого переключатель общей шины, а также мог быть использован адаптер межпроцессорной связи или устройство сопряжения вычислительных машин различной производительности – комплекс с сателлитной ЭВМ (не равнозначной). Пример двухмашинного комплекса на базе мини-ЭВМ приведен на рисунке 3.7.
  |
Переключатель общей шины (ПШ) предназначен для построения многомашинных комплексов различной конфигурации. Это электронное устройство позволяло подключать к одной из общих шин дополнительный участок шины (ДШ), к которому, в свою очередь, можно было подключать любые дополнительные внешние
устройства, кроме процессора. При этом процессор работает с ними как с собственными. Переключатель шины состоит из двух оди-
наковых секций, каждая из которых подключается к общей шине каждой ЭВМ, входящей в комплекс. Секции содержат собственно переключатели и расширители шины. Недостатком ПШ можно считать внесение при обмене данными дополнительной задержки, равной 500нс, снижающей общую производительность комплекса.
Переключатели комплексов позволяют создавать двухмашинные комплексы с общим полем внешней или оперативной памяти. В программном обеспечении мини-ЭВМ сразу предусмотрена возможность создания двухмашинных комплексов. Подключенные к переключателю шины дополнительные устройства можно использовать как резервные для повышения надежности.
Еще одним видом комплексов на базе мини-ЭВМ являются ЭВМ, связанные в комплекс с помощью адаптера межпроцессорной связи (АМС). Функционально адаптер межпроцессорной связи включает в себя несколькоадресуемых регистров для входных и выходных данных, адресов и сигналов управления.
При такой связи любая из ЭВМ может обращаться к процессору и любым устройствам другой машины, как к своим собственным. Для организации связи в памяти машин выделяются зоны адресов, так называемые, окна объемом от 512 слов до 32 кслов. Местоположение окна на адресной шине задается программно перед установлением связи через АМС, при этом может быть использован любой незадействованный блок адресов. Обращения к окну (адресам устройств) реализуется в режиме прямого доступа. АМС, как и переключатель шины, вносит дополнительную задержку при передаче информации порядка 400 нс. Подключается АМС на общие шины соединяемых с его помощью ЭВМ.
Такие комплексы называют функционально симметричными, то есть любая из соединенных ЭВМ может быть как источником, так и приемником данных. На рисунке 3.8 показан трехмашинный комплекс на основе применения АМС.
Так называемые, комплексы с сателитными ЭВМ могут строиться с использованием устройств сопряжения вычислительных машин. Такой комплекс обеспечивается достаточно мощной вычислительной машиной, которая является основным исполнителем задач – ведущей, а машина малой мощности типа микропроцессорной или мини-ЭВМ (одна или несколько) выполняют вспомогательную роль (задачу). Этот класс комплексов мы уже раньше рассматривали. Устройство сопряжения в таком случае должно иметь, как минимум, два интерфейса. Один для сопряжения с ведущеймашиной и второй для сопряжения с сателлитной ЭВМ. Со стороны ведущей машины оно подключается к одному из каналов – селекторному или мультиплексному, а со стороны сателлитной машины к общей шине и реагирует на команды как обычное периферийное устройство, используя их для установления связи и синхронизации работы. Устройство сопряжения включает в себя интерфейсный блок и устройство управления. Интерфейсная часть устройства сопряжения имеет несколько адресуемых регистров: команд и состояния, адреса и счетчика данных, с помощью кото-рых и осуществляется взаимодействие с мини-ЭВМ. Информация в регистре состояния определяет режим работы и отражает состояние устройства сопряжения. Программы, поддерживающие взаи-модействие, входят в состав операционной системы мини-ЭВМ. На рисунке 3.9 схематично проиллюстрирован способ подключения устройства сопряжения.
3.4 Многопроцессорные комплексы
Название раздела «говорит само за себя». Сразу подразумевается некая совокупность процессоров, каким-то образом связанных между собой и решающих задачи пользователей. Каким же образом можно реализовать эту идею на практике? Объяснением этого вопроса мы и займемся. Прежде всего, отметим, что совокупность процессоров имеет общую память, общие периферийные устройства и работает под управлением единой операционной системы (ОС), осуществляющей общее управление техническими и программными средствами комплекса. При этом возможны варианты, когда каждый процессор может иметь свою оперативную память и периферийные устройства, доступные только ему.
На рисунке 1.3 показана одна из возможных многочисленных архитектур многопроцессорного вычислительного комплекса (МПВК), содержащая три процессора, оперативную память из трех модулей, доступных любому из трех процессоров, устройства ввода-вывода с подключенными к ним периферийными устройствами. Даже из этого рисунка можно понять, насколько сложна его топология. Если учесть, что аппаратные средства должны обеспечить работу с переменными логическими адресами оперативной памяти (ОЗУ), периферийных устройств и каналов ввода-вывода, защиту памяти от взаимного влияния программ и возможность управления одним процессором других, сложность аппаратной реализации становится очевидной.
Непростые задачи решаются и при разработке ОС, являющейся основным средством организации всех процессов обработки информации в комплексе. Кроме функций, выполняемых ОС при мультипрограммной обработке, необходимо организовать планирование задач и распределение их между процессорами, организацию очередей задач или частей задач, распределение ресурсов и многое другое. Учесть надо и то, что в процессе работы комплекса возможно возникновение многочисленных конфликтных ситуаций из-за ресурсов, которые должны обрабатываться ОС. Все перечисленные и ряд других факторов, связанных с обеспечением высокой надежности работы комплекса, значительно усложняет операционную систему.
Несмотря на отмеченные сложности аппаратной, и программной реализации, многопроцессорные комплексы имеют и свои преимущества, среди которых отмечают следующие:
- возможность реконфигурации, высокие показатели надежности (коэффициент готовности) за счет резервирования и возможности реконфигурации;
- высокую производительность за счет организации параллельной обработки данных и более полного использования оборудования.
Различают три типа структурной организации многопроцессорных вычислительных комплексов:
- с общей шиной;
- с перекрестной коммутацией;
- с многовходовыми ОЗУ.
 |
Комплексы с общей шиной мы с вами уже неоднократно рассматривали. Поэтому нам предстоит рассмотреть специфику ком-плексов, отличающихся наличием нескольких процессоров, как это представлено на рисунке 3.10.
Чем интересна такая организация комплекса? Все устройства комплекса соединены одной магистралью – шиной. Поэтому возможно единовременное взаимодействие только между двумя устройствами. При этом не исключается возможность возникновения конфликтных ситуаций, когда появляется потребность в обмене информацией более чем у двух устройств. Конечно, конфликты можно разрешить с помощью системы приоритетов и организации очередей. Функции арбитра в таком случае может выполнять либо сам процессор, либо специальное устройство, отслеживающее все обращения к общей шине и распределяющее обмен информацией во времени между всеми устройствами.
Представленная архитектура обладает несомненными достоинствами в виде простоты, возможности реконфигурации, путем добавления или исключения отдельных устройств, низкой стоимостью.
Не лишены они и недостатков. Прежде всего, невысокое быстродействие из-за возможности взаимодействия только двух устройств. По этой причине число процессоров в таких комплексах не превосходит двух – четырех. При этом нет возможности занятия шины одной парой устройств на длительное время, так как это может привести к простоям других устройств комплекса. Быстро-
действие можно повысить, используя шину с более высокой пропускной способностью, но это приведет к удорожанию комплекса. В качестве другого недостатка можно указать низкую надежность комплексов, в связи с единственным общим устройством – шиной. Как известно, в составе шины имеются многочисленные соединительные устройства, отказ одного из которых приведет к отказу всего устройства. Этот недостаток можно компенсировать применением резервной шины, показанной на рисунке 3.8 пунктирными линиями. Хоть это и усложнит Ошибка! Не указано имя файла.комплекс, но зато повысит надежность.
Если же резервную шину использовать параллельно с основной, то можно повысить не только надежность, но и увеличить производительность комплекса, обеспечив возможность взаимодействия одновременно уже для двух пар устройств.
Возможность конфликтных ситуаций из-за связей в комплексах с общей шиной, устранена в архитектуре комплексов с перекрестной коммутацией. Здесь конфликты возможны только из-за ресурсов. Способ коммутации связей между любым количеством пар устройств на неограниченный по времени срок, позволяет передавать любые массивы информации с высокой скоростью, что обеспечивает высокую производительность таких архитектур.
К достоинствам структур с перекрестной коммутацией можно отнести унифицированность способов подключения для всех уст-ройств, а также разрешение всех конфликтов в коммутационной матрице. На рисунке 3.11 представлен один из возможных вариантов структуры комплекса с перекрестной коммутацией.
Возможность одновременной связи любых пар устройств на длительное время не мешает работе и одновременно позволяет передавать любые массивы информации с высокой скоростью, что и позволяет добиваться высокой производительности. Положительным является и тот факт, что нарушение какой-то связи не приводит к отказу работы комплекса, а только к отключению отказавшего участка связи и связанного с ним устройства. Это характеризует высокую надежность таких структур.
К недостаткам комплексов относят сложность схемы и изготовления коммутационных матриц для большого числа подключаемых устройств, а соответственно и входов матрицы. Кроме того, схемы матриц строятся из быстродействующих электронных компонентов, что делает их дорогостоящими. Если число входов ограниченно, то при наращивании комплекса придется заменить матрицу. Прибегают к варианту из различных по производительности матриц. Быстродействующую матрицу используют для центральных устройств: процессоры (П), оперативная память (ОЗУ), каналы ввода-вывода (КВВ). Работающую медленнее матрицу - для коммутации центральной части машины с периферийными устройствами (ПУ).
Технически интересной является архитектура многопроцессорных вычислительных комплексов с многовходовыми оперативными запоминающими устройствами (ОЗУ). На рисунке 3.12 схе-матически представлена такая структура.
Особенностью показанной структуры является выделенная индивидуально каждому процессору оперативная память (см. ОЗУ 1, ОЗУ 5). Во-первых, она позволяетхранить в ней информацию, необходимую только данному процессору: системные таблицы и данные, может быть копии некоторых модулей операционной системы и др. Во-вторых, такая организация позволяет избежать части возможных конфликтов в ОЗУ. И, в-третьих, уменьшает вероятность искажения информации в памяти другими программами и процессорами. В таких структурах каждый модуль ОЗУ имеет число входов, равное числу устройств с ним соединяемых, упрощая схему коммутации между
устройствами. Неприятным фактором в структуре является сложность перезаписи информации отказавшего процессора из его раздела памяти в раздел памяти действующего процессора. Это можно осуществить только через канал ввода-вывода и внешнее запоминающее устройство типа накопителя на магнитном диске, что естественно потребует много времени.
