Методы понижения дисперсии

Планирование модельных экспериментов

Цели планирования экспериментов

В качестве вступления хотелось бы привести небольшой пример, призванный смягчить некоторую сухость, появившуюся в изложении. Предположим, три юных натуралиста решили изучить повадки некой птички, обитающей в средней полосе (какого-нибудь зяблика). Первый стал наблюдать за птичкой по утрам, второй — когда придется, а третий вообще отложил это занятие до осени. Как вы думаете, кто из них получит наиболее полное и достоверное жизнеописание зяблика? Если вы знакомы с орнитологией (наукой о птицах) на уровне автора, вряд ли вам удастся правильно ответить на этот вопрос. Почему? Потому, что мы слишком мало знаем о птицах вообще и о зябликах в частности. Может быть, эта птица отличается удивительным постоянством и независимо от сезона и времени суток занимается одним и тем же (например, высиживанием птенцов). А может, взбалмошней ее в лесу никого нет: сегодня она в средней полосе, назавтра улетела в теплые края, а послезавтра оказалась еще где-нибудь. И каждый день придумывает себе новое занятие. Так в какое время за ней нужно наблюдать и насколько долго, чтобы получить реальную картину? На подобные вопросы приходится отвечать не только юным натуралистам, но и тому, кто занимается имитационным моделированием.

• Во-первых, исследователь и на этапе планирования эксперимента должен помнить, к какому классу относится моделируемая система (статическая или динамическая, детерминированная или стохастическая и т. д.).
• Во-вторых, он должен определить, какой режим работы системы его интересует: стационарный (установившийся) или нестационарный.
• В-третьих, необходимо знать, в течение какого промежутка времени следует наблюдать за поведением (функционированием) системы.
• И, наконец, в-четвертых, хорошо было бы знать, какой объем испытаний (то есть повторных экспериментов) сможет обеспечить требуемую точность оценок (в статистическом смысле) исследуемых характеристик системы.

Разумеется, можно пойти по такому пути: не особенно задумываясь над перечисленными вопросами, взять от модели все «по максимуму» — исследовать работу системы во всех режимах, для всех возможных сочетаний внешних и внутренних параметров и повторять каждый эксперимент по сотне раз. Однако польза от такого моделирования невелика, поскольку полученные данные будет очень сложно обработать и проанализировать, а еще труднее принять на их основе какое-либо конкретное решение. Да и затраты времени на моделирование, даже с учетом быстродействия современных компьютеров, окажутся чрезмерными. Таким образом, планирование модельных экспериментов преследует две основные цели:

• О сокращение общего объема испытаний при соблюдении требований к достоверности и точности их результатов;
• О повышение информативности каждого из экспериментов в отдельности. Поиск плана эксперимента производится в так называемом факторном пространстве.

Факторное пространство — это множество внешних и внутренних параметров модели, значения которых исследователь может контролировать в ходе подготовки и проведения модельного эксперимента.
Во многих случаях факторы могут носить не только количественный, но и качественный характер. Например, при оценке пользовательского интерфейса такими факторами могут быть цветовая палитра, степень подготовленности пользователей и т. д.

Поэтому значения факторов обычно называют уровнями. Если при проведении эксперимента исследователь может изменять уровни факторов, эксперимент называется активным, в противном случае — пассивным.

Введем еще несколько терминов, используемых в теории планирования эксперимента. Каждый из факторов имеет верхний и нижний уровни, расположенные симметрично относительно некоторого нулевого уровня. Точка в факторном пространстве, соответствующая нулевым уровням всех факторов, называется центром плана. Интервалом варьирования фактора называется некоторое число J, прибавление которого к нулевому уровню дает верхний уровень, а вычитание — нижний. Как правило, план эксперимента строится относительно одного (основного) выходного скалярного параметра Y, который называется наблюдаемой переменной. Если моделирование используется как инструмент принятия решения, то в роли наблюдаемой переменной выступает показатель эффективности.

При этом предполагается, что значение наблюдаемой переменной, полученное в ходе эксперимента, складывается из двух составляющих: у = f(x) + е(х)

Первая составляющая f (х) — функция отклика (неслучайная функция факторов), вторая составляющая е (х) — ошибка эксперимента (случайная величина). В обоих случаях х — точка в факторном пространстве (определенное сочетание уровней факторов). Очевидно, что у является случайной переменной, так как зависит от случайной величины е (х). Дисперсия Dy наблюдаемой переменной, которая характеризует точность измерений, равна дисперсии ошибки опыта: Dy=De.

Dу называют дисперсией воспроизводимости эксперимента. Она характеризует качество эксперимента. Эксперимент называется идеальным при Dy=0.

Существует два основных варианта постановки задачи планирования имитационного эксперимента:

• из всех допустимых требуется выбрать такой план, который позволил бы получить наиболее достоверное значение функции отклика f (х) при фиксированном числе опытов;
• из всех допустимых требуется выбрать такой план, при котором статистическая оценка функции отклика может быть получена с заданной точностью при минимальном объеме испытаний.

Решение задачи планирования в первой постановке называется стратегическим планированием эксперимента, во второй — тактическим планированием.

Стратегическое планирование имитационного эксперимента

Итак, цель методов стратегического планирования имитационных экспериментов — Получение максимального объема информации об исследуемой системе в каждом эксперименте (наблюдении). Другими словами, стратегическое планирование позволяет ответить на вопрос, при каком сочетании уровней внешних и внутренних факторов может быть получена наиболее полная и достоверная информация о поведении системы (или птички зяблика).
При стратегическом планировании эксперимента должны быть решены две основные задачи:

• идентификация факторов;
• выбор уровней факторов.

Под идентификацией факторов понимается их ранжирование по степени влияния назначение наблюдаемой переменной (показателя эффективности). По итогам идентификации целесообразно разделить все факторы на две группы — первичные и вторичные. Первичные — это те факторы, в исследовании влияния которых экспериментатор заинтересован непосредственно. Вторичные — это факторы, которые не являются предметом исследования, но влиянием которых нельзя пренебречь.
Выбор уровней факторов производится с учетом двух противоречивых требований:

• О уровни фактора должны перекрывать (заполнять) весь возможный диапазон его изменения;
• О общее количество уровней по всем факторам не должно приводить к чрезмерному объему моделирования.

Отыскание компромиссного решения, удовлетворяющего этим требованиям, и является задачей стратегического планирования эксперимента.

Способы построения стратегического плана

Эксперимент, в котором реализуются все возможные сочетания уровней факторов, называется полным факторным экспериментом (ПФЭ).

Общее число различных комбинаций уровней в ПФЭ для k факторов можно вычислить так: N = l1* l2* l3*...* lk Здесь li — число уровней i-го фактора. Если число уровней для всех факторов одинаково, то N=Lk (L — число уровней). Недостаток ПФЭ — большие временные затраты на подготовку и проведение. Например, если в модели отражены 3 фактора, влияющие назначение выбранного показателя эффективности, каждый из которых имеет 4 возможных уровня (значения), то план проведения ПФЭ будет включать 64 эксперимента (N=43). Если при этом каждый из них длится хотя бы одну минуту (с учетом времени на изменение значений факторов), то на однократную реализацию ПФЭ потребуется более часа.

Поэтому использование ПФЭ целесообразно только в том случае, если в ходе имитационного эксперимента исследуется взаимное влияние всех факторов, фигурирующих в модели.
если такие взаимодействия считают отсутствующими или их эффектом пренебрегают, проводят частичный факторный эксперимент (ЧФЭ).

Известны и применяются на практике различные варианты построения планов ЧФЭ. Мы рассмотрим только некоторые из них.

Рандомизированный план — предполагает выбор сочетания уровней для каждого прогона случайным образом. При использовании этого метода отправной точкой в формировании плана является число экспериментов, которые считает возможным (или необходимым) провести исследователь.

Латинский план (или «латинский квадрат») — используется в том случае, когда проводится эксперимент с одним первичным фактором и несколькими вторичными. Суть такого планирования состоит в следующем. Если первичный фактор А имеет 1 уровней, то для каждого вторичного фактора также выбирается 1 уровней. Выбор комбинации уровней факторов выполняется на основе специальной процедуры, которую мы рассмотрим на примере.
Пусть в эксперименте используется первичный фактор А и два вторичных фактора — В и С, число уровней факторов l равно 4. Соответствующий план можно представить в виде квадратной матрицы размером lxl (4x4) относительно уровней фактора А. При этом матрица строится таким образом, чтобы в каждой строке и в каждом столбце данный уровень фактора А встречался только один раз:

В результате имеем план, требующий 4x4=16 прогонов, в отличие от ПФЭ, для которого нужно 43=64 прогона.

Эксперимент с изменением факторов по одному. Суть его состоит в том, что один из факторов «пробегает» все l уровней, а остальные n-1 факторов поддерживаются постоянными. Такой план обеспечивает исследование эффектов каждого фактора в отдельности. Он требует всего N=l1+l2 +... +ln прогонов (li —число уровней i-го фактора).
Для рассмотренного выше примера (3 фактора, имеющие по 4 уровня) N=4+4+4=12. Еще раз подчеркнем, что такой план применим (как и любой ЧФЭ) только при отсутствии взаимодействия между факторами.
Дробный факторный эксперимент. Каждый фактор имеет два уровня — нижний и верхний, поэтому общее число вариантов эксперимента N=2k, где k — число факторов. Матрицы планов для k=2 и k=3 приведены ниже.

Матрица планов для k=2:

Планы, построенные по такому принципу, обладают определенными свойствами (симметричности, нормированности, ортогональности и ротабельности), обеспечивающими повышение качества проводимых экспериментов.

Тактическое планирование эксперимента

Совокупность методов установления необходимого объема испытаний относят к тактическому планированию экспериментов. Поскольку точность оценок наблюдаемой переменной характеризуется ее дисперсией, то основу тактического планирования эксперимента составляют так называемые методы понижения дисперсии. В связи с этим для восприятия последующего материала читателю потребуются некоторые знания математической статистики.

Формирование простой случайной выборки

Поскольку имитационное моделирование представляет собой статистический эксперимент, то при его проведении необходимо не только получить достоверный результат, но и обеспечить его «измерение» с заданной точностью. Различие понятий «достоверный результат» и «точный результат» можно пояснить с помощью рис. 2.16.
На рисунке использованы следующие обозначения:

• у, уо — истинное и ошибочное значения наблюдаемой переменной у;
• b, bo — доверительные интервалы измерения величин у и уо.

Рис. 2.16. Различие понятий «достоверный» и «точный» результат

В общем случае объем испытаний (величина выборки), необходимый для получения оценок наблюдаемой переменной с заданной точностью, зависит от следующих факторов:

• вида распределения наблюдаемой переменной у (напомним, при статистическом эксперименте она является случайной величиной);
• коррелированности между собой элементов выборки;
• наличия и длительности переходного режима функционирования моделируемой системы.

Если исследователь не обладает перечисленной информацией, то у него имеется единственный способ повышения точности оценок истинного значения наблюдаемой переменной — многократный прогон модели для каждого сочетания уровней факторов, выбранного на этапе стратегического планирования эксперимента. Такой подход получил название «формирование простой случайной выборки» (сокращенно — ПСВ). Другими словами, при использовании ПСВ каждый «пункт» стратегического плана просто выполняется повторно определенное число раз. При этом общее число прогонов модели, необходимое для достижения цели моделирования, равно произведению NC*NT (Nc — число сочетаний уровней факторов по стратегическому плану; nt - число прогонов модели для каждого сочетания, вычисленное при тактическом планировании).

Например, если для полного факторного эксперимента Nc=64, а для обеспечения требуемой точности оценок NT должно быть равно 20, то общее число прогонов модели — 1280. Требуемое время для проведения всех испытаний (по минуте на каждое) — более 20 часов. То есть «модельер» должен трудиться почти сутки без сна и отдыха. Такой режим работы может вывести из строя не только человека, но и компьютер. Поэтому даже при использовании ПСВ до начала испытаний необходимо определить тот минимальный объем выборки, который обеспечит требуемую точность результатов.
Если случайные значения наблюдаемой переменной не коррелированны и их распределение не изменяется от прогона к прогону, то выборочное среднее можно считать нормально распределенным. В этом случае число прогонов Nт, необходимое для того, чтобы истинное среднее наблюдаемой переменной лежало в интервале у±b с вероятностью (1-a), определяется следующим образом:

Здесь Z — значение нормированного нормального распределения, которое определяется по справочной таблице при заданном уровне значимости а/2; Dy — дисперсия; b — доверительный интервал.

Если требуемое значение дисперсии Dy до начала эксперимента неизвестно, целесообразно выполнить пробную серию из L прогонов и вычислить на ее основе выборочную дисперсию, значение которой подставляют в выражение и получают предварительную оценку числа прогонов NT. Затем выполняют оставшиеся NT - L прогонов, периодически уточняя оценку и число прогонов Nт.

Методы понижения дисперсии

Основной недостаток методов планирования, основанных на использовании простой случайной выборки, — медленная сходимость выборочных средних к истинным средним с ростом объема выборки NT (пропорционально значению квадратного корня из Nт). Это приводит к необходимости использования методов уменьшения ошибок, не требующих увеличения NT. Такие методы называются методами понижения дисперсии и делятся на три группы:

• активные (предусматривают формирование выборки специальным образом);
• пассивные (применяются после того, как выборка уже сформирована);
• косвенные (в которых для получения оценок наблюдаемой переменной используются значения некоторых вспомогательных величин).

Активных методов понижения дисперсии известно достаточно много. Выбор конкретного метода определяется, как правило, спецификой модели и целями эксперимента. Рассмотрим те из них, которые направлены на снижение влияния переходного периода. Выбор объясняется тем, что наличие и длительность переходного режима оказывают существенное влияние на качество результатов моделирования (в смысле точности). Вместе с тем, большинство ИМ используется для изучения функционирования системы в установившемся режиме.
Существует три основных метода уменьшения ошибок, обусловленных наличием переходного периода:

• значительное увеличение длительности прогона;
• исключение из рассмотрения переходного периода;
• инициализация модели при некоторых специально выбранных начальных условиях.

На практике снижения влияния переходного периода обычно добиваются одним из следующих способов:

• методом повторения;
• методом подинтервалов;
• методом циклов.

Метод повторения. При использовании этого метода каждое наблюдение получается при помощи отдельного прогона модели, причем все прогоны начинаются при одних и тех же начальных условиях, но используются различные последовательности случайных чисел.

Преимуществом метода является статистическая независимость получаемых наблюдений. Недостаток состоит в том, что наблюдения могут оказаться сильно смещенными под влиянием начальных условий.
Метод подинтервалов. Данный метод основан на разбиении каждого прогона модели на равные промежутки времени. Начало каждого интервала совпадает с началом очередного этапа наблюдений (на рис. 2.17 в качестве наблюдаемой переменной используется длина очереди заявок — Q).

Рис. 2.17. Пример использования метода подинтервалов

Достоинство метода состоит в том, что влияние переходных условий со временем уменьшается, и наблюдения точнее отражают поведение системы в стационарном режиме. Недостаток — значения наблюдаемых переменных, полученные в начале очередного интервала, зависят от конечных условий предыдущего интервала (то есть между интервалами существует автокорреляция).
Метод циклов. При использовании метода циклов влияние автокорреляции уменьшается за счет выбора интервалов таким образом, чтобы в их начальных точках условия были одинаковыми. Например, в качестве таких условий можно рассматривать длину очереди заявок на обслуживание. В этом случае удобно выбрать начало очередного интервала совпадающим с моментом, когда длина очереди становится равной нулю. Недостатком метода является меньшее по сравнению с методом подинтервалов число получаемых наблюдений (рис. 2.18).

Рис. 2.18. Пример использования метода циклов

Метод стратифицированной выборки. Данный метод относится к группе пассивных методов понижения дисперсии. Пассивные методы влияют на подготовку и проведение эксперимента, но реализуются на этапе обработки и анализа результатов моделирования. Суть метода стратифицированной выборки состоит в следующем. Выборка разделяется на части, называемые слоями (стратами). При этом необходимо, чтобы значения элементов выборки как можно меньше различались внутри одного слоя и как можно больше — между различными слоями. Внутри каждого слоя производят случайный отбор элементов и вычисляют среднее значение слоя уi. Полученные оценки используют для вычисления МОЖ по выборке в целом:

Здесь N, Ni — объем всей выборки и i-го слоя соответственно; k — число слоев. Если считать, что оценки уi независимы, то дисперсия по выборке в целом равна:

Здесь Dyi — дисперсия для i-го слоя.
При удачном выборе слоев величины Dyi будут малы, а значит, и выборочная дисперсия Dy будет предпочтительнее, чем для оценки, полученной методами простой случайной выборки.

Косвенные методы понижения дисперсии основаны на том, что зачастую некоторые из выходных характеристик модели получить (вычислить) легче, чем другие. Их использование предполагает не только весьма глубокое знание сущности процессов, протекающих в системе, но и наличие формального описания взаимной зависимости параметров модели. Основные методы анализа такой зависимости рассматриваются в следующем, заключительном, разделе этого урока.