План
1.Основная идея классификации по одному признаку с использованием эвристического алгоритма. Обучающий эксперимент.
2.Вероятности принятия ошибочных и верных решений при классификации по одному признаку. (эвристический алгоритм прогнозирования)
3.Нахождение порогового значения признака при классификации по одному признаку (эвристический алгоритм прогнозирования)
1.Основная идея классификации по одному признаку с использованием эвристического алгоритма. Обучающий эксперимент.
При оптимальной классификации по одному признаку для решения задачи индивидуального прогнозирования нужно знать двумерную плотность распределения признака и прогнозируемого параметра 
. В оптимальном методе аналитически находится такое пороговое значение признака x – классификации при котором величина средних потерь минимальна. Однако, необходимые при этом аналитические преобразования даже при одном признаке и нормальном совместном законе достаточно сложны. Если же плотность заранее неизвестна то необходим так же статистический эксперимент для нахождения оценки 
. Решение задачи классификации по одному признаку можно осуществить по данным обучающего эксперимента не прибегая к сложным аналитическим преобразованиям и статистическому эксперименту по определению оценки .Если она неизвестна, в этом случае непосредственно по данным обучающего эксперимента подбирается такое пороговое значение признака x – классификации при котором минимальна в соответствии с выбранным критерием требуемая вероятность ошибочных решений. Обычно в качестве такого критерия для подбора x – классификации берется минимум риска потребителя 
.
– вероятность
– изделие класса К1 – годное
– изделие класса К2 – дефектное
Рассмотрим такой подход на примере прогнозирования стабильности резисторов. Зависимость величины сопротивления резистора от времени представляется в виде линейной модели:
Где 
– сопротивление резистора в начальным момент времени 
. и 
неодинаковы у всех резисторов данного типа, то есть и случайные величины с некоторыми плотностями распределения. Отклонение во времени величины сопротивления резистора, то есть нестабильность является следствием неустойчивости его структуры. О степени неустойчивости структуры резистора в значительной мере можно судить по величине фликкерного шума. По – этому в качестве признака характеризующего стабильность резистора можно взять напряжения шума 
.
Прогнозируемым параметром есть величина коэффициента старения . Пусть для обучающего эксперимента отобрано случайным образом n резисторов. У каждого резистора перед испытанием измерены величины и , затем резисторы ставятся на испытания в одинаковом для всех режиме на заданное время прогнозирования, например, 
По окончанию испытаний для каждого резистора находится величина коэффициента старения:
Для того что бы определить номер класса к которому фактически принадлежит каждый из n экземпляров необходимо указать граничное значение прогнозируемого параметра 
. Оно задается исходя из допустимого отклонения сопротивления резистора за время 
, тогда резисторы с 
будут отнесены к годным (классу К1), а резисторы с 
– дефектным (классу К2).
Массив исходных для прогнозирования данных полученных в результате обучающего эксперимента будет иметь вид:
S - № класса = 1,2 …
Случайные величины напряжения шума и коэффициент старения коррелированы и по данным обучающего эксперимента можно построить поле корреляции в виде показанном на рис. 1.Представленное поле корреляции отображает естественный обусловленный физическими закономерностями характер зависимости коэффициента старения от уровня фликкерного шума.
Рисунок 1
Существенная неоднородность структуры резистивного материала приводит к интенсификации процессов старения и значит к увеличению коэффициента старения. На Рис. 1 
одно из возможных значений величины порога. Измеряя длину для нового резистора и сравнивая его с . будем принимать решение об отнесении этого резистора к
классу К1 если 
классу К2 если 
2.Вероятности принятия ошибочных и верных решений при классификации по одному признаку. (эвристический алгоритм прогнозирования)
– число верных решений об отнесении экземпляра принадлежащего фактически к классу К1 к этому ж классу, оно равно числу экземпляров у которых по данным обучающего эксперимента и . Это годные экземпляры и по прогнозу они также будут отнесены к годным (классу К1).
– это число решений у которых 
и . Это дефектные экземпляры и по прогнозу они будут отнесены к дефектным.
– это число ошибочных решений заключающихся в отнесении экземпляров класса К2 в К1.Это количество экземпляров и
Это фактически дефектные экземпляры класс К2 которые по прогнозу будут отнесены к годным (класс К1)
– число ошибочных решений … при 
и 
.
– число экземпляров фактически принадлежащих к классу К1 и К2 соответственно, при этом их сумма равна числу экземпляров используемых в обучающем эксперименте 
.
и 
– общее число решений принимаемых об отнесении экземпляров соответственно к классу К1 или К2 по прогнозу при этом 
.
Для введенных характеристик справедливы соотношения:
Справедливость приведенных выше соотношений следует из Рис. 1.Теперь можно определить оценки вероятности ошибочных и верных решений и априорных вероятностей.
Риск потребителя
(1)
Риск изготовителя
(2)
Условные вероятности принятия ошибочных решений
(3)
(4)
Априорные вероятности принадлежности экземпляра к классу К1 (вероятность оказаться годным любого взятого наугад экземпляра):
(5)
и к классу К2 (вероятность оказаться дефектным любого взятого наугад экземпляра):
(6)
Априорные вероятности принятия решения об отнесении экземпляра к классу К1:
(7)
и к классу К2:
(8)
Если качество прогнозирования необходимо оценить каким – либо одним показателем учитывающим одновременно ошибки того и другого вида можно использовать вероятность ошибки: 
(9)
вероятность принятия правильных решений (эффективность распознавания)
(10)
и 
нужно использовать для оценки качества прогнозирования когда потери от переименования К1 в К2 и К2 в К1 одинаковы.
и 
– цена переименования
3.Нахождение порогового значения признака при классификации по одному признаку (эвристический алгоритм прогнозирования)
Значение должно быть выбрано таким образом чтобы вероятности ошибочных решений не превышали допустимого уровня.
Если 
то наилучшим значением будет такое при котором общее количество ошибочных решений того и другого вида минимальна. Однако на практике чаще всего стремятся к минимальному или допустимому риску потребителя (1) так как цены переименования как правило неодинаковы, обычно 
– тогда наилучшим значением будет такое при котором достигается это значение риска потребителя. Величина порога может быть определенна путем расчета нескольких вариантов и выбором такого при котором требования заданные относительно величин или 
выполняются. Если этим требованиям не удается удовлетворить не при каком значении следует попытаться использовать большее число признаков либо найти более информативные признаки. Представляет интерес рассмотреть на примере как изменяются риски и другие вероятности в зависимости от величины порога . Пусть для обучающего эксперимента случайным образом отобрано 20 резисторов (
) В реальных задачах рекомендуется брать 
.Приемлемая величина объема выборки 
определяется степенью разброса признаков и прогнозированного параметра и требованиями к точности оценки ошибки прогнозирования. Результат обучающего эксперимента отображены на поле корреляции признака и прогнозируемого параметра (см. Рис 2)
Рисунок 2А
Значения и какого – либо резистора задают координаты соответствующей точки на поле корреляции, для простоты по оси абсцисс отложены условные единицы 0 – 12, по оси ординат указано некоторое граничное значения коэффициента старения которое устанавливается исходя из конкретных условий применения резистора. Как следует из расположения точек на поле корреляции относительно оценки априорных вероятностей принадлежность резистора к классу К1 и К2, (5) и (6) равны соответственно:
Изменяя величину порога мы будем изменять общее число решений об отнесении резистора к тому или иному классу , и вместе с тем число ошибочных решений 
и 
и число верных решений 
и 
соответственно будут изменяться и все рассмотренные ранее вероятности. На рисунке 2Б представлены сглаженные кривые зависимости этих вероятностей от величины порога и расчетные точки по данным из таблицы 1.
Рисунок 2Б
Расхождение между кривыми и расчетными точками в этом примере обусловлено ограниченностью объема выборки. Рассмотрение этих зависимостей приводит к выводам:
риск изготовителя с увеличением порога уменьшается от 0.7 до 0. Его максимальное значение равно априорной вероятности 
. То есть 
. Риск потребителя с увеличением порога возрастает от 0 до 0.3. Его максимальное значение равно априорной вероятности 
, те есть 
. Чем меньше тем больше риск изготовителя и меньше риск потребителя, но и тем дороже резисторы так как при этом большее их число будет, по результатам прогнозирования, отнесено к классу К2 то есть к дефектным.
Вероятность принятия правильных решений 
с увеличением порога возрастает от значения априорной вероятности 
до некоторого значения определяемого наибольшим количеством верных решений в нашем случае до 0.85, а затем снижается до величины априорной вероятности 
Вероятность ошибочных решений 
с ростом порога уменьшается от 1 до 0 так как при этом уменьшается до 0 число ошибочных решений . Аналогичная вероятность 
увеличивается от 0 до 1 так как при этом число ошибочных решений возрастает от 0 то своего максимального значения в нашем случае до 6. Вероятность отнесения к годным по прогнозу 
с увеличением возрастает от 0 до 1 так как при этом число решений об отнесении экземпляра к классу К1 возрастает от 0 до своего максимального значения, в нашем случае до 20. Своих предельных значений рассматриваемой вероятности достигают как правило при таком минимальном и максимальном значениях порога которое находится вне интервала значений полученных по данным обучающего эксперимента (см. Рис. 2)
Кривые вероятности 
и 
на рисунке на 2А не преведены так как эти вероятности равны соответственно:
; 
Таким образом меняя можно влиять на результат прогнозирования, но при этом нужно учитывать, что все вероятности взаимосвязанные. Если необходимо уменьшить риск потребителя не повышая при этом число резисторов ошибочно отнесенных по прогнозу к дефектным следует совершенствовать процедуру прогнозирования причём наиболее перспективным направлением является отыскание новых и возможно более информативных признаков, либо повысить качество изготовляемых резисторов совершенствуя технологию и качество материалов.
Следует иметь в виду что уменьшение риска потребителя должно сочетаться с экономически приемлемым риском изготовителя и вероятностью отнесения к годному прогнозу 
.
Тема 2: Индивидуальное прогнозирование по признакам с оценкой значения прогнозируемого параметра с использованием теории статистических оценок.
ПЛАН
1. Оптимальная оценка значения прогнозируемого параметра с использованием теории статистических оценок.
2. Условия необходимые для реализации индивидуального прогнозирования по признакам с использованием теории статистических оценок.
3. Оптимальное оценивание прогнозируемого параметра по одному признаку
1) Расмотрим решение задачи индивидуального прогнозирования по признаку с оценкой значения прогнозируемого параметра методами теории статистических оценок, полагая, что многомерная совместная плотность распределения значений признака и прогнозируемого параметра известна, то есть известно ее аналитическое выражение.Пусть начальное состояние изделия оценивается k – признакими каждый из которых случайная величина. Обозначим эту совокупность k -случайных величин:
.
По конкретным значениям признаков: 
- того экземпляра необходимо найти оценку значения прогнозируемого параметра 
, 
– номер экземпляра, * - оценка, к моменту времени 
, который для простоты будем обозначать 
Задачу прогнозирования значения параметра по признакам имеет смысл ставить только в том случае когда каждый из признаков 
и прогнозируемый параметр 
являются зависимыми случайными величинами. Степень их зависимости определяется видом многомерной совместной плотности распределения значений признаков и прогнозируемом параметром :
Который для простоты будем обозначать далее как:
(1)
Если прогнозируемый параметр с каждым из признаков независим, то прогнозирование теряет смысл и эта многомерная плотность распределения вырождается в произведении 
(2)
одномерной плотности значений прогнозируемого параметра 
и совместной плотности распределения признаков.
Прогнозирование должно быть точным. В качестве количестве количественной меры точности естественновзять дисперсию ошибки 
в оценке прогнозируемого параметра.
Где
- оценка параметра 
Тогда критерий оптимальности имеет вид:
(3)
где
- оптимальная оценка параметра .
Интегрируя выражение (1) по переменной y в пределах -∞ до +∞ получим:
(4)
k – мерную плотность совместного распределения признаков.
Тогда условная плотность распределения прогнозируемого параметра при условии, что признаки случайные величины 
примет некоторое значения 
равна:
(5)
Если у какого – либо 
– го экземпляра измерить значение признаков 
и подставить это в выражение (5) получим условную плотность распределения прогнозируемого параметра для этого – го экземпляра, при условии что признаки 
приняли именно эти значения, соответственно 
получаем такую условную плотность:
(6);
Эта плотность есть функция одной переменной (у). Отметим, что дисперсия, вычисленная по плотности (6), будет меньше дисперсии, вычисляемой по плотности 
и различие между ними будет тем существеннее, чем сильнее зависимость между каждой из случайных величин 
и прогнозируемым параметром, а так же чем менее при этом зависимы между собой.
В качестве оценки 
прогнозируемого параметра 
берется наиболее вероятное значение случайной величины - её мода, то есть такое, при котором плотность распределения (6) максимальна. Предположим, что эта плотность имеет одну единственную моду. Такая оценка имеет наименьшую дисперсию ошибки по сравнению со всеми другими возможными оценками (медиана, математическое ожидание). Эта оценка следовательно удовлетворяет критерий оптимальности (3) то есть является оптимальной оценкой прогнозируемого параметра – го экземпляра, обозначим её 
.Таким образом прогнозирование оптимально, когда оценка находится из выражения:
(7)
Оценка полученная из выражения (7) будет иметь в действительности некоторое рассеивание относительно фактического значения прогнозируемого параметра , но это рассеивание будет наименьшим из возможных и следовательно ошибки в прогнозировании при использовании этого метода будут средне минимальными. На рис 1 иллюстрируется эффективность прогнозирования с помощью условной плотности (6) по сравнению с оценкой параметров 
которое представляет безусловную плотность распределения прогнозируемого параметра к моменту времени 
.
Рисунок 1
Как следует из рис 1 
независящая от конкретных значений признаков имеет большую дисперсию, чем 
, а значит и ошибка полученная при использовании оценки параметра по безусловной плотности имеет большую дисперсию.
Индивидуальное прогнозирование по признакам будет тем эффективней, если существенно уменьшить дисперсию ошибки индивидуального прогнозирования по сравнению с дисперсией безусловной плотности ,а это в первую очередь определяется степенью зависимости между прогнозируемым параметром и признаками (Рис 1). Расположения условной плотности (6) относительной безусловной плотности зависит от конкретного набора значений признаков , -го экземпляра и степени коррелированности признаков с прогнозируемым параметром (см. Рис 1) и в общем случае может иметь вид кривой при условии 
), где i – номер признака, j – экземпляра. Если же измеренные значения оказались равными соответствующим модальным значениям 
случайных величин то условная плотность будет располагаться как кривая 
(см. Рис 2)
Дисперсия условной плотности будет тем меньше чем более коррелированы признаки с параметром. Таким образом рассмотренный теоретически строгий подход дает оптимальную оценку прогнозируемому параметру.
2. Условия необходимые для реализации индивидуального прогнозирования по признакам с использованием теории статистических оценок.
Практическое применение рассмотренного метода возможны если проведен специальный эксперимент по сбору и обработке статистических данных о прогнозируемом параметре и признаках в результате которой найдены подходящие аналитические модели условных многомерных плотностей распределения прогнозируемого параметра и признаков, однако на практике специалист сталкивается здесь с массой проблем, по - этому реализовать этот метод можно далеко не всегда. Во первых: для реальных комплектующих элементов устройств и изделий даже при известной совокупности информативных признаков (выявление которых так же представляет весьма трудоемкую задачу) Не всегда известны многомерные условные плотности распределения признаков и прогнозируемого параметра. Во-вторых: получение аналитических моделей этих условных плотностей распределения признаков представляет трудоемкий процесс и может быть поставлена только отдельной самостоятельной задачей для каждого типа изделий и его условий эксплуатации. В – третьих: даже если такие аналитические модели получены, необходимые в этом методе прогнозирования аналитические преобразования достаточно сложны. Задача относительно легко решается, если многомерные условные плотности подчиняются нормальному закону.
3. Оптимальное оценивание прогнозируемого параметра по одному признаку
Рассмотрим пример оптимального оценивания прогнозируемого параметра, когда начальное состояние изделия оценивается всего одним признаком и совместная плотность распределения этого признака и прогнозируемого параметра подчиняется нормальному закону. Вариант оптимального оценивания рассмотрим применив к задаче прогнозирования долговечности мощных транзисторов по величине теплового соединения между кристаллом и корпусом.
Известно, что увеличение теплового сопротивления основной причиной которого есть некачественная пайка или приклейка кристаллов к корпусу что приводит к повышенному нагреву кристалла и снижению срока службы транзисторов. В качестве признака характеризующего величину теплового сопротивления и следовательно долговечность транзистора принять температуру перегрева транзистора под определенной нагрузкой в течении заданного времени (обычно в течении нескольких секунд) А в качестве прогнозируемого параметра выбирается долговечность транзистора.
Коэффициент корреляции между долговечностью и температурой перегрева отрицательный, так как чем больше казалось 
перегрева, тем более вероятна что его долговечность будет ниже.
Сохраняя принятые ранее обозначения считаем признаком случайную величину 
температуру перегрева транзистора. а прогнозируемым параметром случайную величину – долговечность транзистора.
Оценка начального состояния каждого экземпляра заключается здесь в измерении температуры перегрева транзистора. Задача индивидуального прогнозирования состоит в оценке по температуре перегрева каждого экземпляра его долговечности.
Как показывает опыт совместная плотность распределения значения признака и прогнозируемого параметра может быть описана двумерным нормальным законом распределения случайных величин 
и .
Выражение этой плотности имеет вид:
(8)
где:
– математическое ожидание признака и прогнозируемого параметра соответственно.
– дисперсии признака и прогнозируемого параметра соответственно.
r – коэффициент корреляции между признаком и прогнозируемым параметром.
Одномерные плотности распределения признака и прогнозируемого параметра определяется выражениями:
(9)
(10)
Разделив выражение 8 на 9 получим:
условную плотность распределения прогнозируемого параметра , при условии, что признак принял некоторое значение x.
(11)
---- условная мат. ожидания 
---------- 
условная дисперсия
Из выражения (11) следует, что полученная условная плотность распередения случайной величины – есть нормальный закон с математическим ожиданием и дисперсией равным соответственно:
(12)
если 
(см. рис. 1)
(13)
Если 
– нет корреляции между признаками и параметрами, то:
Как следует из выражения 12, 13 условное математическое ожидание прогнозируемого параметра зависит от того какое значения приняла случайная величина – то есть признак,а условная дисперсия не зависит от значений признака и определяется степенью значения корреляции между и
Если в выражении (12) подставить измеренное значения признака 
(t 
перегрева 
– го экземпляра) получим условную плотность распределения долговечности этого – го транзистора, при условии, что его t перегрева, оказалась равной именно этому значению . Эта плотность распределения имеет вид:
(14)
Эта плотность – функция одной переменной – y. Оптимальной оценкой прогнозируемого параметра – долговечности является мода плотности распределения (14) то есть такое значение при котором эта плотность максимальна. Так как выражение (14) представляет нормальное распределение у которого мода совпадает с математическим ожиданием оптимальная оценка долговечности какого – либо конкретного – го транзистора равна:
(15)
Измерив величину температуры перегрева – го транзистора и подставив в это значение выражение (15) определим оптимальную оценку долговечности этого транзистора , однако, 
есть только оценка и поскольку признак b прогнозированный параметр связаны вероятностью действительное значение прогнозируемого параметра в момент 
будет отличаться от , где определение точности прогнозирования необходимо выявить степень рассеивания оценки относительно фактических .
Можно показать, что отклонение 
имеет математическое ожидание
(16)
и дисперсию 
(17)
На рисунке 2 показана зависимость дисперсии ошибки от величины коэффициента корреляции r между случайными величинами и из которой следует, что чем сильнее коррелируемый признак и прогнозируемый параметр тем меньше дисперсия ошибки прогнозирования. С увеличением дисперсии прогнозируемого параметра 
при том же коэффициенте корреляции r дисперсия ошибки возрастает.
Рисунок 2 Рисунок 3
Если случайные величины и 
не коррелированы r = 0 то дисперсия ошибки прогнозирования равна дисперсии прогнозируемого параметра. Если же между случайными величинами и жесткая функциональная связь те есть 
, то дисперсия ошибки прогнозирования равна нулю при любой дисперсии прогнозированного параметра .
Если прогнозируемый параметр является линейной функцией признака. то независимо от рассеивания прогнозируемого параметра его значение определяется значением признака и видом этой линейной функции.
На рис 3 показано как меняется расположения условной плотности 
относительно одномерной плотности 
в зависимости от коэффициента корреляции r и конкретного значения признака – го экземпляра 
. При оценивании прогнозированного параметра по в качестве оценки естественно брать моду этого распределения 
. При оптимальном прогнозировании оценка берется равно моде условного распределения полученного из условия, что признак принял некоторое конкретное значение . Для рассматриваемого примера индивидуального прогнозирования долговечности мощных транзисторов, по величине температуры перегрева рассчитаны кривые плотности условного распределения для двух значений коэффициента корреляции между долговечностью и температурой перегрева и четырех значений признака (
, а так же рассчитаны кривые безусловной плотности распределения на рисунке 3 обозначены:
кривая 1 – безусловная плотность распределения прогнозируемого параметра
кривая 2 – условная плотность 
.
кривая 3 – условная плотность при 
при 
кривая 4 – условная плотность при 
при 
кривая 5 - *||*||*||* 
при 
В данном случае признак равен моде и математическому ожиданию
кривая 6 - *||*||*||* 
при 
.
Сравнивая кривую 1 со всеми остальными, видим что последние характерны меньшим рассеиванием и оно тем меньше чем больше коэффициент корреляции между признаками и прогнозируемым параметром. Так как кривые 2,4,5 соответствуют 
. Чем более зависимы признаки прогнозируемого параметра, тем меньше дисперсия условного распределения параметра и следовательно меньше ошибки прогнозирования. Положение моды условного распределения зависит от r и от конкретного значения признака . Это следует из выражения 16 и отображено на рис 3. Исключением является случай когда признак принял значение 
(кривая 5) при этом не зависимо от величины коэффициента корреляции мода условной плотности 
равна . Сравнение кривых 3 и 4 показывает, что при одном и том же значение признака 
, чем больше модуль коэффициента корреляции, тем сильнее проявляется влияние этого на значение (назначение моды условного распределения) Сравнивая кривые 2 и 4 видим что чем больше 
тем (при том же модуле r) дальше от находится мода условного распределения , то есть тем значительней оценка отличается от . Изменение знака коэффициента корреляции не меняет форму кривой, а лишь изменяет ее положение относительно , в зависимости от значений признаков .
по – этому кривая 4 есть так же условная плотность при 
а симметричная ей относительно кривая 6 имеет такой вид так же при 
. Рассмотрение кривых рисунков 3 убеждает в том, что индивидуальное прогнозирование по признакам с использованием условной плотности существенно сужает дисперсию ошибки по сравнению с оцениванием параметра по и тем более чем сильнее коррелируемы признаки с прогнозируемым параметром. Рассмотренный пример оптимального прогнозирования для случая когда признаки прогнозирующие параметр имеют совместное нормальное распределения позволяют детально исследовать свойства оптимальной оценки прогнозированного параметра , а так же влияние на нее различных параметров распределения таких как 
и конкретного значения признака . Для других практически встречающихся законов совместного распределения признаков прогнозирования параметра качественный характер приведенных примеров сохраняется. Их исследование связано с определенными математическими трудностями.
Тема 3: Алгоритм оптимальной классификации
План
1.Теория статистической классификации.
2.Вероятности принятия ошибочных решений при оптимальной классификации.
3.Критерий Байеса. Отношение правдоподобия
4.Вероятностиные характеристики при оптимальной классификации по оптимальному признаку.
5.Нахождение порогового значения признака при оптимальной классификации.
6.Влияние параметров совместного распределения на вероятность принятия ошибочных решений при оптимальной классификации.
7.Взаимное расположение безусловных и условных плотностей распределения для индивидуального прогнозирования метод оптимальной классификации по одному признаку.
1.Теория статистической классификации.
При индивидуальном прогнозировании по признакам с классификацией задача состоит в разделении исследуемой совокупности объектов и изделий на классы и нет необходимости в оценке конкретного значения прогнозируемого параметра. В большинстве практических случаев в том числе и при прогнозировании качества изделий число классов равно 2, так бывает, например, когда исследуемую совокупность необходимо по заданному правилу разделить на класс годных и дефектных изделий. Рассмотрим решение задачи индивидуального прогнозирования методами теории статистической классификации для чего нужно располагать условными многомерными плотностями распределения признаков для каждого класса. Задача заключается в отыскании способа принятия оптимального решения о принадлежности проверяемого экземпляра к тому или иному классу в условиях неопределенности то есть в условиях действия случайных факторов которые маскирует связь между признаками и классом экземпляра.
Условимся, что проверяемый экземпляр принадлежит классу K1. Если значение прогнозируемого параметра y к моменту времени ,будет больше некоторого граничного значения, 
. Будем считать такие изделия годными.Если 
экземпляр принадлежит к классу K2 – дефектным. Зная плотность прогнозируемого параметра на момент времени можно определить априорные вероятности принадлежности какого – либо экземпляра к классу К1.
(1)
и к классу К2
(2)
Определение вероятностей принадлежности какого – либо экземпляра к классу К1 и К2 по выражениям (1) и (2) дает представления лишь о свойствах всего ансамбля изделий. Это не индивидуальное прогнозирование так как здесь не используется информация об индивидуальных особенностях – го экземпляра (то есть о значениях его признаков).
Пусть начальное состояние изделия характеризуется К – признаками каждый из которых является случайной величиной. Совокупность К случайных величин обозначим . По конкретным значениям признаков 
– го экземпляра необходимо принимать решения об отнесении этого экземпляра к классу К1 или К2. В таком виде задачу целесообразно ставить лишь в том случае когда между классом которому принадлежит – ый экземпляр и значений его признаков существует какая – либо связь. Если эта связь выражается в виде жесткой функциональной зависимости то для определения принадлежности экземпляра к тому или иному экземпляру класса необходимо провести расчет по определенной формуле. Задача прогнозирования представляет наличие вероятностных связей между классом и признаками – го экземпляра. Степень тесноты этой связи полностью определяется видом условных совместных плотностей распределения признаков при условии что экземпляр принадлежит классу К1:
и к классу К2:
Для простоты записи будем их обозначать как:
и 
эти плотности могут быть получены с соответствующей обработкой результатов эксперимента. Совместной плотностью 
они связаны соотношениями:
(3)
(4)
Где:
и 
нормирующие коэффициенты:
2.Вероятность принятия ошибочных решений при оптимальной классификации.
Принятие решения об отнесению экземпляра к классу К1 или К2 основано на вероятностных моделях, по – этому существует вероятность принятия ошибочных решений. Она заключается в переименование класса какого – либо экземпляра. Например, годный экземпляр (К1) в соответствии с решением могут отнести к дефектным (К2) или наоборот.
Следует оценить вероятность ошибки решений.
– условная вероятность принятия решения об отнесения экземпляра к классу К2 при условии что он фактически принадлежит классу К1.
– условная вероятность принятия решения об отнесении экземпляра к классу К1 при условии что он фактически принадлежит классу К2
– условная вероятность того что экземпляр является годным (К1) при условии что принято решение считать его дефектным (К2).
Это вероятность определяет на сколько рискует изготовитель когда верит прогнозировании, ее называют риском изготовителя.
– условная вероятность того что экземпляр в действительности принадлежит классу К2 (дефектным) при условии что принято решение считать его годным (К1).
Эта вероятность определяет на сколько рискует потребитель, ее называют риском потребителя.
– априорная вероятность принятия решения об отнесении его к классу К1, вероятность принятия решения об отнесения к годным любого наугад взятого экземпляра.
– априорная вероятность принятия решения об отнесении его к классу К2, вероятность принятия решения об отнесения к дефектним любого наугад взятого экземпляра.
Вероятность ошибки в переименование классов экземпляра из К1 в К2, то есть вероятность того что годный экземпляр (К1) и относительно него принято решение об отнесении к К2 равна:
(5)
Аналогично вероятность ошибки в переименовании класса экземпляра из К2 в К1, то есть вероятность отнесения дефектного экземпляра к годным равна:
(6)
3.Критерий Байеса. Отношение правдоподобия
Ошибочное решения всегда приводят к некоторым потерям. Обозначим потери связанные с переименование класса экземпляра из К1 в К2 то есть цену такого переименования , а цену переименования из К2 в К1 , тогда величина средних потерь при многократном распознавании будет равна с учетом выражений (5) и (6):
(7)
В качества критерия оптимальности естественно взять min среднего риска
(8)
Это наиболее распространенный критерий – критерий Байеса.В выражении (7) вероятности 
и 
известны и они не зависят от процедуры прогнозирования так как их величина определяется фактической долей годных и дефектных экземпляров среди изделий данного типа.
--------------------------------------------------------------------------------------------------------------14.10.11
Минимизация среднего риска может быть достигнута путем изменения вероятностей 
и 
. Эти вероятности могут быть найдены по известным условным совместным плотностям распределения признаков (3), (4). Действительно:
(9)
(10)
и – область значений признаков при которых принимается решение об отнесении экзе
