Методы классификации и распознавания образов в задачах диагностики и прогнозирования

Модели медицинской диагностики, основанные на теории статистич-х решений

В теории статистических решений каждый класс объектов K_S задается не набором прецедентов, а функцией распределения f_S, которая определяет вероятность появления объекта из класса S в точке x m-мерного пространства.

Вероятность появления точки в тех или других классах разная.

Решающее правило: объект относится к тому классу, у которого вероятность больше.

- поверхность, разделяющая 2 класса (в одномерном случае – точка).

P(2|1) = α – ошибка первого рода (вероятность того, что объект из класса К₁ классифицируется в класс К₂)

Р(1|2) = β – ошибка второго рода (вероятность того, что объект из класса K₂ классифицируется в класс К₁)

Тогда решающее правило: α + β → min

С₁, С₂ – стоимость ошибки первого и второго рода

Тогда решающее правило ищем не по минимуму ошибки, а по минимуму стоимости потерь при ошибках: С₁α + С₂β → min

Модели

Метод максимального правдоподобия

Если признаки независимы, то: f_S(x) = f_S(x₁)×f_S(x₂)×…× f_S(x_m)

Тогда: γ(x) = γ(x₁) + γ(x₂) + … + γ(x_m)

γ(x_j) = ДК(x_j), ДК – диагностический коэффициент

Метод Неймана-Пирсона

Если признаки непрерывные, то используются коэффициенты корреляции Пирсона ρ. |ρ| Î[0,1]

Если ρ → 0, то признаки никак не связаны между собой.

Если ρ → 1, то признаки связаны так тесно, что один из них можно выбросить (признаки дублируют друг друга с точностью до постоянных коэффициентов)

Если признаки независимы, то они должны быть представлены одномерной функцией распределения f(x_j)

Если признаки зависимы, то рассматривается функция распределения для пары f(x_i x_p)

Наиболее просто применять этот метод, когда: 1) Все функции являются нормальными гауссовыми, 2) Все признаки бинарные

Модель Фишера

Рассмотрим нормальное распределение:

Решающее правило:

Такой ответ получается в случае, когда дисперсии в классах К₁ и К₂ одинаковы.

Если дисперсии отличаются, то модель Фишера усложняется.

Для многомерной модели:

Более сложный вариант решающего правила содержит матрицу ковариации:

Метод Байеса

Известно: вектор признаков x = (x₁, x₂,…, x_m), классы К_S,

P(xK_s) – вероятность того, что объект, имеющий вектор признаков х принадлежит классу К_s

P(xK_s) = P(x)×P(K_s/x), где P(x) – вероятность появления вектора признаков х во всех классах

P(K_s/x) – вероятность того, что объект принадлежит классу К_s при условии, что он имеет вектор признаков х.

P(xK_s) = P(K_s)×P(x/K_s)

P(K_s) – вероятность появления класса K_s (не зависит от вектора признаков). Это априорная информация принадлежности классу. Эта вероятность отражает то свойство классов, которая означает, что объекты из разных классов могут встречаться не одинаково часто.

P(x/K_s) – вероятность того, что объект имеет вектор признаков х при условии, что он принадлежит классу K_s. (Это функция распределения для s-го класса f_s(x))

Теорема Байеса

P(K_s/x) – апостериорная информация (получается после проведения опыта).

Решающее правило: объект х относится к такому классу, для которого апостериорная вероятность максимальная.

Если всего 2 класса, то получаем соотношение максимального правдоподобия:

Метод Вальда

Используются только наиболее информативные признаки. Заранее не известно, сколько признаков мы рассматриваем.

Пусть имеется 2 класса. Предположим, что признаки независимы:

Предположим, что все признаки ранжированы по информативности (х₁ – самый информативный, х_m – наименее информативный)

 

 

γ = 0 – линия безразличия. Вероятности для 1-го и 2-го классов равны.

А, В – верхний и нижний пороги.

γ(x) = γ(x₁), где х₁ – самый информативный признак.

Если γ(x₁)>A, то объект принадлежит классу K₁, если γ(x₁)<B, то объект принадлежит классу K₂. Если A<γ(x)<B, то продолжаем послед. Процедуру.

γ(x₁x₂) = γ(x₁)+ γ(x₂)

и т.д. пока не будет превзойден порог А или В.

Выбор порогов А и В:

Методы классификации и распознавания образов в задачах диагностики и прогнозирования.

Задача диагностики: необходимо отнести пациента к одному из классов заболеваний, то есть поставить диагноз

Задача прогнозирования: предсказать, как состояние пациента будет изменяться в будущем.

В задачах диагностики и прогнозирования используется медико-биологическая информация. Ее можно разделить на 4 типа:

1. Качественные признаки – вербальное описание состояния больного со слов

2. Количественные признаки – значения, полученные в результате измерений и анализов

3. Динамические данные – данные, полученные в результате наблюдения за пациентом в течение некоторого времени

4. Изображения.

Признаки измеряются по следующим шкалам:

1. Номинальная – шкала наименований. К ней относятся все качественные признаки

2. Порядковая – все объекты упорядочены по некоторому свойству

3. Интервальная

4. Шкала отношений – для каждой пары объектов определяется отношение (лучше-хуже,…)

Каждый объект может быть представлен набором признаков: x = (x₁, x₂, …, x_m).

Решающее правило (РП) – алгоритм, с помощью которого объект, заданный вектором признаков х может быть отнесен к одному из известных классов (может быть классифицирован).

Информация используемая при построении РП:

1. Экспертная информация

2. Обучающая выборка (набор эталонов) - для всех классов известно некоторое количество объектов, которые являются эталонами классов.

Диагноз ставится на основе признаков x_i^s = (x_i1,..., x_in)

x_i^s - вектор признаков i-го прецедента

i - номер прецедента в s-м классе

s - номер класса

3. Статистическая информация.

Для каждого класса строится функция распределения признаков. Используется информация о функции распределения(широкий класс РП).

Виды классификаций:

а) Классификация при наличии обучающей выборки

Обучающая выборка – набор эталонов для каждого класса. Эталон представляет собой m-мерный вектор: x^s_i = (x^s_i1, x^s_i2, …, x^s_im), где x^s_ij – j-й признак i-го эталона из s-го класса.

Измеряется расстояние до эталонов.

Если d₁=d₂ – отказ от классификации.

Строится дискриминантная функция z(x) = 0

z(x) = d(x,ε₁) - d(x,ε₂)

Методы построения z(x):

1. Метод ближайших соседей

задаётся p=3, 4,... - количество представителей обучающей выборки.

для объекта x=(x₁,...,x_m) находим p ближайших соседей.

РП:

где p₁ - количество ближайших соседей, принадлежащих K₁, p₂ - количество ближайших соседей, принадлежащих K₂

2. Метод весового вектора

используется в том случае, если классы линейно разделимы:

строим гиперплоскость:

z(x) = w₀ + w₁x₁ + w₂x₂ + … + w_nx_n = 0

w^Tx = 0

w = (w₁,w₂, …, w_n) – вектор неизвестных коэффициентов

0) w₀ выбирается произвольно

1) х(1) – объект обучающей выборки на первом шаге.

w^T(0)x(1) ≥ 0

w^T(0)x(1) < 0

Если х(1)ÎK₁ и w^T(0)x(1) ≥ 0, то w(1) = w(0)

Если х(1)ÎK₁ и w^T(0)x(1) < 0, то w(1) = w(0) – Cx(1), где C>0 (const или изменятся на каждом шаге)

Если х(1)ÎK₂ и w^T(0)x(1) ≥ 0, то w(1) = w(0) + Cx(1)

Если х(1)ÎK₁ и w^T(0)x(1) < 0, то w(1) = w(0)

2) х(2)

w(2) = w(1) или w(2) = w(1) ± Cx(2)

И т.д. до w(n)

Условие остановки:

· Все объекты распознаны правильно

· Количество ошибок не более заданного

Если не выполняется, то возврат на первый шаг.

3. метод потенциальных функций

вводим d(x',x") - растояние между точками в m-мерном пространстве. f(d) - потенциальная функция. D(x, K_s) - потенциал в точке x, создаваемый классом K_s:

объект относится к тому классу, для которого потенциал выше.

z_s(x) = D(x,k_s)

РП: z_ssi(x)= z_s(x) – z_si(x) = 0

4. Минимизация наборов прецедентов.

из обучающей выборки рассматриваются те эталоны, которые лежат на границе классов.

Контроль классификации:

1. деление выборки

2. скользящий экзамен

3. классификационная матрица

4. Метод дообучения

б) Классификация на основе теории статистический решений

Для каждого класса строится функция распределения вектора признаков, которая определяет вероятность появления объекта из данного класса

Методы:

1. Метод максимального правдоподобия

2. Метод Неймана-Пирсона

3. Модель Фишера

4. Метод Байеса

5. Метод Вальда

критерий качества классификации: w=С₁*a + С₂* b

a - вероятность пропуска опасного состояния (ошибка 1-го рода)

b - вероятность диагностики (ошибка 2-го рода)

С₁ - стоимость пропуска опасного состояния

С₂ - стоимость гипердиагностики

Чувствительность - способность системы распознавать опасное состояние: 1-a

Специфичность - способность правильно определять неопасное состояние: 1-b