Главная страница Случайная страница
КАТЕГОРИИ:
АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника
Байесовская классификация
|
|
Лабораторная работа № 1
Статистическое распознавание
Байесовская классификация
Цель распознавания образов состоит в том, чтобы определить к какому классу принадлежит исследуемый объект. В процессе наблюдения или измерения получают множество чисел, которые составляют вектор наблюдений. Этот вектор служит входом решающего правила, с помощью которого он может быть отнесен к одному из заданных классов.
Если признаки объекта имеют вероятностный характер, то для классификации можно применить методы статистического распознавания образов. Одни из наиболее применяемых подходов здесь является байесовская классификация.
Пусть X – вектор наблюдений, P (w1) и P (w2) – априорные вероятности, P (w1/ X) и P (w2/ X) – апостериорные вероятности, p (X) – плотность распределения, p (X /w1) и p (X /w2) – условные плотности распределения. Решающее правило, основанное непосредственно на вероятностях, можно записать следующим образом:
P (w1/ X) > P (w2/ X) ® X Î w1, P (w1/ X) < P (w2/ X) ® X Î w2.
Апостериорные вероятности можно вычислить с помощью теоремы Байеса:
P (w1/ X) = p (X /w1) P (w1)/ p (X), P (w2/ X) = p (X /w2) P (w2)/ p (X).
Решающее правило можно записать также в виде
p (X /w1) P (w1) > p (X /w2) P (w2) ® X Î w1, p (X /w1) P (w1) < p (X /w2) P (w2) ® X Î w2
или
l (X) > P (w2)/ P (w1) ® X Î w1, l (X) < P (w2)/ P (w1) ® X Î w2,
где l (X) = p (X /w1)/ p (X /w2) – отношение правдоподобия. Величину P (w2)/ P (w1) называют пороговым значением отношения правдоподобия для данного решающего правила. Иногда используют величину –ln l (X):
–ln l (X) = –ln p (X /w1) + ln p (X /w2) > ln{ P (w1)/ P (w2)} ® X Î w1,
–ln l (X) = –ln p (X /w1) + ln p (X /w2) < ln{ P (w1)/ P (w2)} ® X Î w2.
Рассмотренные решающие правила называют байесовским критерием, минимизирующим ошибку решения.
Если известно, что объекты распределены нормально, то можно выполнить процедуру разделения классов на основе следующего решающего правила:
При этом, если ковариационные матрицы равны, т.е. S1 = S2 = S, то можно воспользоваться линейными функциями Фишера:
