Обучающие системы распознавания

В теории и практике построения систем распознавания значительная роль принадлежит задаче обучения, состоящей а наилучшем описании классов объектов на языке признаков в условиях дефицита исходной информации. При этом под “наилучшим” понимается такое описание классов, при котором обеспечивается наибольшая точность (достоверность) распознавания неизвестных объектов.

В настоящее время большое внимание уделяется проблеме создания обучающих систем, т.е. таких систем, которые способны с течением времени улучшать свое функционирование.

Таким образом, необходимость в применении обучающихся систем возникает в тех случаях, когда система должна работать а условиях неопределенности и имеющаяся априорная информация настолько мала, что отсутствует какая-либо возможность заранее спроектировать систему с фиксированными свойствами, которая работала бы достаточно хорошо.

Принцип построения обучающихся систем основан на использовании процессов обучения, осуществляемых вероятностными итеративными алгоритмами, именуемыми алгоритмами обучения, позволяющими в результате обработки текущей информации восполнить недостаток априорной информации и, в конечном итоге, достигнуть наилучших, с определенной точки зрения, показателей качества работы.

Цель обучения. В общей форме цель представляет собой то состояние, к которому должна прийти система в результате обучения.

Выделение этого состояния, по существу, сводится к выбору некоторого функционала, экстремум которого отвечал бы тому состоянию. Изменение состояния системы достигается изменением внешнего управляющего воздействия либо изменением параметров системы.

Введем вектор: С = (С₁, …, С_N), компоненты которого представляют собой значения характеристик управляющего воздействия либо значения параметров. Тогда в качестве функционала можно выбрать функционал вектора С вида:

,

где х = (х₁, …, х_М) – вектор случайного стационарного дискретного или непрерывного процесса, плотность распределения которого равна Р(Х), а Q(X, C) – для каждой реализации Х случайный функционал, математическое ожидание которого равно I(C).

То есть, иначе: I(C) = M{Q(X, C)}.

Условие экстремума в этом случае: Ñ I(C) = M_X{Ñ _C× Q(X, C)} = 0.

Неполнота априорной информации, состоящая в том, что заранее неизвестно ни отношения правдоподобия, ни априорные вероятности, является серьезным препятствием для применения классических подходов, например, Байесова. Именно в этих случаях обучающиеся системы способны после некоторого периода обучения выработать решающее правило и произвести распознавание или классификацию. Незнание здесь преодолевается обучением. Чем меньше априорная информация, тем больше времени необходимо для обучения. Это – плата за незнание.

Различают два вида обучения:

- с поощрением;

- без поощрения (самообучение).

Обучение с поощрением (с учителем)

Для построения решающего правила необходимо прежде всего сформулировать критерий качества распознавания. Решающее правило должно быть выбрано таким образом, чтобы сформулированный критерий достигал экстремума.

Предположим, что ситуация Х появляется случайно и каждая из возникающих ситуаций принадлежит к одному из m неизвестных ранее классов Q_i(i=1, …, m).

Обозначим через Х пространство ситуаций и разобьем его на m областей. Задача распознавания состоит в наилучшем разбиении пространства Х на области Q_i. Чтобы конкретизировать это понятие, введем функцию потерь:

F_i(X, ), i=1,.., m,

где = (C₁, …, C_m) – составной вектор параметров.

Функции потерь характеризуют потери, возникающие при отнесении ситуации класса Q⁰_i к классу Q⁰_k или, иначе, при попадании ситуации класса Q⁰_i в область Q⁰_k.

Функции потерь образуют платежную матрицу:

F₁₁(x, ) F₁₂(x, ) … F_1m(x, )

F₂₁(x, ) F₂₂(x, ) … F_2m(x, )

F_m1(x, ) F_m2(x, ) … F_mm(x, )

По главной диагонали матрицы расположены потери при правильных решениях, а по обеим сторонам от главной диагонали – потери при ошибочных решениях.

Если F_mm(x, )< 0, то такие отрицательные потери можно рассматривать как выигрыши при правильном решении.

Ситуация Х каждого класса Q_i характеризуется условной плотностью распределения P(x/Q_i) = P_i(X) и априорной вероятностью P(Q_i). Потому качество распознавания можно оценивать средним риском:

Средний риск в нашем случае представляет собой функционал границ L_ik между областями X_i и X_k и составного вектора .

P(X/Q_i) P(Q_i)

X

X

Рис. Формирование решающего правила

Особенность R: здесь функции потерь не постоянны, а зависят от ситуаций х и составного вектора параметров .

С этих позиций цель обучения:

- P(Q_i) – неизвестно; P(X/Q_i) – неизвестно;

- единственно, чем располагаем – то платежной матрицей, элементы

которой заданы с точностью до некоторых неизвестных векторных параметров .

Тогда цель: минимум неявно заданного среднего риска:

Начальный этап обучения характеризуется поиском алгоритмов оценки параметров {а}.

Определение: Задача оценки параметров, относящаяся к классическим задачам математической статистики, может быть решена различными способами. Рассмотрим два из них:

а) оценку по максимуму правдоподобия, при этом: значения параметров предполагаются фиксированными, но неизвестными.

При обучении с учителем известен индекс класса для каждого P(Q_i)