Принципы построения полиномиальных моделей нейронных сетей для распознавания образов

Высокая сложность и размерность многих задач распознавания образов, классификации потоков данных, анализа изображений и диагностики состояний глобальных ТКС и распределённых ИКС, а также часто возникающая необходимость их решения в реальном времени требуют массового параллелизма и самоорганизации распределённых вычислений на базе НС. С этой точки зрения особый интерес представляют гетерогенные полиномиальные нейронные сети (ПНС) с самоорганизующейся архитектурой и их разновидности, предложенные в работах [18, 35–40, 55, 94–108].

Основные идеи, математические модели, методы обучения, способы оптимизации и принципы самоорганизации гетерогенных ПНС были описаны в [17, 18, 35–40] и развиты в [41–43, 99–107]. К ним прежде всего относится следующее:

–архитектура ПНС гетерогенна и многослойна;

–наличие слоя полиномиальных нейронных элементов (П-нейронов);

–возможность и целесообразность самоорганизации архитектуры ПНС различных типов;

–детерминированные и вероятностные методы обучения и самоорганизации гетерогенных ПНС;

–принципы минимальной сложности и высокой экстраполяции гетерогенных ПНС;

–алгебраическое требование диофантовости (целочисленности синаптических весов) гетерогенных ПНС.

В процессе дальнейшего развития теории гетерогенных ПНС были предложены модели многозначных нейронных элементов (М-нейронов) и связанных с ними конъюнктивных, полиномиальных, дизъюнктивных и суммирующих нейронных элементов (МК-, МП-, МД- и МS-нейронов), а также новые разновидности гетрогенных ПНС (генно-нейронные сети, квантовые, нейронные сети, мульти-агентные ПНС и т.п.).

ПНС с гетерогенной архитектурой предназначены для решения сложных интеллектуальных задач. Примерами таких задач могут служить задачи распознавания образов, классификации данных, диагностики состояний, идентификации объектов и т.п. Обычно эти задачи формулируются следующим образом.

Пусть задано конечное множество объектов и существует (но неизвестно) его разбиение на К непустых подмножеств (классов) вида

при i ¹ j. (11.1)

Это означает, что существует неизвестная распознающая (классифицирующая) функция R(w), ставящая в соответствие каждому объекту w Î W номер класса k, к которому он принадлежит, т.е.

(11.2)

Кроме того, существует множество неизвестных идентифицирующих функций вида

(11.3)

являющихся характеристическими функциями классов W_k, k = 1, 2, …, K, которые отделяют все объекты w Î W_k от остальных W_i.

Предположим, что имеется некоторая измерительная система (датчики информации, сенсоры, измерительные приборы и т.п.), которая в результате измерения свойств или определения характеристик любого объекта w Î W однозначно ставит в соответствие объекту w его информационное описание в виде вектора признаков . Тогда векторная функция x: W® Rⁿ определяет отображение множества объектов W в n-мерное пространство признаков Rⁿ. Это отображение порождает разбиение описаний объектов в пространстве признаков Rⁿ на классы (образы) вида

Отображение x: W® Rⁿ будем называть корректным или информативным, если выполняются следующие условия:

1) если , то , (11.4)

т.е. объекты w_i и w_j с одинаковым описанием принадлежат одному классу,

2) если , то , (11.5)

т.е. объектам w_i и w_j из разных классов соответствуют различные описания.

Таким образом, корректное отображение объектов в пространство признаков не приводит к потере информации о классах. Это информативное отображение определяет следующее разбиение описаний объектов на классы (образы)

. (11.6)

Из соотношений (11.1) – (11.6) следует, что если w Î W_k, тоx (w)Î X _k, и наоборот. В том случае, когда , корректное (информативное) отображение x (w) является сжимающим.

Будем считать, что отображение x: W® Rⁿ является информативным и, возможно, сжимающим. Тогда задачи классификации и идентификации образов сводятся к восстановлению (определению) неизвестных решающих функций вида (11.2) и (11.3). При этом единственной доступной информацией о классах (11.1) являются табличные базы данных вида

или , (11.7)

называемые обучающей выборкой или обучающей БД.

Мощность этой выборки должна быть достаточно большой, т.е. множество (11.7) должно быть репрезентативным. Поэтому будем предполагать, что множество (11.7) содержит достаточную информацию об априорном разбиении объектов (11.1) и их описании (11.6) на классы (образы). В частности, важно, чтобы обучающее множество (11.7) было полным, т.е. содержало хотя бы по одному объекту из каждого класса, и непротиворечивым, т.е. не содержало одинаковых описаний, относящихся к объектам из разных классов.

Наряду с классическими задачами классификации и идентификации образов с помощью скалярных решающих функций вида (11.2) и (11.3), значительный интерес для практики представляет их обобщение на случай векторного распознавания образов и диагностики состояний. Примером таких задач могут служить сложные задачи медицинской теледиагностики, когда требуется для каждого больного wÎ W с вектором симптомов признаков x(w) определить не только диагноз, т.е. класс заболеваний W _k, к которому он относится, но и дать его “расшифровку”, т.е. найти ряд уточняющих и детализирующих характеристик в виде вектора

(11.8)

где - многозначные предикаты, принимающие целочисленные значения в интервале [0, p_j ].

Формально развёрнутое (детализирующее) решение можно представить в виде (q+1) – мерного вектора

(11.9)

Компонентами этого вектора является классифицирующий предикат с целочисленными значениями (кодами) основного (глобального) решения со значениями из интервала [1, 2, …, K] и детализирующие это глобальное решение дополнительные многозначные предикаты , j= 1, 2, …, q, каждому из которых можно поставить в соответствие локальную “расшифровку” основного (глобального) решения на естественном языке.

При обобщённой векторной классификации образов главный (глобальный) предикат описывает априорное разбиение множества W на классы (11.1), а дополнительные (локальные) предикаты определяют разбиение каждого класса W _k на подклассы вида:

. (11.10)

Предикаты и заранее неизвестны. Однако известны их значения на обучающей выборке вида

. (11.11)

По этим данным требуется восстановить (определить) неизвестную решающую вектор-функцию (11.9) и её компоненты (11.2) и (11.8). Некоторые методы решения этой задачи векторной (расширенной) классификации образов на базе обучения и самоорганизации гетерогенных ПНС предложены в работе [104].

В настоящее время известно много математических и эвристических подходов к решению сформулированных задач классификации данных и идентификации образов. Среди них важную роль играют нейросетевые подходы, основанные на синтезе различных моделей (архитектур) и алгоритмов обучения НС для распознавания образов и диагностики состояний.

Во многих случаях эти НС имеют гомогенную архитектуру [109]. При этом заранее не известно, какое число слоёв и нейроэлементов необходимо для решения задачи. Алгоритмы обучения таких гомогенных НС не всегда сходятся к решению задачи за конечное число шагов [25, 26].

Примерами гомогенных НС могут служить однослойные НС Хопфилда или Хемминга или многослойные перцептроны, использующие пороговые или сигмоидальные нейроэлементы. Популярные сегодня градиентные алгоритмы обучения гомогенных НС типа Backpropagation и его модификации (Quick propagation, Rpro и т.п.) медленно сходятся или вообще не приводят к решению за конечное время [109].

Описываемые ниже гетерогенные ПНС различных типов являются эффективным средством восстановления (определения) неизвестных классифицирующих и идентифицирующих функций (11.2) и (11.3) по обучающим базам данных (11.7) и их реализации на базе ПНС с самоорганизующейся архитектурой минимальной сложности. В основе теории этих гетерогенных ПНС лежат идеи и принципы, сформулированные выше, а также в работах [17, 18, 35–43, 99–107].

Предлагаемые гетерогенные ПНС позволяют также решать обобщенные задачи векторной классификации и описания образов, т.е. восстанавливать (определять) неизвестные векторные функции (11.9) по расширенным обучающим выборкам вида (11.1). Кроме того, они могут успешно использоваться в качестве моделей нейросетевых агентов при коллективном (мульти-агентном) решении сложных (глобальных) задач распознавания образов, расширенной (векторной) диагностики и адаптивной маршрутизации информационных потоков [18, 79, 96, 104].