Нейрокомпьютерные алгоритмы

Относятся к одноэтапным алгоритмам с условной оптимизацией. Условием является частично заданная их структура. Структура задается из аналогий с гипотетическими биологическими нейросистемами (нейросетями) Экспериментальные достижения в этой области часто трактуют как проявления искусственного интеллекта. Обучение (адаптация) нейрокомпьютерных систем (алгоритмов) проводится на основе предъявления большого числа случайных обучающих образцов процессов или объектов известных классов. Статистические закономерности последних заранее, как правило, не анализируют, а автоматически учитывают в процессе обучения. Пространство входных сигналов разделяется в результате нелинейными границами на области, соответствующие различным классам. Ценою универсализации структур нейросистем является увеличение вычислительных затрат, компенсируемое развитием вычислительной техники [52 – 56].

2.4.1. ПРИНЦИПЫ ПОСТРОЕНИЯ И СТРУКТУРЫ И ЕЙРО КОМПЬЮТЕРНЫХ АЛГОРИТМОВ

Искусственные нейроныкак элементы искусственных нейросистем описывают чаще всего, сочетанием нелинейных и линейных операций вида

. (2.31)

Поступающие значения y_s (s=1, 2, …, m) подаются при этом в различных линейных комбинациях на т элементов " скрытого" слоя нейронов или, иначе, слоя " внутреннего представления", в котором эти комбинации претерпевают " мягкое² ограничение дифференцируемыми монотонно нарастающими функциями . В качестве функций вводят, например, функции вида , изменяющиеся соответственно от 0 до 1 и от -1 до 1 при изменении w от . Параметр b может сдви­гатьхарактеристику пооси w – менять " мягкий" порог.

Выходные данные слоя внутреннего представления подаются, в свою очередь, на п - элементов выходного слоя нейронов, причем также в различных линейных комбинациях и с последующим " мягким" (или " жестким") ограничением. Описанную трехслойную нейроструктуру (рис. 2.1, а) называют персептроном Розенблатта (perception – восприятие, понимание, сознание).

Трехслойная структура не является единственно возможной. Возможны, например, персептроны с четырьмя и более слоями. Анализ многослойных, трехслойных в частности, структур может сводиться, однако, к анализу однослойных структур с последовательно следующими т входными элементами N - т " скрытыми" элементами - элементами внутреннего представления п - выходными элементам (рис. 2.1.6). Входная информация в такой структуре перемещается строго вперед обеспечивая классифицированные решения на п - выходных элементах.

Рис. 2.1. Варианты расположения элементов нейроструктур

Предварительное обучение рассчитано на рациональный выбор весовых коэффициентов а и порогов β на основе возникающих несоответствий выходных отсчетов z_{вых i} известным z_pi для классов обучающих реализаций. Информация о необходимости и характере корректировок должна распространяться в направлении, обратном распространению входной информации - с выхода на вход, в связи с чем говорят о методе обратного распростране­ния.

Возможны разновидности нейросетей: с использованием корреляционных обратных связей; с заменой функций от линейных комбинаций (от линейных форм) квадратичными формами или формами более высокого порядка, что сокращает потребное число нейронных элементов, однако за счет усложнения их структуры.

ВАРИАНТЫ АЛГОРИТМОВ ФУНКЦИОНИРОВАНИЯ И ОБУЧЕНИЯ

Алгоритм функционирования однослойной искусственной нейросети (рис. 2.1.б) обычно имеет вид [55]

(2.32)

Пороги могут вводиться неодинаковыми β =β _i при выборе функций f_i(w)=f(w+β _i).

В случае трехслойного персептрона (рис. 2.1, а) часть введенных значений a_ik обращается в нуль. Отсчеты z_i, а именно, входные, выходные и " скры­тые", принимают вид

(2.33)

(2.34)

(2.35)

Алгоритмы обучения (адаптации). Вводятся обычно из условия минимизации суммы квадратов невязок выходных отсчетов z_l с отсчетами z_pl, заранее заданными в процессе предъяв­ления обучающих входных многомерных реализации y_i=y_pi . Задав минимизируемую функцию стоимости потерь аддитивной и квадратичной, можно представить ее в виде

. (2.36)

Аргументом функций является вектор весовых коэф­фициентов а_lj, a_ji. Переменная суммирования l заменена в (2.36) на λ.

Для минимизации можно использовать численные методы поиска безуслов­ных экстремумов: метод Ньютона, градиентный метод.

При градиентном поиске начальное значение вектора получает по­следовательные приращения

(k=0, 1, 2, ….) (2.37)

где - градиент функции , а γ - постоянный коэффициент.

Процесс градиентного поиска может осуществляться в ходе последователь­ного предъявления обучающих реализаций. Предыдущее равенство переходит тогда в

(p =0, 1, 2, …) (2.38)

Для составляющих a_s вектора отсюда следует

(2.39)

Если составляющая a_s относится к выходному слою трехслойного персеп­трона a_s = a_ij то ненулевую производную по а_lj имеет только слагаемое λ =l выражения (2.36). Тогда [56]

(2.40)

- производная функции f_l(w) по ее аргументу.

Если составляющая a_s относится к " скрытому" слою a_s = a_lv , то в образовании производной по а_jv участвуют все слагаемые выражения (2.36) , но лишь одно слагаемое i = v весовой суммы (2.35), причем - только одной j -й суммы . Тогда

(2.41)

Значения δ _pl вычисляются согласно (2.40).

Для часто используемых функций значения

. (2. 42)

Градиентная процедура настройки неодинаковых порогов β, в выходном и " скрытом" слоях соответственно, определяется выражениями

(2.43)