Нейронні мережі як інструмент прогнозування

Підвищений інтерес до методів нейронних мереж можна пояснити їх успішним застосуванням у різноманітних галузях економічної діяльності при розв’язанні задач прогнозування, класифікації та управління. Такі характеристики нейромереж, як можливість нелінійного моделювання та порівняно проста реалізація, часом роблять їх незамінними при розв’язанні складних багатомірних задач.

Нейронні мережі – це інструмент прогнозування, який на основі моделей для обробки сигналів використовує явища, аналогічні до тих, які відбуваються в нейронах живих організмів.

Ідея нейронних мереж зародилася під час досліджень у галузі штучного інтелекту, а саме, в результаті спроб відтворити властивість біологічних нервових систем навчатися та виправляти помилки, моделюючи низькорівневі структури мозку. Мозок складається з дуже великої кількості нейронів, які з’єднані між собою. Кожен нейрон володіє багатьма якостями, характерними іншим елементам тіла, і водночас його характерною властивістю є прийом, обробка та передача електрохімічних сигналів по нервових шляхах, які утворюють комукаційну систему мозку.

На рис. 2.5 наглядно відображена спрощена структура взаємозв’язків біологічних нейронів. Нейрон має тіло з стандартним набором органел, які мають назву сома, всередині котрої розміщене ядро. Із нейрона виходять численні волокна, які відіграють основну роль у його взаємодії з іншими нервовими клітинами. Можна виділити два типи волокон: численні тонкі (дендрати), по яких приймається інформація та товстіші (аскон), по яких передається результуючий імпульс.

Рис. 2.5. Спрощена структура взаємозв’язків біологічних нейронів

Вхідні сигнали поступають у клітину через синапси, а вихідний сигнал виводиться асконом через його численні нервові закінчення, що називаються калатералами. Калатерали контактують із сомою та дендритами інших нейронів, утворюючи при цьому чергові синапси. Очевидно, що синапси, які підключають до клітини виходи інших нейронів, можуть знаходитися як на дендритах, так і безпосередньо на тілі клітини.

При активації нейрон посилає електрохімічний сигнал через свій аскон. Прийняті синапсом вхідні сигнали підводяться до тіл інших нейронів, які в свою чергу можуть активуватися. Нейрон активується тоді, коли сумарний рівень сигналів, які прийшли з дендритів у його ядро, перевищує певний пороговий рівень активації. У розглянутій функціональній схемі біологічного нейрона багато складностей і протиріч, але більшість штучних нейронних мереж моделює лише ці прості властивості.

Із наведених вище міркувань виходить, що кожний нейрон можна вважати своєрідним функціональним процесором, який: сумує сигнали з відповідними вагами; виконує нелінійну передаточну функцію та передає значення результатів, зв’язаних з ним нейронів. У відповідності з діючим правилом “усе або нічого” в простих моделях нейронів вихідний сигнал приймає двійкове значення: 0 або 1. Значення 1 відповідає перевищенню збудження нейрону, а 0 – збудження нижче від порогового рівня.

Під штучними нейронними мережами розуміють сукупність обчислювальних процедур, які з певною точністю імітують прості біологічні процеси, основу котрих складають функціональні властивості нервових клітин.

Однією з перших моделей нейрона є модель МакКоллока-Пітса у бінарному варіанті, структурна схема котрої представлена на рис.2.6.

Рис. 2.6. Спрощена схема моделі МакКоллока-Пітса.

Вхідні сигнали , у залежності від відповідних ваг W_ij (cигнал поступає від вузла і до вузла j), сумуються в суматорі, а потім результати порівнюються з пороговими значеннями W_i0. Вихідний сигнал нейрону y_i визначається за наступною формулою:

. (2.2)

Аргументом функції виступає сумарний сигнал . Функція називається функцією активації. Для моделі МакКоллока-Пітса – це порогова функція виду:

(2.3)

Коефіцієнти W_ij являють собою ваги синаптичних зв’язків між i -им та j -им вузлом. Додатне значення W_ij відповідає збуджуючим синапсам, а від’ємне – гальмівним, тоді як W_ij =0 вказує на відсутність зв’язку між i -им та j -им нейронами. Дана модель є дискретною моделлю, для якої стан нейрону в момент розраховується за значенням його вхідних сигналів у попередній момент часу t.

Розвиваючи дану тематику, Д. Хебб у процесі дослідження асоціативної пам’яті запропонував теорію навчання (підбір ваг W_ij) нейронів. При цьому він скористався спостереженням про те, що ваги міжнейронних з’єднань при активації нейронів можуть зростати. У моделі Хебба приріст ваг у процесі навчання пропорційний добутку вхідних сигналів y_i, та y_j, нейронів, зв’язаних вагою W_ij:

або

(2.4)

де k – означає номер циклу, а h - коефіцієнт навчання.

На початку 60-х років минулого століття Ф. Розенблатт розробив теорію динамічних нейронних мереж для моделювання, яка базувалася на персепторній моделі МакКоллока-Пітса.

На сьогоднішній день штучні нейронні моделі представляють собою високо розвинуту галузь знань як у теоретичному, так і в прикладному аспекті. Підтвердженням цього є широкомасштабне використання генетичних алгоритмів.

Поєднання генетичних і нейронних алгоритмів забезпечує значний потенціал макроекономічних досліджень у різних предметних областях.

Генетичні алгоритми грунтуються на теоретичних досягненнях синтетичної теорії еволюції, з врахуванням мікробіологічних механізмів спадковості ознак природних і штучних популяцій, а також на досвіді людей у селекції тварин і рослин.

Методологія генетичних алгоритмів базується на ідеї селекції: чим значніше пристосування особини, тим вища ймовірність того, що в її потомстві, ознаки, що визначають пристосованість, будуть сильніше вираженими.

Прикладне застосування програмних продуктів генетичних алгоритмів включає в себе такі етапи:

· формування в пошуковому просторі області допустимих значень змінних і вибір у ній деякої пробної точки;

· з допомогою математичної моделі відображають точки з пошукового простору на простір критеріїв, що дає можливість співставити зображення відносно поверхні критеріїв;

· на основі отриманої інформації й у відповідності до вибраної пошукової стратегії здійснюється маніпуляція координатами точок у просторі змінних величин, і тим самим завершується процес генерації координат нових пробних точок.

Прикладні аспекти нейромереж можна розділити на декілька основних груп: апроксимація та інтерполяція; розпізнавання та класифікація; прогнозування; ідентифікація; управління та асоціація.

Для кожної з названих прикладних областей нейронна мережа відіграє роль універсального апроксиматора функції від декількох змінних такого виду:

,

де Х – вхідний вектор, а Y – реалізація векторної функції декількох змінних. Постановка значної кількості задач моделювання, ідентифікації та обробки сигналів можуть бути зведеними до апроксимаційного відображення.

Для класифікації та розпізнавання образів мережа навчається властивим для них ознакам, а саме – геометричному відображенню точкової структури зображення відносно розміщення важливих елементів образу, процесам перетворення Фур’є та ін. У процесі навчання виділяються ознаки, які відрізняють образи один від одного. Дані ознаки складають базу для прийняття рішень про віднесення образів до відповідних класів.

При розв’язанні задач прогнозування роль нейромереж полягає у передбаченні майбутньої реакції системи з урахуванням їх попередньої поведінки (ретроспективного аналізу). Володіючи інформацією про значення змінної Х у моменти, що передують прогнозуванню , мережа вибирає рішення, яким буде найбільш імовірне значення послідовності у даний момент t. Для адаптації вагових коефіцієнтів мережі використовують фактичну похибку і значення цієї похибки в попередні моменти часу.

При розв’язанні задач ідентифікації та управління динамічними процесами нейромережі, як правило, виконують декілька функцій. Вони представляють собою нелінійні моделі даного процесу, які забезпечують прийняття відповідних керованих рішень.

У задачах асоціації нейронна мережа відіграє роль асоціативного запам’ятовуючого пристрою (ЗП). Можна виділити ЗП асоціативного типу, з допомогою яких визначається кореляція між окремими компонентами одного й того ж вхідного вектора, та ЗП гетероасоціативного типу, засобами яких встановлюються кореляції між двома різними факторами. Якщо на вхід мережі подається неструктурований вектор (наприклад, він містить білий шум компоненти чи взагалі не містить окремих компонент), тоді нейромережа зможе відновити правдивий і очищений від шумів вектор, а в подальшому згенерувати при цьому повну версію асоційованого з ним вектора.

Важлива властивість нейромереж, яка говорить про їх великий потенціал і широкі прикладні можливості, полягає в паралельній обробці інформації всіма нейронами. Завдяки даній властивості при великій кількості міжнейронних зв’язків досягається значне прискорення процесу обробки інформації.

Інша, не менш важлива, властивість нейронних мереж полягає у здатності навчання та узагальнення отриманих знань. Мережа володіє рисами так званого штучного інтелекту. Натренована на обмеженій множині навчальних вибірок, вона узагальнює набуту інформацію та виробляє очікувану реакцію стосовно даних, які оброблялися в процесі навчання.

Тут можна виділити дві стратегії навчання мережі: з учителем і без нього.

При навчанні з учителем припускається, що крім вхідних сигналів, які складають вектор Х, також відомі й очікувані вихідні сигнали нейрону d_і, що складають основу цільового вектора d. Разом вони утворюють навчальну пару, а мережа тренується на основі деякого числа таких пар. У даній ситуації вибір вагових коефіцієнтів повинен бути організований таким чином, щоб фактичні вихідні сигнали нейрону y_i приймали значення, найбільш близькі до очікуваних значень d_і. Основним елементом процесу навчання з учителем є знання стосовно очікуваних значень d_і вихідного сигналу.

Якщо такий підхід неможливий, то залишається користуватися стратегією навчання без учителя. У даному випадку підбір вагових коефіцієнтів здійснюється на основі конкуренції нейронів між собою чи з урахуванням кореляції навчальних і вихідних сигналів. На превеликий жаль, при навчанні без учителя на етапі адаптації нейрона ми не можемо прогнозувати його вихідні сигнали.

Для більш адекватного відображення процесу, що вивчається, представляє інтерес застосування логістичної функції активації нейрона виду:

. (2.5)

Параметр b підбирається самим аналітиком. Його значення впливає на форму функції активації. Графік функції сильно залежить від значень b (рис. 2.7).

Рис. 2.7. Графік логістичної функції

При малих значеннях b графік функції досить пологий, а при b = 0 вироджується в горизонтальну лінію на рівні 0.5. При функція перетворюється у функцію однорідного скачка.

Даний тип нейромережі має назву сигмоїдного нейрону. Як правило, він навчається з учителем за принципом мінімізації цільової функції, яка для одиничного навчального кортежу < x, d > і -го нейрону визначається у вигляді:

. (2.6)

Розглянемо основні етапи побудови та функціонування самонавчаючих алгоритмів, які складають основу нейромережi:

1. Комплексний аналіз інформаційної бази.

2. Вибір програмного нейроімітатора та методів навчання нейромережі.

3. Формування аналітиком навчальної вибірки з допомогою нейроімітатора.

4. Вибір аналітиком структури нейромережі та навчання її на навчальній вибірці з допомогою нейропакета.

5. Автоматичний аналіз з допомогою нейропакету відібраної на попередніх етапах інформації з використанням натренованої мережі.

6. Якщо параметри результатів задовольняють початкові вимоги, то відбувається інтеграція нейромоделі в інформаційну систему для подальшого прикладного використання її.

До основних програмних продуктів нейронних мереж слід віднести наступні:

1. Пакет All Triloqy (Word Systems Group). Він складається із трьох модулів: інструментальної системи для розробки нейромереж NeuroShell, бібліотеки для розробки застосування NeuroWindows, програми оптимізації з використанням генетичних алгоритмів GeneHunter.

2. Пакет Neural Connection 2.0. Даний пакет включає в себе систему прогнозів і класифікації, що грунтується на методах нейромереж.

3. Пакет Braincel. Даний пакет є простим у роботі. Дані представляються стовпцем. Далі з меню вибирається пункт “Тренування” і виконується тест мережі на тестовому наборі даних.

4. Пакет STATISTIKA Neural Networks, який містить великий арсенал статистичних методів, реалізований у ньому потужний генетичний алгоритм і всі види нейромереж.

5. Пакет SPSS. Цей пакет є універсальним пакетом статистичного аналізу та має повний набір усіх типів нейромереж.

На сьогоднішній день багато фінансових аналітиків використовують програмний продукт нейронних мереж для прогнозування цін акцій на основі множини чинників. Наприклад, поведінка у минулому цін тих та інших акцій у сукупності з різними іншими макроекономічними показниками.

Математичний апарат програмних продуктів нейронних мереж дає можливість не тільки отримувати в дискретному вигляді шукані параметри, але й мати функціональне представлення вихідного параметра від вхідного при умові незмінності інших, тобто вияв якісного співвідношення між ними.

Завдяки своїй універсальності мережі можна використовувати для визначення оптимальних структур портфелів цінних паперів і інвестицій, прогнозу банкрутства фінансових і виробничих структур, визначення кредитних ризиків, кредитоспроможності позичальників, прогнозування інфляційних процесів, курсів валюти, ліквідності комерційних банків, податкових надходжень до бюджету та інших економічних показників.

Наприклад, при наданні кредиту банк володіє певною базою знань про особу, яка звернулася за кредитом. Це може бути її вік, освіта, професія, власність та інше. Навчивши нейромережу на цій базі, аналітик може визначити найсуттєвіші характеристики клієнта і на цій основі віднести його до певної категорії кредитного ризику. Для кількісної оцінки альтернативних рішень також можна використати дискримінантний або кластерний аналіз.

Важливим напрямком використання нейромережевих технологій є розробка цінового механізму в розвитку ВЕС. Ціна – дуже важливий елемент у бізнесі. Вона має бути тісно пов’язаною з виробничою програмою і товарним асортиментом фірми, тобто стратегією підприємства. Для оптимізації процесу інвестування необхідно мати в наявності імітаційну модель, яка дасть можливість визначити попит на ринку у відповідності до кон’юнктури та економіки регіону.

Визначити функцію попиту – завдання досить складне, оскільки вона має фрактальні властивості. Проте економетричну залежність між найбільш важливими мезо- та мікроекономічними показниками, що моделюють економічні стани регіону, можна визначити. Для розв’язку такого типу задач можна використати нейромережевий підхід.

На вхід нейронної мережі подаються показники, що характеризують і одночасно визначають ринок регіону для заданого виду продукції чи наданих послуг. Дана вхідна інформація може бути поділеною на ряд блоків: блок макро- та мезоекономічних і соціальних показників регіону; блок даних витрат на рекламу; блок даних, які характеризують вартість і якісь послуг; блок даних стосовно кон’юнктури ринку та блок статистичної інформації внутрішнього характеру.

Для практичної реалізації даного підходу з допомогою нейронної мережі нам необхідно визначити: вхідні та вихідні змінні; принцип функціонування та вигляд мережі.

Виконання даної процедури дозволить, змінюючи ціни та витрати на рекламу, досягти необхідних показників попиту у відповідності з прийнятою стратегією підприємства. Поряд з цим, нейронна мережа дає можливість визначити кількісні значення для вхідних показників. Дана методика є досить ефективною при використанні в окремих маркетингових міроприємствах на конкретних ринках збуту. Одночасно вона допоможе звести до мінімуму витрати на рекламу та створити максимальний зовнішній ефект впливу на величину попиту.

Нейронні мережі є добрим програмним продуктом для розв’язання задачі прогнозування інвестиційного потенціалу регіону. Його можна визначити як здатність до отримання максимально можливого обсягу інвестиційної складової валового регіонального продукту, яка реалізується через використання інвестиційного фактору економічного росту. Даній задачі властиві наступні особливі ознаки:

- великий обсяг вхідної інформації;

- неповнота або надлишок даних, їх зашумленість і часткове протиріччя;

- відсутність однозначного формалізованого алгоритму прогнозування.

Для розв’зання поставленої задачі необхідно побудувати модель, яка буде аналізувати поступлення інформації відносно кількісної оцінки потенціалу, виявити в ній закономірності, враховувати неоднорідність і невизначеність даних і виконати прогноз.

У формалізованому виді задачу прогнозування інвестиційного потенціалу регіону з допомогою нейромереж можна сформулювати наступним чином. Нехай нам відомо n дискретних значень кількісної оцінки інвестиційного потенціалу регіону в попередні моменти часу. Задача полягає в знаходженні прогнозного значення в деякий майбутній момент часу . Кількісна оцінка розраховується за певних умов з допомогою вектора . Елементи даного вектора є фактори, під впливом яких формується в момент часу кількісна оцінка потенціалу. Разом з тим, вони складають основу для оцінки інвестиційного потенціалу в наступний момент часу :

(2.7)

В якості таких основних факторів можна прийняти: чисельність трудових ресурсів, основні виробничі і невиробничі фонди, обсяги випуску промислової та сільськогосподарської продукції і т.д. Для практичної реалізації розробленої моделі необхідно розв’язати наступні задачі:

-формування інформаційної бази і на її основі виділення навчальної і тестової вибірки виду (2.7);

-проведення попередньої обробки вибірки: нормування, кодування даних, конструювання мережі (вибір топології мережі, функції активації нейронів, алгоритм навчання);

-навчання мережі на основі ретроспективних даних;

-оцінки функціонування розробленої моделі та якість навчання мережі.

Інструментарій нейронних мереж можна використати при виконанні процедури оцінки ліквідності та надійності комерційних банків на основі інтегрального показника (правил рішень). Для знаходження даного показника в нейромережах виконуються наступні процедури вибору:

· системи кодування вхідного значення чи їхні множини;

· топології чи архітектури мережі, тобто число елементів і структура зв’язків (входи, шари, виходи);

· функції активації;

· алгоритму навчання мережі.

Для отримання правила рішень, яке визначає категорію банку (“надійний” або “проблемний”), з допомогою процедури “класифікація з учителем” отримуємо декілька сценаріїв, в залежності від поставленої мети:

- передбачення групи проблемних банків за критерієм НБУ;

- прогнозування банкрутства банку;

- вибір надійних контрагентів при кредитуванні.

Тут основну роль відводиться навчальній вибірці, яка формується для кожного із перелічених випадків за своїми правилами на основі нормативної та статистичної бази.

Ще одним прикладним застосуванням нейронних мереж є податкова та митна системи. Так, наприклад, для відбору платників податку – кандидатів для проведення податкових перевірок на вхід навчальної мережі подається послідовність векторів, компонентами яких є параметри цих платників. Нейронна мережа відбирає тих платників податку, які володіють тими самими характеристиками, що й навчальна вибірка.

Алгоритм будується таким чином, що він буде розбивати податкові декларації, відносно проведення перевірок, на два класи:

- можуть дати великі дорахування;

- дорахування малоймовірні.

Для навчання нейромережі розпізнавання класів декларацій використовується навчальний файл, який містить інформацію про результати попередніх перевірок і дані з податкових декларацій перевірених платників податку. Після виконання процедури навчання мережі її можна використовувати для класифікації податкових декларацій, для яких такі перевірки ще не проводилися.

Податкові декларації, відібрані мережею як потенційно продуктивні, в подальшому розглядаються експертом-аналітиком, який і приймає остаточне рішення: варто їх проводити чи ні, і якщо варто, то на які питання необхідно в першу чергу звернути увагу. Дану методику можна використовувати як метод виявлення зв’язків між значеннями, які вказуються в конкретних пунктах декларацій, і імовірнісним ухиленням сплати податків, тобто в якості попередньої процедури відбору для економетричного моделювання процесів оподаткування з допомогою регресійного та дискримінантного аналізів.

Аналогічні процедури моделювання за допомогою нейромереж можна застосовувати до кількісного аналізу та прогнозування економічних показників у митній справі.

2.5. Запитання та завдання для самостійної роботи

1. Кому та для чого потрібні прогнози?

2. Опишіть основні причини зросту попиту на прогнози.

3. Назвіть і опишіть основні фази динамічного розвитку систем.

4. Дайте тлумачення прогнозу та прогнозування.

5. У чому полягає основна суть прогнозування?

6. Що лежить в основі прогнозування?

7. Які способи побудови прогнозів вам відомі?

8. Дайте характеристику основних функцій, які виконує прогнозування.

9. Опишіть основні етапи прогнозування.

10. Сформулюйте основні принципи, яких слід дотримуватися при аналізі об’єкта прогнозування.

11. Дайте схематичне модельне представлення процесу прогнозування.

12. Дайте визначення прогнозної моделі.

13. Які способи опису прогнозних моделей Ви знаєте?

14. Охарактеризуйте основні вимоги до прогнозних моделей.

15. Опишіть основні ознаки класифікації прогнозів.

16. Дайте схематичне зображення класифікації прогнозів і їх характеристики.

17. Опишіть основні принципи класифікації методів прогнозування.

18. Що являють собою методи прогнозування?

19. Які ознаки покладені в основу класифікації методів прогнозування?

20. Яким вимогам повинна відповідати система вибору методів прогнозування?

21. Опишіть основні етапи побудови системи моделей прогнозування.

22. Нарисуйте умовну схему класифікацї методів прогнозування.

23. Опишіть основні етапи процесу моделювання методом Монте-Карло.

24. Дайте тлумачення нейромережі.

25. Наглядно опишіть структурну схему взаємозв’язків біологічних нейронів.

26. Побудуйте спрощену схему моделі МакКоллока-Пітса.

27. Дайте тлумачення ваг нейронів.

28. Охарактеризуйте основні властивості нейронних мереж.

29. Опишіть основні стратегії навчання мережі.

30. Приведіть основні види функцій активації нейронів.

31. Опишіть основні етапи побудови та функціонування самонавчаючих алгоритмів нейромереж.

32. Дайте характеристику програмних продуктів нейромереж.

Рис. 2.3. Класифікаційна схема прогнозів