![]() Главная страница Случайная страница КАТЕГОРИИ: АвтомобилиАстрономияБиологияГеографияДом и садДругие языкиДругоеИнформатикаИсторияКультураЛитератураЛогикаМатематикаМедицинаМеталлургияМеханикаОбразованиеОхрана трудаПедагогикаПолитикаПравоПсихологияРелигияРиторикаСоциологияСпортСтроительствоТехнологияТуризмФизикаФилософияФинансыХимияЧерчениеЭкологияЭкономикаЭлектроника |
Перший і другий принципи адитивності інформації. ⇐ ПредыдущаяСтр 6 из 6
Перший принцип адитивності інформації дозволяє в рамках синтаксичного підходу оцінювати цінність інформації через її кількісні характеристики [16]. Другий принцип адитивності інформації дозволяє визначити робочу область значень інформаційного КФЕ, яка задовольняє вимогам: чим більше кількість інформації про образи, що розпізнаються, тим більша достовірність рішень, що приймаються. Принцип апріорної недостатності обґрунтування гіпотез (принцип Бернуллі-Лапласа). Д ля оцінки ефективності функціонування СК, що навчається, апріорна інформація є неповною, тому, згідно з принципом Бернуллі-Лапласа, виправдано прийняття рівноймовірних гіпотез. При цьому гарантується, що покращення умов функціонування системи не знизить її функціональну ефективність, а навпаки підвищить. Принцип композиції. Суть цього принципу полягає в тому, що обов’язковими елементами математичної моделі процесу навчання за МФСВ є відображення універсуму W випробувань СК на множину значень інформаційного критерію Е: g: W Принцип “найближчого сусіди” обумовлює необхідність побудови на етапі навчання СПР оптимальних роздільних гіперповерхонь між найближчими класами розпізнавання. Принцип рандомізації вхідних даних. Цей принцип дозволяє разом з детермінованими характеристиками функціонального стану СПР розглядати випадкові реалізації образів розпізнавання, що дає змогу оцінювати точнісні характеристики процесу навчання і обчислювати інформаційну спроможність системи. Принцип обмеженої багатоваріантності рішень, що приймаються. На цьому принципі базуються ітераційні процедури оптимізації процесу навчання, оскільки алгоритмічний інформаційний синтез СПР означає генерацію обмеженої кількості можливих варіантів рішень, які оцінюються у процесі навчання за інформаційним КФЕ. Основні концептуальні положення МФСВ можна сформулювати так: · метод ґрунтується на прямій оцінці інформаційної спроможності СК, що навчається; · прийняття рішень здійснюється в рамках детерміновано-статистичного підходу шляхом побудови відносно простого детермінованого класифікатора, статистична корекція якого здійснюється в процесі навчання з метою підвищення достовірності рішень, що приймаються на екзамені; · метод ґрунтується на застосуванні гіпотез як чіткої, так і нечіткої компактності реалізацій образу, тобто є працездатним за умови перетину класів розпізнавання; що має місце в практичних задачах контролю та керування; · метод є об’єктно-структурованим, що дозволяє його розвивати для вирішення проблеми інформаційного синтезу широкого класу СК з успадкуванням властивостей структурованих об’єктів вищого ієрархічного рівня і довизначенням їх методів; · метод базується на вибірковому підході математичної статистики і орієнтований на застосування прийнятних з практичних міркувань мінімальних обсягів репрезентативних навчальних вибірок; · метод є універсальним для проектування здатної навчатися СК будь-якої природи і дозволяє вирішувати як загальну, так і часткові задачі її інформаційного синтезу. Основна ідея МФСВ полягає в оптимізації структурованих просторово-часових параметрів функціонування СПР шляхом трансформації в процесі навчання відношення схожості на нечіткому розбитті простору ознак розпізнавання на класи у відношення еквівалентності. При цьому оптимізація параметрів функціонування здійснюється за ієрархічною ітераційною процедурою пошуку глобального максимуму інформаційного критерію функціональної ефективності (КФЕ) навчання СПР в робочій області визначення його функції. Побудова безпомилкового за навчальною матрицею класифікатора, згідно з принципами дуальності оптимального керування, розширеної редукції, квантовості виведення знань і максимізації інформації при прийнятті рішень, у дискретному субпарацептуальному просторі ОР на кожному кроці навчання здійснюється шляхом цілеспрямованої трансформації вихідного нечіткого розподілу реалізацій образу з метою його вписування в оптимальний контейнер класу розпізнавання, що відновлюється в радіальному базисі. При цьому відновлення контейнерів в радіальному базисі в задачах контролю та керування, де розподіли реалізацій образу є уніномодальними, є природним. Таким чином, підвищення ефективності машинного навчання СПР за умови нечіткої компактності реалізацій образу досягається шляхом цілеспрямованої зміни значень ознак розпізнавання у рамках МФСВ, що дозволяє трансформувати апріорне нечітке розбиття простору ознак на класи розпізнавання в чітке з метою побудови безпомилкових за навчальною матрицею вирішальних правил. Розглянемо бінарний простір ознак розпізнавання WБ, який є підмножиною простору Хеммінга з потужністю Card WБ = 2N, де Визначення 5.1.1. Класом розпізнавання (образом) називається множина відбитих властивостей m-го функціонального стану СПР і відношень між її елементами. Клас розпізнавання - топологічна категорія, яка задається в просторі ознак розпізнавання областю Ì WБ. Визначення 5.1.2. Множина класів розпізнавання Визначення 5.1.3. Функціонально-статистичними випробуваннями в МФСВ називаються натуральні, імітаційні або проведені безпосередньо при функціонуванні СК випробування за схемою Бернуллі, у процесі яких приймається рішення про достатність їх проведення, здійснюється оцінка інформаційної спроможності системи і приймаються керуючі рішення. Надалі, під випробуваннями маються на увазі саме функціонально-статистичні випробування. Таким чином, навчальна і екзаменаційна матриці повинні бути однаково структурованими і мати однакові параметри статистичної стійкості та статистичної однорідності Детерміновано-статистичний підхід до моделювання систем вимагає завдання систем нормованих (експлуатаційних) і контрольних допусків на ознаки розпізнавання. Нехай Визначення 5.1.4. Нормованим називається поле допусків Визначення 5.1.5. Контрольним називається поле допусків У МФСВ контрольні допуски на ознаки розпізнавання вводяться з метою рандомізації процесу прийняття рішень, оскільки для повного дослідження процесу керування необхідно використовувати як детерміновані, так і статистичні характеристики. Зрозуміло, що Визначення 5.1.6. Реалізацією образу
де При обґрунтуванні гіпотези компактності (чіткої, або нечіткої) за геометричний центр класу Визначення 5.1.7. Еталонний вектор-реалізація xm- це математичне сподівання реалізацій класу Подамо детермінований вектор xm у вигляді структурованого двійкового вектора-кортежа:
xm = < xm, 1, …, xm, і , …, xm, N >, m =
де хm, і - і- та координата вектора, яка приймає одиничне значення, якщо значення і- ої ознаки знаходиться в нормованому полі допусків Процес прийняття рішень складається, як це підтверджено експериментально вченим-фізіологом Анохіним П.К., з двох етапів: навчання (самонавчання) і безпосереднього розпізнавання або екзамену. Визначення 5.1.8. Середньою максимальною асимптотичною (верхньою граничною) повною достовірністю СПР, що навчається, називається ймовірність
де При оптимізації процесу навчання за МФСВ корисним є подання роздільних гіперповерхонь класів розпізнавання у вигляді контейнерів, які складаються із правильних геометричних фігур або їх об’єднання, що зменшує обчислювальну трудомісткість алгоритму навчання. Особливо це ефективно при побудові контейнерів у радіальному базисі. Визначення 5.1.9. Контейнером називається наближення “точної” замкненої роздільної гіперповерхні класу розпізнавання у вигляді правильної геометричної фігури, або поєднання декількох правильних геометричних фігур. При цьому геометричний центр контейнера вважається визначеним будь-яким способом. За МФСВ геометричний центр контейнера класу розпізнавання визначається вершиною еталонного вектора, одержаного шляхом статистичного усереднення реалізацій образу. Таким чином, для класу Ефективність функціонування СПР залежить від її параметрів функціонування. Визначення 5.1.11. Як критерій оптимізації процесу навчання в рамках МФСВ застосовується будь-який статистичний логарифмічний інформаційний КФЕ, який є природною мірою різноманітності класів розпізнавання і одночасно функціоналом точнісних характеристик нечіткого регулятора. Важливим параметром функціонування СПР є рівень селекції координат еталонного двійкового вектора, вершина якого визначає геометричний центр класу розпізнавання. Визначення 5.1.12. Рівнем селекції координат еталонного двійкового вектора називається рівень квантування дискрет полігону емпіричних частот попадання значень ознак розпізнавання у свої поля контрольних допусків. Полігон будується для кожного класу так: по осі абсцис відкладаються ранги ознак розпізнавання, які відповідають номерам ознак у векторі-кортежі Визначення 5.1.13. Відносним коефіцієнтом нечіткої компактності реалізацій класу
де Інші визначення категорій і понять автоматичної класифікації, які мають загальний характер, наведено, наприклад, у працях [1-5]. У бінарному просторі формою оптимального контейнера є гіперпаралелепіпед. З метою узагальнення та зручності побудови такого контейнера допустимо існування “псевдогіперсфери”, яка описує гіперпаралелепіпед, тобто містить усі його вершини. Це дозволяє далі розглядати такі параметри оптимізації контейнера в радіальному базисі, як еталонний вектор, наприклад,
де Надалі, з метою спрощення, кодову відстань (5.1.3) між векторами У загальному випадку при прийнятті гіпотези нечіткої компактності реалізацій образу покриття L |M| =
1) 2) 4)
У МФСВ відновлення оптимального контейнера в радіальному базисі, наприклад,
де Нехай класи
де Алгоритм навчання за МФСВ полягає в реалізації багатоцикличної ітераційної процедури оптимізації структурованих просторово-часових параметрів функціонування СПР шляхом пошуку глобального максимуму усередненого за алфавітом Нехай вектор параметрів функціонування СПР у загальному випадку має таку структуру:
де При цьому відомі обмеження на відповідні параметри функціонування:
За методологією об’єктно-орієнтованого проектування подамо тестовий алгоритм навчання в рамках МФСВ для загального випадку (М > 2) як ієрархічну ітераційну процедуру оптимізації структурованих просторово-часових параметрів (5.1.7) функціонування СПР:
де Глибина циклів оптимізації визначається кількістю параметрів навчання у структурі (5.1.7). При цьому внутрішні цикли оптимізують фенотипні параметри навчання, які безпосередньо впливають на геометричну форму контейнерів класів розпізнавання. Такими параметрами, наприклад, для гіперсферичних контейнерів класів є їх радіуси. До генотипних у МФСВ відносяться параметри навчання, які прямо впливають на розподіл реалізацій класу (наприклад, контрольні допуски на ознаки розпізнавання, рівні селекції координат еталонних двійкових векторів, параметри оптимізації словника ознак, плану навчання, параметри впливу середовища та інше). Послідовна оптимізація кожного із цих параметрів дозволяє збільшувати значення максимуму КФЕ навчання, що підвищує повну асимптотичну достовірність класифікатора на екзамені. Обов’язковою процедурою алгоритму навчання за МФСВ є оптимізація контрольних допусків, величина яких безпосередньо впливає на значення відповідних ознак розпізнавання, а так само і на параметри розподілу реалізацій образу. При компараторному розпізнаванні (М =2), яке відбувається шляхом порівняння образу, що розпізнається, з еталонним образом, і має місце, наприклад, в задачах ідентифікації кадрів, самонаведенні літальних апаратів, класифікаційному самонастроюванні та інше, ітераційний алгоритм навчання за МФСВ має такий структурований вигляд:
де Таким чином, за умови обґрунтування гіпотези компактності (чіткої або нечіткої), основна ідея навчання за МФСВ полягає в послідовній нормалізації вхідного математичного опису СПР шляхом цілеспрямованої трансформації апріорних габаритів розкиду реалізацій образів з метою максимального їх захоплення контейнерами відповідних класів, що відбудовуються в радіальному базисі в процесі навчання. Оптимальні контейнери за МФСВ забезпечують максимальну різноманітність між сусідніми класами, міра якої дорівнює максимуму інформаційного КФЕ навчання в робочій області визначення його функції. Оптимальні геометричні параметри контейнерів, отримані в процесі навчання за МФСВ, дозволяють на екзамені приймати рішення за відносно простим детермінованим вирішальним правилом, що важливо при реалізації алгоритмів прийняття рішень в реальному темпі часу. При цьому повна достовірність класифікатора наближається до максимальної асимптотичної, яка визначається ефективністю процесу навчання. Досягнення на екзамені асимптотичної достовірності розпізнавання можливо за умови забезпечення однакових характеристик статистичної стійкості та статистичної однорідності навчальної та екзаменаційної матриць. Виконання цієї умови має місце при навчанні СПР безпосередньо в процесі функціонально-статистичних випробувань.
5.2. Математичні моделі прийняття рішень за апріорно класифікованими навчальними матрицями
При обгрунтуанні гіпотези нечіткої компактності має місце нечітке розбиття Структурна діаграма відображень динамічних множин в процесі навчання за МФСВ для загального випадку нечіткого розбиття простору ознак на класи розпізнавання має вигляд:
(5.2.1) Таким чином, у діаграмі (5.2.1) контур операторів
безпосередньо оптимізує геометричні параметри розбиття Оператори Оператор U: E®G Діаграма відображень множин на екзамені має такі відмінності від діаграм оптимізаційного навчання за МФСВ: § зворотний зв’язок у діаграмі не містить контурів оптимізації параметрів функціонування СК, а призначенням оператора UЕ є регламентація екзамену; § замість оператора q вводиться оператор Р відображення вибіркової множини XÌ § комутативне кільце утворюється між розбиттям § оператор класифікації Yутворює композицію двох операторів: Y1: З урахуванням наведених відмінностей діаграма відображень множин на екзамені набуває вигляду:
У діаграмі (5.2.3) оператор Ф1 відображає універсум випробувань на вибіркову множину Х, яка утворює екзаменаційну матрицю
де f - композиція операторів y d = Аналогічно за діаграмою (5.2.3), подамо агрегатовану модель екзамену у вигляді
де Приймемо за базову модель навчання за МФСВ діаграму (5.2.1), яка відображає множини, застосовані при оптимізації тільки геометричних параметрів розбиття 5.3. Базовий алгоритм навчання Призначенням базового алгоритму навчання LEARNING [7] є оптимізація геометричних параметрів контейнерів, яка реалізується операторами контуру оптимізації (5.2.2) згідно з діаграмою (5.2.1) відображення множин, застосованих в процесі навчання. Вхідною інформацією для навчання за базовим алгоритмом є дійсний, в загальному випадку, масив реалізацій образу Розглянемо етапи реалізації алгоритму LEARNING: 1. Формування бінарної навчальної матриці
2. Формування масиву еталонних двійкових векторів-реалізацій
де r m - рівень селекції координат вектору 3. Множини еталонних векторів розбивається на пари найближчих ² сусідів²: а) структурується множина еталонних векторів, починаючи з вектора x 1 базового класу б) будується матриця кодових відстаней між еталонними векторами розмірності M ´ M; в) для кожної строки матриці кодових відстаней знаходиться мінімальний елемент, який належить стовпчику вектора - найближчого до вектора, що визначає строку. При наявності декількох однакових мінімальних елементів вибирається з них будь-який, оскільки вони є рівноправними; г) формується структурована множина елементів попарного розбиття 4. Оптимізація кодової відстані dm відбувається за рекурентною процедурою (5.1.5). При цьому приймається 5. Процедура закінчується при знаходженні максимуму КФЕ в робочій області його визначення: Таким чином, базовий алгоритм навчання є ітераційною процедурою пошуку глобального максимуму інформаційного КФЕ в робочій області визначення його функції:
На рис. 5.3.1 наведено структурну схему базового алгоритму навчання LEARNING. Тут показано такі вхідні дані: § { Y [ J, I, K ]}- масив навчальних вибірок, § { NDK [ I ]}, { VDK [ I ]} - масиви нижніх і верхніх контрольних допусків на ознаки відповідно. Результатом реалізації алгоритму є: § { DOPT [ K ]} - цілий масив оптимальних значень радіусів контейнерів класів розпізнавання; § { EV [ K ]}- масив еталонних двійкових векторів-реалізацій класів розпізнавання; § { EM [ K ]} - дійсний масив максимальних значень інформаційного КФЕ процесу навчання; § { D 1[ K ]}, { A [ K ]}, { B [ K ]}, { D2 [ K ]} - дійсні масиви оцінок екстремальних значень точнісних характеристик процесу навчання: перша достовірність, помилки першого та другого роду і друга достовірність відповідно. У структурній схемі алгоритму (рис. 5.3.1) блок 3 формує масив навчальних двійкових вибірок { X [ J, I, K ]} шляхом порівняння значень елементів масиву { Y [ J, I, K ]} з відповідними контрольними допусками за правилом (5.3.1) і формує масив еталонних двійкових векторів { EV [ K ]} шляхом статистичного усереднення стовпців масиву { X [ J, I, K ]} за правилом (5.3.2) при відповідному рівні селекції, який за умовчанням дорівнює Блок 4 здійснює розбиття множини еталонних векторів на пари “найближчих сусідів”. Ідентифікатор D (блок 8) є робочою змінною величини радіуса контейнера.
Рисунок 1- Структурна схема базового алгоритму навчання Блок 11 обчислює на кожному кроці навчання значення інформаційного КФЕ. При невиконанні умови блоку порівняння 12 блок 13 оцінює належність поточного значення критерію Аналогічно будуються оптимальні контейнери для інших класів. Якщо параметри навчання { DOPT [ K ]} і { EV [ K ]} є вхідними даними для екзамену, то значення КФЕ та екстремальних оцінок точнісних характеристик використовуються для аналізу ефективності процесу навчання. Таким чином, основною процедурою базового алгоритму навчання за МФСВ є обчислення на кожному кроці навчання інформаційного КФЕ і організація пошуку його глобального максимуму в робочій області визначення функції критерію.
5.4. Оптимізація геометричних параметрів контейнерів класів розпізнавання Розглянемо приклад побудови на етапі навчання оптимального контейнера для класу
Рисунок 5.4.1 – Розподіл реалізацій класів
У процесі навчання за базовим алгоритмом послідовно будувалися, згідно з процедурою (5.1.5), концентровані роздільні гіперсфери і на кожному k -му кроці навчання обчислювалися за формулами (4.4.2) і (4.4.5) відповідно значення критеріїв Em і
У табл. 5.4.1 наведено значення точнісних характеристик і критеріїв (4.4.2.) і (4.4.5), обчислених за базовим алгоритмом (5.4.1) за одинадцять кроків навчання для розподілу реалізацій, показаному на рис. 5.4.1. У табл. 5.4.1 значення К 1 дорівнює ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]()
Таблиця 5.4.1–Результати оптимізації контейнера
Таким чином, запропоновані модифікації критеріїв Шеннона і Кульбака дають у робочій області визначення їх функцій, що виділена в табл. 5.4.1, однакові або близькі екстремальні значення їх аргументів. Зображена на рис. 5.4.1 область 12, яка побудована за критерієм максимуму правдоподібності за методом еталонів [1], забезпечує максимальне відношенні “своїх” реалізацій до “чужих”. Порівняльний аналіз властивостей розглянутих модифікацій КФЕ за табл. 5.4.1 дозволяє зробити висновок про інваріантність КФЕ за Шенноном до критерію максимуму правдоподібності в той час як критерій Кульбака є з ним корельованим, що пов’язано з його конструкцією. Але оскільки значення модифікації критерію Кульбака так само корельовані в процесі навчання за МФСВ із значеннями модифікації критерію за Шенноном (4.4.2), то можна зробити висновок, що критерій Кульбака є узагальненням ентропійного критерію. Реалізацію базового алгоритмунавчання СПР розглянемо на прикладі задачі оптимізації геометричних параметрів контейнера, яка має місце при автофокусуванні растрового електронного мікроскопа РЕМ-103 виробництва ВАТ “Selmi” (м.Суми, Україна) за зображенням зразка, що досліджується. Ідея автофокусування у рамках класифікаційного настроювання за МФСВ полягає у побудові на кожному кроці автофокусування оптимального контейнера
а) б)
Рисунок 5.4.2– Зображення об’єкту «Кулі»: а) початкове розфокусоване зображення; б) поточне зображення
Формування навчальної матриці ||
Рисунок 5.4.3 – Залежність КФЕ від радіуса контейнера
Аналіз значень точнісних характеристик на кожному кроці навчання дозволяє знайти як саму робочу область визначення критерію 5.5. Алгоритм екзамену
Алгоритми екзамену за МФСВ можуть мати різну структуру залежно від розподілу реалізацій образу, що розпізнаються. Обов’язковою умовою їх реалізації є забезпечення однакових структурованості і параметрів формування як для навчальної, так і для екзаменаційної матриць. За наявності чіткого розбиття, яке було утворено на етапі навчання, алгоритм екзамену за МФСВ має такі вхідні дані:
· · { · · За умовчанням приймається рівень селекції r m = 0, 5. Алгоритм екзамену за МФСВ ґрунтується на аналізі значень функції належності, яка для гіперсферичного контейнера класу розпізнавання
і обчислюється для кожної реалізації, що розпізнається. Розглянемо кроки реалізації алгоритму екзамену при нечіткому розбитті, яке відповідає загальному випадку: 1. Формування лічильника класів розпізнавання: 2. Формування лічильника числа реалізацій, що розпізнаються: 3. Обчислення кодової відстані 4. Обчислення функції належності. 5. Порівняння: якщо j 6. Порівняння: якщо m 7. Визначення класу На рис. 5.5.1 показано структурну схему алгоритму екзамену для загального випадку нечіткого розбиття простору ознак розпізнавання. Алгоритм має такі вхідні дані:
Рисунок 5.5.1– Структурна схема алгоритму екзамену Після виходу із циклу блок 8 визначає клас, до якого належить реалізація ХР, за максимальним значенням функції належності (5.5.2). Таким чином, алгоритми екзамену за МФСВ відрізняються незначною обчислювальною трудомісткістю, що дозволяє їх реалізовувати у реальному темпі часу. У випадку чіткого розбиття простору ознак на класи розпізнавання нечіткий алгоритм є так само працездатним, оскільки він розглядається по відношенню до чіткого алгоритму як загальний.
5.6. Оптимізація контрольних допусків на ознаки розпізнавання
Оскільки контрольні допуски на значення ознак розпізнавання прямо впливають на геометричні параметри контейнерів класів розпізнавання, а таким чином і на асимптотичні точнісні характеристики рішень, то питання вибору системи контрольних допусків (СКД) в МФСВ набуває важливого значення при розробці інформаційного забезпечення СПР, що навчається. Розглянемо підхід до оптимізації СКД на ознаки розпізнавання в рамках МФСВ. На рис. 5.6.1 показано симетричне (двобічне) поле допусків на значення і - ї озн
|