Ключові положення

Як було з'ясовано в попередній лабораторній роботі, після перетворення до цифрового формату швидкість цифрового потоку для відеосигналу є досить значною й може досягати сотні й тисячі Мбіт/с. Це є досить значною надлишковістю.

В загальному випадку, телевізійний сигнал містить статистичну, візуальну (психофізіологічну) і структурну надлишковість.

Статистична надлишковість. Сітківка ока містить 6, 5-7 млн. колбочок, що є основними рецепторами для сприйняття зображень. Разом з цим, кількість нервових волокон, що сполучають сітківку з головним мозком, для кожного ока складає приблизно 0, 8-1, 0 млн. Таким чином, на етапі перетворення зорової інформації від рецепторів сітківки до волокон очного нерва відбувається " стиснення" інформації в 6, 5-8, 75 разів за рахунок відсіювання усієї несуттєвої інформації без жодного погіршення якості зорового сприйняття. Ця обставина вказує на наявну статистичну надлишковість візуальної інформації і визначає оптимальну величину стиснення інформаційного потоку при усуненні цього виду надлишковості без погіршення якості зображення.

За своєю суттю, статистична надлишковість викликана кореляційними зв'язками і передбачуваністю між елементами зображення в одному рядку, в суміжних рядках і сусідніх кадрах. Ця надлишковість може бути усунена без втрати інформації, а початкові дані при цьому можуть бути повністю відновлені. Широко вживаний метод усунення такої надлишковості ‑ кодування з передбаченням (ДІКМ, заснована на передаванні приростів значень сигналу).

Візуальна надлишковість. Ця надлишковість визначається тією частиною інформації, яка не сприймається оком людини (наприклад, колірна роздільна здатність зору приблизно в 4 рази нижча, ніж яскравісна. Відповідно до цього твердження запропоновано кодувати великі деталі зображення з великим числом градацій яскравості, а дрібні ‑ з меншим). Її можна усунути з частковою втратою даних, що мало впливають на якість відтворного зображення, але в разі незначного коефіцієнту стиснення зображень.

Структурна надлишковість. Ця надлишковість визначається законом розкладання телевізійного зображення і пов'язана із способом передавання телевізійного сигналу (наприклад, передаються постійні за формою сигнали гасіння, які немає необхідності передавати в цифровому сигналі). Усунення цих сигналів дозволяє зменшити об'єм цифрового потоку для телевізійного сигналу
приблизно на 23 %.

Методи усунення надлишковості телевізійних відеосигналів та зображень. На теперішній час існує багато стандартів на методи усунення надлишковості аудіовізуальної інформації та їх програмних/ апаратних реалізацій, однак найбільш поширеними є стандарти серії JPEG (група експертів з кодування нерухомих зображень, Joint Photographic Experts Group) та MPEG (група експертів з кодування рухомих зображень, Motion Picture Experts Group). Як зрозуміло з назв груп експертів-розробників цих методів, метод JPEG використовують для стиснення напівтонових та повноколірних нерухомих зображень, в той час як метод MPEG ‑ для кодування рухомих зображень, тобто телевізійних сигналів. Причому, враховуючи, що відеосигнал є послідовністю нерухомих зображень (у випадку прогресивної розгортки ‑ кадрів), то за своєю суттю алгоритм MPEG передбачає використання алгоритмів JPEG з певними модифікаціями для внутрикадрового стиснення саме таких зображень. Такий підхід застосовано в таких методах стиснення відеосигналів, як MPEG-2, MPEG-4 AVC та інших методах, що базовані на поелементному стисненні. Надалі будемо розглядати метод JPEG в контексті зниження внутрикадрової надлишковості (як візуальної, так й статистичної).

Алгоритм усунення внутрикадрової надлишковості, базований на методі JPEG. Узагальнена структурна схема кодера JPEG для усунення внутрикадрової надлишковості приведено на рис. 5.1. Насправді таких кодерів три ‑ для кожного з сигналів, які утворюють телевізійний сигнал. Можливі такі варіанти: усуненню надлишковості піддається сигнал яскравості й кольорорізницеві сигнали або сигнали первинних кольорів R, G, B. Але етапи обробляння для всіх кодерів однакові, тому надалі будемо розглядати лише один з визначенням всіх особливостей для кожного з сигналів.

Рисунок 5.1 ‑ Узагальнена структурна схема кодера JPEG

Стиснення за алгоритмом JPEG складається з 6 етапів:

1 Розбиття зображення на блоки. Зображення, що в більшості випадків представлене відліками сигналу яскравості (Y) й кольрорізницєвих сигналів (C_B, C_R), поділяють на елементарні блоки 8× 8 елементів зображення (рис. 5.2). Кожен такий блок містить 64 значення відліків відповідного сигналу в діапазоні значень від 0 до 255 (за 8-розрядного кодування) для сигналу яскравості, й в діапазоні від -128 до +127 для кольорорізницевих сигналів C_R та C_B.

Рисунок 5.2 ‑ Розбиття на блоки 8× 8 елементів зображення для випадку зображення в форматі SDTV

2 Дискретне косинусне перетворення(ДКП). ДКП-перетворення є окремим випадком перетворення Фур'є, що його застосовують до дискретних сигналів. Це перетворення застосовують для розкладання періодичного сигналу на послідовність косинусоїдальних та синусоїдальних функцій. При цьому сигнал може бути представлений послідовністю коефіцієнтів кожної з цих функцій.

Метою застосування ДКП є перехід до спектрального представлення оброблюваної інформації, за якого кожна спектральна складова представляє собою просторову частоту з певним значенням амплітуди. З урахуванням основної задачі усунення візуальної надлишковості (тобто видаленню тих деталей на зображенні, які людське око внаслідок обмеженості роздільної здатності не побачить), такий перехід дозволяє за допомогою просторових частот складові певним чином " відсортувати" складові, що відповідають на зображенні деталям різної величини. Причому, великим просторовим частотам відповідають невеликі деталі за зображенні та навпаки. Окрім того, коефіцієнти ДКП є декорельованими один з одним, що є також важливим при стисненні.

У випадку зображень використовують двовимірне перетворення ДКП (у вертикальних та горизонтальних напрямах), при якому перетворять значення відліків сигналу яскравості (або колірності), об'єднані в блок N × N елементів зображення, в значення коефіцієнтів ДКП, що об'єднані в інший блок N × N коефіцієнтів з амплітудами кожної косинусної гармонічної функції.

Пряме дискретне косинусне перетворення виконується з наступними
формулами:

, (5.1)

де Cu, Cv = для u, v = 0;

Cu, Cv = 1 в інших випадках;

‑ відліки вхідного зображення;

‑ коефіцієнти ДКП із номерами u і v;

u і v ‑ індекси коефіцієнтів ДКП, що змінюють від 0 до 7.

На рис. 5.3 представлено приклад результатів перетворення блоку 8× 8 елементів зображення в матрицю 8× 8 коефіцієнтів прямого ДКП (ПДКП). Коефіцієнти по горизонтальній вісі у блоці після перетворення представляють собою горизонтальні просторові частоти, значення яких зростає зліва направо. Аналогічним чином, коефіцієнти по вертикальній вісі представляють собою вертикальні просторові частоти, що змінюються зверху вниз. Коефіцієнт з верхнього лівого кута (з координатами (0, 0)) представляє собою постійну складову, тобто нульові просторові частоти. Одночасно з цим, коефіцієнт з координатами (7, 7) відповідає максимальній просторовій частоті в обох напрямах.

Рисунок 5.3 ‑ Приклад результатів перетворення блоку 8× 8 елементів зображення в матрицю 8× 8 коефіцієнтів прямого ПДКП

3 Квантування. На цьому етапі враховуються такі особливості людського ока, як обмежена роздільна здатність й неможливість розрізняти деталі певного розміру за певного рівня яскравості. Враховується це наступним чином: коефіцієнти ПДКП, значення яких нижче визначеного заздалегідь порога зануляються, в той час як коефіцієнти з значеннями, вищими за поріг, квантують з точністю, яка зменшується з підвищенням просторової частоти. Така операція проводиться на 63 коефіцієнтами ПДКП, окрім коефіцієнта з координатами (0, 0). Цей коефіцієнт, що представляє собою середнє значення яскравості зображення або його колірності, кодують за допомогою диференціальної ІКМ відносно коефіцієнту ПДКП попереднього блоку 8× 8. Це дозволяє мінімізувати видимість певного виду спотворень після стиснення внаслідок того, що око не є дуже чутливим до зміни яскравості або колірності маленьких деталей на зображенні, в той час як навіть маленьке змінення яскравості на однорідний частині зображення буде дуже помітне.

До цього моменту під час обробляння в кодері JPEG будь-якої втрати інформації не відбувалось ‑ перетворення ДКП є зворотним (тобто без втрат). Однак, з урахуванням фізіологічних особливостей людського зору (низькою чутливістю до високих просторових частот), можливо без значного погіршення якості зображення зменшити обсяг інформації, необхідний для зберігання зображення. Але для отримання найбільшої ефективності стиснення це неможливо без втрат інформації. Саме під час квантування й відбувається основна втрата інформації.

Квантування коефіцієнтів ДКП виконується відповідно до формули

, (5.2)

де ‑ коефіцієнти квантування, що задаються у вигляді таблиці з 8× 8 цілих чисел, round() ‑ операція округлення до найближчого цілого значення; ‑ коефіцієнти ДКП до квантування, ‑ коефіцієнти ДКП після квантування.

Важливо відмітити, що для квантування сигналу яскравості і кольорорізницевих сигналів використовуються різні таблиці. В результаті виконання операцій ділення і округлення багато коефіцієнтів ДКП стають рівними нулю. Саме квантування створює можливість зменшення числа двійкових символів, необхідних для подання інформації щодо коефіцієнтів ДКП, тобто стиснення зображення. В той же час саме квантування є джерелом безповоротних втрат інформації при стисненні.

Операція деквантування, що виконується в декодері JРЕG, полягає в множенні квантованих коефіцієнтів ДКП на відповідні коефіцієнти з таблиць
квантування.

Фактично, при зміні коефіцієнтів матриці квантування відбувається зміна усередненої якості зображення. Цей зв'язок є якісним та не може бути встановлений в явному виді, а лише в середньому й для різних зображень він може дещо відрізнятись. Стандарт на метод JPEG визначає параметр Q_JPEG, який опосередковано характеризує середню суб'єктивну якість зображення після стиснення й використовується під час розрахунку матриці квантування. Змінювати Q_JPEG прийнято від 1 до 100 (що дещо нагадує параметр, що використовують під час оцінювання знань), причому Q_JPEG = 1 буде відповідати мінімальній якості, а Q_JPEG = 100 ‑ максимальній якості, яку можливо досягнути при стисненні за алгоритмом Q_JPEG.

Результат квантування коефіцієнтів ДКП приведено на рис. 5.5.

Для проведення подальших операцій по стисненню відбувається перехід від матричного представлення квантованих коефіцієнтів ДКП до векторного (послідовного). Такий перехід забезпечується за допомогою зигзагоподібного поелементного зчитування коефіцієнтів змінної складової (AC), що його представлено на рис. 5.6. Такому зчитуванню не піддають коефіцієнти постійної складової DC, які обробляють та передають окремо.

В результаті такого зчитування появляється можливість отримання відносно довгих послідовностей нульових коефіцієнтів, що підвищує ефективність обробки на наступних етапах обробляння ‑ під час ентропійного кодування з метою усунення статистичної надлишковості.

Рисунок 5.5 ‑ Приклад результату квантування коефіцієнтів ДКП

Рисунок 5.6 ‑ Зигзаг-розгортка квантованих коефіцієнтів ПДКП

4 Кодування довжиною послідовностей (Run length coding, RLC). Першим етапом ентропійного кодування є кодування, під час якого підраховується та кодується частота появи нульових коефіцієнтів до найближчого ненульового коефіцієнта. Потім послідовність далі аналізується на предмет наявності нулів до наступного ненульового елемента й кодування повторюється знов.

5. Кодування змінною довжиною кодового слова (кодування Хафмана). Під час цього кодування використовується таблиця перетворення (кодова книга) для кодування значень, що найбільш часто зустрічаються в кодованому потоці, короткими кодовими словами. Найбільш рідкі комбінації кодуються більш довгим кодовим словом.

Об'єктивна оцінка якості роботи алгоритмів стиснення зображень. Для об'єктивної оцінки якості роботи систем стиснення за алгоритмами JPEG та MPEG зазвичай використовують два таких основних параметри: відношення (пік сигналу)/шум (PSNR) й коефіцієнт стиснення (CR).

PSNR є параметр, що визначає відношення максимуму значення сигналу (при 8-розрядному кодуванні це 255) і потужністю шуму, що спотворює значення сигналу (в цьому випадку це шум квантування). Оскільки багато сигналів мають широкий динамічний діапазон, PSNR зазвичай вимірюється в логарифмічній шкалі в децибелах. Під час оцінки ефективності кодерів стиснення, PSNR є певною апроксимацією людського сприйняття якості відновлення
зображення.

Простіше усього PSNR визначити через середньоквадратичне відхилення (MSE), яке для двох монохромних зображень I і K розміру m× n, одне з яких вважається зашумленим наближенням іншого, обчислюється так:

. (5.3)

Звідки, PSNR визначається таким чином:

, (5.4)

де MAX_I ‑ це максимальне значення, що приймає елемент зображення.

Коефіцієнт стиснення визначається як відношення кількості даних до стиснення до кількості даних після стиснення:

.

Таким чином, наприклад, при стисненні файлу розміром 10 Мбайт до 2 Мбайт коефіцієнт стиснення відповідає 5. Також часто використовують позначають як співвідношення. Наприклад, коефіцієнт стиснення для наведених вище умов також може бути представлений як 5: 1 (п'ять до одного).