Лекція 08. Додатково про стискання та інформативність повідомлень
Курс “Теорія інформації та кодування”

Ця лекція присвячена одразу двом темам. Спочатку ми розглянемо важливі методи стискання зображень із втратами, яким не вистачило місця в попередній лекції. Надалі почнемо знайомитись із передачею коду повідомлень каналами, в яких виникають помилки (узагальнено - каналами із іеформаційним шумом). Останній досить обширній темі будуть також присвячені дві наступних лекції.

«Арифметичне» статистичне стискання
Фрактальное стискання зображень
Стискання відео за методом MPEG
Інформативність джерела безперервних повідомлень

8.1 «Арифметичне» статистичне стискання

Арифметичне кодування та кодування за Хаффманом
Завдяки дуже широкому використанню кодування Хаффмана можна казати, що відповідний алгоритм належить до найбіль успішних методів кодування в іторії IT. Однак, як ми уже знаємо, він також має певні недоліки. Завдяки цьому останнім часом зростає конкуренція до нього з боку альтернативного підходу, який зазвичай називають «арифметичним» кодуванням (рис.8.1).

Рисунок 8.1 Порівняння кодування за Хаффманом та арифметичного кодування.

Основна ідея арифметичного кодування полягає в тому, що певні ланцюжки знаків кодуються довгими числами (зокрема в двійковими представленні). Процедура кодування передбачає визначення необхідного числа за певним алгоритмом, який враховує імовірності використвуваних знаків. Напроти, декодування відновлює послідовність знаків в ланцюжку, спираючись на зворотню процедуру.

Основною перевагою арифметичного кодування є його більш висока щільність порівняно із кодуванням по Хаффману. Дійсно, збитковість кодування за Хаффмену обмежена розподілом імовірностей знаків і метод укрупнення алфавіту, який дозволяє подолати таке обмеження, дає занадто громізкі для практики рішення. Для арифметичного кодування поєднання знаків в групи (ланцюжки) забезпечується лише додатковими розрахунками. При достатній довжині груп питома довжина коду прагне до ентропії.

Поширення арифметичного кодування стає особливо замітним останнім часом, оскільки його основний недолік — значні витрати ресурсів процесора на розрахунки — стає все менш критичним. Отже, в сучасних програмах архіваторах та спеціалізованих методах стискання повідомлень арифметичне кодування поступово витісняє кодування за Хаффманом.

Процедура арифметичного кодування повідомлень
Розглянемо процедуру арифметичного кодування на прикладі. Нехай відомо, що в повідомленнях Джерела використовуються знаки чотирьох типів з імовірностями відповідно Z1 - 0.6; Z2 - 0.2; Z3 - 0.1; Z4 - 0.1. Знайдемо двійкове число, яке однозначно визначає послідовність знаків Z1, Z3, Z2, Z1. Процедуру ілюструє рис. 8.2.

Рисунок 8.2 Приклад кодування блоку знаків арифметичним кодом

Спочатку відрізок довжиною 1,0 (яка відповідає сумарній імовірності появи знаків) розмічений відповідно до імовірностей різних знаків (в даному випадку - інтервал від 0,0 до 0,6 відповідає знаку Z1, інтервал від 0,6 до 0,8 (довжиною 0,2) - знаку Z2, а два інтервали від 0,8 до 0,9 та від 0,9 до 1,0 (довжиною по 0,1) - відповідно знакам Z3 і Z4.

По ходу появи знаків поступово уточнюються межі інтервалу, який відповідає даному ланцюжку:

- поява знака Z1 означає, що шукане число буде знаходитися в інтервалі від 0,0 до 0,6 (рівень А на рис.8.2). Надалі цей інтервал розділяється на відрізки, довжини яких пропорційні імовірностям знаків повідомлення (рівень Б);

- знаку Z3 на відрізку від 0,0 до 0,6 відповідає інтервал 0,48-0,54. Повторюється «розмітка» інтервалу в пропорціях ймовірності знаків (рівень В);

- знаку Z2 на відрізку від 0,48 до 0,54 відповідає інтервал 0,516-0,528. Для нього повторюється та сама процедура розподілу інтервалу (рівень Г);

знаку Z1 на відрізку від 0,516-0,528 відповідає інтервал 0,516-0,5232. Поява коду ESC означає, що повідомлення закінчено.

Тепер знаходиться двійкове число мінімальної довжини, яке належить даному відрізку. У прикладі це 0,10000101. Це число відповідає десятковому значенню 0,5195 (рис.8.2). Якби ми спробували використовувати більш короткий код, то вийшли б за межі відрізка від 0,5160 до 0,5232 (зокрема число 0,1000010 відповідає 0,515625, а 1000011 - 0,52348). При цьому, зрозуміло, досить передавати тільки значущі цифри знайденого числа: 10000101 (на рисунку виділені червоним).

В даному прикладі для передачі 4-х знаків використовується 8 розрядів (2 розряду на знак) + довжина ознаки кінця коду. Це виглядає значно гірше, ніж наприклад при кодуванні по Хаффмену при аналогічних вихідних даних (там ми отримували середнє значення довжини коду 1,6 розрядів/знак). Однак, чим більше довжина кодованого ланцюжка знаків, тим більше відчувається перевага арифметичного коду. В кінцевому рахунку середня довжина коду знака прагне до ентропії.

Декодування арифметичним кодом
Процедуру декодування розглянемо на тому ж прикладі послідовності знаків Z1, Z3, Z2, Z1 (рис. 5.13):

Рисунок 8.3 Приклад декодування «арифметичним» кодом

- з Каналу передачі Декодер отримав послідовність 10000101 (яка була знайдена в прикладі кодування в попередньому пункті). Їй відповідає двійкове число 0,10000101, а тому в свою чергу - десяткове число 0,5195;

- отримане значення 0,5195 належить інтервалу 0,0-0,6, отже перший знак повідомлення – знак Z1, якому відповідає цей інтервал;

- на відрізку 0,0-0,6, який відповідає знаку Z1, значення 0,5195 потрапляє в інтервал 0,48-0,54, значить наступний знак повідомлення - Z3;

- на відрізку 0,48-0,54, який відповідає знаку Z3 за умови, що перед цим з'явився Z1, значення 0,5195 потрапляє в інтервал 0,516-0,528, значить наступний знак повідомлення - Z2;

- на відрізку 0,516-0,528, що відповідає знаку Z2, який з'явився після Z1 і Z3, значення 0,5195 потрапляє в інтервал 0,516-0,5232, значить наступний знак повідомлення - Z1. Поява знака ESC означає закінчення декодування.

Контрольні запитання
1) Поясніть суть метода арифметичного кодування та його основну перевагу відносно кодування по Хаффману.
2) Спираючись на приклад на рис. 8.1, поясніть процедуру кодування ланцюжка знаків двійковим числом для заданих параметрів арифметичного кода.
* 3) Поясніть спосіб визначення межі блоку знаків для кодування арифметичним кодом. Як такий спосіб впливає на збитковість кодування.
4) Спираючись на приклад на рис.8.3, поясніть процедуру декодування двікового числа у відповідний ланцюжок знаків.
5) Прокоментуйте механізм впливу довжини блоку арифметичного коду на щільність кодування та його швидкість.


8.2 Фрактальне стискання зображень

Ідея і область застосування методу
Багато зображень містять схожі один на одного елементи, які різняться лише розташуванням, масштабом, кутами повороту, розтягуванням і т.п. Яскравим прикладом тут може служити гілка папороті, де листя схожі не тільки один на одного, але і на всю гілку в цілому. Про такі елементи кажуть, що вони мають властивість "самоподібності". Принципово важливо, що для них може бути отримано компактний математичний опис на основі варіації параметрів одного єдиного об'єкта-прототипу, який називають фракталом (рис.8.4).

Рисунок 8.4 До принципу фрактального стискання

Ідея даного методу стиснення полягає в тому, щоб замінити вихідне зображення, на побудоване з використанням фракталів. Оскільки їх математичний опис компактний (подібно опису елементів векторної графіки), ступінь стискання може бути дуже високою (в сотні разів). При цьому:

- математичний апарат для формування складних зображень з фракталів досить простий. Класичним прикладом тут часто служить та ж гілка папороті, побудована таким методом (цей приклад пов'язаний з ім'ям відкривача методу і його часто називають «папороттю Барнслі»);

- в силу простоти математичних перетворень швидкість побудови зображення по його фрактальному опису висока (c позицій стиснення даних така операція відповідає декодуванню). Разом з тим, зворотню задачу, - яка включає знаходження схожих ("самоподібних") елементів і визначення відповідних параметрів фракталів для вихідного зображення, - вирішити набагато складніше. На практиці таке рішення, що відповідає кодування зображення, вимагає чималого часу;

- виходячи зі згаданих особливостей фрактального стискання стає зрозумілою оптимальна сфера його застосування. По-перше, такий метод може використовуватися для стискання з втратами (точне відтворення зображення таким способом в загальному випадку очевидно неможливо). По-друге, він може бути ефективним, коли час відтворення критичний, а час стиснення, навпаки, слабо обмежене (прикладом тут можуть бути зображення, які часто запитуються користувачами з серверів). Нарешті, по-третє, фрактальное стискання добре пристосоване саме для зображень природних об'єктів (наприклад, фотографій високої роздільної здатності).

Поняття про математику фракталів: аффінні перетворення
В основі математичного апарату фрактального стиснення лежить використання математичних "афінних" перетворень (рис.8.5):

Рисунок 8.5 Поняття про аффінні перетворення

- аффінні перетворення (АП) включають переміщення об'єкта на площині і його повороти (рух), а також його розтягування і стискання щодо точки (масштабування) і щодо прямих (рівномірне розтягнення-стискання на площині);
- важливою особливістю афінних перетворень є збереження деяких властивостей фігур. Зокрема, при АП прямі переходять в прямі, зберігається наявність кривизни і паралельність ліній, відношення довжин відрізків на прямій і співвідношення площин;

- для фрактальних перетворень широко використовуються так звані стискаючі АП, які зближують точки зображення. Зокрема, їх застосовують в ітеративному режимі (коли результати попереднього кроку перетворення використовуються в якості вихідних даних наступного). Простим прикладом стискаючого перетворення може бути процедура yк + 1 = 0,5yк. До використання стискаючих АП ми повернемося в подальшому.

Поняття про математику фракталів: системи ітерованих функцій (СІФ)
Для побудови зображень на основі аффінних перетворень використовуються так звані «системи ітерованих функцій» (СІФ) - рис.8.6:

Рисунок 8.6 Використання СІФ для побудування сталого зображення

- зокрема, на рис.8.6а показана послідовне побудова так званого «трикутника Серпінського». Тут середини сторін рівностороннього трикутника з'єднуються між собою, а з чотирьох утворених таким чином менших трикутників «внутрішній» видаляється. Ця процедура повторюється ітеративно для кожного утвореного трикутника. У міру продовження ітерацій фігура змінюється все менше, тобто вона прагне до деякого сталого зображення;

- на ріс.8.6б відображена дображена СІФ, яка призводить до описаних результатів. Кожна з трьох функцій f1, f2 і f3 зменшують масштаб вихідного трикутника і сдвигают результат в відповідну позицію - лівий кут для f1, правий - для f2 і верхній - для f3 (кольори тут використані для наочності). Як можна бачити, перетворення виконується за допомогою простих функцій, а його налаштування визначаються лише 18-ю числовими коефіцієнтами;

- нарешті, на рис.8.6в показано використання тієї ж СІФ в тому разі, коли вихідною фігурою буде не трикутник, а квадрат. Цікаво і важливо, що в результаті послідовності ітерацій незалежно від вихідного «матеріалу» виходить та ж сама фігура (у міру зменшення розміру елементів візуальні відмінності поступово нівелюються). Це означає, що отримане зображення повністю визначається параметрами СІФ.

Наведений приклад розкриває механізм побудови зображень за допомогою заданих СІФ. При цьому складні зображення можуть включати безліч фракталів, для кожного з яких повинні бути задані власні параметри СІФ. Власне, набір цих параметрів і становить код стиснутої картинки. Але, як ми пам'ятаємо, головна складність полягає саме у визначенні цих параметрів для вихідного стискається зображення.

Поняття про алгоритм фрактального стискання
Отже, фрактальное стискання має забезпечити виявлення в зображенні самоподібних елементів - фракталів і визначення параметрів відповідних СІФ, які б розміщували фрактали в потрібних позиціях і ракурсах. Принципи побудови популярної версії такого алгоритму ілюструє рис.8.7:

Рисунок 8.7 До алгоритму фрактального стискання

- спочатку все зображення ділиться на безліч квадратних елементів — квантів (термін range також буквально перекладають як "рангова область"). З них в подальшому формується мінімальний набір необхідних фракталів. Отриману сітку називають ще Панеллю вибору;

- формується пул (набір) всіляких блоків зображення (доменів - domain), що складаються з четвірок сусідніх квантів;

- для кожного кванта по черзі "приміряються" різні доменні блоки і при їх збігу з достатньою точністю визначаються параметри перетворення, які дозволяють замістити їм дану ділянку зображення.

Етапами «примірки» фракталу до вмісту конкретного домену можуть бути (рис.8.7):
- ідентифікація домену (чи підходить він як кандидат на заміщення даними фракталом;
- корекція фону і огрублення - своєрідне калібрування характеристик домену під фрактал. Тут визначаються параметри необхідних перетворень;
- оцінка «похибки» апроксимації, з урахуванням якої приймається рішення, чи буде фрактал при сформованих параметрах використовуватися в даному домені.

На практиці використовуються безліч удосконалень алгоритму, що дозволяють скоротити трудомісткість фрактального стискання. Однак, така процедура як і раніше вимагає значних ресурсів комп'ютерів і займає відносно багато часу. У цьому полягає недолік даного підходу. Ще одне обмеження, що перешкоджає широкому поширенню фрактального стискання - це проблеми з патентуванням.

Контрольні питання
1. Охарактеризуйте ідею і область застосування фрактального стиснення зображень.
2. Користуючись рис.8.5, поясніть особливості афінних перетворень зображень. Як такі перетворення використовуються у фрактальному стисненні.
3. На прикладі, показаному на рис.8.6, поясніть використання систем ітерованих функцій (СІФ) для посторенная складних зображень з фракталів.
4. Дайте загальну характеристику алгоритму фрактального стискання зображень.
5. Спираючись на рис.8.7, поясніть етапи «примірки» фрактала, що міститься в оброблюваному кванті зображення, до вмісту чергового домену.


8.3 Cтискання відео із втратами. Метод MPEG

Загальна характеристика MPEG
Метод MPEG є нині найбільш поширеним методом і стандартом стискання відео із втратами інформації (якості). Основні особливості методу пояснює рис.8.8.

Рисунок 8.8 Основні властивості методу MPEG

MPEG забезпечує зменшення вихідного кода відеопотока в сотні разів. Це досягається за рахунок стискання окремих кадрів за алгоритмом JPEG (в пізніших версіях методу застосовується більш ефективне фрактальне стискання), а також шляхом використання інерційності зору, яка дозволяє переміжати повноцінні кадри із досить сильно огрубленими.

Основним способом створення компактних допоміжних кадрів є прогнозування змін, які мають відбутись в наступному кадрі відносно базового (відповідно такі кадри називаються прогнозними). При цьому компактно кодуються саме відхилення параметрів фактичного змісту кадра від результатів його прогнозування. Найбільш складною компонентою методу є прогнозування змін об'єктів, що рухаються. Отже цей метод одержав назву методу компенсації руху. Більш повно ми розглянемо його надалі.

Поряд із прогнозними можуть використовуватись додаткові кадри, які будуються декодером шляхом інтерполяції між основними та прогнозними кадрами. Відповідно їх код не повинен передаватись, а самі вони використвуються лише для підтримання враження плавності відеопотоку. Далі ми більш детально розглянемо взаємодію типів кадрів MPEG.

Основні різновиди MPEG мають такі особливості:
- MPEG-1 і MPEG-2 використовують для формування опорних кадрів алгоритм JPEG. При цьому в MPEG-2 використовується ряд вдосконалень;
- MPEG-4 використовує технологію фрактального стискання зображень.

Структура блоку кадрів MPEG
Типова послідовність кадрів різних типів та спосіб їх відображення показані на рис.8.9.

Рисунок 8.9 Типова послідовність кадрів в MPEG

Згідно стандарту типи кадрів мають такі позначення:
- опорні I-кадри (Intra frame) формуються за рахунок стискання по JPEG вихідних кадрів відеопотоку. Вони слідують з невисокою частотою;
- прогнозні P-кадри (Predicted frame) вставляються в проміжки між I-кадрами і містять тільки зміни між ними;
- двонаправлені B-кадри (Bidirectional frame) формуються інтерполяцією за даними попереднього та наступного I- і P- кадрів.

Блок кадрів MPEG, який включає опорний I-кадр та залежні від нього P-кадри та B-кадри іменується GOP (Group Of Pictures). Зазвичай GOP слідують у відеопотоці із частотою 2 блоки/с і при стандартній частоті 24 кадри/с повинні включати 12 кадрів і структура GOP має вигляд IBBPBBРBBPBB. На рис.8.9 для наочності відображений скорочений варіант GOP із 6 кадрів. В такому разі структура відопотока може відображатись послідовністю IBBPBB.

Враховуючи, що побудування інтреполяційних (двонаправлених) B-кадрів потребує наявності відповідних I- та P-кадрів, на які вони спираються, послідовність кадрів по їх номерами буде оброблятися в наступному порядку: 1423765... При цьому відтворюється вони будуть в порядку нумерації, а узгодження обробки і відтворення відбудеться за рахунок використання затримки по часу.

Метод компенсації руху
Важливою умовою ефективності MPEG є економічне кодування прогнозних кадрів завдяки методу «компенсації руху» (рис.8.10).

Рисунок 8.10 Приклад реалізації методу компенсації руху в МPEG

Виділяються три види областей нового прогнозного кадру відносно попереднього опорного:
- області зображення, яки лишаються незмінними;
- елементи, які тільки-но з'являються;
- збережені елементи попереднього кадру, які в новому кадрі будуть займати інше положення.
Зрозуміло, що для всіх областей задаються їх координати в новому кадрі.

Застосовуються відповідно три способи кодування:
- для незмінних областей кадру - посилання на їх опис в попередньому кадрі;
- для нових областей — їх повний JPEG-опис;
- для елементів, що переносяться - різницеве кодування відносно їх попередніх значень, а також адаптивне різницеве кодування відносно прогнозних характеристик (рис.8.10).

Контрольні питання
1) Які основні напрямки стиснення відеопотоку
2) Як реалізується врахування інерційності зору в стандарті MPEG
3) Поясніть на прикладі рис.8.9 узгодження обробки і відтворення надходять кадрів відеопотоку
4) Як реалізується принцип різницевого кодування при стисканні відеопотоку в MPEG


8.4 Інформативність джерела безперервних повідомлень

Особливості джерела безперервних повідомлень

На відміну від моделі дискретного джерела, яке генерує послідовність знаків і відповідно описується ансамблем імовірностей їх появи, неперерне джерело може створювати будь-які значення величин. Отже і розподіл їх імовірностей повинен мати безперервний характер (рис.8.11).

Рисунок 8.11 Співставлення описів дискретного та безперервного джерела

Звідсіля витікає досить принципове припущення: ентропія подібного джерела має бути також безкінечною (подібно до того, як бехкінечна невизначеність положення математичної точки на відрізку лінії). Зрозуміло, що оперувати з нескінченностями не досить зручно. Однак математичний апарат, з яким ми познайомимось, дає практичне рішення цієї проблеми.

Інше питання полігає в тому, що, як нам відомо, безперервні повідомлення завжди можна оцифрувати із потрібною мірою точності. Чи не можна в такому разі звести розгляд джерела безперервних повідомлень до математичної моделі дискретного джерела? Відповідь полягає в тому, що на рівні передачі сигналів в фізичному середовищі розгляд безперервних процесів не може бути усунений. Отже відповідна математична модель є необхідною. Далі ми її розглянемо.

Повна ентропія безперервного джерела
Розглянемо ентропію безперервного джерела по аналогії з дискретним — рис.8.12:

Рисунок 8.12 Повна ентропія безперервного джерела

- нехай функція щільності ймовірності f (u) квантується із кроком Δu. Тоді площа стовпчика Δu f (ui) відповідає ймовірності pi формула ентропії за аналогією набуде вигляду:
HΔu (U) = - Σ [Δu f (ui)] log2 [Δu f (ui)] (8.1);

- щоб коректно перейти від дискретних величин до безперервним, виконується граничний перехід при Δu → 0. Опис виведення винесено в необов'язкове доповнення *. Тут же наведемо кінцевий результат:
H (U) = - ∫ f (u) logi f (u) du - logi Δu (8.2)
Це і є формула ентропії безперервної величини, яку прийнято називати повною;

- перший доданок схоже на формулу ентропії дискретного джерела, в якій дискретні ймовірності pi замінені безперервною функцією щільності ймовірності f (u), а знак суми - інтегралом. При цьому інтеграл певний (в межах від Umin до Umax) і має кінцеве значення. Другий доданок спрямовується до нескінченності при Δu → 0. Це цілком логічно, оскільки невизначеність значень безперервної величини дійсно нескінченна. Але для практичних потреб бажано перейти до кінцевих величинам.

* Доповнення. З огляду на відоме правило, що логарифм добутку дорівнює сумі логарифмів співмножників, формулу (8.1) можна представити як суму двох складових:
HΔu (U) = - Σ [Δu f (ui)] {log2Δu + log2f (ui)} = - Σ [f (ui) log2f (ui)] Δu - log2Δu Σf (ui) Δu
Тепер, вважаючи, що Δu → 0, отримаємо:
- перший доданок
Σ [f (uі) log2 f (uі)] Δu ≈ ∫ f (u) log2 f (u) du;
- другий доданок
- log2Δu Σf (uі) Δu = - log2 Δu, оскільки Σ f (uі) Δu = ∫ f (u) du = 1.

Різницева ентропія
Для виключення нескінченності віднімемо від (8.2) останній доданок:
H * (U) = H (U) - (- log2 Δu) = - ∫ f (u) log2 f (u) du (8.3).

Отриману величину H * (U) називають різностною ентропією (використовується також термін відносна ентропія). Її зручно використовувати для зіставлення безперервних випадкових величин, які розрізняються своїми розподілами f (u).
Величину різностної ентропії H * (U) зручно інтерпретувати як відмінність повної ентропії розглянутої величини U від від ентропії -log2Δu деякої базової випадкової величини. Показано, що така базова величина повинна мати рівномірний розподіл в межах зміни u від 0 до 1. Властивості різностної ентропії (РЕ) ілюструє рис.8.13:

Рисунок 8.13 Різницева ентропія

- РЕ може бути як позитивно, так і негативною. Дійсно, Н*(U) визначається по відношенню до ентропії величини, рівномірно розподіленим від 0 до 1. Але аналогічна величина, розподілена в більш вузькому діапазоні очевидно характеризується меншою невизначеністю;

- РЕ збільшується зі зростанням дисперсії величини U. Очевидно, що чим більше розкид значень випадкової величини, тим вище невизначеність. Додамо, що значення Н*(U) крім дисперсії залежить також від виду розподілу щільності ймовірностей f (u). Нижче ми розглянемо цей момент детальніше;

- величина РЕ вона не залежить від математичного очікування випадкової величини. Насправді, якщо ми будемо розміщувати розподіл такої величини в різні її діапазони, це ніяк не вплине на ступінь невизначеності.

Важливі випадки розподілів з максимальною ентропією
Особливий інтерес представляють випадки розподілів, для яких величина ентропії при заданій дисперсії є максимальною (рис.8.14, 8.15):

Рисунок 8.14 Випадок рівномірного розподілу імовірностей

 - випадок 1. Якщо для безперервної випадкової величини фіксовані межі її діапазону, то максимальним буде значення ДЕ для рівномірного розподілу щільності ймовірності f(u). Такий варіант повністю аналогічний нагоди дискретного джерела;

- формула розрахунку величини H*(U) для рівномірного розподілу f(u) в діапазоні від a до b матиме вигляд:
H * (U) = -∫ [1 / (b-a)] log2 [1 / (b-a)] du = log2 (b-a) (8.4)
При цьому дисперсія визначається як D = σ2 = (b-a) 2/12;

- випадок 2. Якщо для безперервної випадкової величини обмежена її дисперсія, то максимальна ентропія буде у нормального (Гауссова) розподілу щільності ймовірності. Такий варіант характерний, зокрема, для передачі сигналів, для яких обмежується потужність (яка пропорційна дисперсії);

Рисунок 8.15 Випадок нормального розподілу імовірностей

- формула для визначення РЕ також виводиться виходячи їх (8.4). В результаті виходить
 H * (U) = log2 √ (2πσ2e) (8.5)
(Тут e - константа Ейлера приблизно рівна 2,72);

- кількісне порівняння розглянутих випадків виконаємо на прикладі, коли значення РЕ H*(U) = 0. Тоді під знаком логарифма в обох формулах повинна бути 1. При цьому для рівномірного розподілу D = σ2 = 1/12 = 0,083 і σ = 0,289. Для нормального розподілу виходячи з (8.4) D = σ2 = 1/(2πe) = 0,058 і σ = 0,242. У разі нормального розподілу для досягнення того-ж значення H*(U) необхідна величина дисперсії в 0,083 / 0,058 = 1,42 рази менше, ніж при рівномірному розподілі. Така пропорція збережеться незалежно від заданої величини РЕ, оскільки вона визначається співвідношенням формул (8.4) і (8.5).

Контрольні питання
1) Як встановлюється відповідність між дискретним і безперервним підходами до визначення ентропії. Поясніть це за допомогою рис.8.12.
2) Запишіть підсумкову формулу для визначення ентропії безперервної величини. Чому вона дає нескінченне значення ентропії. Наскільки це відповідає інтуїтивним уявленням.
3) Поясніть поняття різностної ентропії і запишіть формулу для її визначення.
4) Сформулюйте і поясніть за допомогою рис.8.14 основні властивості різницевої ентропії безперервного джерела
5) Запишіть формули різностної ентропії для рівномірного і нормального розподілів щільності ймовірності. Проілюструйте за допомогою цих формул основні властивості РЕ.
6) Використовуючи формули (8.4) і (8.5), розрахуйте пропорцію величини дисперсії для рівномірного і нормального розподілів для випадку, коли H * (U).
О дисциплине ТИК
Почему «Теория информации и кодирования» - одна из самых интересных дисциплин, которые изучают будущие системщики и защитники информации?

В ней сочетаются золотая классика и самая актуальная современность computer-science.

продолжение
О сайте
Здесь вы найдете материалы, которые помогут в изучении дисциплины “Теория информации и кодирования” (ТИК) в том виде, как она преподается на кафедре ЭВМ ДИИТа.

На сайте размещены методические материалы:
  • электронный конспект лекций;
  • методическое обеспечение к лабораторным работам;
  • полезные ссылки.

продолжение
© 2008-2020 • Теория информации и кодирования
UP