Лекція 01. Вступ. Поняття інформації, кодування та передачі сигналів
Курс “Теорія інформації та кодування”

В цій лекції ми розглянемо предмет та підходи дісципліни “Теорія інформації та кодування” (надалі ТІК), а також досить детально познайомимось із базовими поняттями ТІК: інформація, кодування та передача сигналів. Зміст лекції додатково опрацьовується на відповідному семінарському занятті.

Вступ до курсу ТІК
Огляд базових понять курсу
Напрямки вивчання в курсі ТІК
Додатково про інформацію, коди та сигнали

Вступ до курсу ТІК
Нині в житті ми постійно виконуємо дії з передачі інформації. Наприклад, коли спілкуємось за допомогою мобільного, замовляємо товари в електронних магазинах, скачуємо улюблену музику або передивляємось відео онлайн. В усіх цих випадках потрібні нам повідомлення подорожують кабельними або ефірними каналами зв'язку, а також тимчасово зберігаються в пам'яті серверів та локальних комп'ютерів і гаджетів.

На кожному кроці такої подорожі використовуються численні технічні рішення, що забезпечують необхідну ефективність передачі. Для фахівців наших спеціальностей не є актуальною задача розібратись з усіма деталями таких рішень. Але нам важливо зрозуміти принципи, на яких вони створені, а також познайомитись із найбільш популярними типовими реалізаціями. Саме цим опікується дисципліна «Теорія інформації та кодування».

Предмет ТІК
Розглядаючи навчальний курс в цілому, зазвичай виділяють його об'єкт (про що він) та предмет (з яких позицій розглядається тут цей об'єкт).

Об'єктом курсу «Теорія інформації та кодування» є передача інформації в повідомленнях. Але розглядати таку передачу можна в різних ракурсах: наприклад, з позицій змісту інформації або її призначення. В курсі ТІК такий розгляд ведеться з позицій ефективності передачі.

Отже, предметом дисципліни ТІК є методи забезпечення ефективності передачі повідомлень в технічному середовищі. При цьому ТІК розглядає передачу повідомлень із найбільш узагальнених позицій (зокрема в просторі та в часі).

В нашому конкретному курсі ми будемо намагатись погоджувати теоретичний підхід, який властивий класичній дисципліні ТІК, та практичний аспект, який акцентує сучасне використання результатів теорії (рис.1.1).

Рисунок 1.1 Предмет дисципліни ТІК

Теоретичні підходи ТІК базуються на математичних моделях, що відображують вплив параметрів передачі на три основних показники її ефективності — компактність, швидкість та вірність. Ці три критерії є найбільш універсальними, вони притаманні будь-яким видам передачі повідомлень в просторі або в часі. Інші важливі показники ефективності передачі розглядаються наприклад в курсах «Криптологія» (безпека), «Комп'ютерні мережі» (надійність, економічність) тощо.

Практичні рішення щодо ефективності передачі інформації в сучасних умовах втілюються здебільшого у вигляді алгоритмів та програм кодування та обробки сигналів. Вони реалізуються зазвичай в формі програмних продуктів та апаратних рішень, що конкурують між собою та постійно удосконалюються. Однак основою цих рішень є певні математичні методи, які лишаються незмінними. Саме такі методи вивчає курс ТІК.

Зокрема ми постійно користуємось сучасними рішеннями із стискання зображень і відео, технологіями бездротової передачі сигналів, захисту коду повідомлень від помилок передачі в комп'ютерних мережах та на носіях інформації. В курсі ТІК ми дізнаємось, як саме діють такі сучасні рішення і на яких теоретичних засадах вони базуються. Це дасть необхідну ерудицію, щоб надалі створювати нові технічні рішення, які нині зазвичай поєднують різні технології.

Узагальнена схема передачі повідомлень
Підходи ТІК наочно відображує узагальнена схема передачі інформації, яка охоплює всі види повідомлень та способи їх передачі — рис.1.2.

Рисунок 1.2 Узагальнена схема передачі інформації

Інформація передається від умовного Джерела до умовного Одержувача в формі повідомлень. Зокрема існують два основних види повідомлень — дискретні (наприклад текст) та безперервні (наприклад, звук або зображення). При цьому за сучасних умов безперервні повідомлення зазвичай переводяться в дискретну форму "оцифровуються", що дозволяє уніфікувати підходи до їх передачі.

Передача повідомлень виконується через узагальнений Канал передачі, який неодмінно включає фізичне середовище. Зокрема при передачі в просторі це може бути кабельні канали (електропровідні та оптичні) або середовище бездротової передачі радіохвиль ("ефір"), а при передачі в часі (збереженні) — напівпровідникова пам'ять (оперативна та флеш-) або зовнішні носії інформації (наприклад, магнитні та оптичні диски). Також Канал може включати відповідні технічні засоби передачі. Принципово, що властивості Каналу завжди обмежують параметри передачі. Зокрема, фізично неможливо миттєво і абсолютно точно передавати будь-який обсяг інформації.

Пристосування вихідної форми повідомлень до конкретних умов передачі в Каналі, а також її наступне відновлення виконується Перетворювачами. Зокрема перетворення може включати два основних етапи: кодування та використання сигналів для передачі в фізичному середовищі. Відповідно на боці Джерела та Одержувача маємо кодування та декодування, а також формування та розпізнавання сигналів. Взагалі ТІК розглядає будь-які види Каналів, але в нашому курсі ми зосередимось на передачі повідомлень саме в сучасному цифровому середовищі. Відповідно перетворення буде включати двійкове кодування та використання імпульсних сигналів, які зокрема можуть передаватись за допомогою радіохвиль із використанням модуляції .

Зміст курсу ТІК та підходи до оцінювання
Курс ТІК включає 16 лекцій та 8 лабораторний зайнять, на яких практично закріплюється вивчення теоретичного матеріалу (48 годин). Також навчальний план передбачає час самостійної роботи, яка включає опанування матеріалу лекцій та додаткових навчальних матеріалів, оформлення звітів з лабораторних та підготовку до контрольних заходів (56 годин).

За результатами вивчання студент одержує залік. Зазвичай 2 лекції та відповідне лабораторне заняття утворюють тематичний блок. Матеріал курсу розділений на два близькі за обсягом навчальних модулі по 4 тематичних блоки. Основні теми, порядок їх вивчання та розподіл по модулях відображені на рис.1.3.

При вивченні кожного рівню передачі повідомлень ми будемо спочатку звертатись до теоретичних засад, а потім знайомитись із практичними рішеннями, які нині використовуються в сучасному цифровому середовищі. В підсумку у нас повинно зформуватись цільне бачення того, як сьогодні вирішується проблема ефективної передачі інформації в повідомленнях.

Рисунок 1.3 Структура навчального курсу ТІК

Конкретна послідовність вивчення курсу ТІК наступна:
- тема 1: знайомимось із основними поняттями ТІК (1 лекція та заняття в формі семінару);
- тема 2: вивчаємо вихідне поданні повідомлень в сучасному цифровому середовищі - зокрема у випадках тексту, звуку, зображень та відое (2 лекції та лабораторна 1);
- тема 3: вивчаємо основні моделі ТІК щодо оцінювання інформативності повідомлень та передачі каналами із помилками, а також класичні методи кодування, які базуються на цих моделях (2 лекції, лабораторна 2);
- тема 4: розглядаємо сучасні способи стискання повідомлень - зокрема тексту, звуку та зображень і відео (3 лекції та лабораторна 3);
- тема 5: знайомимось із сучасними методами кодування із захистом від помилок, які нині застосовуються практично в усіх технологіях передачі в просторі та часі (2 лекції та лабораторна 4);
- тема 6: вивчаємо основні моделі ТІК щодо передачі сигналів узагальнені способи такої передачі в дротових та бездротових каналах (2 лекції, лабораторна 5);
- тема 7: розглядаємо сучасні рішення щодо фізичного рівню передачі сигналів в комп'ютерних мережах (2 лекції та лабораторна 6);
- тема 8: підсумковий огляд та додаткові теми щодо перспективних напрямків теорії інформацій (2 лекції та підсумкове заняття).

Сумарна оцінка за вивчення курсу (до 100 балів) складається із двох оцінок за модулі (відповідно 50 та 50 балів). Вона формується за підсумками вивчання тем №2-7 (до 15 балів за кожну шести цих тему), а також з урахуванням додаткової оцінки за вивчання тем 1 або 8 за вибором (до 10 балів). В основі здачі теми - захист відповідної лабораторної роботи, який включає контроль знань з теорії.

Рівень вивчання для кожної теми (повний або базовий) студент обирає самостійно. При виборі базового рівню обсяг роботи та опитування скорочуються разом із максимальною оцінкою (до 80%).

1.1 Огляд базових понять курсу

Поняття інформації

Поняття інформації зарактерізує рис.1.4.
Рисунок 1.4 До поняття “Інформація”

Найбільш узагальнене визначення: інформація це відомості. Образно кажучи, це не «щось», а «про щось». Наприклад, ваш зошит — матеріальний предмет («щось»), а інформація щодо нього може стосуватись багатьох аспектів — його форми, змісту, матеріалів тощо, але це завжди «про щось» (відомості). При цьому інформація на відміну від власно предмету нематеріальна.

Інформація має різні рівні прояву. Зокрема, вона може існувати у вигляді повідомлень (наприклад, наша розповідь про зошит), уявлень (спостереження або спогад), відображення фактів, яке не залежить від нашого сприйняття (наприклад, фото), а також інформаційних зразків (наприклад технологія, згідно якій предмет створено, і навіть закони природи, за якими речі стають саме такими, як вони є). Дисципліна ТІК вивчає прояви інформації саме на рівні повідомлень.

Протилежністю інформації є ентропія. Якщо інформація характризує упорядкованість та відмінності, то ентропія напроти — невизначеність та однорідність. Важливо, що наявність невизначеності (ентропії) є необхідною передумовою появи інформації: наприклад, коли щось трапляється, відповідна невизначеність замінюється на інформацію про цей факт (штучний випадок тут — поява кожного наступного знаку при передачі тексту).

Кодування
Поняття кодування пояснює рис.1.5.
Рис.1.5 До поняття «Кодування»

В загальному сенсі код це спосіб втілення інформації через форму її матеріального носія. При цьому найбільш важливим є саме спосіб, який зберігається при використанні різних носіїв. Наприклад, літері тексту може відповідати її зображення або її двійковий код. При цьому літера може відображатись на папері чи екрані, а двійковий код - в напівпровідниковій пам'яті комп'ютера чи на магнітному диску. Але при цьому інформацію несе саме нарис літери або послідовність кодових розрядів.

Існування коду дозволяє зберігати інформацію незмінною. При цьому виділяються дві активні стадії — кодування (власно втілення інформації в код, прикладом якого є викладення думок мовою) та декодування (розпізнавання сенсу повідомлення або інакше кажучи відновлення його змісту). Декодування може ускладнюватись викривленням коду при його передачі. Інша проблема виникає, коли одержувач повідомлення не володіє кодом (як наприклад у випадку із назнайомою мовою).

Важливо, що різні способи кодування можуть бути пристосовані для рішення різних задач. Образно кажучи, на кожному етапі виконується переклад з однієї мови на іншу (перекодування). При цьому коди зазвичай утворюють ієрархію і використовуються за принципом «матрьошки». Наприклад, при передачі повідомлення спочатку вживають його стандартний вихідний код, далі стискають цей код для компактності, а перед його передачею застосовують контрольні знаки для захисту від помилок. Декодування виконується в зворотньому порядку.

Передача сигналів
Рис.1.6 пояснює поняття сигналів.
Рисунок 1.6 До поняття «Передача сигналів»

Із узагальнених позицій сигнали — це фізичні процеси, які призначені для перенесення інформації (зокрема в формі коду). Наприклад, електричні або світлові імпульси переносять значення кодових розрядів кабелями. Ті самі імпульси можуть змінювати стан фізичних елементів для збереження коду в напівпровідниковій або магнітній пам'яті. При цьому сигнал завжди втрачає енергію на взаємодію із фізичним середовищем, а втім його передача завжди пов'язана із загасанням.

При формуванні сигналу його параметри обирають із умов пристосування до середовища передачі. Наприклад, імпульсні сигнали неможливо безпосередньо передавати на значні відстані в ефірі. Щоб вирішити цю проблему, радіохвилі використвують в якості сигналів — носіїв. Розпізнавання значення сигналу (зокрема, елементу кода, який він переносить), повязано із складнощами завдяки його загасанню та викривленню форму, до якого додається «шум» каналу (останній обумовлюється фізичними процесами в каналі та впливом інших сигналів).

Формою сигналу, яка є зручною для аналізу передачі інформації є зазвичай часові діаграми. До того ж саме ця форма є найбільш звичною. Але при аналізі взаємодії сигналу з фізичним середовищем передачі більш ефективне використання іншої — хвильової або спектральної форми. Нащастя ці дві форми сигналів взаємопов'язані і можуть конвертуватись одна в одну за разунок використання відповідних математичних перетворень.


1.2 Напрямки вивчання

Інформація з позицій ТІК
На рис.1.7 відображені підходи ТІК до оцінювання інформації в повідомленнях.
Рисунок 1.7 Підходи ТІК до інформації в повідомленнях

Для оцінювання кількості інформації в повідомленнях ТІК використовує саме невизначеність (ентропію). Наприклад, при передачі тексту на кожному кроці існує певна невизначеність появи чергового знаку. З появою конкретного знаку така невизначеність усувається, конвертуючись у відповідну інформацію. Напроти, коли знак передається каналом, де він може бути викривлений, канал додає невизначеність і водноочас віднімає частку переданої інформації.

Математичний апарат для оцінювання кількості інформації використовує теорію імовірностей. Якщо певна подія має кілька варіантів, то її інформативність оцінюється через розподіл відповідних імовірностей: чим більше варіантів і чим ближче розподіл до рвіномірного, тим вища вихідна невизначеність і водночас тим інформативнішим буде настання самої події.

Для вирішення основних задач ТІК такий підхід дає спільну основу. Зокрема:

- для компактності повідомлень необхідно усунути їх збитковість, тобто передавати лише те, для чого існує невизначеність (в тій мірі, в якій результат є прогнозованим, він не несе інформації);

- вірність забезпечується протидією викривленням каналу (а саме «шуму», який збільшує невизначеність і водночас зменшує кількість прийнятої інформації). Зокрема для цього потрібно передавати додаткову «контрольну» інформацію;

- швидкість можна підняти зокрема передаючи знаки з більшою кількістю значень (як от десяткові цифри замість двійкових). Але при цьому передача стає більш вразливою до впливу «шуму». Математичний апарат дозволяє знаходити тут оптимальні компроміси.
Таким чином, за рахунок використання математичного апарату для оцінювання невизначеності ТІК має спільну основу для вирішення задач забезпечення ефективності передачі. Надалі ми детально розглянемо відповідні математичні моделі та методи.

Кодування з позицій ТІК
Підходи ТІК до використання кодування відображені на рис.1.8.
Коли створюємо повідомлення в сучасному цифровому середовищі (наприклад, спілкуючись текстом, розмовляючи або надсилаючи фото- та відеофайли), ми, навіть не усвідомлюючи цього, зазвичай використовуємо декілька способів кодування. І, як ми уже знаємо, вони охоплюють один одного послідовно за принципом «мартрьошки» - рис.1.8:

Рисунок 1.8 Підходи ТІК до кодування повідомлень

- спочатку для розміщення текстових або звукових, зображень та відео в пам'яті комп'ютерів та гаджетів, вони представляються у вигляді стандартизованих кодів із довжиною кратною байту (будемо називати таке кодування вихідним). При цьому для безперервних повідомлень (зокрема для звуку на виході мікрофону) необхідно спочатку виконати оцифровку - перетворення в послідовність дискретних елементів. В курсі ТІК ми познайомимось із методами оцифровки та сучасними способами вихідного кодування тексту, звуку, зображень та відео;

- надалі для забезпечення компактності виконується стискання вихідних кодів. Наприклад, будь-яке цифрове фото автоматично стискається в десятки разів із незначною втратою якості зазвичай за стандартом JPEG. А от стискати звук або документи документ потрібно не завжди, отже ви самі вирішете, чи потрібно тут застосовувати програму архіватор або кодер mp3. В курсі ТІК ми розберемо механізми такого стискання без втрат інформації та з її припустимими втратами;

- наступним кроком може бути шифрування даних повідомлення. Як ми пам'ятаємо, відповідні питання розглядаються за межами курсу ТІК;

- коли ваше по повідомлення фізично розміщується в цифровій пам'яті або подорожує комп'ютерною мережею, відповідні пристрої автоматично перекодують дані, додаючи контрольні знаки, щоб виявляти та виправляти можливі помилки. Ці коди пристосовані для різних варіантів передачі і можуть суттєво різнитись між собою. Отже ми познайомимось із принципами такого кодування і найбільш популярними практичними рішеннями;

- наостаннє безпосереднє перед формуванням сигналів можуть застосовуватись додаткові способу перекодування, які компенсують деякі недоліки фізичної передачі (зокрема ми познайомимось із таким, коли будемо вивчати стандарти локальних мереж). На цьому рівні застосовуються зазвичай суто інженерні рішення і теорія не приділяє йому особливої уваги.

Відзначимо також, що на відміну від аналізу передачі інформації, де ТІК використовує спільний математичний апарат, на для кожного рівню кодування застосовуються власні підходи до формалізації, які найбільше пасують задачам саме цього рівню — рис.1.8.

Передача сигналів з позицій ТІК
Підходи ТІК до вивчення передачі сигналів пояснює рис.1.9.
Рисунок 1.9 Підходи ТІК до питань передачі сигналів

При передачі сигналів зазвичай вирішуються дві принципові задачі:

- по-перше, необхідно використати саме таку форму сигналу, яка найбільше пасує властивостім та обмеженням конкретного каналу (зокрема, виду фізичного середовища, обмеженням швидкості передачі та характеристикам «шуму», а також необхідності одночасної передачі каналом повідомлень від інших джерел);

- по-друге, потрібно визначити доречний компроміс між двома показниками передачі, які принципово протирічать один одному — це швидкість передачі та її завадостійкість (що визначає вірність). Справа в тому, що піднімаючи швидкість, ми неодмінно збільшуєм втрати енергії сигналу а отже і його загасання. Відповідно підсилюється вплив шуму і зростає імоврність помилок розпізнавання.

Як і в сфері кодування повідомлень, при передачі сигналів виділяються окремі рівні, на яких вирішуються досить специфічні задачі:

- дискретній формі повідомлень (зокрема передачі двійкових кодів) найбільше пасують імпульсні сигнали. Саме такими вони є на виході передатчиків — зокрема мережових карт чи контролерів накопичувачів даних. І імпульсні сигнали передаються в кабельному середовищі — електропроводними та оптичними лініями;

- для передачі в ефірі (бездротова передача) потрібно використовувати радіохвилі в якості носіїв. При цьому нанесення інформаційних імпульсних сигналів на носії (модуляція) створює додаткові можливості як для погодження із каналом (наприклад, виділення полоси частот, як в радіо), так і для регулювання співвідношення швидкості та вірності (наприклад, якщо маємо досить слабкий рівень шуму, можна використовувати більш інформативні сигнали із кількома фазами радіохвиль);

- розділення сигналів в спільному середовищі відповідає саме зовнішньому контуру передачі. При цьому воно може виконуватись як безпосередньо для імпульсних сигналів, так і для модульованих радіохвиль.

В курсі ТІК ми познайомимось як з теоретичними моделями (зокрема щодо оцінювання взаємодій сигналів із фізичним середовищем каналу, а також оцінювання завадостійкості сигналів і впливу модуляції), так і з сучасними практичними рішеннями, які нині застосовуються в комп'ютерних мережах та системах зв'язку.

1.3 Додатково про інформацію, коди та сигнали

Аспекти інформації
Даючи узагальнену характеристку поняття інформація, будемо спиратись на низку ключових питань: "про що", "на чому", "у кого" та "для чого" вона є - рис.1.10.

Рисунок 1.10. Аспекти інформації

Об'єктами інформації ("про що вона") можуть бути: матеріальні предмети і явища (зокрема - все, що ми спостерігаємо навколо); абстракції (наприклад, поняття і формули); віртуальні сутності (вигадані персонажі і обставини). Як бачимо, принципово існує не тільки «інформація про матеріальну реальність», а й "інформація про інформацію".

Носіями інформації ("на чому вона") можуть бути: стани речовини (наприклад, елементів пам'яті); параметри фізичних полів (наприклад, електромагнітного поля); «тонко-матеріальні» явища (природа останніх поки що не вивчена наукою, але вони проявляють себе, зокрема, у відчуттях людини). Важливо, що інформаційна ємність носіїв визначається щільністю їх структури (наприклад вона зростає при збільшенні щільності розташування елементів пам'яті або частоти радіохвиль). Інформація завжди пов'язана з носієм, але вона може бути скопійована, і в цьому сенсі відносно незалежна від носія. Можливість необмеженого копіювання означає, що для неї не діють закони збереження. Можна твердити, що інформація не є матеріальною.

Суб'єкта інформації ("у кого вона") доречно визначити як «діяча». Прикладами тут можуть служити: люди і інші живі організми, які існують саме в ході активної (діяльної) взаємодії з навколишнім середовищем; кібернетичні пристрої, що реалізують управління (в тому числі роботи); програмні об'єкти, активно взаємодіють зі своїм інформаційним середовищем. Разом з тим, звичайний комп'ютер чи гаджет хоч є лише перетворювачем інформації, оскільки він не здатний діяти незалежно. Принципово важливо також, що поняття суб'єкта поширюється і на колективи. Наприклад, за сигналом про небезпеку суб'єктом відповідної інформації стає вся пташина зграя. В якості суб'єкта можна розглядати певне співтовариство людей (наприклад, вчених або інженерів в якійсь галузі) і навіть все людство.

Мета та сенс інформації ("для чого вона") існують саме для суб'єкта і безпосередньо пов'язані із його діяльністю. Суб'єкт завжди спирається на певне інформаційне відображення власної реальності - інформаційну модель. Зміст такої моделі обмежений його сприйняттям подібно до того, як ліхтарик в темряві висвічує лише частину оточення. І напрямки такого «променю» визначаються конкретними потребами суб'єкту, для задовільнення яких він повинен діяти.

* Додатково: Визначення поняття інформації може виконуватись із двох принципово різних позицій:

- перша позиція розглядає інформацію як загальну властивість реальності — її атрибут. Згідно з таким поглядом інформація існує незалежно від того, чи використовує її будь-хто. Наприклад, в деревині зазвичай присутні шари, які утворюються рік по рік. Кількість відповідних кілець на спилі дерева може показати досліднику його вік. Але можна вважати, що ця інформація існує незалежно від того, чи хтось рахував кільця;

- друга позиція розглядає інформацію як знання. Саме з цієї позиції властивості інформації розкриваються найбільш повно (зокрема тут набувають сенс поняття суб'єкту інформації, та інформаційної моделі, а також, що важливо для ТІК, — поняття повідомлень). Ще один принциповий момент: тільки такий підхід дозволяє визначати кількість інформації (в попередньому випадку наприклад для будь-якого матеріального об'єкту кількість відповідної інформації нескінченна).
Надалі ми додатково розглянемо підхід, який дозволяє узгодити ці позиції.

Форми прояву інформації
Ми уже знаємо, що ТІК розглядає інформацію виключно як зміст повідомлень. Однак в нашому досвіді існують також інші прояви інформації. Так поряд із повідомленнями нам відомі такі форми прояву інформації як уявлення, відображення фактів та закони реальності. Ці форми пов'язані між собою і їх можна розглядати в різних ракурсах - як ієрархію рівнів, або як пари альтернатив (рис.1.11).

Рисунок 1.11 Прояви інформації: квадранти та рівні

Повідомлення, якими обмінюються суб'єкти інформації, вочевидь базуються на Уявленнях цих суб'єктів. Коли ви про щось розповідаєте, то маєте це в уяві. Інакше кажучи, ці відомості є елементом інформаційної моделі суб'єкта. В парі повідомлення/уявлення перші є зовнішнім проявом, а другі — внутрішньою основою. Обидві ці форми належать до суб'єктивного рівню інформації. Цей рівень відображує об'єктивну (спільну) реальність суб'єктів, де інформація проявляється уже як відображення фактів та ідей і технологій, що визначають їх втілення (зокрема так можно трактувати і закони реальності).

Відображення фактів реальності існують незалежно від нашого сприйняття. Наприклад, образ зошита, який лежить перед вами (уявлення), формується сприйняттям світла, яке відбивається від його поверхні (відображення). При цьому самі факти є конкретною реалізацією ідей та технологій. Наприклад, той самий зошит є втіленням законів природи, а також технологій (певних програм перетворень). Ще одна знана ілюстрація — численні комп'ютерні ігри, де фактичний розвиток подій задається програмами, які задають «закони реальності» таких ігор (їх ідеї). В будь-якому разі факти є зовнішнею формою інформації відносно законів.

* Додатково: Взаємодія форм прояву інформації з позицій підходу рис.1.11 також пояснює певні закономірності того, як ми пізнаємо світ:

- закони (ідеї) складають інформаційну основу реальності і метою пізнання є перш за все саме їх визначення. Однак, вони доступні для пізнання саме через факти, а варіабельність останніх ускладнює їх прояснення. При цьому саму різноманітність фактів природно трактувати як прояв відповідних ідей. Схоже, що з підвищенням рівню організації матерії розширюється і спектр можливостей, які допускають закони (наприклад, кількість можливих хімічних сполук незмірно більше, ніж число різновидів атомів і т. д.);

- наші уявлення формуються через сприйняття відображення фактів реальності. Але крім того (і нерідко в більшій мірі) на ці уявлення впливають одержувані нами повідомлення. Саме наявність «другої сигнальної системи» - спілкування - робить людину людиною. Зокрема, з повідомлень ми дізнаємося про більшу частину закономірностей навколишньої реальності (звернемо увагу, що із школи знайомі формули, які виражають різні закони - суть саме форми повідомлень). При цьому самі уявлення через наші дії впливають також на факти реальності.

Погодження різних визначень інформації
В різні часи знані вчені та мислителі давали досить відмінні визначення інформації. Однак, с позицій підходу, з яким ми познайомились, ці визначення відповідають саме основним рівням її прояву - рис.1.12.

Рисунок 1.12 Відповідність визначень інформації до рівнів її прояву

- Норберт Вінер (знаний як «батько кібернетики») визначав поняття інформації через процес адаптації суб'єкта до зовнішнього середовища. Для нас це рівень уявлень (верхній лівий квадрант "суб'єктивне внутрішньє). Нагадаємо, що адаптація до зміни зовнішніх умов спирається саме на інформаційну модель суб'єкта;

- Клод Шеннон (засновник Теорії інформації) розглядає інформацію як міру непередбачуваності в повідомленнях. У нашій інтерпретації такий підхід відноситься саме до рівню повідомлень (верхній правий квадрант «суб'єктивне-зовнішнє»). Саме цей підхід дозволяє створити спільну базу для оцінювання показників ефективності передачі інформації - компактності, швидкості та вірності;

- Віктор Глушков (академік, який багато зробив для розвитку кібернентіки в нашій країні) підходив до визначення інформації через опис конкретних матеріальних форм. Чим складнішими є такі форми, тим більше інформації потрібно для їх описання. З розглянутої тут позиції це рівень фактів (нижній правий квадрант «об'єктивне зовнішнє»);

- Платон - знаний філософ часів стародавньої Греції - наголошував, що матеріальний світ є саме втіленням певних нематеріальних Ейдосів (власно Ідей). Ззараз ми маємо всі підстави називати це інформацією в її проявах на рівні законів або іншими словами ідей та технологій (нижній лівий квадрант «об'єктивне внутрішнє»).

Як бачимо, різні класичні визначення інформації, які можуть здаватись зовсім не погодженими, розкривають саме її базові властивості на різних рівнях прояву.

*Інформація та ентропія
Поняття інформації тісно пов'язане із поняттям ентропії. Ентропія є певною мірою протилежністю інформації. Розглянемо зв'язок інформації та ентропії на різних рівнях їх провлення - рис.1.13.

Рисунок 1.13 Інформація та ентропія

На рівні повідомлень ентропія проявляється як невизначеність при очікованні кожного наступного елемента (знака). Питоме значення такої невизначеності задається функцією Hz, яка залежить від кількості різновидів знаків та розподілу їх імовірностей (надалі ми розберемо спосіб її завдання). Крім того, якщо в каналі передачі трапляються випадкові помилки, такий канал також вносить певну невизначеніть Hk. В результаті питома інформативність знаків, які одержуються через канал, Iz = Hz – Hk (біт/знак). При цьому зменшення питомої інформативності знаків не означає втрат інформації, однак для її повного одержання необхідно збільшувати обсяг переданого коду, а отже й час його передачі.

На рівні уявлень (інформаційної моделі реальності, що її використовує суб'єкт) ентропія виражається в незнанні фактів і закономірностей, а отже і в непередбачуваності змін оточення. Напроти, інформація тут означає знання: інформаційна модель повніше відображає реальність і остання стає більш прогнозованою для суб'єкта. Додамо, що ентропія-незнання постійно зростає внаслідок природних змін середовища. Щоб це компенсувати, інформаціна модель повинна постійно поповнюватись.

На рівні фактів реальності ентропія є мірою хаосу та однорідності, тоді як інформація відображає відмінності і порядок. Так побудова нових порядків (наприклад, будівництво) асоціюється із зростанням інформації, а їх усунення (наприклад, руйнування) — із збільшенням ентропії. Згідно так званому другому началу термодинаміки ентропія в замкнутій системі не змешується (як ми знаємо, з часом існуючий порядок неодмінно руйнується). Але нащастя ми живемо в умовах, коли системи навкруги нас не замкнуті. Потоки зовнішньої енергії (для нашой планети це перш за все випромінювання Сонця) породжують еволюцію форм і ми є її учасниками.

На рівні законів (ідей та технологій) ентропія відображує припустиме розмаїття їх реалізацій. Так, згідно сучасним уявленням про побудову атомів електрони утворюють «хмари», де вони можуть бути локалізовані в будь-якій точці простору згідно із заданою функцією плотності імовірності. Статистичним закономірностям відповідають більшість параметрів матеріальних об'єктів (наприклад, розміри однотиних рослин і тварин). В програмах комп'ютерних ігр наявність ентропії відображується датчиками випадкових чисел: конкретні значення таких чисел непередбачувані, але види відповідних статистичних розподілів закономірні, а їх параметри задаються в програмі.

Уявлення про знакові системи
Вище ми зазначили, що кодову форму представлення повідомлень можна трактувати як мову викладення їх змісту. При цьому будь-яка мова є окремим випадком так званої знакової системи. Тут ми детальніше познайомимось із цим важливим поняттям (рис.1.14).

Рисунок 1.14 До поняття знаків та знакових систем

Знаки є основою знакових систем, їх базовими елементами:

- їх можна визначити як матеріальні еквіваленти предметів, понять і явищ. Прикладами знаків можуть слугувати літери та цифри, піктограми та знаки дорожнього руху, ноти для запису музики, жести, малюнки та інші. Як можна бачити, знаки дуже різноманітні;

- виділяються, зокрема образотворчі (іконичні) та умовні знаки. Перші несуть інформацію про об'єкт безпосередньо в своїй формі (як наприклад, малюнки, карти місцевості, піктограми). У других зв'язок знака і його об'єкта встановлюється за згодою (такими наприклад є цифри, ноти або букви). Умовні знаки характеризуються відомим (стійким узгодженим) змістом і зручною для використання формою;

- поряд із простими знаками (цифри, букви і т. д.) використовуються составні (зокрема окремі слова, числа, стійкі мовні звороти). На відміну від простих знаків, множини яких досить обмежені, кількість составних знаків може бути дуже значною, що ускладнює їх безпосереднє кодування.

Знакові системи об'єднують знаки за певними правилами. Прикладами знакових систем можуть служити мови спілкування, системи команд комп'ютерів, системи числення, набір сигналів світлофора і т.д.). Знакові системи визначаються:
- алфавітом (повний набір знаків в системі);
- синтаксисом (правила побудови повідомлень);
- семантикою (сенс знаків і повідомлень).

Варто звернути увагу, що різні знакові системи можуть використовувати однаковий алфавіт. Як приклад можна привести європейські мови, які в якості алфавіту використовують латиницю. Інший (більш актуальний для нас) приклад - різні способи представлення даних у вигляді двійкових кодів. Одні і ті ж самі кодові послідовності можуть інтерпретуватися як двійкові числа, коди символів або коди комп'ютерних команд - тобто, належати до різних знакових систем. При цьому розрізняються їх синтаксис і семантика.

Часова та спектральна форми представлення сигналів
Сигнали як носії інформації можуть розглядатись в двох формах, що пов’язані між собою. Одна з цих форм описує зміни сигналу в часі і відома нам як часові діаграми сигналів (наприклад, відображення послідовності імпульсів). Інша форма розкриває частотний склад сигналу - це так звана спектральна діаграма або спектр (рис.1.12).

Рисунок 1.15 Часова та спектральна форми сигналів

За своєю суттю обидві форми є ніби двома поглядами на те саме явище із різних кутів зору. Отже природньо, що спираючись на будь-яку одну з них, можна відтворити іншу. Відповідна математична процедура зветься спектральним перетворенням (зокрема «пряме» перетворення відповідає переходу від часової до спектральної, а зворотнє — навпаки). Найбільше поширення одержали форми спектральних перетворень, що були запропоновані Фурьє. Надалі ми з ними познайомимось детальніше.

На рис.1.16 показані приклади спектрів звукового сигналу (музичний акорд) та світла певного кольору (окремий піксель зображення).

В обох випадках досить очевидно виділяються окремі частотні смуги: для звукового акорду це частоти, які відповідають окремим нотам, а для кольору пікселя — частоти базових кольорів червоного, зеленого та жовтого (RGB), які в сумі утворюють певний відтінок. Тут наочно відображується принцип, що сформульований на рис.1.12: будь який процес, що утворюються коливаннями (зокрема звук або світло) може бути представлений як накладання (суперпозиція) простих коливань із фіксованими частотами.

Рисунок 1.16 Приклади спектрів

Звернемо увагу на наступні моменти, що пов’язані із цими спектрами:

- в ідеалі на спектральній діаграмі певним частотним складовим повинні відповідати окремі лінії, але для реальних фізичних сигналів частота не є абсолютно стабільною, отже ми бачимо певні частотні смуги, хоч і досить вузькі. Лінійчасті спектри, які широко використовуються для відображення сигналів, є наближенням до реальних;

- властивості сумарного сигналу (звучання акорду або відтінок пікселя) визначаються пропорцією амплітуд складових спектру і відповідно їх енергією (нагадаємо, що енергія кожної із складових пропорційна квадрату амплітуди);

- важливо, що окремі частотні складові сигналів по-різному взаємодіють із фізичним середовищем передачі. Зокрема, високочастотні сигнали втрачають на таку взаємодії більше енергії і відповідно більше затухають. Зважаючи на це, при аналізі спектрів сигналів особливу увагу приділяють максимальній частоті fmax, яку вони містять (рис.1.12);

- на рис.1.16 відображені спектри сигналів, які лишаються незмінними в часі. Якщо акорд або колір пікселя зміняться наступними, то зміняться і спектри. Отже, у випадках звуку та відео спектри будуть динамічними і відповідатиме певним інтервалам часу.

О дисциплине ТИК
Почему «Теория информации и кодирования» - одна из самых интересных дисциплин, которые изучают будущие системщики и защитники информации?

В ней сочетаются золотая классика и самая актуальная современность computer-science.

продолжение
О сайте
Здесь вы найдете материалы, которые помогут в изучении дисциплины “Теория информации и кодирования” (ТИК) в том виде, как она преподается на кафедре ЭВМ ДИИТа.

На сайте размещены методические материалы:
  • электронный конспект лекций;
  • методическое обеспечение к лабораторным работам;
  • полезные ссылки.

продолжение
© 2008-2020 • Теория информации и кодирования
UP