Кількість й якість інформації

Найважливішим етапом у теорії розвитку інформації з'явилася кількісна оцінка інформації. Чим вище рівень невизначеності вибору, тим потрібен більший обсяг інформації, і результат вибору має значний ступінь несподіванки. От чому в теорії інформації кількість інформації є мірою зняття невизначеності однієї випадкової величини в результаті спостереження за іншої. Якщо величини незалежні, то кількість інформації дорівнює нулю.

Самим найпростішим випадком є вибір альтернативи із двох подій. Тому за одиницю інформації доцільно прийняти кількість інформації, укладена у виборі одного із двох рівноімовірних подій. Ця одиниця називається двійковою одиницею, або битом (binary digit, bit). Отже, при будь-якій невизначеності звуження області вибору вдвічі дає одну одиницю інформації.

Вимір тільки кількості інформації не відповідає насущним потребам сучасного суспільства необхідна міра цінності інформації. Проблема визначення цінності інформації винятково актуальна в цей час, коли вже важко навіть за допомогою комп'ютерів обробляти потужні інформаційні потоки. Розроблені методи визначення цінності інформації покликані зіграти істотну роль в одержанні людиною необхідної інформації, Взагалі, оцінка значимості інформації виробляється людиною часто інтуїтивно на основі використання інтелекту й досвіду. Інформація називається корисної, якщо вона зменшує невизначеність вирішального алгоритму. Американським ученим Н. Вінером почата спроба побудувати семантичну теорію інформації. Суть її полягає в тому, що для розуміння й використання інформації її одержувач повинен мати певний запас знань. Дійсно, повне незнання предмета не дозволяє витягти істотний наукової інформації із прийнятого повідомлення про цей предмет. У міру росту наших знань про предмет росте й кількість наукової інформації, що витягає з повідомлення.