Персональный сайт - алфавитный подход
Суббота, 16.12.2017, 10:15
Приветствую Вас Гость | RSS

МОУ СОСНОВСКИЙ ЦЕНТР ОБРАЗОВАНИЯ

                             Главная Регистрация Вход
Меню сайта
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0

алфавитный подход

 
Алфавитный подход


Приведенное в начале главы определение информации далеко не исчерпывает понятие информации, которое используется практически во всех отраслях науки и техники. В числе первых, кто занимался вопросами теории кодирования и передачи сообщений, был американский ученый Клод Шеннон. Он показал, что информацию можно измерять. Шеннону принадлежит следующее определение информации:

Информация — это снятая неопределенность.

Величина неопределенности, снимаемой некоторым сообщением, и представляет собой содержащееся в сообщении количество информации. При этом количество информации является функцией вероятности выбора данного сообщения из всех возможных. Такой подход к определению информации называют содержательным. Он различает сообщения по той пользе, которую приносит сообщение его получателю.

Содержательный подход делит сообщения на информативные и сообщения не несущие новой, полезной информации. Поэтому количество информации в сообщении зависит от его содержания. Если в сообщении отсутствует новая, полезная, снимающая неопределенность информация, то такое сообщение несет количество информации равное нулю.

Алфавитный подход к определению информации абстрагируется от содержания сообщений. Сторонник этого подхода российский ученый А. Колмогоров. Сообщение рассматривается им как слово, записанное символами некоторого алфавита. При этом количество информации в сообщении определяется не его содержанием, а количеством бит, потребных для кодирования данного сообщения.


Формула Хартли
Было показано, что состояние выключателя можно закодировать одним битом информации (2 = 21, log22 = 1) , четыре стороны света кодируются двоичным словом длиной два бита (4 = 22, log24 = 2), восемь углов куба — трех битовым словом (8 = 23, log28 = 3), и т. д.

Рассмотренные примеры показывают, что для кодирования в двоичном алфавите N альтернатив (объектов, событий, сообщений, состояний и т. п.) требуется I = log2N бит информации. Можно сделать вывод: чем больше требуется закодировать объектов, тем длиннее требуется двоичное слово. Его длина определяется по формуле Хартли, названной по имени предложившего ее американского инженера:

I = log2N.

Эта формула определяет количество информации (I), которое имеем в случае получения одного из N равновероятных сообщений.

Напомним, что логарифмом называют показатель степени (I), в которую нужно возвести основание логарифма (2), чтобы получить заданное число (N). При I = log2N получаем

N = 2I.

 Для определения целых значений величины I, как функции от N, можно воспользоваться следующей таблицей 1.2.
 

 N (сообщний)

 2

 4

 8

 16

 32

 64

 128

 256

 512

 1024

 I (бит)

 1

 2

3

4

5

6

7

8

9

10


Таблица 1.      I = f(N)       
 
Пример 1.
Требуется определить сколько бит информации несет слово Пушкин при различных вариантах подсчета количества информации.
Unicode — каждый символ кодируется двумя байтами (16 бит). Всего информационная емкость слова равна 12 байт (96 бит).
ASCII — каждый символ кодируется одним байтом (8 бит). Всего имеем: 6 байт (48 бит).
Алфавитный подход — не учитывает содержание сообщений и оценивает количество информации в нем по потребному для кодирования сообщения количеству бит. Алфавит, который использовался при кодировании сообщения, содержит 32 символа (пробел не учитываем, е и ё считаем за один символ). В этом случае каждый символ алфавита может быть однозначно представлен пятибитовым двоичным словом (25 = 32). Всего символов в сообщении 6. Поэтому в итоге имеем, что слово Пушкин содержит 5*6 = 30 бит информации.
 
 
 

Copyright MyCorp © 2017