Чтобы уменьшить избыточность, содержащуюся в ансамбле X источника информации, создается новый ансамбль Y символов, энтропия которой близка к максимальному значению. Затем с помощью элементов ансамбля Y составляются сообщения из ансамбля X.
Рассмотрим модель передачи информации с использованием кодера и декодера источника сообщений. Источник генерирует сообщения из ансамбля 
, состоящего из элементов 
., образующих полную группу событий и появляющихся с некоторыми вероятностями 
. Кодер источника использует ансамбль Y, состоящий из двух символов - (0, 1).
Существуют различные методы кодирования. Одним из них является метод, когда все элементы 
ансамбля X представлены одним и тем же числом элементов
ансамбля Y. Такое кодирование называется равномерным. Число возможных сообщений, которые кодируются двоичным 
разрядным кодом, равно 
. Например, при кодировании четырёхразрядным кодом можно закодировать 16 сообщений. Кодовое дерево (граф) изображено на рисунке 3.2.
Однако число кодируемых сообщений может быть меньше, чем . Тогда используются не все коды и возникает избыточность при кодировании равномерным кодом. С другой стороны, не учитываются вероятности реализации сообщений 
, составляющих ансамбль 
.
Пример 3.2. равномерного кодирования приведён в таблице 3.2. Все элементы ансамбля X расположены в первой колонке. Во второй колонке записаны вероятности реализаций соответствующих сообщений . В третьей колонке количество информации, содержащееся в сообщении . В четвёртой колонке представлены двоичные коды, соответствующие сообщениям . В пятой колонке записаны условные вероятности 
появления символа «1» при реализации соответствующего сообщения
,
где 
- общее число символов, употребляемых для кодирования 
-го сообщения,
- число «1» в -ом сообщении.
Для того чтобы закодировать двоичным кодом девять сообщений необходимо четыре двоичных разряда, (
; m = 4).
| Таблица 3.2 | |||||
Анс-ль
| Вер. 
| 
| Коды | Условн. вер.
| |
| 0.20 | 2.32193 | 1/4 | ||
| 0.2 | 2.32193 | 1/4 | ||
| 0.19 | 2.39593 | 2/4 | ||
| 0.15 | 2.73697 | 1/4 | ||
| 0.10 | 3.32193 | 2/4 | ||
| 0.08 | 3.64386 | 2/4 | ||
| 0.06 | 4.05889 | 3/4 | ||
| 0.01 | 6.64386 | 1/4 | ||
| 0.01 | 6.64386 | 2/4 | ||
|  2.79465
| ||||
Кодовое дерево, отображающее коды при равномерном кодировании, представлено на рисунке 1.2.
Максимальная энтропия ансамбля X, в соответствии с теорией, равна
= 3.16993 .
Энтропия ансамбля X равна 
=2.79465 .
Коэффициент избыточности ансамбля X равен
= 
= 0.881615,
коэффициент сжатия ансамбля X равен
= 0.118385.
           |
Рассмотрим ансамбль
. Максимальная энтропия ансамбля Y равна
= 1 
.
Используя формулу полной вероятности, вычисляется вероятность 
реализации символа «1» при кодировании элементов ансамбля X ‘символами ансамбля Y.
= 0.375.
Вероятность реализации символа «0» равна соответственно
=0.625.
Количество информации, содержащееся в каждом символе ансамбля Y равно соответственно
1.41504 , 
0.678072 .
Энтропия ансамбля Y равна
= 0.954434 .
Соответственно коэффициент сжатия и коэффициент избыточности будут равны
= 0.954434, 
= 0.045566
Из cравнения коэффициентов сжатия и коэффициентов избыточности ансамблей X и Y видно, произошло увеличение коэффициента сжатия и уменьшение избыточности ансамбля Y. Относительные величины равны соответственно
= 1.0826, 
= 2.59809.
