Это основная теорема кодирования К. Шеннона. Применительно к дискретному источнику информации она формулируется так:
Теорема. Если производительность источника сообщений H ’(A) меньше пропускной способности канала С: H ’(A)< С, то существует такой способ кодирования (преобразования сообщения в сигнал на входе канала) и декодирования (преобразования сигнала в сообщение на выходе), при котором вероятность ошибочного декодирования и ненадежность канала H (A | A *) могут быть сколь угодно малы. Если же H ’(A)> С, то таких способов кодирования и декодирования не существует.
Модель:
|
Н(А) Н’(В)
Н’(А)<с
Если же Н’(А)>с, то такого кода не существует.
Теорема указывает на возможность создания помехоустойчивых кодов.
Н’(А)< Н’(В)
Н’(В)=VkH
Декодер выдаёт на код каналов Vk символов в секунду. Если в канале потерь нет, то Vk=с.
При Н<1 будет тратится больше одного бита на символ, значит появляется избыточность, т.е. не все символы несут полезную информацию.
Делаем вывод, что смысл теоремы Шеннона заключается в том, что при H ’(A)> С невозможна безошибочная передача сообщений по данному каналу, если же H ’(A)< С, то ошибки могут быть сведены к сколь угодно малой величине. Таким образом, величина С - это предельное значение скорости безошибочной передачи информации по каналу
Практическая часть.
Пропускная способность гауссовского канала определяется [1, стр.118]:
.
Отношение сигнал/шум падает по условию задания с 25 до 15 дБ. Поэтому С также будет уменьшаться. Необходимо уменьшать С/Ш с 25 до 15 дБ с шагом 1 дБ и вычислить по формуле 11 значений С. При этом надо учесть, что в формуле отношение С/Ш - P c/ P ш - дано в разах, поэтому данные в дБ необходимо пересчитать в разы: 
; отсюда 
.
С помощью программы MathCAD получили результаты подсчётов:
С1=1,246*104 бит/с
С2=1,197*104 бит/с
С3=1,147*104 бит/с
С4=1,098*104 бит/с
С5=1,048*104 бит/с
С6=9,987*103 бит/с
С7=9,495*103 бит/с
С8=9,003*103 бит/с
С9=8,514*103 бит/с
С10=8,026*103 бит/с
С11=7,542*103 бит/с
Производительность кодера H ’(B)= v к* H (B) должна быть меньше пропускной способности канала С, иначе неизбежны потери информации в канале. Максимальное значение энтропии двоичного кодера H max= H (B)=log2=1 бит. Если С уменьшается, то для избежания потерь информации можно уменьшать H (B) так, чтобы H ’(B) оставалась все время меньше С. Если же H (B)<1, это означает, что кодовые символы не равновероятны и зависимы друг от друга, т.е. используется избыточный (помехоустойчивый) код. Избыточность этого кода вычисляется по формуле:
. (11)
Итак, пропускная способность канала С определяет предельное значение производительности кодера H ’(B): H ’(B)<C. Отсюда находим предельное значение энтропии кодера:
По условию Vk=8*103 сим/с
В численном виде это выглядит так:
С/Vk1=1,558 бит/сим
С/Vk 2=1,496 бит/сим
С/Vk 3=1,434 бит/сим
С/Vk 4=1,372 бит/сим
С/Vk 5=1,31 бит/сим
С/Vk 6=1,248 бит/сим
С/Vk 7=1,187 бит/сим
С/Vk 8=1,125 бит/сим
С/Vk 9=1,064 бит/сим
С/Vk 10=1,003 бит/сим
В этих случаях энтропию Н(В) можно брать любой, вплоть до максимальной (Hmax=1 бит/сим).
С/Vk 11=0,943 бит/сим
Т.к. в 11-ом случае условие H ’(B)<C не выполняется, то теорема Шеннона так же не выполняется. Для того чтобы избежать потерь информации, вводим избыточные символы.
Следующим шагом будет вычисление избыточности κ кода, по формуле (11):
κ=0,057
Чтобы было более наглядно, построим графики зависимостей с=f(Pc/Pш) и κ= f(Pc/Pш).
График зависимости с=f(Pc/Pш):
График зависимости κ= f(Pc/Pш).
Заключение.
В результате проведённой работы, мы можем сделать вывод, что с уменьшением отношения сигнал/шум пропускная способность канала также уменьшается, что приводит к потери информации. Для того чтобы избежать возникновение ошибок, мы вводили избыточные символы. Избыточность этого кода κ=0,057.
Сделаем вывод, что в результате проведенного расчета поставленная задача была полностью решена.
Литература.
1. Зюко А.Г., Кловский Д.Д. и др. Теория передачи сигналов. -М.: Радио и Связь, 1986.
2. Кловский Д.Д., Шилкин В.А. Теория электрической связи. -М.: Радио и связь, 1990.
