Теорема кодирования для канала с помехами

Это основная теорема кодирования К. Шеннона. Применительно к дискретному источнику информации она формулируется так:

Теорема. Если производительность источника сообщений H ’(A) меньше пропускной способности канала С: H ’(A)< С, то существует такой способ кодирования (преобразования сообщения в сигнал на входе канала) и декодирования (преобразования сигнала в сообщение на выходе), при котором вероятность ошибочного декодирования и ненадежность канала H (A | A ^*) могут быть сколь угодно малы. Если же H ’(A)> С, то таких способов кодирования и декодирования не существует.

 

Модель:

КАНАЛ

Н(А) Н’(В)

 

Н’(А)<с

 

Если же Н’(А)>с, то такого кода не существует.

Теорема указывает на возможность создания помехоустойчивых кодов.

Н’(А)< Н’(В)

Н’(В)=V_kH

Декодер выдаёт на код каналов V_k символов в секунду. Если в канале потерь нет, то V_k=с.

При Н<1 будет тратится больше одного бита на символ, значит появляется избыточность, т.е. не все символы несут полезную информацию.

Делаем вывод, что смысл теоремы Шеннона заключается в том, что при H ’(A)> С невозможна безошибочная передача сообщений по данному каналу, если же H ’(A)< С, то ошибки могут быть сведены к сколь угодно малой величине. Таким образом, величина С - это предельное значение скорости безошибочной передачи информации по каналу

 

Практическая часть.

 

Пропускная способность гауссовского канала определяется [1, стр.118]:

.

Отношение сигнал/шум падает по условию задания с 25 до 15 дБ. Поэтому С также будет уменьшаться. Необходимо уменьшать С/Ш с 25 до 15 дБ с шагом 1 дБ и вычислить по формуле 11 значений С. При этом надо учесть, что в формуле отношение С/Ш - P _c/ P _ш - дано в разах, поэтому данные в дБ необходимо пересчитать в разы: ; отсюда .

С помощью программы MathCAD получили результаты подсчётов:

С₁=1,246*10⁴ бит/с

С₂=1,197*10⁴ бит/с

С₃=1,147*10⁴ бит/с

С₄=1,098*10⁴ бит/с

С₅=1,048*10⁴ бит/с

С₆=9,987*10³ бит/с

С₇=9,495*10³ бит/с

С₈=9,003*10³ бит/с

С₉=8,514*10³ бит/с

С₁₀=8,026*10³ бит/с

С₁₁=7,542*10³ бит/с

Производительность кодера H ’(B)= v _к* H (B) должна быть меньше пропускной способности канала С, иначе неизбежны потери информации в канале. Максимальное значение энтропии двоичного кодера H _max= H (B)=log2=1 бит. Если С уменьшается, то для избежания потерь информации можно уменьшать H (B) так, чтобы H ’(B) оставалась все время меньше С. Если же H (B)<1, это означает, что кодовые символы не равновероятны и зависимы друг от друга, т.е. используется избыточный (помехоустойчивый) код. Избыточность этого кода вычисляется по формуле:

. (11)

Итак, пропускная способность канала С определяет предельное значение производительности кодера H ’(B): H ’(B)<C. Отсюда находим предельное значение энтропии кодера:

По условию V_k=8*10³ сим/с

В численном виде это выглядит так:

С/V_k1=1,558 бит/сим

С/V_k 2=1,496 бит/сим

С/V_k 3=1,434 бит/сим

С/V_k 4=1,372 бит/сим

С/V_k 5=1,31 бит/сим

С/V_k 6=1,248 бит/сим

С/V_k 7=1,187 бит/сим

С/V_k 8=1,125 бит/сим

С/V_k 9=1,064 бит/сим

С/V_k 10=1,003 бит/сим

В этих случаях энтропию Н(В) можно брать любой, вплоть до максимальной (H_max=1 бит/сим).

С/V_k 11=0,943 бит/сим

Т.к. в 11-ом случае условие H ’(B)<C не выполняется, то теорема Шеннона так же не выполняется. Для того чтобы избежать потерь информации, вводим избыточные символы.

Следующим шагом будет вычисление избыточности κ кода, по формуле (11):

κ=0,057

Чтобы было более наглядно, построим графики зависимостей с=f(P_c/P_ш) и κ= f(P_c/P_ш).

График зависимости с=f(P_c/P_ш):

 

График зависимости κ= f(P_c/P_ш).

 

Заключение.

В результате проведённой работы, мы можем сделать вывод, что с уменьшением отношения сигнал/шум пропускная способность канала также уменьшается, что приводит к потери информации. Для того чтобы избежать возникновение ошибок, мы вводили избыточные символы. Избыточность этого кода κ=0,057.

Сделаем вывод, что в результате проведенного расчета поставленная задача была полностью решена.

 

Литература.

1. Зюко А.Г., Кловский Д.Д. и др. Теория передачи сигналов. -М.: Радио и Связь, 1986.

2. Кловский Д.Д., Шилкин В.А. Теория электрической связи. -М.: Радио и связь, 1990.