I(X; Y) қ ң ө ә қ қ . (7.9) қ I(X; Y) ң ө қғ ә ққ- ө .
ғ ү ү ө ү ө ққ қ ә ө қ: ұ қ ққ қ ?
ң ө қ ө ққ ө ң қ ө қ ққ ң
. Ө қң ө /. , қ 1 , қ / ө ғ .
қ ү ө , ө қ ң ө ққ ә.
қ ұғ ғ ң ө қ I(X;Y) қ қ өң ң ққң ө ң. ұ ң X ң ққ- қ
Ә, I(, ) (7.44) ұ ә қ қ қ ү. қ, ұ ғ қ . ғ ( ) ө қ ғ [10] ә .
7.5.1 . ө қ өң ң ққ қ ө қ .
. [10] қ ә ұғ.
қ
() ң ө ққң қ қ (7.2). ғ ɛ қ қғ . өң ң ә ң қ ө ғ ң қ ө , ғ
(1) = p(x2) = p(y1) = p(y2) = 1/2. (7.45)
|
|
(7.9) ,
қ ә қғ, ғ
(2.32) қ қ
ө қ қ ү
= 1 - b (ɛ) (7.49)
ққ ғ :
1. қ қ :
Hb (ɛ = 0) = 0 ә C = 1 .
2. ғ :
Hb (ɛ = 1/2) = 1 ә C = 0 .
7.5.2. қ ң
қ
-ң ң ғ қ () қ (Binary Erasure Channel, - ғ.). қ қ () қ қ ң ң ү . 7.11 - ұ қ ө. 0 1 қ ұ қғ (Erasure-ғ.) ө қ. Ө ғ қ V ғ қ ң қ f(V/0) ә f(V/1) ә ө қ ғғ ғ ү қ ү .
7.11 . ғ қғң ғ
ә қ ғң .
. қ 0 1 ғ қ ң ұқ қ. ұ ғ қғ ң ғ ғұ . ғ , ғұ , қ ә ұқ . ұқ ә ғ ғұ ү ғ ғқ ғұ ғ . ұқ қ ң ө .
7.12 . қ .
Ө қғ q қ, ө ң қ қғ қ .
ә ү ғ ү ө 7.12 ө. Ө ққ ә ү
қ ң ө қ . ғқ, ө қ ң қ ө қ
(1) = (2) = 1/2. (7.51)
ұ , ғ ң ққ ң
қ ққ ә. (7.9) қ
|
|
ң қ ,
ө ұғ қ ң ө қ ә q ққ ә. = f(, q) ө ққ (p, q) ү қ ү ө ң ұ. ұ ң ғ қ .
1. q = 0 ғ, қғ қ . (7.59)-ғ q = 0 қ, ү, (7.49) .
2. қ , ғ = 0 ғ қ қ . ұ ғ
= (1 - q) . (7.55)
7.13 -ң (7.49) ә қ ң (p = 0) ө қ ө. ү ө ө, қң ө ққ - қң қ ң, қ ғ қғ ө қ .
. ұ қ қғғ ө қ ү қ ұқ . ұ ққ ң ә . қ ә қ ү қ ұ . , ң ө қғ қ қ қғ ө ө. ұ ә ққ. қ қ қ 7 (7 ) ұ ғ ө. Ә қ ұ ү (0 1) қ. ұ ә ғ ұ ә ұ ұ. -ғ қ қғ қ ө . қ ғ (7.11 ), қ, , қғ ө ә . қ, ө қ қғ ө ө , қ қғ ө қ .
, құ ұ ө ғ ұ қ ө қ (EACK) . Қ ғ, ұ ғ қ ә қ ү .
7.13 . ɛ қ ққ ң
ә p=0 қ ққ һә q қ ққ
қ ң ө қ.
: қ .
7.14 . қ .
7.14 қ ң ө .
қң:
1. ;
2. өң қ ө , Ү
өң қғ ө, ғ 0 = p1 = 1/2;
3. ң ө қ;
4. қ ққ қ ;
|
|
5. X/Y ү.
.
1. ң ә қғ ққ 1- ң ,
2. ʳ ққң қ ө ә, (7.52) ә, ғ
3. Қ қ ғқ, ө қ ң қ ө ә . (7.56) (7.54) ғ
4. өң ң ққң қ ө ә
() = 1 . (7.59)
Ү өң ғ ң
I(X;Y) ң қ ө (7.58)- ө қ , ә (7.3) қ .
ққ қ 7.15 ө
7.15 . қ ң ққ
қ
5. Ү/ ң ө ққң /Ү қ қғ ғ . Ү ә ғ өң 7.16 қ ү ө.
7.16 . қ .