, . N , m, . i - ni Ai, -
p(Ai).
, . , ,
, , log m.
i - i-
log m ; log p(Ai) i - .
46
H(A) = log N.
,
VM VM / n ,
47
,
. . , , . . .
48
(H(x)H(x/y)) , ; V ; H(x/y) ; H(x) ; V = VH(x) ; V = VH(x/).
,
49
,
. ,
N0 , . , N0 .
, , N0 N , .
50
, . , .
{\displaystyle w_{1},w_{2},...,w_{K}} {\displaystyle U}, {\displaystyle D} :
|
|
|
51
, P .
. V≤C , , , :
, .
:
( );
.
, , , .
, .
52
T, [/]
M. , V
53
/ , , , , , , , .
.
. () . .
54
:
n , . . ;
k , . . ;
r , . . , ,
n = k + r.
n k - (n,k)-.
55 dmin
dmin, .
: 100 → 011 3 ( ); 010 → 111 2 ( ).
dmin .
|
|
|
56
(),
57 .
.
58
(),
59
60
4) ()
5) 
6) ()
7) 
3) ()
4) ()
{\displaystyle {\frac {H\left(U\right)}{\log _{2}D}}\leq E_{U}w\left(U\right)}
