. ., . 1948. . (, ) . ( ) m. , i (i=1,2,, m) , .. . , (/):
H(X)= -
m, n , N=mn : I=log2N=log2mn=nlog2m.
1.
1.1 . , , . .
. , , , . , () , , , - , .. . , ( ) , , , .
. , .. . (.1.1). . , .
, . , . .
|
|
, , . .
, . , , , . - . , . (.. 1.2, ), (. . 1.2, ). (), () (). , ( ).
(, ) , . . , . , , . - . , . . , . - , .
. . . , . , . .
. , .. . . , .
, , . , . , .. . , , . , , , . , .
|
|
, .. , . , . , , ().