, . , , . .
, . . , 1948. . . 1924 1928 . .. , .. ,
.. , .. .
. [45] , . . , . . , . , , , . , , , . , .
() . () . (). I(X), , ( ) H'(X). I
I(X)=H(X)-H'(X)
, () .
, , ,
I(X)=H(X),
.. .
(.. ), N, P 1, 2, 3 ,...,N (, =1, 1 ), , , ()
KO a . , . , , , , [45].
|
|
, , 1 .
, = ,
H (X) = - =
. .
1. H =0 , , , , . , H =0 .
2. N H , .
.
, N =2. , , H = I.
1= 2
, , KO = 1 a =2. , N
I =
, , , .
, , , , m - n , . , .
N = .
I,
I = .
, .. (0 1), m =2 I = n.
n - .
. B inary dig it (bit)- .
. , 3,33 .
e. . a b .
, , . . , . , , . , Xi,
I(Xi)=- P(Xi)
:
|
|
1. .
2. , . , , .
3. , , , , .. , , , .
4. , .. . , Xi Yi :
I (Xi, Yi)= - P (Xi) - P (Yi ) =I (Xi) +I (Yi).
, , , , , .
, .
.
, .. . . . .
S , I, , , . , I , , , , .
, . S 0, I =0.
, , , . . , , , , .
I , , .. S, .
, , S, I, , . I S .1.4.
, , , , . , , , .
. 1.4.
, . , , .. . , . . , P0, P1, I
|
|
I = .
, I , .
. , , , , .. , .
, , .
, . . , , , , .
, ( ). , , .
, - , - , , - . , - . , , .. , .
() .
, .
, , . , . . , .. , . , , (.1.5).
- - .
. 1.5. -