, . , , . T1,T2,...,Tn p1, p2,..., pn . , , , ""; 2:
: , , . N , 2N :
H(T) = -2N2-Nlog2(2-N) = N = | T |,
| X | X . , ? - . , , , , . , , , .
, , , ("-") - T'. :
,
p (Ti | T') , Ti , T'.
, - :
I = H(T) - H(T | T').
. , , .
:
H(T | T') = H(T),
: I = 0. , , , , , .
|
|
, , :
, - , - , . , - , . , .
: 12- , :
1 0 0 1 0 1 1 1 0 1 0 1, . , 212 , , , 2-12. , , 4- 4- . , 16 = 24 , , 16 :
0000 1001011101010001 1000011001000010 101101010110.....1111 011010001010, 1/16 - 256 . : , , . ,
, . , .
- :
- - , , ;
- , - , , - , .
, - "" . , , , , .
|
|
1. . - , () .
2. . , . , , .
, . : , , , , - , . .