3.1.
, . .
, . . , . ( , ) : u1, u2,..., uN.
, . , , U, . . , :
.
, . , . . , . . N, ( , ) , .
, , , . . , N=1, , , . , , .
N Μ , nimj, , . ΝΜ,
(3.2) , U :
Ν= 1 H(U) = 0 .
. [31] 1928. . , , . (bit . binary digit ). , ().
|
|
3.1. , , 27 , .
U (3.3)
U', ( , , )
.
. , , , , , , , , ,
, , . , , .
, , . , . , , 0,99 0,01, , , . , ( , 0,99), , . , .
(1... i... N): 1... pi... N I = 1. ι= 1 .
, , , (1 ρN) . , Η(ρ1...ρN) .
, . , . , :
|
|
q1, q2 q3, q4 , Ν1 Ν, ρN-1 = q1 + q2 pN-1 = q3 + q4.
U, , . [36]. :
.
. , . - , , .
, . = 1. (3.5)
. , (3.5) , . H
Mn ; mi , uI + Du.
mi/ , ui + Δu, (3.7)
, H .
. . N , i = (1/N)(1 i N) , , ,
, , ,
, , . U , , :
, . . .
3.2. , u ( ), , . 3.1, , .
3.1
32 , ,
, (. 3.1), , (3.6):
, 5 4.42 . .
3.2
, , .
1. , i(1 ) i 0 1, log pi , , pi log pi .
2. . - pi log pi 0<i 1 . , pi log pi, i>0, log pi :
a= 1/i ,
|
|
3. , ; , , . , .
4. , , [23]:
5. u1 u2 , :
H(U) ρ
. 3.1. ρ (1- ) , u1, , . u2 , , , . , , . (1)
, , - p log p.
6. .
, , u u. u u (u,u), p(uiui) ui, u ui, u. .
p(uiui)
u υ
,
u, u, z
.
7. . , . , . , , 90 % 10 % , , , 90 % , 10 % .
8. , , . , (, ) , . .
, .
3.3. U V U' V¢:
.
, ,
3.3.
, , , , .
|
|
U V. p(UV) (uiui) ui(1£ i £ N) U uj(1 £ j £ k) V:
(3.14), U V u u:
(uiui) , ν, (ui/ui) p(uj/ui) , , :
p(ui/uj) ui U , uj V; P(uj/ui) uj V , ui U. (3.11)
, , V , ui U.
V Hui(V):
U , V U:
U(V) V U.
(3.19) (3.16),
(3.11) p(uiuj) (3.15),
, U V .
(3.19) ,
, .
U V
(3.20) (3.25) ,
, . , .
ui, U υj V ,
ui(1 £ i £ N) U uj(1 £ j £ N) V, :
, (ui/uj) P(uj/ui) , . , (3.17) (3.23) , . (3.18) (3.22) .
(3.30) .
() (. 3.2).
3.4. (U), H(V), Ηu(U), H(UV), , u u:
:
3.5. : H(U) = 5 . ., H(V) = 10 . . , Ηυ(V) HV(U) .
. . 3.3. , Hu(V) H(V), .. 10 . . u(V) H(V) H(U) = 5 . . HV(U) = 0.
|
|
3.4. ( )
. , . .
. , . .
. -, , , . -, , .
, , . , , , , , .
U, (u), n Δu (. 3.4). u, ( ), , U. Δu , u :
Ữ :
Δu , , Ữ U.
Δu→0, H(U) :