, .. , , .
, , , . . , : 1 0, (binary digit bit).
, , .. , 0 1. . 256 (256 = 2 8). (), 1024 (1024 = 2 10). : , , (1 = 1024 ; 1 = 1024 ; 1 = 1024 ).
( ). : .
, , ( ). 256 .
5. . , .
, . , , , . , , .
, .
(. bit binary digit ). , . , 0″ 1, . , , , N 2N 2 , . 2N , I .
|
|
|
. , . , 256 (256=28). , .
:
1 () = 1024 = 2 10 ,
1 () = 1024 = 2 20 ,
1 () = 1024 = 2 30 .
,
.
, , , .
( , 1 0). . .
, - , , , . , , .
, ( , ..), , , . , - .
, , .
, . , , . , , , , .
( ) . , , , . , , , , , .
, . 2n n .
1928 .. N , I, , N.
:
I = log 2 N,
N ( ),
I .
. N P =, N = :
|
|
|
I = log() = logP
. , .
, . . , . , , , , , , .
1948. , .
I ,
N ,
P - ,
:
I = (PlogP + PlogP +... + PlogP),
I= - P logP
, P,P, , P , , .
, , - .
.
, () -.
, .
, , . .
( , 1) 0. , . .
