3 - 4.
: ; ; ; ; ; ; ; .
"" "informatio", , , .
, . , .
| , - . |
, - , - .. "" " , ".
| , , , ( , .) . |
( , , , , , , , ..) , .
| , . , , . |
, - , , , .
:
1) , , , ;
2) ;
3) ;
4) ;
5) ;
6) ;
7) ;
8) , ..
, , , , .
:
| ; ; ; ; ; ; ; | ; ; ; ; ; ; ; | ; ; ; ; ; . |
, , .
. . , , , , . , , , .
|
|
|
, . , , . , , .
.
.
. , , , , . . , , , .
, , , . , , , , . , - , . , , , , , , , , .
. . , . . , .
| > | Ȩ |
:
(, , , ..):
1) ;
2) ;
3) ;
4) ;
5) ;
6) ..;
7) .
, .
. . : , , , , , () , . .
|
|
|
, , -, . . ( ) , (CD-ROM). , , .
. .
:
;
, , , , ;
, ; , ;
; ;
; ;
, , ;
( ) ; , ;
. : , , .
.
,
, , " ", ? , , .
? :
| , , , , . |
" ", , , , , , .
, . (1928 .) , , N , I, , N.
| : I = log2N. |
, . , : I = log2100 ≈ 6,644. , 6,644 .
|
|
|
:
1) : " ", " ";
2) : " ", " ".
, " " " ". . , . , , , , , , .
1948 . , .
| : I = (p1 log2 p1 + p2 log2 p2 +... + pN log2 pN), pi , i- N . |
, p1,..., pN , 1/N, .
, . , , .
(. bit binary, digit ).
| , . "" , "0" "1", . |
. , . , 256 (256=28).
:
1 (bi nary digi t ) = 0 1,
1 8 ,
1 (1) = 213 ,
1 (1) = 223 ,
1 (1) = 233 ,
1 (1) = 243 ,
1 (1) = 253 ,
1 (1) = 263 .
, , , . (), () .
, , . , ( ). , , : , , , . , .
. , . : , , , , .
|
|
|
. . , , . , . , , , , , . . , , , - , ( ).
. . , , , , .
. , - , . , , . . , .
. . , .
. , . : . , , .
. , , . , , . ( ) , . , , . , () , , , , , , .
( . entropia , ) . "" XIX . , , , ( : ). XX . , . , , , . , . , . . . - .
|
|
|
. 1948 . . , , . , , , . , , . . :
H + I = 0,
, I .
