, , , , , , . , ( , ) .
, , .
: , , , , .
1960- , "" () "" ( , ). . 20- "". , ( , , , ), "" (hyperlinks), . , , ; , , . , , .
, , , . .
, , , . , , , , , .
, , , : - ; - . - .
|
|
1775 . , , .
1837 . 1877 . " " " ", 15 : " . ". . , 1959 . " ". 1961 . , " " , , , *(64).
: ; .
, . . , , . , . , , , . , , , , , , . , . . , , . " " : " "*(65).
. , *(66). , , , , , :
|
|
1. , , . .
2. , " ".
3. . , , , .
4. .
, , , , .
, . " ", .
, , , . . , , . , , , " " " " , "" . , , *(67).
.
- , , .
, . .
, , . :
( "");
( "");
( "");
("_, _").
, .. , , . - ( ) . *(68):
─┐ ─┐
((p ──► d) ──► │s) ──► (│d ──► s),
p - ;
d - ;
s - .
, .
, . , , .. , " , , , - , . , , . , , . , ... . ... , , , - , "*(69).
|
|
.. , , :
1. - .
2. - , , , , , , , , , , , , .
3. , , - . , , , ( ) .
4. , .
5. , , - , . - . , - , . , , , *(70).
, . , .. , , .. *(71).
, , , ( ), , , , , , . , , , , . , , . , , , , , , . . , , . , , , . , .
|
|
, , . , , .
, , , , , , .
, , , . . , , . . , . , .
. , .
, , . , .
. , , , . , , . , , .
, , , . , , .
"" "" ?
: . , , .
.
99% 1%. , , : , .
, , .
- :
1, 2, 3,..., n
p1, p2, p3,..., pn,
pi = P( ~ i), ,
i, ~ i.
,
( i = 1 n) Pi = 1
, .
, :
H(X)= - ( i=1 n) pi log2 pi
|
|
, . -, , , - . -, , , - . , , , , .
, . , ; , , , . , , .
, , , , . () (); , . IX , . :
IX = () - 0 IX = (),
,
, .
, :
Ix = - ( i=1 n) pi log2 pi
, : , "" "", .
. 1 8:
1 <= <= 8,
, , "" "".
, , . :
1 = 2=...= 8 = 1/8.
IX = log2 8 = 3.
, , .
, , "".
1. ?
. .
: - 1, 2, 3, 4.
2. ?
. .
: - 1, 2.
. ?
. .
: 2.
, - .
1. .
2. , .
3. - ?
4. - ?
5. - .
6. .
7. ?
8. "".
9. ?
10. .
11. ?
12. .
:
1. .. . .: , 1998.
2. .. //. . 1, 1993, N 11.
3. .. : . .: , 2000.
4. / . .. . .: , 2002.
5. . .: - , 1990.
6. .., .., .. . .: , 1996.
7. .., .., .. : / . .. . .: - , , 1998, . 179.