http://de-888.narod.ru/06ecnst2.htm
. 7, 2007. . 58-64.
: . , . , .
- . , , , : , , [1]. ( ), . ( ), () (, , : ).
XIX , . ( ) . - (), (, ) ()? I ( ) : ( , , , ) , ?
, . , ( , ) , : ( ), , ( , ?). , , . . , .
|
|
, . , ( .). . , , . ..,[2] , , .. ., ., , . ...
() . - , , : : , . ; ; , , , . [3]
. [4]
, , ( I). [0,1]:
ò p(x) dx =1,
(1) I= ò p(x) f (x) dx = -ò p(x) ln (x) dx,
, :
(2) I = -åpi ln pi åpi =1.
(2) . , (I) , ( , , , - , - [5]. , , , . .
|
|
; , , (, , , (1) ).
2- , . , , [6]. ..: , . , , . , .[7] ( ) , , , , - ( ).
, .. , : , ., : , ( ..), [8] , , , ) .. ; ) ( ) , - . , , . , 2- ( ) ?
S , , . W , .. . . :
(3) S = k ln W,
k - . (3) ( ) (2), .
2- ( ), , , , . , . , , : , , ; , . , , .
|
|
. , . , ( , , ). , : , , 2- , (!) ( , ). 2- , , . ( ) 2- , . 2- : . 1928 - , .
: . , . - (I), - .. , I - , , , .. : . , , , , , , , [9]
, ( ). , (, , ). , . . : . -; , . , , - , [10]
|
|
, , , , . . , - . , , , , , , , . , , ( ).
, , , . (.. ), , , .
, : .. , . , : .
, 2- , .
, () - . , (, , ...), .
.
. , . , , , .
, 2- ( , .[11], 1- ) (2- - .. , [12]), . - 2- ( ), , , (.. ) , , 2- ( ), [13].
( , , - .. , - ), .. . , .