. , . :
, ( );
- , ;
- , , , , , ..
. , . .
, , , . , , . , . . , . , , , . , , . , . . , . , .
. - . , - , () , . . , , .. , . , , , , .
|
|
, . , , , , , . , , , , . , . , .
, , , , . , , , , , .., .
, .
, . , , , . , , . , . . , , . , .
. , . / , , , .. f=kn, k . : ; ; , , ; ( ) " . = ". , f=kn, df=kdn, dM = " In Kdn, dn = dM/k"\nK, df=kdM/M\nk.
/ = k In //1 = ki log, //1 = ko 1&,/,
&o = k[/\n K; k\ = k Ina.
, . . /= 1, - 1 /= ko log,, 2. = 2, ko = 1 , , /= log2M.
|
|
. , .
, , = ", /= Iog2 .
, , , . - 2, , , , /= . , , , .. . , , , , .
, . , , , . xqj %;), 7= [ (%)]. xq/ Xf>k. (, xjK). , , 1 = [(, *)]. , , , xqj, , .
(xqic/xqj) x^k .
xqj, xqk ?(:%, xq*) = A*Q/) [P CWxfy).
p(xqj),
= '
p(xqj),
, p(xoj) 0 1, , , .. p(xqj) ' [ P[xoJ)] = k, k . ' [()] = k/P(x<)j). j-
<?[P(XOj)}= klnP^+C,
. , j-ro , .. p(xqj)=\. ,) = 1 , , = 0,
k . , , , k = 1,
. (1 ) , 1/. , , k = -1/ln 2.
/ = ,)] = - Iog2.
. , p(xoj) . j ,-, xq/
Ff
(,) j.
, / = nP(xj), , xq/ / = Iog2 ), , /), /
|
|
, . , , .. , , . P(xJ) = \/K. , I \&. = 2, I = , . , , . .
, . / /(xq/) Iog2/'(xq/). , xqj. :
1. . , , . , , , , , .
2. . (X, ]. xq/, -
xqj, yot , (, !) = -%) ()-
*/, >) = - log2P(xoj) - \ogif\yoi) = I(xoj) + /)-
, . , , , .
. . () " , ( , ). /(, *02), -, I(xoj),..., !(xqm) p(xqi), (2), -, p(xoj), -, p(xom) .
( ) , xq, .. ,
()=
0. 0) , .
, . , , . [48]:
1. . , , ;
|
|
2. , ;
3. . , , ;
. , . . , . , , .. , ,
, . . . , , , . , ,
, , . , , , .
. -
. . . . . , . , , .
, x(t) ). ' , \, X2,..., Xj,..., . x(f) xj h(xj), (]). p(xj) W(x)
*, + /2
xi, 2,..., (. 1.3). P(xj) = f W(x)dx
Xj-la/l
. 1.3 W(x). W(xj), P(xJ) = ^. , xj,
, . , .. -0, lim (,), ..
(;) = - lim { W(Xj) Iog2 [(,)]}.
-0
, (/) ,
) = £, () = - lim
""^
W(x)dx - J I'K(x) log 2 Axdx.
logj Ax, , .
, , . , , .
|
|
:
1. . , , ;
2. . , .
.
, , . . .
. , , . , , . , .. , , . , , ., . , , . . ,
() ; (/) .
{/)} .
, . , . , , . , , . , . , . , . , , . . , , , , . , .. , . , , , .