. . -, , . . , . , . , . , , , . , , . . , , . , .. , . , , .
, . , . . -, , . . , , . , , . . , . . .
|
|
. (), - Y H(Y). Y , , , . Kx . Ky. , , P, j - Pj = ||P(y1/xj)... P(yKy/xj)||; j= 1 ...Kx.
i - yi. , , , . , . (). , H(Y). , . , P. , H(Y/X), , , . H(Y/X) - - . , .
- , , .
- , Ky>Kx, , Ky=Kx.
, , , . . , , , .
, P, , , , ; , , ; . P : P11= 1 -P; P12=P; P21=P; P22= 1 -P; - .
: P11= 1 -P-q; P12=P; P13=q; P21=P; P22= 1 -P-q; P23=q; - ; 1 -P-q - ; q - .
|
|
. - , , .. . - , . .
. , , . . , X, Y, : I(, Y) = I = H(Y)-H(Y/X). C=Imax=Hmax(Y)-Hmin(Y/X). .
. , H(Y/X)= 0, C=Imax=Hmax(Y). , . , Ky , , Hmax=log2Ky. C=log2Ky.
, . , , . . .
. , Kx=Ky=K. xj yi (yi/xj). : =Si=1K(yi/xj) i ¹ j. , , , , (yi/xj)=(K- 1 )-1 i ¹ j. 1 -P=(yi/xi) i=j. C=Imax=Hmax(Y)-Hmin(Y/X). , Hmax(Y)=log2K,
Hmax(Y/X)= - Sj=1KSi=1 K (j)(i/j) log2(i/j).
, , .. (j)=K-1,
Hmax(Y/X)=( 1 -P)log2( 1 -P)-Plog2(P(K- 1 )-1).
, .
C=log2K+( 1 -P)log2( 1 -P)+Plog2(P(K- 1 )-1).
K=2, .. C= 1 +( 1 -P)log2( 1 -P)+Plog2P.
, .
. x(t) - y(t). , , W(x), W(y). , , I(, )=I=()-(/), () - ; (/) - , . , , , .. C=Imax=Hmax(y)-Hmin(y/x).
. (/)= 0, C=Imax=Hmax(y).
|
|
, p(yj)=W(yj)Dy:
()=-Sj=-¥j=¥ p(yj)log2[p(yj)]= -ò-¥¥W(y) log2[W(y)Dy] dy,
:
W(y)=(2ps)-0 ,5 e-y2/2s2,
.
C=Imax=Hmax(y)=log2(s(2pe)0 ,5 /Dx),
Dx=Dy - .
. , , :
I=()-(/)=-ò-¥¥ò-¥¥W(x)W(y/x)log2[W(y)Dy]dxdy+ò-¥¥ò-¥¥W(x)W(y/x)log2[W(y/x)Dy]dxdy,
p(yj)= Si=-¥i=¥p(xi)p(yj/xi)= ò-¥¥(W(x)W(yj/x)Dy)dx.
(/) ¹ 0, . W(x)W(y/x)=W(y, ), ,
I=ò-¥¥ò-¥¥ W(y, x)log2[W(y, x) W-1(x) W-1(y)]dxdy.
, x(t) . , W(y, )= W(x)W(y), , C= 0. , , . W(x) W(y) , , , .. I= 0. . , . , .
. , , - . , , . {}, {}, {Å }. {} {}. n, . , n. j n P(j, n). , . .
. .
P(j, n)=CnjPj( 1 -P)n-j;
- . , n P( 0, n)=( 1 -P)n, n . , i :
|
|
P(³i, n)=Sj=1n P(j, n)= Sj=1n CnjPj( 1 -P)n-j;
n n. . P(j, n) Ю 0:
P(j, n)=[n(n- 1 )...(n-j+ 1 )][ 1 *2... j]Pj( 1 -P)n-j.
£ 0, 1 j P(j, n)=(nP)j(j!)-1e-nP. n, . , y0i. , (/y0i)=Sj=1M(x0j)(y0i/x0j) i¹j. x0j y0i , .. P(y0i/x0j)=P i¹j.
, P, .. (y0i/x0j)= P i=j. , . " ". . , P= 1 -0, 0 - , 0=+ .
, d, s r . , n, , . P=Sj=0sP(j, n). , : P=Sj=0s(nP)j(j!)-1e-nP.
0=Sj=s+1nP(j, n)= Sj=s+1n(nP)j(j!)-1e-nP. , , . , , P=( 0, n)=e-nP. 0= 1 -e-nP. n<< 1, , 0n, .. , n. , n. . , . Ix H(Y0/X0). , . , , .
, . , Hmax=log2K, kmin=Ik/log2K, kmin - , . . , d=2s+ 1, r=s, .. . : P P. , IK=IK+IK. . j, n, .. P(j, n). , , n, 0 s. s+ 1 n. P=Sj=0sP(j, n); P=Sj=s+1nP(j, n).
, , , , s , .. IK= IK.
P(j, n)=CnjPj( 1 -P)n-j,
Cnj - n j. , ,
|
|
IK = -Sj=0s CnjPj( 1 -P)n-j log2(Pj( 1 -P)n-j).
, P1=Pj( 1 -P)n-j.
IK = -Sj=0s Cnj P1 log2 P1 .
, , P1=(Sj=0sCnj)-1.
IK = -Sj=0s Cnj (Sj=0sCnj)-1log2 (Sj=0sCnj)-1 = log2(Sj=0sCnj).
kmin=IK/log22=IK. =2m, m - ,
k ³ kmin = log2(Sj=0sCnj).
2k ³ Sj=0sCnj. = m+k, .. k = n-m.
2n-m³Sj=0sCnj; M=2m£ 2n(Sj=0sCnj)-1.
, s , d=2s+ 1. . , , .. s= 1, d=3, M£2n(n+ 1 )-1. , . , , . .