.


:




:

































 

 

 

 





. Ÿ :

I(,)=H()-H(|)=H()-H(|). (1)

H (A | B) - . . H (B | A) - ; , . . 1.

 

. 1.

 

I (A, B)= v * I (A, B) - .

(1), , .

, u m.

 

I (A,B)=H(A)-H(A|B)=H(B)-H(B|A), (2)

 

- . ()- . , .

I (A, B) , . P (A). I (A, B) . , (), () :

/,

().

:

/, (3)

v - , .

(. 2) - p.

. 2.

 

2 : =max(H (B)- H (B | A)). H (B | A). - 1-p, p /(1- m), m - , . - m; - m *(m -1). , :

.

, (/) , . .

()=log m. :

. (4)

:

. (5)

(m=2)

=u[1+p*log(p)+(1-p)*log(1-p)] (6)

/u (6) .3

.3 .

 

=1/2 =0, , , .. =1/2 . =0 .

 





:


: 2016-09-06; !; : 739 |


:

:

, .
==> ...

935 - | 871 -


© 2015-2024 lektsii.org - -

: 0.012 .