(, , , ), .
, , , , . 40- .. .
. , , . , .. , , .
.
. , .
X, .
Pi = P(X~xi) , xi
| xi | x1 | x2 | xn | |
| Pi | P1 | P2 | Pn |
x, .
.
n
H(X) = - S Pi * log Pi
i = 1
:
1. , , ;
2. , ;
3. , .. , .
| xi | x1 | x2 |
| Pi | ½ | ½ |
1.
.
.
. .
n n
Pc = P1*P2**Pn; Pc = P Pc; Pc(t) = P Pi (t).
i = 1 i = 1
,
Pc(t) = P Pªi (t), (a = n)
. .
qc(t) = q1(t) * q2(t) * * qn(t);
n n
qc(t) = P qi (t); Pc(t) = 1- P qi (t)
|
|
|
i = 1 i = 1
.
.
k1 k2 kr kn
 | ||
 |
 |
k
S t2 .
i
k k-1
S t2 + S = tg ,
i i
k-1
S
i
() .
:
 | |||||||||||||
 | |||||||||||||
1 ;
2 ;
3 ;
4 ;
;
;
.
9. .
, .. . , .
:
1. ;
2. ;
3. .
.
|
|
 |
|
|
 |
|
|
 | |||
 | |||
.: .
.
.
1 2 3 4 5 6
1. ;
2. ;
3. ;
4. ;
5. ;
6. .
, , .
.
:
 |  |
.
:
;
;
;
;
.
.
, . :
1. ;
2. .
:
1) ;
2) ;
3) ;
4)
5) .
|
|
|
:
.
1 , , , . : . .
2 .
3 . .
4 , , .
5 .
, , . .
. , ( ).
. , , . .
:
1. , . , , .
2. , .
.
