.
- , .
, ` , , , , .
( ), `, . , .
`, . , `, . , `. ³ , , `. , ` .
ϳ `, .
:
1. ;
2. ;
3. ( , ).
ʳ , , .
, .
D , () (Pcax=Pc) () P c min,
(P c min= 3):
D =log ( / 3).
:
V c =T c F c D c.
() (). . , , , .
(, ) . .
: , , . : .
|
|
, , , .
ϳ - , , , , , , .
:
-
-
- -
-
- -
-
-
- .
, ᒺ (ϲ).
˳ , .
, .
, ( ) , , .
, ᒺ , , ᒺ .
ϳ , :
{ y .(t)}=Λ {x i}= Λ Λ {x i},
Λ - ; Λ ; Λ - .
, 䳿 , { y . (t)} { y . (t)},
{ y . (t)} = Λ { y . (t)}= Λ Λ {x i}
Λ .
ω(t),
(t)-{y .(t)} + ω(t).
, :
,
Λ = Λ Λ ; Λ ; Λ .
2. .
` ( ), `, .
, ` . , ( ), .
|
|
, , , . , , , , ,- .
ʳ , . . ﳺ (). `.
㳿 ﳿ ( ). , N ﳺ () , :
(N)= N ().
ﳿ:
1) , ` .
2) .
={ 1,2,,k } k , () ≤log k. . k .
㳺 , , .
, .
={ 1,2,.., ,,k } ={ p1,,p,.pk}, (), :
.
ﳿ , =1 0, . ,
0 *∞, ,
0()=0.
()=log2K,
.
, ﳿ :
- , `;
;
, ;
0 1;
, , ﳿ .
(),(b) (b) :
b
.
ﳿ: . :
, b , . ͳ . (=). ` , , . .
|
|
, (≠), .
(k= l) (k≠ l). , k= l k l. k= l . bj(j=1 l) , ai(i=1k). 䳺 a1 →b1, a2 →b2 ,..., a →b ,..., a→b , a b .
ﳿ. ﳿ, (ai / bj) (bj / ai). , (). (/ bj) , , bj; (/ ai) , . , (/ bj) , - , bj(j=1k), (/ ai) , - , , ai(i=1k).
=1...k j=1k .
bj (/ bj), ={p(b1 ), ,p(bj), ,p(bk)}, (/ bj) j ,
(/)- . () , - , .
, - , .
(2.13),(2.17),(2.18) (2.19) (2.20)
5. ᒺ .
(,) ` ,bj =1... k j=1 l, (,bj). (2.23), :
(,bj) , (,) , :
,
(,bj) = (bj, ).
(2.36). (2.13),
, ,
, (2.24)
(2.39) (2.8) ,
(2.22) ﳺ (/). ,
(2.37) ﳿ (,), :
|
|
(2.40) (2.41) ﳿ ` ﳿ :
³ ﳿ ` :
1. ` ﳿ ,
2. ` ﳿ ,
3. `
4. ﳿ.
1. .
2. .
3. 3s.
4. ̳.
5. . ﳿ.
.
1928 . . .
̳ .
() () , , . , , , .
, . - . .
, . . , , ᒺ. . , , , , . . .
m S, m , .
, (1.2)
k (, ), . . , , , - ᒺ , . , 100 , . , . , f(m) = log m , .
, k =1/ ln2, (), , k =1/ ln10, (), , k =1, ().
( ), (1.2) =2.
(1.3)
, (1.3) : - , m .
, , , .
, , , .
, .
.
1. 16- ?
16- 15*16=240, 240 . , (1.3)
|
|
()
(1.3) , , . . , , , . , . .
, ( ) , .
. .
m , - .
ϳ (1.3)
.
, (1.4)
2. , - m 0,37. (1.4)
().
: ={ ,, } , , , log m .[7,.54-57]
3. 27 , (). , ?
log 3 ( ?). . , log 3= log 27. =3.
2. .
. , , , ( ).
, ( ) , m . .
, - X (X1, X2, Xm). p (x i). n (n , m). x i, (n ∙ p (x i) . x i (1.4) , . ( x i) ( n ∙ p (x i)∙log2(p (x i)) .
, n , :
() (1.5)
(1.5) 1948 . . , . ,
p (x 1)= p (x 2)== p (xm)= ,
I =
, (1.5), , n =1, (1.3). (1.5) , , .
, ﳿ.
, . ﳺ. , k (k=1,38∙10-16 /), , . ﳿ ( ) . : .
, - , , . , , . ̳ , .
, , . , (䳿), .
ﳿ , . , . . , , . , ﳿ. , . , ﳿ, .
X x 1, x 2, , x m, p (x 1), p (x 2), , p (x m).
(1.6)
, a, ﳺ X.
p (x i)=0 , p (x i)∙log p (x i)=0. ֳ , .
1. p (x i), 0 1.
2. H (X)=0 , p (x 1), p (x 2), , p (x m) , . , . , .
3. H (X) loga m, , p (x 1)= p (x 2)== p (x m)= .
4. ( X Y). H (X,Y)= H (X)+ H (Y).
5. H (X) X, x i (i =1, 2,, m) .
6. , (m =2), .
ﳿ (1.6) X.
ﳿ, (1.6) ﳿ. a =2, , a =10 , a =e .
. (1.4) a =2.
(1.7)
(1.5) (1.7) ,
I = n ∙ H (X) (1.8),
I n , H(X) .
(1.8) . , . , , ﳺ H(X).
, . , ﳿ H(X) , I ( n=1). ﳿ .
, ﳺ , ³ , 䒺 .
(1.5), (1.6) , . , ( ). .
ﳿ , 䳿 ( ) , , , .
I=H0-H1, (1.9)
H0 , H1 . , , H0 H1 (1.3).
1. 512 , 64 . -?
(1.2)
H0=log2512=log229=9 ()
H1=log264=log226=6 ()
(1.9)
=9-6=3 ()
2. 103 . 12 ?
n n, : [11, .26]
H0=log210312=12∙log2103≈80,2 ()
H1=log22612=12∙log226≈56,4 ()
(1.12)
=80,2-56,4=23,8 ()
3. 40 . 10 , 10 20 . 15 , 20 5 . . ?
,
p (x 2)=0,25,
H(X) H(Y) (1.7).
H(X) = (0,25log20,25+0,25log20,25+0,5log20,5)=
= (0,34666+0,34666+0,34657)/0,6934=1,5
H(Y) = (0,375log20,375+0,5log20,5+0,125log20,125)=
= (0,98002+0,34657+0,34666)/0,694=1,4056
, .
4.
2
, | 0,062 | 0,022 | 0,0018 | ||
, | 0,014 | , | 0,026 | 0,009 | |
0,035 | , | 0,053 | , | 0,008 | |
0,065 | 0,090 | 0,013 | |||
0,025 | 0,023 | 0,018 | |||
, | 0,072 | 0,040 | 0,012 | ||
, , | 0,010 | 0,045 | 0,062 | ||
, | 0,016 | 0,021 | 0,040 |
˲?
= 4(0,009log20,009+0,026log20,026+0,062log20,062+0,014log20,014)=
= 4 (-0,5342) = 2,132.