- - - . (), , - , - . , -, . -, , - , .
, - , = . - , - , - , - .
2003 2005 . . .. (-) " " . .. (. [71]). 36 18 45 , , .
( *) ( **) . - . - . - () , - -. (* **), , 2100 /. , , 151300 /.
. ,
36 36
(Σi*), (Σj**).
i=1 j=1
36 , . . 12 .
"" , 20 25- , (. 12, . 2 7 - 8), , γ, ρ - - . . , .
|
|
¡ H , - , . ¡ , .
.
, :
;
;
, - .
- , - , - , , - . , - .. [42. . 317-318], , , , .
.
-, - - - , , -. .
-, . , , . - .
-, - . c , , . , , - .
5. *)
5.0.
, . . , (, c-). , - . , , () () - , () , , .
|
|
*) , : Quantitative linguistics and information theory"// Quantitative Linguistik/ Quantitative Linguistics. Ein internationales Handbuch/ An International Handbook. Hgg von/ ed. by R.Köhler G.Altmann R.G.Piotrowski. Berlin N.Y.: Walter de Gruyter,.2005. C. 857 878
, , .. .. [77. C. 2] . . . , , : , , [77. C. 5 9]. , , ,
.
5.1.
, , . - . :
., , (. . 4, R17→R1→R13, R14), , ;
., - , .. (R3); ;
., (R5); - , ();
() ., (R2, R4, R15) (.. );
., .
, - 5.1, 5.5- 5.7.
- - -, ( .). - . , , , - . - , - , - . : .
|
|
, x , () , S ( , , ..). , (.. ) H(x) = log 2 S bits. = i, - (I), I= H(x) bits. 1, x 2 ,..., xn c , S 1, S 2 , S n ,
H( 1, x2 ,...,x n ) = H(x 1 ) + H( x2 ) + + H(x n ) bits. (5.1)
, . . - - . .. - , , - , - . - , , 0 = I 0 .
- . -, (, . .) . - -. , p 1, 2 ..., S , S, , S. :
S
H I = - S p i log 2 p i bits. (5.2)
i=1
, -
- . , -. l 1, l 2, l n-1 - b n-1. , i. - b n-1 l n. - , j k (1£ k £ S). i, b n-1,
(j i, k /b n-1i) , l n j k. H n =In l n , b n-1i , n-1.
S S
H n = S p(b n-1i ) S (j i, k / b n-1i ) log (j i, k / b n-1i ) (5.3)
b n-1 k= 1
, n, n- 1. ,
H¥= lim H n(n ¥)
) - n- b n-1 - k- (5.1) :
H k = H (j/ b n-1i ) = H (b ni ) - H (b n-1i ) (5.4)
, H 3 =I 3, .. , = (H III - H II). - H II, H III, H IV - . C - H I , , , / / [62. . 140].
|
|
. H k= I k - , H 0 = I 0, -, . . -, - ( ). -,
H k = I k, , - , . , , , -. -, - , - - .
, - , , , - . - , -. , ( . ).
- - . - .
-, , - - , , . , Θ .
-, , - . , , - .
- . - . , . , (, , -). , , - . :
- ( n -1);
- ;
- ;
- [72] . , (, ..). . - , , , , .
, - .
.
, - . - . , n - , - n -1 . - n - . - - n +1- . - , i n - - pi /n- 1 i - n - .
|
|
, - . . - - . - .. , , n - , . - 5.2 H n = I n .