. , . , .
. , . , . . , . , ().
. , . , . . , . . 10000 . 1011 1015 . , . , , . , , - . , , .
. . , x 1,..., xn, , . xi(i=1,...,n) wi (i =1,..., n) S xiwi. wi . W. , , , NET (. 13.1). NET = XW.
. 13.1. |
. 13.2. |
, . , , . (. 13.2).
, wij. i j, , wij¹wji , .
|
|
. i n , . i , :
NETi =S wjiOUTj, | (13.) |
j - , i.
(13.1) i - , . 0 1. .
. , NET F, OUT. , : , , , , , -.
, T. , , 1. :
(13.2) |
(13.2) T 0, - :
(13.3) |
.
F NET, NET OUT . F (. 13.3, ). :
F (x)=1/(1+e- x)
. 13.3. |
,
OUT =1/(1+e- NET).
NET OUT (0,1).
, :
OUT =1/(1+e g × NET), | (13.4) |
g - . , g = 1/ T, T .
13.3, .
() . . OUT NET, ..
.
( OX) . , , , .
, ,
OUT =1/(1+e- NET)
|
|
, , NET , .. . , .
, :
(13.5) |
U = g × NET. , , , OUT (-1,1). u =0, OUT =0. 13.3, .
OUT = g × NET | (13.6) |
: OUT = g × NET g - g = 1.
- :
(13.7) |
(. 13.3, ).
13.3. , (0 1) [0,1]
[-1,1], , [0,1]. . .
, , , (T) (13.2) (13.7) g (13.4) (13.6). , .
. , , .. (), . . , , . , , , , .
. . . , , . . , .
, , , , . . . , .
, . :
;
, ;
, ;
, .
|
|
. . . . . . : , , , , .
. .
, . , , , . .
() () . . , , .
, .
, .
. 13.4. - , - . X .
. 13.4. |
wij, m ( ) n ( ). , w 2,5 - , . , NET NET = XW, NET X - -.
. . . (. 13.5).
, . , ..
Y = (X × W 1)× W 2 = X ×(W 1× W 2).
. 13.5. |
, , . , W 1,..., Wn Y = X ×(W 1× W 2×,...,× Wn). , .
|
|
, . . - , . , . , . , , .
- , . 1957 . , , , .
, , .
, , , . , . .
, , . , (. 13.6). ( ) . 1. , . , , , .
. 13.6. |
. , . . . . , (13.8):
NETi =S wjiOUTj + w 0 I OUT 0, | (13.8) |
OUTj - . OUT w 0 i =1. w 0 i . OUT , 1.
, 13.1:
(13.9) |
(13.9) , NET OUT , .. 0 1.
. :
wji = wji + a (DESOUTi - OUTi) | (13.10) |
wji - j i , DESOUTi - i OUTi - i.
. i () , . , i , , a. , i 0, 1, a, 0£ a £1. .
. , , . , () . ( ), 1, - 0. , , , . , , , .
|
|
, X (x 1,..., xn) , xi (i =1,... n) . X W (w 1,..., wn) , ..
Y=Sxiwi Y = XW.
T, ( ), .
, X Y. Y , . , , , .
:
1. X Y.
2. ) Y , 1;
) Y 0, ;
) Y 1, .
3. 1.
, , . , , - .
-. , , , , , , .
- . . , DESOUT OUT:
d =(DESOUT - OUT) | (13.11) |
2 , d =0; 2 - d >0, 2 - d <0.
, d xi . h, d × xi, . :
D i = hdxi; | (13.12) |
wi (n +1)= wi (n)+D i, | (13.13) |
di - , i - xi, wi (n) wi (n +1) - .
- , , .