b61e45bcb205021

http://nhiro.org.s3.amazonaws.com/3/d/3d65e37f3c04eb669648d1dff3182eb4.jpg https://gyazo.com/3d65e37f3c04eb669648d1dff3182eb4

(OCR text)

22

数式読解

f and g are sigmoid functions.

Whh1w

hht-1 + w

n1b = f(a)

O n-1+b) = f(at)

hh1+b= ? O n-1 +

(1)

t-1

n-1

n

(2)

Pt

f(Wr6x, + Wh-¢h!

n

O g (a)

(3)

nt= n1+ O g(W

h-n

n

Whh1w nb = f(at)

(4)

,hn-1

=

't-1

hwg(n),

(5)

is the element-wise product. The superscript n means the n-th layer.

where

Wは重み、下の添え字xなどが「入力×から入力

ゲートへの重み」をあらわしており、上の添え

字nが「n層目の重み」をあらわしている

ではなく「前の隠れ

WカーLのハイフンはマイナス

Wh-

層h-から入力ゲートへの重み」という意味