b61e45bcb205022

http://nhiro.org.s3.amazonaws.com/8/9/8991a2c31d9b251233513685defa10f1.jpg https://gyazo.com/8991a2c31d9b251233513685defa10f1

(OCR text)

数式読解

f and g are sigmoid functions.

Whh1w

hht-1 + w

n1b = f(a)

O n-1+b) = f(at)

hh1+b= ? O n-1 +

(1)

t-1

n-1

n

(2)

Pt

f(Wr6x, + Wh-¢h!

n

O g (a)

(3)

nt= n1+ O g(W

h-n

n

Whh1w nb = f(at)

(4)

,hn-1

=

't-1

hwg(n),

(5)

is the element-wise product. The superscript n means the n-th layer.

where

2はn層目の時刻tの入力ゲートの出力で、

のベクトル

Dn次元

し、p、wは重みが違うだけでほぼ同じ式。入力、

下の隠れ層の出力、 自分の1時刻前の出力、CEC

の出力、が使われている。

23