b61e45bcb205023

http://nhiro.org.s3.amazonaws.com/e/5/e51f3d773903c5065ed2f23efebf5973.jpg https://gyazo.com/e51f3d773903c5065ed2f23efebf5973

(OCR text)

24

数式読解

f and g are sigmoid functions.

Whh1w

hht-1 + w

= n-1 g(W W-

n1b = f(a)

O n-1+b) = f(at)

hh1+b= ? O n-1 +

(1)

t-1

n-1

n

(2)

Pt

f(Wr6x, + Wh-¢h!

n

O g (a)

(3)

h-n

n

Whh1w nb = f(at)

(4)

,hn-1

=

t-1

hwg(n

(5)

7

where O is the element-wise product. The superscript n means the n-th layer

ωと小文字のwは別物。CECの出力nを使う際に、

同じ層の他のLSTMのnは使わないので重み行列が

対角行列になり、その対角成分だけ取ってベクト

ルになってるのでWが小文字になっている。

要素積してるのもベクトル形で書いたから。対角

行列なら普通の行列積になる。