4ab46088eec4,020

http://nhiro.org.s3.amazonaws.com/2/3/235079d451da838aa3d576eab4f35b26.jpg https://gyazo.com/235079d451da838aa3d576eab4f35b26

(OCR text)

21

注意機構は不定長入力

CNNは受け取る入力が固定長

*これは「重み」が「行列」だから*

注意機構では入力が不定長

「重み」が入力を元に計算されるから

注意機構を使えば不定長の文章全体を入力に使える

ぞ!

* 補足:重みは固定ではない(学習で変更される)

が、その重み行列のshapeが固定。例えば画像な

ら「3x3の範囲を畳み込む」などのように、

イズに切り取る。この値は学習前に人間が

固定サ

定める

9

必要がある。

Wi W2

W2