Transformer
neuron
Hebb 則
$ y=\varphi\left(\sum_{i=1}^m w_i x_i+b\right)
入力$ x_1,\dots,x_m
重み附け$ w_1,\dots,x_m
bias 項$ b
出力$ y
活性化函數$ \varphi
活性化函數 (activation function。傳達函數 (transfer function))
非線形函數でないと多層にする價値が無い
$ y=H\left(\sum_{i=1}^m w_i x_i-h\right)
閾値$ h
普遍近似定理 (universal approximation theorem)
順傳播型 neural network (FFN) (feed-forward neural network)
gate 附き囘歸型 unit (GRU) (gated recurrent unit)
埋め込み (embedding)
word2vec
seq2seq (系列變換 model)
encoder-decoder
注意機構 (attention mechanism)
自己注意 (self-attention)
multi-head 注意 (multi-head attention)