トランスフォーマー
論文:Attention is All You Need
Googleの研究者ら。
「アテンション」(自己注意機構)という機構を大規模に使ったトランスフォーマーを提案。
ニューラルネットワーク中のどこの情報をどのように使うか自体を学習することができる。
人間は上司、家族、友人と話すときで、使っている頭が違うだろう
それを実現するような学習ができるようになった
この仕組みが上記論文でわかる?