アテンション
「注意」や「注意機構」とも呼ぶ。
プロンプトの中にあるたくさんのトークンのどれを重視するかを決定する仕組みのこと。
クロスアテンション
あんまり知られていないがStable Diffusionは実は文字列のプロンプトだけではなく画像や領域選択をプロンプトとして入れられる仕組みになっている。これを実現しているのが「テキストや画像にまたがる注意機構」であり、簡潔にいうと「クロスアテンション」になるnishio.icon
クロスアテンションマップ