反復プライミング効果
近に見たデータに基づいて解釈を再調整することで時間とともに回答の傾向を変えること
繰り返しが多いと注意が散漫になる
データに多様性が無いと同じラベルを付けてしまう
そもそもプライミングとは
先行刺激のこと
結論などを先に話されると、それに引っ張られてしまい論証の間違いに気づけなくなったりする。
対策
データに順序があるとき、順序をランダムにする
モデルの予測を層化サンプリングに利用する
事後的に確認
特定のアノテーション結果に不一致が多い場合、その前のデータのアノテーション結果を見てプライミング効果を起こすデータだったか確認できる
もしそうなら上記のような対策を取り入れる
プライミング効果の影響を受けやすいタスク
主観的タスク（ネガポジ）や、連続値のタスクで最も良く発生
ランク付けするタスクに変更することによってプライミング効果を抑えられる
絶対評価より相対評価の方が覆りにくい
プライミング効果は敵ではない（ポジティブプライミング）
データに慣れるとアノテーション速度が向上する
感情プライミング効果
自分の仕事にポジティブだと仕事が早くなる
音楽を聞くときに作業がはかどるか？
こういった行動特性がある、という認識を事前に持っておくことが大切
アノテーターがソーシャルメディアの投稿に感情分析のラベルを付けているときに、連続して 99 件のネガティブな感情の投稿に遭遇すると、100 件目の投稿がポジティブでも、ネガティブとラベル付けしてしまう間違いが発生しやすくなります。ネガティブの連続で注意力が低下したことによる単純なミスも否定できません。
能動学習でも反復プライミング効果を想定して構成する
バイアスを軽減する・頑健性を高める・汎化性能を高める
だけでなく人間的な側面でも利点あり
様々なデータを見せることでアノテーターを飽きさせない
アノテーターの自己効力感を高める
アノテーターが多様なデータを見て学習することでラベル付けの精度が上がりやすくなる