Language (Technology) is Power: A Critical Survey of “Bias” in NLP

どんなモノ

NLPにおけるBiasに関する論文Survey

Biasといっても一口のいろんな側面や定義があるよね

人種バイアスに関してだけでも様々な定義があったりした...

1. Embedding Spaceで黒人の人名と好ましくない単語の距離が近いこと (Caliskan et al.)

2. Sentiment Analysisにおいて、ヨーロッパ系の名前とアフリカ系の名前が含まれるそれぞれの文のスコアが異なること

3. Toxicity Detectionにおいて、アフリカ系の人名が他の特徴よりも攻撃的だと判定されること

さらに言えば、書かれたテキストにあるBiasについてを扱ってるものもあれば、作者のBiasについて扱ってるものもある

NLPにおいて、それらの研究はそれぞれのモチベーションが曖昧だったりするし、そのモチベーションと手法がマッチしていない

さらに言えば、NLPの外の似た研究に関心を寄せてなかったりもする

Social Biasの有害性については、過去のSurveyのTaxonomyを使う

Allocational Harms

自動化されたシステムが特定のSocial Groupに対して、機会や資源を割り当てがフェアでない状態になっていること

Representational Harms

あるシステムが特定のSocial Groupに対して、好ましい状態でなかったり、品位を落とすような状態になっていたり、完全に間違えた認識をしてしまっている状態にあること

具体的にはStereotypeingとか...

Questionable Correlation

Social Biasの研究を進めるにあたって考えておくべき、Path Forwardという3つの問いを提案する。

1. 言語と社会階層の間の関係を見つけられるNLPの外にある関連する文献からNLPシステムにおけるBiasを解析するための基礎づけ

2. システムのbiasとみなされるある振る舞いがなぜ、どのように、誰に対して有害であるのかを明白に述べる

3. NLPシステムに影響を受けるコミュニティのメンバーの生きた経験に繋がる実際の言語利用を検証する

議論はある？

次に読むべき論文は？