否定文を理解できないAIたち

BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。

単語埋め込み（トークン埋め込み）ベースの言語モデルは構造上、否定文を扱うのが苦手です。

対症療法

冒頭の例では否定文の難しさを際立たせるために「その単語だけ出力して」という縛りを入れていましたが、余分な出力を挟んでから出力することを許せば、正解の確率はかなり上がります。

文書検索ではクエリとキーを拡張・水増しすることが有効です。これは否定文についても同様です。

根本的な問題は基盤モデルのアーキテクチャと訓練方法という深いところにあるので、ユーザー側からは根本的には解決できません。なので、まずはこのような問題があることを認識し、その上でこの問題にぶち当たったときには上で述べた対症療法でやりくりしていくことが重要だと思います。