LLM利用で論文にナイジェリア英語が増える

主に医学・生命科学分野の学術論文で

delveという単語の出現頻度が増えた

ここ数年で10〜100倍になった

RLHF: Reinforcement Learning from Human Feedback

人間からのフィードバックを用いた強化学習

LLMは既存の文章から学習するが、それだけではチューニングが困難なため実施される

delveは、ナイジェリアにおいて、イギリスやアメリカよりもビジネス英語で頻繁に使用される単語

労働者はユニークな自分を示してはならないの逆というか、使用言語は自然とユニークさが現れる点が興味深いterang.icon

LLMのジップの法則ってどうなっているのだろう？

不自然さを直観する過程とは関連するか。

「その時々で覇権を握る生成AIの学習データ（RLHF含む）を巡るもう一つの覇権争い」という構図になっていくのかもしれません。もはや空想や妄想の域になりますが、例えば「トップシェアを誇る生成AIの開発プロセスに買収するなどして働きかけて、自分たちが恣意的に世界中に広めたいメッセージをRLHFで仕込んでいく」みたいな揉め事が今後は起こり得るのかなという気がしています生成AIによる「慣用表現の『乗っ取り』」と、その根底にある別の問題と - 渋谷駅前で働くデータサイエンティストのブログ

LLMを触っていると英語的な思考に感覚が侵食されている感覚は当初からあったterang.icon

単語の使用や認識する頻度といった素朴なものではなく、

文法や思考順序が日本語文化圏とは異なる領域と強制的に触れさせられている感覚

「視覚」という意味で、存在しない日本語がLLMのハルシネーションによって使われたケースがだいぶ前に話題になっていたのも思い出した

調べたら2023/5ごろのことだった