LLMの出力に日本語以外の言語が混じる
from 2024/05/04
nishio.icon
結局のところ日本語はマイノリティ言語で、英語がメイン、中国語がその次、くらいで勉強した人が日本語もちょっとかじってて、日本語で話してくれてると考えると「時々英語や中国語が混じる」のは当たり前な気がするし、それで「日本語でない単語が混ざる!」と拒絶反応するのは人間の方がおかしいのかもしれないよなぁという気がしてきた
自分がうっかり日本語を混ぜたりせずに英語を話せるのかと言われると、難しいなぁ、と。
たしかにcFQ2f7LRuLYP.icon
もっと移民が多い環境だと寛容になるのだろうか
技術のあり方について「マイノリティは不便さを受け入れるべき」という方針は好きではないと思ったblu3mo.icon
と書いたは良いが、理論立てて主張できるほど腑に落ちていないので頭の中で整理しているblu3mo.icon
日本語話者はマイノリティの中では有利な立場だから「不便さを受け入れるべき」と言える?
話者数が百万人の言語話者はもっと困る
移民が多い環境
マイノリティはマジョリティを受容しなければならない
マジョリティはマイノリティに寛容になったり排他的になったりする
拒絶反応すると受け入れるの間がある気がしたyosider.icon
+1cak.icon
マイノリティの不便さを技術の発展でなくしていけるという希望を持っている派閥
とはいえリソースの問題などもあるので現時点では日本語話者がもつ不便さに対応する優先度は低いと思う
日本語は外来語をカタカナ語として取り込む仕組みがあるけど、これは不便かと言われるとそういう気はしない。inajob.icon
この辺が寛容ということなのかな
同じように中国語や韓国語が混ざっても受け入れよう、という態度に日本人の多数派がなるかどうかは微妙だなぁnishio.icon
料理くらいですかねinajob.icon
ユーリンチー
ルーローハン
チャプチェ
サムギョプサル
若者の娯楽には韓国文化がかなり来てるイメージsta.icon
個人的には比較的慣れてる英語以外の言語が来るのはだるいなぁと感じる
マジイソヨ〜〜!nishio.icon
「理想と現実」nishio.icon
「理想」
マイノリティが不利益を被るべきでない
技術はマイノリティの不利益を減少させるべきである
「現実」
この理想の実現には無限のリソースが必要
使えるリソースは限られている
一旦サービス提供者を取り除いて構図をシンプルにすると
マイノリティである日本語話者ユーザは安価なLLMを使った場合の性能が悪い、という「現実」は現時点では存在していて、無くすのが理想だとしても現時点でのユーザの意思決定とは無関係
現時点でのユーザの意思決定は「安いLLMで低い性能」「高いLLMで高い性能」の選択肢から選ぶしかない
ここに中間サービス提供者を追加すると
A: 安くて性能の低いLLMで、価格安く質の低いサービスを提供する
B: 高くて性能の高いLLMで、価格高く質の高いサービスを提供する
このAを選んだ時に、顧客の支払いが安いことによって発生している質の低さに対する不満をサービス提供者が矢面に立ってウケるのがポイズン