クエリが自然言語であることは本質的か
dmikurube ChatGPT 関係で自分が根源的にわかってないのは「クエリが自然言語であることが実は本質的なのか」なんですよね。なんかの部品として使うなら、も少し機械的なクエリを組みたくならんか、と思うのだけど、これは自然言語モデルに対するクエリは自然言語でやるのが実は最も効率的だ、という話なのか これが自然言語でクエリするのが本質なのだという話なのであれば、プロンプト・エンジニアリングってのはかなりガチのエンジニアリングたりうるのかなと (そしてそれはありえなくもないなと思う)
機械学習方面は、たとえば音声処理なら「音声を認識→言語に還元→言語を解釈→応答を生成→音声化」と問題を分解していくんじゃなくて end-to-end で一気にやってしまう方が高精度って流れとは数年前に聞いたのだけど、それに近い感じで自然言語モデルと自然言語クエリが自然にフィットするのか、とか
nishio クエリが自然言語であることは、単に「学習データが多いから現状のLLMはそれが一番得意」というだけにすぎないので技術的にはまったく本質的ではないと思う。しかし経済まで含めて考えると「ホモサピエンスの大部分はプログラミング言語を習得するより母語でクエリーしたがる」これが本質的問題 大部分の人間がやたら解釈の曖昧さのある自然言語を使うことに問題を感じたり改善しようとしたりしないことから、そもそも大部分の人間はその問題を認識できておらず、だからそれを解決する人工言語が導入されても価値を理解しない、そうなるとそれに対して投資するインセンティブが減ってしまう
d: その可能性ももちろんあると思うんだけど、「だけにすぎない」と断言できるほどの known (solved) problem なのかは寡聞にして知らず、そんなに自明な話ではないような気がして、オープンクエスチョンとしておもしろいかもと思った、というところですね
技術的な話ではなく経済的な話として「だけにすぎない」と言ってます。それは技術によって決まっているのではなく経済によって決まっている。だからコストが何桁か安くなって経済的合理性とかと無関係に学術的興味で人工言語を学習させられるようになってからわかること。現状ではopen question。
d:「現在の ChatGPT という具体的な実装が自然言語をクエリとして使っている理由」という点では、たぶんその通りですね。自分の興味はあまりそこにはなかったので
あんまり伝わってなさそうな気がするんだけどまあいいや
QuickToshi 人間が興味を持つような問題であれば、長い歴史で最適化された自然言語が表現に向く可能性は高いと思います これはどうだろ、Falseな気がする
_Babbit2 素人考えだけど、大量の楽曲データから自動作曲…のような研究をしている人がいたらこの問いにかなり実感持って答えられるのではという気がする。音楽自身が豊かな空間持っていても、自然言語との間に豊かなマッピングが成立しているとは思えない。 この指摘がいい補助線になるように思う
人間が興味を持つ問題空間と現状の自然言語の間に豊かなマッピングがあるとは限らない
現状の自然言語は最適化されてるのか
最適化をされているが、ローカルミニマムに引っかかっていると思う
人間の認知能力の限界によって、大部分の人間は各国語をネイティブレベルで使えるようにならない
生まれてから今までに触れた情報が地理的に偏っていることに起因して、特定のいくつかの言語だけを使うようになる
LLMはグローバルミニマムに近い存在になり得る