日本語言語モデルについて考えたこと

2023-02-21

数日前に口頭で質問されて口頭で答えたが、脳内のイメージ図を言葉では伝えられなかったので改めて図を描いた

(予期せず「言語モデルにできないこと」をやっていたことに後から気づいた)

https://gyazo.com/0fd55d4e22a251d89783a76b553e1d01

サムネイル用

「日本語に特化した言語モデルを作ることで日本語特有の事情によって既存の言語モデルに対して優位になりうるか」という問いについて考えたことを書き出す

Q: 日本語の表現能力は英語よりも高いのではないか？

A: 僕はそうは思わない

自然言語はホモサピエンス同士がコミュニケーションをすることを目的として発展してきた

なので「伝わる」ことが最も重要

聞き手の平均的な理解能力がボトルネックになって言語の表現能力が増えない

「聞き手の平均的な理解能力」が民族や人種によって大差ないのであれば、その民族が使う自然言語も大差ない表現能力になる

https://gyazo.com/0272f4ed04fec479f607d1746b7d4b64

(SF的には、過酷なコロニーに何世代も住んでる人たちの理解力が平均的なホモサピエンスより高くなったりとかしそうだが、まあ今の地球上では大差ないだろう)

例えば数学などでは「自然言語では曖昧に区別せず使っている概念」を区別するために、人工的な語彙や構文が使われる

この人工言語は平均的なホモサピエンスが理解できる必要はない

なので、自然言語よりも高い表現力を持ちうる

https://gyazo.com/e17a7ab64ff1443afc81f1eac6d8e1da

ただし興味のない領域の表現能力は捨てていたりする

英語も日本語も自然言語である時点で表現能力にキャップがかぶせられている、どんぐりの背比べ

数学者の間の専門的な議論や、複雑なアルゴリズムの挙動など、「訓練された専門家にのみ理解可能なタイプの言語」を理解する能力に比べればイージーなもの

並べた図

https://gyazo.com/6f0ec74f72e739cdb53f7ce728d86c19

差があるかないかで言えば差はある

https://gyazo.com/f8b1dc87ff8d2921d8d83262d5e2e755

例えば日本語では主語の省略が自然に行われるので、主語を捨象しやすい。

これは逆に主語の区別を見落としやすいということでもある。

これは世界を文節化する際に、何を細かく刻んで何を大雑把に刻むかに、文化による差があるということ。

どちらかの言語がもう片方の言語より優れているのではない。

https://gyazo.com/63d82ae9818edd32db83088b8b32a447

ある文化の人は他の文化の言語を見て「ロとハを区別しないでBと呼んでるアホだ」と思うが、相手から同様に「CとDを区別しないでニと呼んでるアホだ」と思われている

人間の脳の性能には大した差がないだろうから世界全体の刻まれる個数には大差がない。

具体例

https://gyazo.com/8eed66bb5b786b32fde95bd54ee74200

https://gyazo.com/2cea99f4304a55ae451c76b6edd1863a

AだよねってAIに言ったら、いやBだね、と言われた

複数の言語を使い、各領域について最も細かく分割されている言語を使うことで、どの一言語よりも優れた世界理解ができる。

https://gyazo.com/0a76bf10554bacb8610001409354659b