（参考）『大規模言語モデルは新たな知能か』第2章「巨大なリスクと課題」

2 巨大なリスクと課題

大規模言語モデルは大きな可能性を秘めているが、利用に伴うリスクや課題も存在する。第1章ではいくつかの問題点を指摘したが、 この章ではそれらに共通する課題や、今後想定されるリスクについて取り上げる。

情報の信憑性―――幻覚

大規模言語モデルには、存在しない情報を作りだしてしまうという致命的な問題がある。これは、専門用語で 「幻覚 (hallucination: ハルシネーション)」とよばれる。人間の幻覚と同様に、実在しないものをあたかも本当に存在するかのように生成してしまうことから、この名前がつけられている。

さらに厄介なことに、幻覚によって生成された誤った情報が、人間や専門家にも本物かどうか区別がつかないほど正確にみえてしまうことがある。

一例をあげると、筆者が、ある著名研究者の提唱した有名な予想が、どの論文で初めて言及されたのかを対話システムに尋ねたところ、非常によく知られた論文の特定箇所を回答した。その論文は筆者も知っている有名な論文で、 そうだろうと納得したが、確認のために、引用部分を抜き出すように指示したところ、それらしい引用部分の文章が示された。 ところが実際にその論文を読んでみると、そのような箇所は存在せず、予想が言及されたのは五年後の別の論文であった。システムが示した引用だという部分は、それらしい文章をシステムがその場で生成していたのである。

この現象は、システムが悪意をもって嘘を捏造しているわけではなく、人間の「記憶違い」と同様の現象だと考えられる。複数の記憶が混ざり合い、新しい事実を作りだしてしまうのだ。そのうえ創造力も高いため、それらしい文章も簡単に作ることができる。

幻覚の解決は簡単ではない

幻覚という現象は、機械学習が目指す重要な能力である汎化と密接に関連している。

機械学習では、最初に訓練データを与えて学習させる。それをもとに、訓練データに答えがある問いばかりではなく、訓練データでは見たことのない未知の問いに対しても、正しく予測できるようになってほしい。これを実現するために、訓練データから法則やルールを獲得し、それによって将来のデータに対してもうまく予測できるようになることを目指す。未知のデータに対応できるこの能力を汎化という(第4章で詳述)。

汎化によって、有限の訓練データをもとに無限の未知データを処理できるようになる。だが機械学習は、汎化を通じて新しい関係性や事実を導きだすことができる一方、同時に誤った関係や事実も導いてしまう。そのため、回答を生成するときに、汎化によって本当には存在しないものを作りだしてしまうことがあるのだ。 機械学習の手法を用いている大規模言語モデルも例外ではない。

加えて、現在の機械学習は記憶の仕組みが未発達である。 新しいことを覚えたりすると、以前覚えたことを忘れたり、壊したりしてしまう現象を「破滅的忘却」とよぶ。 人は自転車の乗り方を覚えた後に、泳ぎ方を覚えても自転車の乗り方を忘れたり、乗り方がおかしくなったりということはないが、現在の機械学習では容易にそうしたことがおこる。そのため、学習の際には壊れた記憶を取り戻すために、繰り返し同じデータを参照し学習しなおすことが必要となる。

人間では特別な事情がない限り、このような現象は発生しない。 一度記憶したことをある程度正確に保持する仕組みが備わっている。しかし、現在の機械学習モデルは学習しているうちに破滅的忘却がおこり、過去に覚えたことが壊れてしまう、異なる記憶が混ざってしまうということがおこり、結果として幻覚が生じてしまう。

幻覚を抑制する研究は活発に進められているが、汎化や学習効率に関係する本質的な問題であるため、決定的な解決には時間がかかると思われる。ただし、これがまったく解けない問題かというと、人ではこれらの問題を解決できているので、人と同様の方法か、もしくは新しい手法によって、将来的には解決可能な問題だと考えられる。

また、モデルサイズを大きくするだけで幻覚を抑えられる可能性も十分ある。 記憶容量が大きくなるほど、異なる記憶が混ざる可能性を抑え破滅的忘却をある程度は防げるからだ。しかし、人でも記憶しきれないような膨大な量の知識を壊さずに格納するには、人も備えていない新しい手法が必要になると考えられる。

誤った情報の拡散

幻覚が解決されるまでは、幻覚がおこりうるシステムと付き合っていく必要があるが、これまで人は間違いのない結果をだす計算機としか付き合いがなく、間違いを含みうるシステムを使った経験がない。

特に専門性が要求されるタスクでは、ほとんどのユーザーは結果が正しいかどうかを判断できない。得られた情報の信憑性を正確に判断する仕組みづくりが求められるだろう。

現時点でも多くの人 (筆者も含む)が、検索結果で上位にでたウェブサイトの内容やSNSで述べられていること、他人の言葉を吟味せず鵜呑みにし、信用してしまう。こうした中で、対話サービスが今後、膨大な量の誤った情報を生成する可能性があるのだ。ユリウス・カエサルの言葉にある「たいてい、人は信じたいと望むことを喜んで信じる」という状況が、対話サービスによってさらに広がってしまうことが予想される。

対話サービスを利用していくために、すべての人に専門家になることを求めることはできない。それは不可能だ。

重要なことは、機械を通じて常に真実にアクセスできるという考えは捨てて、完全には信用できない情報の中から有益なものを見つけだす方法を確立することである。決定的な方法はないが、常に第三者の意見を聞く、裏をとる、情報が間違っているかもしれないと考えながら行動することだ。 また、他者や他のシステムに完全には依存せず、自分で考え、責任をもって行動するという、以前から必要であったことが改めて求められることになるだろう。

プライベートな領域に入り込む

対話サービスは今の検索エンジンやSNS以上に、個人の情報を網羅的にもつことになるだろう。例えば他人には相談できない日常的な悩みごとや相談ごとを、対話サービスと共有することが増えるかもしれない。 家庭の悩み、お金の悩み、病気の悩み、職場の悩みなどである。

このような使い方は対話サービスの理想的な使い方の一つともいえる。多くの人が悩みごとを解消し(話すだけで解消されるケースも多い)、精神的に健康な生活を送ることのできるメリットは計りしれない。

だが一方で、対話サービスはこうしたプライベートな情報をもつことになる。サービスの提供元は利用規約などによって情報を安全に管理することはうたうが、もし情報が盗まれたり、悪用された場合は大きな問題となる。例えば、国や企業の重要な機密情報を扱う人が対話サービスを利用し、そこから情報が漏れるリスクは考えられる。

既にチャットGPTではプログラムのバグによって、他ユーザーの会話履歴が一部見えてしまう問題が発生している(修正済みである)。

対話サービスをまったく使わないというわけにはいかないだろう。それを使うことで、より効率的・効果的に必要な情報を集めて、判断に役立てることができ、競争力の根幹に関わるためだ。どのようにプライベート情報を安全に保つかは今後の課題である。

価値観や偏見の扱い方

もう一つの問題は、価値観や偏見の扱い方だ。もともと大規模言語モデルの学習に使うデータには、多様な価値観や偏見をもったデータが含まれている。こうした中で対話サービスがもつべき価値観や、偏見のない状態をどのように定義するのかが課題となる。

現在、価値観や偏見をめぐる判断は、目標駆動学習(人間のフィードバックによる強化学習)(第6章参照)によって担保している。人の手で、システムがもつべき価値観や、偏見がない状態を定義していることになる。しかもこうした価値観や偏見は、場所や時代を通じて常に正しいというものがないことも問題をさらに難しくしている。人々の考え、国や体制、宗教など、様々な要素が関与する問題である。

対話サービスが使われていく中で、システムのもつ価値観や考え方が利用者にも自然と植えつけられていくことになる。 大規模言語モデルがどのような価値観や考え方をもつべきかを、開発者側と利用者側で検討していくことが求められる。

本人であることの証明が難しくなる

既にAIによって、人間が作った画像や音声を参考にして、その人と同じようなスタイルで画像や音声を作ることのできる技術が登場している。 同様にして、その人がこれまでに発信した情報をもとに大規模言語モデルが学習して、その人の経験を話し、その人のような文章を書くようになるとしたら、相手が本当にその人だと見分けることができるのだろうか。

オレオレ詐欺のように、その人になりすますことも容易となる。それらしい発言や、声や容姿の模倣も可能になる。そのような状況で本人かどうか見分けることは困難になるだろう。

次のような事例も考えられる。 スマートフォンを紛失し、メールやSNSなどのアカウントを奪われたとする。 それが悪用され、知人や友人に対して対話サービスがメールやSNSを使って情報収集する。本物と信じた人たちから様々な情報やデータが集められてしまう。

今後は、相手が本物かどうか常に注意しながら行動しなければならない。 本人であることを証明する識別情報を組み込む技術や、 生成モデル側には生成モデルによる生成結果であることを識別する情報を、悪用する人が消せない形で埋め込む技術もまた、その導入を規制などで義務づけることが必要となるだろう。

変わる仕事、残る仕事

大規模言語モデルによって、様々な業種が今までにない影響を受ける可能性がある。 これにはポジティブな面とネガティブな面の両面がある。

オープンAIらがまとめたレポートによると、大規模言語モデルによってアメリカの労働者の約八割が仕事内容の少なくとも一〇パーセントに影響を受け、労働者の約一九パーセントは仕事内容の五〇パーセント以上に影響を受けると予測している。さらに他の生成モデルなどの技術と組み合わせた場合は、労働者の四九パーセントが仕事内容の半分以上に影響を受けると予測している。ここで大規模言語モデルが影響するというのは、労働を補助する場合もあれば、置き換えを意味する場合もある。

最も大きな影響があるのはプログラミング開発とみられている。既に多くのプログラマーが、こうしたサービスによるプログラミング補助を日常的に利用している。プログラミング開発の生産性が向上し、必ずしもすべての専門的知識を人が学ぶ必要はなくなり、メリットは非常に大きい。また、扱える人が少なくなったレガシーシステムのメンテナンスなども、対話サービスによるサポートでできるようになるだろう。プログラミングのできる人材は常に不足し、将来的にも足りない見込みであるため、プログラミング開発という仕事がなくなることはないだろう。ただし、仕事のやり方は変わる可能性が高い。

また、書物に関わる仕事にも大きな影響を与える。人による文章修正、翻訳や校正といった仕事は大きく影響を受けると思われる。 すべてが置き換わることはないが、大規模言語モデルを使った翻訳や校正や要約サービスが使われる可能性は高い。人の方が品質が高い状況はしばらく続くが、金額、納期、インタラクティブ性などの点で、AIサービスに大きな優位性があるためだ。しかし、こうしたシステムは一〇〇パーセントの精度を保証できないという点において、需要は少なくなるが人による修正・翻訳はどこまでも残り続けると思われる。

海外のニュース記事や論文、エンターテイメントを翻訳したコンテンツが急激に増えていくだろう。また、日本での仕事を翻訳して世界中に輸出することも当然行なわれると思われる。これまで日本向けに活動していただけでは市場が小さすぎた企業にとっても、最初から世界に向けて発信できる機会が増えてくる。

顧客とサービス提供者で知識の非対称性があるような場合、条件の交渉や、仕事の仕方も大きく変わる。簡単な問題であればユーザー側でわざわざお金を払って頼まずとも解決していく場面はでてくるかもしれないし、ユーザー側も知識をもった上で交渉していくことが予想される。

AIの補助で仕事の構造が変わっていく

AIで仕事がなくなるのではないかという話は常にでてくる。

これまで、電話、コンピュータ、インターネット、スマートフォンが登場したことによって、以前の仕事の仕方から明らかに変わった部分は多くあるだろう。そのためになくなった仕事も確かにあるが、ほとんどの仕事は形を変えながらも残っている。 そして、実際におこるのは、コンピュータ、インターネットが使えるようになったときと同様に、登場した新しいツールを使いこなした仕事がうまれるということだろう。

また、この数年でわかってきたこととして、AIによる自動化の影響を受けにくいと思われていた仕事も、大規模言語モデルやその周辺技術の進化によって自動化される可能性が急速に高まっていることがある。プログラマーや士業、カウンセラーなどである。また生成系AIの登場によって、デザイナーやクリエイターの仕事も自動化が進んでいる。

だが、多くの場合、自動化が進むといっても、自動化できず人に残されている部分がある。今の仕事総量が一〇だとし、その九割が自動化され、残り一割が自動化されず人がしなければならない仕事だとしよう。効率化により仕事総量が一〇〇となり、自動化されない部分の仕事が一から一〇となれば、同じ規模の仕事が人に残るだろう。

現在の大規模言語モデルにはまだ多くの課題があり、完全な自動化はできず、多くの仕事は残る。ただし、仕事の仕方やビジネス構造は、確実に変わってくるだろう。

大規模言語モデルの開発が一部に独占される

現在の大規模言語モデルの学習には、大量のデータや計算資源だけでなく、学習するためのノウハウや、それだけの計算資源を使いこなすための分散システムやエンジニアなども必要だ。そのため、先進的な大規模言語モデルの学習にとりくめる組織は、世界でも限られている。

特に、利用可能な計算資源(スーパーコンピュータ)の競争が顕著になる可能性がある。 スーパーコンピュータはこれまでもシミュレーションなどで大きな成果をあげてきているが、 大規模言語モデルの学習には世界最速のスーパーコンピュータに匹敵するような規模の計算資源が必要となってきている。事業会社は大規模言語モデルを活用したサービスから得られた利益を投資に回し、競争力の差を広げていくと考えられる。

もう一つの問題点は学習のための訓練データである。 現在の対話サービスのシステムは、言語モデルと目標駆動学習の組み合わせで構成されている。言語モデル用の訓練データはオープンなものが使われているが、今後は政府や企業、個人がもつデータが取り込まれて使われるだろう(既に訓練データを追加して専用モデルを作るとりくみは広がっている)。また、目標駆動学習のために必要な多様なプロンプトは、既にサービス提供をはじめている先行企業が集めやすい。さらに、サービス提供をしていく中で膨大な量のフィードバックデータを収集することもできる。こうしたデータを使ってより良い対話サービスができるだろう。

こうした状況から、大規模言語モデルの開発や利用に関するノウハウは、独占される可能性が高い。これまでは多くの企業が技術や研究結果を論文などでオープンにし、内部情報も含めて多くの研究者が把握できていたが、今後は不透明である。実際、大規模言語モデルの技術を公開し、広く使われた場合のリスクが高いことから、オープンAIは大規模言語モデルについてGPT-4以降は技術詳細を公開しないという方針に転換している。

一方、 グーグルのウェブ検索エンジンは一二番目、フェイスブックは一〇番目のソーシャルネットワークサービスである。 大規模言語モデルについても、後発のサービスが先発のサービスを追い越す可能性は十分ある。

この流れとは別に、オープンソースやオープンなモデルによる大規模言語モデルや、その派生も登場している。これらは、投入計算量やモデルサイズが小さいため性能は限定的だが、オープンであることを活かし、急速に進化している。

一部企業の独走状態が続くのか、新しい技術や計算環境の変化により状況が変わるのかは、まだわからない。