抽象言語オブジェクト(ALO)論文
論文情報
タイトル：Towards Digital Nature: Bridging the Gap between Turing Machine Objects and Linguistic Objects in LLMMs for Universal Interaction of Object-Oriented Descriptions
発行日：2023年4月
著者：Yoichi Ochiai, Naruya Kondo, Tatsuki Fushimi
所属：University of Tsukuba
https://scrapbox.io/files/65c078faf5e7490025952ea7.png
論文を読んで感じたこと
オブジェクト指向的に、現実世界をなんでもオブジェクトと考えることは理論上できるが、実際のところかなり大変。
人間がいちいち言葉を定義しなければならないし、専門知識も必要だし、その作業は労働集約的な作業が必要となってくる。
例えば、カレーパンであれば、パンという抽象クラスがあって、それをより具体的にしたものがカレーパンだが、人間であれば一発でカレーパンとわかるけど、それをパンオブジェクトとかで定義するのはめんどくさい。
つまり、コンピューター上で、カレーパンを実装するのは結構大変。
しかし、LLMが出てきて、このデジタルと実世界の橋渡しが可能となった。
抽象言語化オブジェクト(ALO)を使えば、オブジェクト同士の関係性や状態を定義でき、そこから具体化して実態(インスタンス)を創造できる。
つまり、人々がコンピューターとより自然に対話し、理解し合えるようになることを目指された研究。
他の人の意見が参考になる
落合さんのLLM論文読んでみた。これは画期的だね。この研究では、GPT-4にThree.jsのソースコードを書かせて、”猫”や”ルンバ”を実装させた。そうしたら猫はルンバを追いかけたりジャンプしたりするし、ルンバは掃除をしてて、猫にぶつかりそうになったら避けたり、あるいは猫から逃げたりするようになった。これらの振る舞いは、そうするように人間がGPT-4に細かく指示したわけじゃない。GPT-4が勝手に「猫ってこういう感じだよなあ。ルンバはこうだよなあ」って考えて実装してくれた。これが何が嬉しいのか？まず我々が生きている現実世界の生き物やオブジェクトはコード書かなくても最初から振る舞いや相互作用が実装されてる。でもデジタルツインなメタバースを作りたい場合はどうだろう？Luma AIとかでNeRFをキャプチャしまくれば、見た目のガワだけはサクッと作れるかもしれない。でもそれらのオブジェクトの振る舞いと相互作用は誰が実装するんだよ？自動販売機やカラスやアリやら、世界には無限にオブジェクトがあってキリ無いで。でもGPT-4が人間の代わりにいい感じに全てのオブジェクトの振る舞いを実装してくれるならそれで済む。やったね。この研究ではその基本的な原理が示された。
ALO(抽象言語化オブジェクト)は、この図が全てを表す
猫はすなわち、以下のように解釈される
https://scrapbox.io/files/65c06ad408d7750025a7cda3.png
言語オブジェクト(LO)
ネコは食肉目ネコ科の哺乳類である。柔軟な体、足の裏の肉球、そして鋏状の爪を持つ。 口のまわりと目の上に長いひげがある。
チューリングマシンオブジェクト(TMO)
code:python
class Cat:
def init (self)：
self.physical features =["Fur","Whiskers",Claws",
"Teeth", "Ears" ,"Tail"]
self skills = ["Hunting", "Climbing", "Jumping",
"Grooming"]
self. knowledge = ["SocialBehavior"...
抽象化言語オブジェクト(ALOs)
code:json
{
mainObj: {
SubObjList: [
...
],
managerObj: [
現在の状態: {},
行動: {行動制御情報など},
思考: {思考制御情報など},
....
],
}
}
code:md
1. Define mainObj cat with subObjList:
- mainObj: 猫,
2. Add skills and knowledge to subObjList:
3. Set specific states for subObjList:
4. Validate initial state meets conditions:
- 初期状態がよく定義されていて、猫の条件を満たす
5. Update subObjList for state detection:
6. Create managerObj with inistial state:
- managerObj: catManager(subObjListの初期状態)
7. Update managerObj state using skills and knowledge
- catManager: {外見: ..., 行動: {...}, 健康: {...}} 8. Initiate managerObj and generate stepObjList in GPT:
9. Convert ALOs into GPT markdown scripts. Define object
functions progressively, preserving features:
- GPTスクリプトが、外見、行動、健康などの変数を持つ関数を含む
10. Reference objects by name;
- 猫、外見、行動、健康、生息、品種、catManager
11. Implement linguistic adjustments to prevent and
rectify errors:
- GPTスクリプトをレビューし、洗練させる
このように、抽象言語オブジェクト（ALO）は、言語オブジェクト（LO）をより高度なレベルに拡張し、オブジェクト間の複雑な相互作用や関係を表現できるように設計されている。
研究の動機
本研究では、プログラマが直面する、多様なオブジェクトの相互作用を記述するための包括的なクラスを手作業で生成するという課題に取り組むものである。ロボット掃除機ルンバと猫を例として、大規模言語モデル（LLM）を用いてそれらの相互作用を自動的に定義し、必要に応じてチューリングマシンオブジェクトを生成することを目指す。我々は、LLMの語彙的意味から派生した抽象言語オブジェクト（ALO）を通じて、チューリングマシンオブジェクトと言語オブジェクトを接続することを提案する。
概要
本論文では、GPT-3.5やGPT-4などの大規模言語モデルマシン（LLMM）における言語オブジェクトとクラスとの間につながりを確立する新しいアプローチを提案します。そして、それらをPythonのような高水準プログラミング言語の対応物と結びつけます。私たちの目標は、デジタルと物理的な現実がシームレスに統合され、計算手段によって容易に操作できる世界観であるデジタルネイチャーの発展を促進することです。これを達成するために、私たちはLLMMの固有の抽象化能力を利用して、人間の現実世界に対する認識と、それを模倣する計算プロセスとの間の橋渡しを構築します。このアプローチにより、プログラミングとユビキタスコンピューティングのシナリオで、曖昧なクラス定義とオブジェクト間の相互作用を実現できるようになります。これにより、チューリングマシンオブジェクトと言語オブジェクトの間のシームレスな相互作用を容易にし、普遍的にアクセス可能なオブジェクト指向の記述への道を開くことを目指します。私たちは、実世界のオブジェクトとそれに対応するシミュレーションを、LLMMを使用して言語でシミュレート可能な世界に自動的に変換する方法を示します。これにより、デジタルツインの概念を進展させます。このプロセスは、これらのシミュレーションの実装をよりアクセスしやすく、実用的にするために、高水準プログラミング言語に拡張することができます。要約すると、私たちの研究は、LLMMの言語オブジェクトと高水準プログラミング言語を接続する革新的なアプローチを紹介し、実世界のシミュレーションの効率的な実装を可能にします。これは最終的に、デジタルと物理の世界が相互に接続され、オブジェクトとシミュレーションが計算手段を通じて容易に操作できるデジタルネイチャーの実現に寄与します。 1 導入
私たちが住む世界は、生きているものと無生物の両方が複雑に相互接続された豊かで複雑なモザイクです。人類の歴史を通じて、私たちはこれらのオブジェクトを理解し、操作することを求めてきました。これは、私たちのニーズ、欲望、好奇心を満たすためです。人間が世界と相互作用してきた最も基本的な方法の一つは、私たちが観察するオブジェクトや現象に名前を付け、分類し、説明する行為を通じてです。これらの概念的な実体を「言語オブジェクト」（LO）と呼ぶことができます。これらは人間の言語を通じて表現され、伝達されます。これらの言語オブジェクトの命名と整理のプロセスは、コミュニケーションを容易にするだけでなく、私たちの現実の理解を構造化するのにも役立ち、より効果的にそれと関わることを可能にします。これらの言語オブジェクトのコレクションは辞書としてまとめられ、私たちの共有知識のリポジトリとして、また人間の言語と経験の絶えず進化するタペストリーへの証言として機能します。
計算の進化、特にオブジェクト指向プログラミング言語（OOP）は、実世界のオブジェクトを表現し、それらと相互作用する私たちの能力を革命的に変えました。OOPの複雑なシステムのモデリングとシミュレーションにおける力は否定できませんが、実世界とデジタルオブジェクト間の変換は依然として困難で、労働集約的で、知識集約的な作業であり、かなりの人間の努力と専門知識を要求します。PythonやJavaのようなOOP言語内では、データと手続きをカプセル化して抽象化、カプセル化、継承、多様性を促進するチューリングマシンオブジェクト（TMO）として知られる構成を定義できます。しかし、デジタルと物理の世界の間のシームレスな相互作用と操作を達成するためには、これらのTMOとLOを介して人間の認識との間のギャップを埋めるためのさらなる研究が必要です。
啓蒙の時代に、デカルトは宇宙を広大な機械として理解できると主張し、その複雑な仕組みは数学と論理の言語を通じて理解できるとしました（デカルト、1641）。今日、私たちはデジタルと物理的な現実が融合し、人間が計算手段を通じて世界と関わり、操作できる新しい時代の閾に立っています。この新たなパラダイムは、私たちが周囲とのやり取りを革命的に変え、現実を知覚し、関わる方法を再形成する可能性を秘めています。これをデジタルネイチャーと呼びます。
近年、機械学習と自然言語処理の進歩により、GPT3.5やGPT-4のような大規模言語モデル（LLM）が登場し、人間らしいテキストの理解と生成において顕著な能力を示しています。これらのモデルは、膨大な量のテキストデータに基づいてトレーニングされ、世界に関する知識を学習し、推論する印象的な能力を持ち、オブジェクトとその振る舞いの創造的で一貫した説明を生成することができます。その可能性は、LLMを機械として機能させる（大規模言語モデルマシン - LLMM）ことを実現する方向へと拡がっています。
本論文では、OOPと言語シミュレーションの文脈におけるLOとTMOを橋渡しするための新しい方法として、抽象言語オブジェクト（ALO）を紹介します。ALOは、LLMMとTMOの抽象化能力を活用して、人間が知覚する実世界の実体とその計算上の対応物との間のシームレスな相互作用を促進するよう設計されています。これらのオブジェクトの状態と関係を体系的に定義、検証、更新することで、ALOは実世界のシミュレーションの効率的な実装と操作を可能にし、デジタルネイチャーの発展に貢献します。この研究は、コンピューターと人間の相互作用、言語学、人工知能の交差点に位置しています。LLMMの可能性を探求することで、私たちはデジタルと物理的な現実とのやり取りを強化する人間とコンピューターの相互作用の分野における成長する研究に貢献します。この研究の意義は広範にわたり、仮想現実、ユビキタスコンピューティング、デジタルツインの概念、複雑なシステムのための自然言語インターフェースの開発などの分野に影響を及ぼします。
本論文の残りの部分は次のように構成されています。セクション2では、HCIの分野での関連する研究の概要を提供します。セクション3では、ALOを用いた私たちの新しいアプローチを紹介します。セクション4では、GPT-4でのアプローチの実用的な実装を示すケーススタディを提示します。最後に、セクション5では、私たちの研究が人間とコンピューターの相互作用に与える影響と、セクション6で論文を締めくくり、将来の研究の方向性を提案します。
2 関連する研究
近年、LLMの進歩は、物語作成、ウェブデザイン、モバイルユーザーインターフェース、メール作成、ロボティクス、メニューシステムデザインなど、様々なアプリケーションで顕著なブレークスルーをもたらしました。この成長する研究は、LLMが人間とデジタルシステム間のよりダイナミックで自然な相互作用を作り出すための可能性を示しています。LLMが大きな影響を受けた分野の1つはHCI(Human Computer Interaction)です。【17】はHCIと生成モデルとの相互作用を探求し、HCIが生成モデルにどのように影響を与えるか、そして生成モデルがHCIにどのように影響を与えるかを検討しています。この研究は、これら2つの領域間の関係を理解し、強化することの重要性を強調し、ユーザー体験を改善し、より効率的で効果的で楽しい相互作用を実現することを目指しています。
創造的な執筆の分野では、いくつかの研究がLLMの物語やストーリーを生成する能力を示しています。【20】、【8】、【9】、【24】は、ストーリーライティングにおけるLLMの可能性を示し、これらのモデルがどのようにして魅力的で一貫性のある物語を生み出すことができるかを示しています。
ウェブデザインは、LLMのおかげで進歩を遂げた別のアプリケーションです。【15】は、LLMを使用してウェブデザインを変更する方法を提示し、ユーザーが自分の要件や好みに応じてウェブサイトを容易に適応させ、カスタマイズすることを可能にします。
LLMは、モバイルUI上での会話的な相互作用の開発にも使用されています。【22】は、LLMを使用してユーザーとモバイルデバイス間のより自然で直感的な会話を可能にすることを調査し、これによりモバイルアプリケーションの全体的な使いやすさを向上させています。
プロフェッショナルなコミュニケーションの文脈では、【12】はLLMをメール作成に応用することを探究しています。この研究は、これらのモデルがよく構造化され、文脈に適したメールを生成する可能性を示し、プロフェッショナルなコレスポンダンスの作成と送信のプロセスを合理化することを可能にします。
ロボティクスは、LLMの統合から恩恵を受けた別の分野です。【3】は、LLMを使用してロボットコマンドを解釈し、実行する方法を提示し、人間とロボット間のより効果的な制御とコミュニケーションを可能にします。
LLMは、メニューシステムの設計においても有望な結果を示しています。【13】は、これらのモデルをメニューシステム設計に使用することを探究し、より直感的でユーザーフレンドリーなインターフェースを作成するためのそれらの可能性を示しています。大規模言語モデルでプロンプトを利用する際の複雑さを理解することは、より自然な響きのテキストを生成するために不可欠です。【10】は、この目標を達成するためにユーザーがプロンプトを効果的に使用する方法を調査し、ユーザーとLLM間の相互作用を最適化するための貴重な洞察を提供します。
これらのアプリケーションに加えて、LLMは教育や支援の文脈で使用されています。例えば、【2】は、外国語学習のプラットフォームであるDuolingoをサポートするためにGPT-4を使用することについて議論しています。このアプリケーションは、言語教育におけるLLMの可能性を示し、ユーザーにとってより効果的で魅力的な学習体験を促進します。同様に、【1】は、低視力の人々に支援を提供するアプリケーションであるBe My EyesにGPT-4を統合することを説明しています。この例は、視覚障害のある個人に対するアクセシビリティとサポートを強化するLLMの可能性を示しています。
様々なドメインでのLLMとそのアプリケーションに関する成長する研究は、これらのモデルが人間とコンピュータの相互作用を革命的に変え、より自然でダイナミックでアクセスしやすいデジタル体験を作り出すための可能性を強調しています。LLMの能力を理解し、活用することで、研究者や実践者はデジタル領域で可能なことの境界を押し広げ続けることができます。この研究分野は、非プログラマーがデジタルオブジェクトを作成し、操作するための障壁を大幅に低減する可能性があり、これらのデジタルエコシステムをよりアクセスしやすくすることができます。
この分野での研究の可能性のある道筋の1つは、LLMMとTMOの間、またデジタルオブジェクトと物理オブジェクトの間のギャップを埋めるメタモデルとオントロジーの開発です。デジタル世界と物理世界の両方でオブジェクトを記述し、操作するための共通のフレームワークを作成することで、研究者は人間とコンピュータの相互作用で使用されるオブジェクト間の容易でスムーズな変換の実現の道を開くことができます。
自然は容赦ない力であり、技術は失敗します。デジタルネイチャーの概念は、デジタルと物理的な現実がシームレスに統合され、計算手段を通じて容易に操作できる世界を想定しています。この概念は、情報エコシステムと人間とコンピュータの相互作用の未来に対して重要な意味を持ち、人間と機械間のシームレスな相互作用を可能にする新しいツール、技術、パラダイムの開発を必要とします。
3 材料と方法
私たちのアプローチの最初のステップは、実世界のオブジェクトの命名と記述であり、これによってオブジェクトとそのデジタル表現との間の接続が確立されます。このプロセスは、人間が新種の生物、アイテム、技術などに名前を付ける方法に触発されています。このプロセスを自動化するために、我々は膨大な量のテキストデータで事前トレーニングされ、与えられた入力プロンプトに基づいて文脈に関連し、一貫性のあるテキストを効果的に生成することができるLLMMの能力を活用します。
オブジェクトが与えられると、LLMMはその形状、色、サイズ、機能性などの特徴と特性を、その膨大なトレーニングデータを通じて得られたドメイン知識を使用して抽出します。このプロセスは、コンピュータビジョン技術やユーザーのドメイン固有の知識を使用してさらに補助することができ、ALOの振る舞いをさらに指定することができます。次に、これらの特徴を自然言語プロンプトとしてLLMMにフィードし、オブジェクトに対してユニークな名前と説明を生成します。
OpenAIのGPT-4を例に挙げると、APIのシステム定義（LLMの一般的な振る舞いを設定する）としてプロンプト1を設定することで、ALOの定義プラットフォームを実現できます。この言語オブジェクトは、オブジェクトの相互作用とシミュレーション、および高水準プログラミング言語との統合を含む、私たちのアプローチの後続のステップの基礎として機能します。
プロンプト1 システムプロンプト：ALOオブジェクトの作成
1: 入力を使用してステップ1-11で抽象言語オブジェクト（ALO）を作成します。
2: mainObjをsubObjListとともに定義するか、スキップします。ALOの誕生は他のすべてのALOに影響します。
3: subObjListにスキルと知識を追加するか、リロードします。
4: subObjListに特定の状態を設定するか、リロードします。
5: 初期状態が条件を満たしているかどうかを検証するか、スキップします。
6: 状態検出のためにsubObjListを更新するか、リロードします。
7: 初期状態でmanagerObjを作成するか、リロードします。
8: スキルと知識を使用してmanagerObjの状態を更新します。
9: managerObjを起動し、GPTでstepObjListを生成するか、環境に適したように両方を更新します。
10: ALOをGPTのマークダウンスクリプトに変換します。オブジェクト機能を段階的に定義し、特徴を保持します。
11: オブジェクトを名前で参照します。関連する資料を使用して強化学習としてスクリプトを動作させ、スクリプトの一貫性を維持します。
12: 特徴を維持しつつ、オブジェクト機能を段階的に定義します。更新時には、関連する資料を使用して強化学習としてスクリプトを強化し、スクリプトの一貫性を維持し、言語的調整を行いエラーを防止して修正し、すべてのコードを再び書き直します。他の指示があれば、それに従ってください。
一度オブジェクトに名前を付け、記述したら、LLMMの抽象化能力を利用して、オブジェクトが他のオブジェクトと意味のある方法で相互作用できる言語シミュレーション可能な世界を構築します。私たちのアプローチの最終的な構成要素は、LLMMによって生成された言語オブジェクトとその相互作用を、高水準プログラミング言語（PythonやJavaScriptなど）、ハードウェア、そしてニューラルネットワークプラットフォームと統合することです。これは、LLMMによって生成された自然言語の記述と相互作用を、対応するオブジェクト指向コードに自動的に変換し、LLMを使用したプロンプトを通じて実現されます。
4 事例とケーススタディ
このセクションでは、いくつかの例とケーススタディを通じて、LLM内のLOを高水準プログラミング言語と接続する可能性を強調し、私たちのアプローチの有効性を示します。異なるアプリケーションドメインでのアプローチの実用性を示す3つのケーススタディを紹介します：（1）スマートホーム環境、（2）インタラクティブな教育シミュレーション、（3）IoTシナリオ。
4.1 ケーススタディ1：スマートホーム環境：3Dバーチャルワールド
このケーススタディでは、Three.js（ウェブブラウザで3Dグラフィックスを可能にするJavaScriptライブラリ）を使用して3Dバーチャルワールドを作成することを目指しました。私たちの目標は、地面と空があるが物理エンジンはないなど、最小限の機能を備えたシンプルなコンピューターグラフィックス環境を開発することでした。これにより、仮想世界内のALOオブジェクトとその相互作用の統合に焦点を当てることができました。
プロンプト2 システムプロンプト：JavaScriptでのALOオブジェクトの作成
1: ステップ1-10を使用して入力のための抽象言語オブジェクト（ALO）を作成
また は更新し、実行可能なjavascript + Three.jsコード（ステップ10を除く）
でそれらを書き留めます。
2: mainObjをsubObjListで定義します。ALOの誕生は他のすべてのALOに影響します。
3: subObjListにスキルリストと知識リストを追加します。
https://scrapbox.io/files/65c05cec13c23600242cf800.png
4: subObjListに特定の状態リストを設定します。
https://scrapbox.io/files/65c05de615b1ad0029458558.png
5: 現在の状態が特定の条件を満たしているか検証します。
https://scrapbox.io/files/65c05e74868ce50024182157.png
6: 状態検出リストのためにsubObjListを更新します。
https://scrapbox.io/files/65c069d482ecbb0025e4b7d3.png
7: スキル実行リストのためにsubObjListを更新します。
https://scrapbox.io/files/65c069e2e1a9d10024c0e778.png
8: mainObjのmanagerObjを初期状態で作成します。
https://scrapbox.io/files/65c05f7122dd4800239b85d5.png
9: スキルと知識を使用してmanagerObjの状態を更新します。
https://scrapbox.io/files/65c05fae36bdda002411466a.png
10: スキルと知識を使用して現在の状態のための特定のstepObjListを生成します。
https://scrapbox.io/files/65c06993fc779b00238c9f0b.png
11: ALOをGPTマークダウンスクリプトに変換します。
https://scrapbox.io/files/65c06a11a804600025c9351c.png
12: 特徴を保持しつつオブジェクト機能を段階的に定義します。更新時には、関連する資料を使用して強化学習としてスクリプトを強化し、スクリプトの一貫性を維持し、言語的調整を行いエラーを防止して修正し、すべてのコードを再び書き直します。他の指示が来た場合は、それに従ってください。
https://scrapbox.io/files/65c06910c130ce002480e83c.png
https://scrapbox.io/files/65c06a2f82ecbb0025e4c053.png>
code:md
プロンプト3 ユーザープロンプト：ALOオブジェクトの作成
1: ALO（猫）を作成します。
2: ALO（猫）のすべての定義を1つのクラスに変換します。
3: 各フレームでグローバルアニメーション関数によって呼び出されるupdateCatPerFrame関数を定義します。
4: ALO（3D物理世界）を作成します。
5: ALO（3D物理世界）のすべての定義を1つのクラスに変換します。
6: 各フレームでグローバルアニメーション関数によって呼び出されるupdatePhysicalWorldPerFrame関数を定義します。
7: ALO（猫）がALO（3D物理世界）に住んでいます。ステップ1-10を使用してこの状況に合わせてALO（猫）を最初から再定義します。
8: 上記のALO（猫）のすべての定義を、ステップ1-10の順序で1つのクラスに変換します。
9: 各フレームでグローバルアニメーション関数によって呼び出されるupdateCatPerFrame関数を定義します。
10: ALO（ルンバ）がALO（3D物理世界）に住んでいます。この状況に適切に合うALO（ルンバ）を作成します。
11: 上記のALO（ルンバ）のすべての定義を、ステップ1-10の順序で1つのクラスに変換します。
12: 各フレームでグローバルアニメーション関数によって呼び出されるupdateRoombaPerFrame関数を定義します。
13: ALO（猫）がALO（ルンバ）とALO（境界付き3D物理世界）で出会います。ALO（猫がルンバに会う）を作成します。
14: 上記のcatMeetsRoombaのすべての定義を、ステップ1-10の順序で1つのクラスに変換します。
15: 各フレームでグローバルアニメーション関数によって呼び出されるupdateCatMeetsRoombaPerFrame関数を定義します。
4.1.1 ALOの生成とJavaScriptへの変換
プロセスは、GPT-4にJavaScriptでALOを生成するように要求するシステムプロンプトを設定することから始まります（プロンプト2）。次に、生成されたJavaScriptコードを単一のJavaScriptクラスに書き起こさせます。結果として得られたクラスは、JavaScriptファイルとして保存されます。3Dシミュレーションのメインプログラムでは、このクラスをインポートし、インスタンス化し、JavaScriptのアニメーションループ内に登録してシミュレーションを開始します。シミュレーターのメインプログラムは人間によって実装されているため、生成されたクラスをシミュレーターに組み込むための手動統合は、必要な側面に限定されます。 4.1.2 3Dモデルの準備
概念実証のために、LLMが使用する3Dモデルを準備しましたが、LLMは独自の3Dモデルを生成する能力をしばしば示しました。ここでは、単純化のためにシミュレーター内のすべてのALOを同じサイズのキューブとして表現しました。視覚的な明瞭さのために、キューブのテクスチャとしてALOの名前をクエリにした画像生成モデル（DALL·E 2）によって生成された画像を使用しました。
ALOを生成する際に、システムプロンプト（すなわちプロンプト2）で3Dライブラリ（Three.js）が利用可能であることを明示的に述べると、一貫してALOのJavaScriptが3Dオブジェクトの使用を含むように生成されました。事前に準備された3Dオブジェクトをクラスのコンストラクターとメソッドの引数として渡すことで使用できるように、生成されたクラス定義を修正しました。
4.1.3 エラー処理とコード統合
実行エラーが発生した場合、私たちはGPT-4に解決策を求めました。細かい間違いに対しては、手動で介入してエラーを修正しました。追加の複雑な実装が必要な場合は、関連するセクションをコメントアウトして、生成されたコードを部分的に組み込みました。エラー処理は、自動生成されたコードを3Dシミュレーションにシームレスに統合するために重要な側面であり、LLMがコードを自己修正する能力に関する継続的な研究があり、このセクションは将来的に自動化される可能性があります。
4.1.4 結果
結果はFigure 3および補足ビデオで示されています。
https://scrapbox.io/files/65c03b59d2c2a60026d1e908.png
LLMはシステムプロンプトに従い、猫とルンバALOを作成するためのJavaScriptコードを生成することができました。猫ALOにはジャンプや鳴くなどの特定の機能があり、ルンバALOは軸周りで動き回り、回転する能力がありました。互いに相互作用するように促されたとき、ルンバはシミュレートされた環境で猫を避けるか、逃げる能力を示しました。
4.2 ケーススタディ2: クラスルームシミュレーション
code:md
プロンプト4 ユーザープロンプト：教師、学生、クラスルームのためのALOオブジェクトの作成
1: ALO（クラスルーム）を作成し、ステップバイステップで追加し、充填するすべてのパラメータをブレインストーミングします。
2: ALO（クラスルーム）オブジェクトを取得し、サブオブジェクトパラメータをブレインストーミングして充填し、1つのALO（クラスルーム）オブジェクトのサブオブジェクトリストとパラメータを表で出力します。
3: ALO（学生）を作成し、ステップバイステップで追加し、充填するすべてのパラメータをブレインストーミングします。
4: ALO（学生）オブジェクトを取得し、サブオブジェクトパラメータをブレインストーミングして充填し、1つのALO（学生）オブジェクトのサブオブジェクトリストとパラメータを表で出力します。
5: ALO（教師）を作成し、ステップバイステップで追加し、充填するすべてのパラメータをブレインストーミングします。
6: ALO（教師）オブジェクトを取得し、サブオブジェクトパラメータをブレインストーミングして充填し、1つのALO（教師）オブジェクトのサブオブジェクトリストとパラメータを表で出力します。
7: ALO（教師）が25のALO（学生）を1つのALO（クラスルーム）で教えるシミュレーションを行います。
4.2.1 クラスルームの作成
ALOを使用してクラスルーム言語を自動的にシミュレートするために、まず、クラスルーム環境の基本的な要素を表すALOを作成します。これには、クラスルーム自体、学生、教師のALOが含まれます。このプロセスは、プロンプト4で示され、システムプロンプトとしてプロンプト1を使用して、各ALOのパラメータと相互作用を定義する方法の例を提供しています。
4.2.2 画像生成ソフトウェアを使用したビジュアルの生成
ALOが作成されたら、Midjourney V5のような画像生成ソフトウェアに定義されたパラメータを入力することで、これらのオブジェクトの視覚的表現を生成することができます。結果はFigure 4に示され、LLMMが定義されたALOから情報を抽出して各オブジェクトのビジュアル化を作成できることを示しています。
https://scrapbox.io/files/65c0745878c0bd002459194e.png
https://scrapbox.io/files/65c075248d4a9000249691f4.png
この方法はすべてのALOに適用できますが、特定のシナリオ（例えば、4.3）では、初期パラメータに視覚情報が欠けているため、シーンではなく図としての出力が得られることがあります。画像生成パラメータの充填プロセスに関しては改善の余地があることに注意が必要です。4.3で示されているように、LLMはしばしば性能仕様を記述しますが、視覚に関連するパラメータは省略されがちです。これにより、ALOの視覚的表現が不正確または不完全になる可能性があります。
4.3 ケーススタディ3: IoTシナリオ
選択されたシナリオは、インターネットオブシングス（IoT）環境内でスマートフォンとプリンターをWi-Fiルーター経由で接続することに関係しています。このケーススタディの目的は、ALOがシステムの性能については具体的すぎる情報をしばしば作成するが、システムの視覚的側面についてはそうではないことを示すことです。
code:md
プロンプト6 ユーザープロンプト：WiFiルーター、スマートフォン、プリンターのためのALOオブジェクトの作成
1: ALO（WiFiルーター）を作成し、ステップバイステップで追加し、充填するすべてのパラメータをブレインストーミングします。
2: ALO（WiFiルーター）オブジェクトを取得し、サブオブジェクトパラメータをブレインストーミングして充填し、1つのALO（教室）オブジェクトのサブオブジェクトリストとパラメータを表で出力します。
3: ALO（スマートフォン）を作成し、ステップバイステップで追加し、充填するすべてのパラメータをブレインストーミングします。
4: ALO（スマートフォン）オブジェクトを取得し、サブオブジェクトパラメータをブレインストーミングして充填し、1つのALO（学生）オブジェクトのサブオブジェクトリストとパラメータを表で出力します。
5: ALO（プリンター）を作成し、ステップバイステップで追加し、充填するすべてのパラメータをブレインストーミングします。
6: ALO（プリンター）オブジェクトを取得し、サブオブジェクトパラメータをブレインストーミングして充填し、1つのALO（教師）オブジェクトのサブオブジェクトリストとパラメータを表で出力します。
7: 1つのALO（教室）でALO（教師）が25のALO（学生）に教えるシミュレーションを行います。
4.3.1 文脈上の前提
このケーススタディの目的で、以下の文脈上の前提を設定します：
1. IoTデバイスにはスマートフォン、プリンター、Wi-Fiルーターが含まれます。
2. デバイスはWi-Fiネットワークを通じて接続され、それらの間のシームレスなコミュニケーションを可能にします。
3. デバイスの仕様とパラメータは表の形で利用可能です。
4. 提供された仕様に基づいてデジタルオブジェクトのビジュアルを作成するために画像生成ソフトウェアが使用されます。
4.3.2 スマートフォンとプリンターの接続
このステップの目的は、Wi-Fi経由でスマートフォンとプリンターが接続されるIoTデバイスの言語シミュレーションをALOを使用して実行することです。これを達成するために、私たちは3つのALOを作成します：ALO（スマートフォン）、ALO（プリンター）、ALO（Wi-Fiルーター）を、プロンプト6で見るようにします。
最初に、スマートフォン、プリンター、およびWi-Fiルーターのクラスをそれぞれの仕様とパラメータを考慮して定義します。次に、これらのクラスのインスタンスを作成し、適切な方法とプロパティを使用してそれらの間の接続を確立します。これは、デバイスがWi-Fiネットワークを通じて互いに通信するIoT環境をシミュレートします。
4.3.3 Midjourney V5を使用したビジュアルの作成
このステップでは、text2image（Midjourney V5）を使用して、4.2.1で説明された仕様に基づいてデジタルオブジェクト（すなわち、スマートフォン、プリンター、およびWi-Fiルーター）のビジュアルを作成します。先に述べたように、多くの場合、製品パラメータのように、仕様情報は最初に入力されますが、色、LCD上の画像、実際の使用例での写真のような視覚に関連するパラメータはFigure 5に示されているように生成されません。
https://scrapbox.io/files/65c075737cfe590024bcaa1e.png
画像生成ソフトウェアに仕様とパラメータを入力することで、IoTシナリオに関わるデジタルオブジェクトの正確なビジュアルを生成します。これにより言語シミュレーションがさらに強化され、よりリアルで包括的になります。
5 議論
5.1 応答の可変性
この研究でOpenAIのAPIが使用されているため、プロセス自体はブラックボックスであり、LLMからの応答は変動する可能性があります。さらに、応答が自然言語または計算コードである場合、出力を定量的に比較することは難しいです。したがって、各応答の関連性を定量的に比較するために、エンベッディングを適用しました。エンベッディングは、最も類似したテキストメッセージを識別するために、検索、クラスタリング、多様性測定に一般的に使用されます。ここでは、OpenAIのtext2vectorエンベッディングAPI（text-embedding-ada-002）を使用し、LLMからの応答をエンベッディングAPIに転送しました。APIは、1x1536のサイズのベクトルで応答します。例えば、GPT-4に「人生の意味を300語で定義せよ」または「バナナを300語で定義せよ」と促された場合、応答の平均コサイン類似度（similarity(a, b) = a·b/|a||b|）はそれぞれ0.988（S.D. 0.00343）と0.982（0.00482）です（図6（a）-（b）参照）。APIの温度設定は応答のランダム性を決定し、0が最も集中的で決定論的であり、2ではよりランダムな応答が出力されます。APIの温度を2.0に上げると、応答の平均コサイン類似度はそれぞれ0.848（S.D. 0.0528）と0.859（S.D. 0.0495）に低下します。この研究で使用されるデフォルトの温度は0.7であり、バナナと人生の定義に対する応答はコサイン類似度がそれぞれ0.971（S.D. 0.00819）と0.975（S.D. 0.00505）と比較的一貫しています。これは、温度0.7が温度設定2.0と比較して一貫して類似した応答を返すことを示しています。
セクション4のすべてのケーススタディに対して類似性分析を実施し、結果は図6（c）-（h）に示されています。ここでは、シナリオ間での比較を容易にするためにタスクを単純化し、システムプロンプトとしてプロンプト1を使用しました（Javascriptコード生成の具体的な例は補足資料で別途提供されています）。ケーススタディ1、2、3それぞれのALO作成プロンプトは、「ALOs(宇宙)、ALOs(猫)、ALOs(ルンバ(ロボット掃除機))」、「ALOs(教室)、ALOs(学生)、ALOs(教師)」、「ALOs(Wi-Fiルーター)、ALOs(スマートフォン)、ALOs(プリンター)」でした。各ケーススタディのALOオブジェクトを作成した後、ALOオブジェクトには互いに相互作用するタスクが与えられました。相互作用のためのユーザープロンプトは、ケーススタディ1、2、3それぞれ「ALOs猫がALOsルンバ（ロボット掃除機）に会う」、「ALOs教師がALOs学生に教える」、「ALOsスマートフォンがALOsプリンターに接続する」でした。
例として、家庭環境のケーススタディを取り上げると、ALOs作成プロンプトの温度0.0、0.7、2.0のコサイン類似度指数はそれぞれ0.978（S.D. 0.00975）、0.973（S.D. 0.0161）、0.804（S.D. 0.0436）です（図6（c））。これは、LLMが一貫して類似したALOオブジェクトを作成すること、そしてこの傾向が図6（c）、（e）の他のケーススタディでも続いていることを示しています。ケーススタディ2の平均コサイン類似度指数（図6（c））は、温度0、0.7、2でそれぞれ0.967（S.D. 0.0227）、0.963（S.D. 0.0182）、0.837（S.D. 0.0484）です。同様に、ケーススタディ3の平均コサイン類似度指数（図6（e））は、温度0.0、0.7、2.0でそれぞれ0.980（S.D. 0.0160）、0.953（S.D. 0.0191）、0.837（S.D. 0.0454）です。
応答の可変性は、ALOが互いに相互作用するように求められた場合に最も顕著に現れます（図6（d）、（f）、（h）を参照）。平均コサイン類似度指数は、温度0.0、0.7、2.0でそれぞれ0.922（S.D. 0.026）、0.909（S.D. 0.0307）、0.834（S.D. 0.086）に低下します。この傾向はケーススタディ2にも続き、平均コサイン類似度指数は温度0.0、0.7、2.0でそれぞれ0.895（S.D. 0.0595）、0.900（S.D. 0.0512）、0.861（0.0367）です（図6（f））。ケーススタディ3では、平均コサイン類似度指数は温度0.0、0.7、2.0でそれぞれ0.920（S.D. 0.0473）、0.898（S.D. 0.0469）、0.847（S.D. 0.0334）です（図6（h））。LLMとユーザーの両方にとって、ドメインの専門知識が最も要求されるのは、相互作用段階で可変性が発生したときです。ユーザーは、ALOが意図したとおりに機能するために十分なプロパティと機能を持っていることを確認する必要があります。それでも、ALOに何らかの機能やプロパティが欠けている場合は、ユーザーは後続のプロンプトで必要な情報を補完することができます。あいまいな状況でさえもALOを接続するLLMの顕著な能力は、その堅牢性と汎用性を示しています。さらに、LLMが分岐し、適応する能力は、TMOとLOの間のギャップを架け橋し、欠けている部分を効果的に埋め、全体的なパフォーマンスを向上させることに大きく貢献します。
5.2 抽象レベルの比較
5.2.1 ALOとプロンプト
ALOとプロンプトは、どちらも計算モデルへの入力として機能する点で類似しています。しかし、ALOはより高いレベルの抽象化を提供し、オブジェクト間のより複雑な相互作用と関係を可能にします。一方、プロンプトは、モデルの応答を導くための単純な指示として機能します。ALOとプロンプトの比較は、OOPとCのような手続き型プログラミング言語との違いに類似しています。ALOはより構造化され、整理されたアプローチを提供する一方で、プロンプトはより直接的で単純なコミュニケーション手段を提供します。
5.2.2 ALOとTMOのリンク
ALOとTMOは、計算言語学の異なる側面を表しています。ALOはオブジェクトの言語的抽象化に焦点を当てているのに対し、TMOはその計算実装を扱います。
5.2.3 ALOとLO
ALOとLOは、オブジェクトの言語的抽象化を表す点で密接に関連しています。しかし、ALOはLOよりも高いレベルの抽象化を提供し、より複雑なオブジェクト相互作用と関係を可能にします。この意味で、ALOはLOの拡張と見なすことができ、より高度なオブジェクト指向の記述と相互作用を容易にする可能性があります。
5.2.4 LOからTMOへ
LOとTMOの間の接続は、デジタルネイチャーのビジョンを実現するために重要です。ALOを介してLOをTMOにリンクすることで、人間の知覚と計算プロセスの間のギャップを埋め、実世界のオブジェクトとそのデジタルシミュレーション間のシームレスな相互作用を可能にすることができます。しかし、それらの表現の固有の違いと、中間のLOのようなALOを使用した効率的な翻訳メカニズムの必要性のために、このリンケージは困難を伴うことがあります。
5.2.5 パラメータのアクセシビリティ
オブジェクト表現の重要な側面であるパラメータアクセシビリティは、ユーザーがオブジェクトのプロパティを容易に操作および変更できるようにするために必要です。プロンプトとLOはより高いレベルの抽象化を提供しますが、これは時に直接的なパラメータアクセスを妨げることがあります。一方、TMOとALOは、より直接的でわかりやすい相互作用の手段を提供し、結果としてより大きなパラメータアクセシビリティを促進する可能性があります。
5.3 セキュリティリスクと懸念事項
私たちのアプローチは、HCIコミュニティによるさらなる調査を必要とするいくつかのセキュリティ関連の懸念を提起します。たとえば、LLMMがモデルを理解し、操作して機能や整合性を損なう能力を高めるにつれて。さらに、実世界のオブジェクトをデジタルツインに自動変換することは、敵対者が重要な物理システム（例えば、電力網、交通網）のデジタル表現を操作して害や混乱を引き起こす可能性がある新しい攻撃ベクトルを導入する可能性があります。これらのリスクを軽減するために、HCIコミュニティが、基礎となるLLMMと私たちのアプローチによって生成されたデジタルツインの両方を保護できる堅牢なセキュリティメカニズムとプロトコルを開発することが重要です。
5.4 制限
5.4.1 ドメイン知識
ALOにおけるドメイン知識の欠如は、実世界の現象を支配する基礎となるパラメータがALO内に組み込まれていないため、予測不可能な振る舞いにつながります。この予測不可能性は、LLMMおよび高水準プログラミング言語内で実世界のオブジェクトを効果的にシミュレートし、操作する上で重要な課題を提起します。結果として、デジタルネイチャーで想定されるデジタルと物理の現実とのシームレスな相互作用は達成されません。この問題に対処するために、ドメイン知識をALOに統合することを提案します。これにより、予測可能性が向上し、より正確なシミュレーションが可能になります。この統合により、ALOは実世界のオブジェクトを表現するだけでなく、その振る舞いを支配するルールと制約を組み込むことができます。
5.4.2 トークンの長さ
オブジェクトトークンのサイズは、ALOの効率を決定する重要な要因です。圧縮技術は、トークンサイズを最小限に抑え、処理とストレージに必要な計算リソースを削減する上で重要な役割を果たします。さまざまな研究は、LLMを他のデータベースに接続してLLMのメモリを拡張し、トークンサイズを削減する方法を提案しています。ALOも同様に、ALOオブジェクトをデータベースに格納および登録し、参照可能にすることで、その能力を拡張できます。
6 結論および今後の方向性
本論文では、抽象言語オブジェクト（ALO）という新しいアプローチを紹介します。これは、オブジェクト指向プログラミング（OOP）および言語シミュレーションにおける言語オブジェクト（LO）とチューリングマシンオブジェクト（TMO）との関係を簡素化します。ALOは、新しい種が複雑な分類学の世界で発見されるたびに、新しいエコシステムが組織されるときに、各オブジェクトを再帰的に更新します。大規模言語モデル（LLM）の抽象化能力を活用することで、ALOは人間が理解する実世界の実体とそれらの計算上の等価物との間のシームレスなコミュニケーションを促進します。この方法は、実世界のシミュレーションを効果的に実装および管理し、究極的にデジタルネイチャーの概念を前進させます。