20240109 稲見研LT

初めまして、こんにちは🙌

https://gyazo.com/5dbd724d9a09b28bc749f94ab9e5516e

Bluemo @blu3mo / 青山柊太朗 Shutaro Aoyama

未踏2020で稲見先生にお世話になっていました

Columbia大学 学部2年 CSと哲学を学んでいます

一昨日成人式でした

https://gyazo.com/df0bd37d179c338400fbf78ce05a1d95

何の話をするか

具体的な開発や研究の紹介

それらを繋ぐ抽象的なストーリー

なぜ

ツッコミがもらいたい

話の途中で遮ってもらっても大丈夫です

稲見研の方々に覚えてもらえたら嬉しい

研究発表というよりカジュアルな形に近いですが、面白がってもらえれば嬉しいです

2020年度 IPA未踏（稲見PM）

リアルタイムとオンデマンドのメリットを両立するオンライン講義環境

https://gyazo.com/aa4aa6d64e61224f2d038972922c98e9

「リアルタイム」のメリット：生徒間コミュニケーション

「オンデマンド」のメリット：時間のコントロールによる速度の最適化

ポイント：気づかれない程度に時間を歪ませる「弾性同期」

https://gyazo.com/c9d8d00e9b9e1dd055b5b6581f358282

Columbia CGUI Lab（Prof. Steven Feiner）

VR空間の物体を動かすだけで、間接的に工場ロボットが操縦できるインターフェース

IEEE VR 2024で論文を発表予定

ポイント：非同期的なHuman-Robot Interaction

人間がVR世界で行ったことを、ロボットは遅れて実行する

「VR世界の今」と「現実の今」が異なる

そのためのインターフェースを2つ提案し、操縦速度、選好など検証

趣味開発

https://gyazo.com/14f265e743ee12f7d48d800083fc8599 https://twitter.com/blu3mo/status/1630007929666519042

裏話：相対論の授業の期末試験直前に現実逃避で作りました

https://gyazo.com/bc930632122dc0ba849a5d2fa17e71a6

試験結果は聞かないでください

https://gyazo.com/44f464cf6e99650e721f639dda3e73bb

「過去の自分を他人として監視する」

「未来の自分に他人として監視される」

Q: どこまで時間が離れていたら他者？

↑↑↑具体的な開発・研究の話

↓↓↓抽象的な話

西洋近代的な時間概念

電車の時刻表、学校の時間割、工場のスケジュール

「待ち合わせ」「提出期限」

同期的な経済取引

マイクロ秒単位で同期

「この社会的に作り出された人工的な時間は あらゆるものを包含するようになり，その結果今では，それがあたかも時間そのものであるかのよう に，それ以外の時間が存在しないかのようになっている」

時間は「一次元的なもの」「全世界で共有されている客観的なもの」だと思われている

その仮定を除けば、多様な時間の構造が考えられる

円環的な時間、分岐・結合する時間、etc

過去の他人と時間を共有 => Kineto (オンライン授業)

過去の自分と時間を共有 => 未来の自分に作業配信

ずれのある時間・空間の構造 => 相対性理論VR

人間とロボットで非同期的に現実を共有 => 工場ロボット操縦の研究

最近の気づき：この話は「時間の構造」以外にも拡張できる

時間軸は現実を捉えるための次元の一つでしかない

一般化すると、時間、空間、言語、人格、五感の情報、など様々な現実の主観的要素について、「客観的な現実を全員が共有*しない*仕組み」を考えられる

主観 <----------------------------------> 客観 の二分法を疑う

一番左(主観現実): 個人プレイのvrゲーム、

全員が異なる現実を共有する

The Matrixの赤いピル（個別最適化されたシミュレーション世界）

一番右(客観現実): 従来の現実、Cluster、The Matrixの青いピル

全員が同じ現実を共有する

The Matrixの青いピル（客観的な現実）

二つの間を考えられるのでは

たとえば、VRレストラン

自分には店が中華料理屋に見えているが、相手にはフレンチに見えている

お互いの声とアバターが見えていれば、「一緒に食事をする」という体験は共有できる

たとえば、空間

部屋には積み木とかモニターとかがある

https://gyazo.com/cb55e2121318dfcc91f9958bc57b0c89

一番上に描かれているのが、オリジナルの現実。

ただ、赤/青/緑の人はそれぞれオリジナルとは少し違う、個別にカスタマイズされた現実を見ている

赤の人が見ている世界（左下）：

自分以外の人のアバターとモニターがオリジナルとは異なる位置に置かれている

カスタマイズの意図：自分がモニターを見やすいように配置を変えたかった

青の人が見ている世界（中央下）：

机の上にあるオブジェクトがオリジナルよりも大きくなっている

カスタマイズの意図：オブジェクトの細部を見たかった

緑の人が見ている世界（右下）：

自分以外の人のアバターとモニターが透明になっている

カスタマイズの意図：机の上のオブジェクトに集中したかった

このように、共同作業をしている空間でも、VRなら個別にカスタマイズして異なる現実を体験することができる

ただ、このような現実の個別カスタマイズをすると、現実の「ずれ」によってコミュニケーションに齟齬が生じ始める

「自分が見えているオブジェクトが相手には見えていない」とか「指差しているオブジェクトが相手には違う位置に見えている」とかの問題が起こりうる

それを解決するために：現実の他の部分を調整して、うまく「ずれ」を吸収する

指差しているオブジェクトが相手には違う位置に見えているなら、差している指の位置も相手には違う位置に表示すればいい

実装するなら:

従来の客観的なVR空間

serverに、様々なものの空間上の位置 (x,y,z) の共有データベースがある

机: (0,1,0)、りんご: (0,2,0)、ユーザーAのアバター: (1,1,1)、ユーザーBのアバター: (-1,1,1)、みたいな

データは唯一の正しい現実

データは完全 = 世界についての全ての情報が含まれている

それぞれのユーザーのclientは、その共有データベースをもとに同じ現実を構築する

「様々な事態の必然性の集合」を共有するAsymmetric Reality

serverに、様々なものの空間上の位置 (x,y,z) の*制約*の共有データベースがある

制約は状況・文脈に応じて変化する

データは不完全 = 制約を満たす可能世界が複数存在する

例：握手する時：

table: 共有される制約

制約 重要度

ユーザーAとBの手の相対距離 100%

ユーザーAとBの視線の相対角度 90%

ユーザーAとBのアバターの相対位置 70%

アバターと部屋のインテリアの相対位置 30%

部屋の広さ・高さ 10%

table: 個別のローカルな制約

ユーザー 制約

A 部屋は狭いのでコンパクトに表示したい

B 部屋が広いのでひろびろ使って情報を表示したい

それぞれのユーザーのclientは、共有された制約 + 各々のlocalな制約をもとに異なる現実を構築する

なぜ「ずれ」を生む?

個別最適化と現実共有の両立

今まで話してきた例には共通する構造がある

個別最適化の例: レストランの食事内容、授業の再生位置・速度、vrの表示内容

現実の共有の例: ご飯を一緒に食べる、授業における同期的なコミュニケーション、vr共同作業

あるいは

複数人が現実を共有する時、そこには「本当に共有したいこと」と「そうでもないこと」がある

ある「ずれ」を生むことによって、別の「ずれ」を吸収できる

例: 日本語話者と英語話者でリアルタイム同時通訳。聞いている音情報には「ずれ」が生まれるが、本当に共有したい内容が共有できる

研究

Q: 共有すること・しないことはどのように判別できる？

文脈や状況やlocalな制約を元に、「ずれ」を作り出す

Q: 有益な「ずれ」を保ちつつ共有したいことを共有するには？

もう少しこの話を一般化すると：

「制約からの解放」ではなく「制約の自在化」を目指すべきだなと思った

制約が無くなって無限の選択肢があるだけでは人は多分困るので、メタな視点から選択肢にかかる制約を自在に制御する能力まであると嬉しい

(スポーツのルール、スマホのスクリーンタイム、VRの重力などが該当しそう)

ありがとうございました！

1/14まで東京にいるので、人と会いたいです。お茶/ご飯など行きたいです

来年の夏（5月~8月）のインターンを探しています

研究や実験的な開発がやりたいです