gptと壁打ち「仮タイトル:怪化残響舞踏、もしくは怪異回響劇場」
①ビジュアル面
AIとアルゴリズムで妖怪のビジュアルを生成するには、形状や色彩、動きの不気味さを演出することがポイントです。
形状:音声感情分析AIから感情とキーワードを読みとって、リアルに3DCGデータが生成される、妖怪の特徴的なシルエットや非対称な体を、ランダムなノイズや生成ルールを基に形作る。異常に大きな目や鋭い爪など、視覚的な違和感を意図的に強調します。
テクスチャ: 生成AIモデルで「裂け目」や「模様」を生成し、表面に不自然な模様を作り出します。例えば、日本の伝統模様や民俗画からインスパイアを得て、細かく変形させたテクスチャを使うことで、異世界感を強めます。
動き:動きもビジュアルの一部として、ゆらめくような動きや、ゆっくり現れて素早く消えるエフェクトを付け加えることで、怪しげな雰囲気を持たせます。
②技術面 / 人がどう体験する?
ユーザーの動きに反応して妖怪が姿を変えたり、音に反応して出現するなど、参加者の行動によって妖怪が変化するインタラクションを設けることで、臨場感を高めます。
モーションキャプチャ:人間の動きをトラッキングし、それに応じた妖怪の挙動をプログラムすることで、人間と妖怪の相互作用を可能にします。例えば、プレイヤーの動きに追従してくる妖怪や、振り返ると見えないようになる妖怪を作成できます。
もし可能であれば、アバター間のジェスチャー同期と触覚フィードバック
ジェスチャー強化:アバターが遠隔参加者の表情や動きをリアルタイムで精度高く反映することで、空間内での会話や交流がより自然になります。例えば、顔の表情や手の動きをキャプチャし、アバターに反映させることで、視覚的な表現力を向上させます。
触覚デバイス:アバター同士の交流に触覚フィードバックを追加することで、遠隔参加者同士の臨場感を強化できます。触覚フィードバックにより、デジタル空間でも他の参加者やオブジェクトへの触れた感覚を実現します。
③感情とどう繋げる?
妖怪の生成において感情を引き出すためには、人間の恐怖心や好奇心に直接訴えかける手法が効果的です。
インタラクティブAI:AIがプレイヤーの表情や行動を解析し、それに合わせて妖怪の態度や表情を変えることで、参加者に「見られている」「狙われている」感覚を強めます。たとえば、ユーザーが恐怖を感じた場合、妖怪が笑うなどの反応を返すことで、恐怖感を増幅させる演出ができます。(実現できたらいいな)
④各国の文化的背景とどう繋げる?
各国の文化に根ざした妖怪のイメージを取り入れることで、国ごとに異なる妖怪の解釈を生み出すことができます。
文化的な特性のデータ活用:各国の神話、伝説からAIが学習したキャラクター性やシンボルを取り入れ、独自の妖怪を生成します。日本の妖怪が持つ「憑依」「因果」などの概念、ヨーロッパの「幽霊」や中東の「精霊」のように、地域に応じたテーマを組み合わせることができます。
地域ごとの音や色:各国独自の音楽や装飾、民族衣装からヒントを得て、妖怪のビジュアルやサウンドをカスタマイズします。たとえば、日本風の妖怪には尺八の音色や金属製の鈴の音、アメリカの都市伝説系には低音のハミングなど、独自の文化要素を埋め込みます。そのお面をかぶるときの伝統踊りなどもモーションキャプチャーとして使える。
アーティストに提供されるツールのリスト:
Deep Space 8K 壁と床の投影を利用した、アルス・エレクトロニカセンターの没入型XRルーム。
PHARUS追跡システム: Deep Spaceの床上の物体の2D位置を追跡するためのシステム。
OptiTrack: 手持ちデバイスで、3D位置を追跡することができる。
Unreal EngineとnDisplay Unreal Engineは、インタラクティブな仮想世界、シミュレーション、ゲームを作成するための強力なソフトウェアプラットフォームです。nDisplayはUnreal Engine内の機能で、これらの仮想体験を複数のスクリーンや表示面にシームレスに投影することができ、Deep Space 8Kでのアートワーク開発に必要とされます。
SHARESPACE Unreal リファレンスプロジェクト+プラグイン SHARESPACE Unreal プロジェクトには、UE-DeepSpace スターターキットが組み込まれており、これはアルス・エレクトロニカ美術館の Deep Space スクリーン用に設計されたカスタムテンプレートです。nDisplayが事前に構成されており、マルチスクリーン投影を容易にし、グループインタラクションのための PHARUS 追跡システムが含まれています。
(全身)モーションキャプチャ Deep Space 8K の外にいるリモートユーザーは、モーションキャプチャ技術を通じて動きを追跡される必要があります。選ばれたアーティストは、自分が最も適したと感じる追跡技術を自由に選択できます。
リモートユーザー用ヘッドマウントディスプレイ(HMD) リモートユーザーは HMD を通じて SHS とインタラクションします。
認知アーキテクチャ(CA) CAは、半自律および完全自律のアバターの動きを制御するために開発されています。人間のような動きを検出、処理、および生成することができ、記録された動きのアドホックライブラリを提供して、SHSでのグループインタラクションを強化し、容易にすることができます。