2025年進級制作_案

GLSLなどを使用したライブコーディング

バーチャルライブ制作

offaxisprojectionで使用したコンテンツ制作

とにかく映像は作りたくない

普通にクラスメイトが上手で劣等感を感じてしまうので

現時点ではoff axisをやる予定

月曜に計画書と面談

火曜日以降は自宅制作

明日までに計画

基本はKinectでの動作を目指してバックアップ案としてlightahouse

https://scrapbox.io/files/6948c4d1c68906c5bd50dd2d.MOV

https://scrapbox.io/files/6948c56dc612469e7a6816b1.png

https://scrapbox.io/files/6948c5737752ef8529c22f8c.png

https://scrapbox.io/files/6948c58b215005fb987b9db4.MOV

現状はKinectV2だとトラッキングが不安定なので骨格推定のプログラムが標準搭載されているFemtoBoltというカメラを使ったトラッキング方式に変更中（コーディング段階

画面内部が適当なのでNiloToonなどを使用したToonURPに変更

ステージの演出を作成

https://scrapbox.io/files/6932392666796aa1a5a80037.mp4

https://www.youtube.com/watch?v=bcU1hrHRYw4

mknbから聞いたけどGLSLはアンチグラビティで

Deep Research便利やね

Kinect v2の視点・骨格取得方法とその応用例

MicrosoftのモーションセンサーデバイスKinect v2（Xbox One Kinect）は、RGBカメラと赤外線深度センサーによって人の骨格や動きをリアルタイムにトラッキングできます 。公式SDKやオープンソースライブラリを通じて、取得できる関節座標（頭部、両手、両脚など）からユーザーの視点位置や姿勢を推定できます。この機能により、PCやゲームエンジン側でユーザー視点に合わせた表示やインタラクションを実現可能です。

例えば、Kinect v2の骨格追跡で取得した頭の位置情報を使い、映像のカメラ視点を動的に変化させることで、ユーザーが画面の中を自由に歩き回れるVRデモが報告されています。tks_yoshinaga氏のブログ記事（2014年）では、Kinect v2で取得した点群データ空間をスマートフォンHMD（Google Cardboard）上で表示し、ユーザーが実際に動くとそれに追従して視点が変化する仕組みを試作しています。このようにKinectの骨格追跡からユーザーの位置を把握し、コンテンツ内のカメラを動かすことで、没入的な視点移動体験を実現できます。

また、学術面でもKinectを用いた視点追従の研究が進められてきました。Microsoft ResearchのRoomAliveプロジェクトでは、Kinectでプレイヤーの頭部位置をトラッキングし、プレイヤー視点で正しく見えるよう映像をレンダリングすることで、コンテンツを部屋全体に投影しても立体的に見える仕組みを開発しました。Wired日本語版の報道によれば、RoomAliveでは視点追従により「コンテンツが3Dに見えるように」処理されており、頭の動きに合わせて映像を補正しているとされています。この技術により、ユーザーは特殊なゴーグルなしで自分の視点に合った3D映像を体験できます。

Kinectから取得できる骨格情報はUnityやUnreal Engineといったゲームエンジン、openFrameworksやTouchDesignerなどのクリエイティブコーディング環境で幅広く利用されています。Unityの場合、公式のKinect SDKや各種プラグインを通じてスケルトン情報を取得し、カメラやオブジェクトを連動させることができます（例えば、頭の位置にMain Cameraを追従させるヘッドトラッキングなど）  。openFrameworksでは、ofxKinectアドオンで深度画像を取得したり、ofxOpenNIを使ってジェスチャーや骨格を認識することができます。リクルートの技術ブログによると、Kinect v1世代ではofxKinectだけでは手や顔・骨格の検出ができないため、OpenNI対応のofxOpenNIアドオンを利用して骨格ポーズ検出を行うケースが紹介されています。TouchDesignerでも、標準でKinectなど深度センサーの入力ノード（TOP/CHOP）を備えており、映像演出に連動させることが可能です。実際、映像制作会社のブログではTouchDesignerとKinect V2を組み合わせ、大型マルチプロジェクションのゲームコンテンツを制作した事例が報告されています。その中ではKinect v2で3人分までの頭部・両手・腰位置を取得し、値のブレを安定化させながらインタラクティブゲームに活用したと述べられています。

なお、初代KinectおよびKinect v2は既に生産終了していますが、後継として2019年発売のAzure Kinect DKがあります 。Azure Kinectでも基本的な深度カメラ＋ボディトラッキング機能が提供されており、精度向上やマルチセンサ連携が図られています。Azure KinectはSDKで最大6人の同時追跡が可能で、UnityやPythonからも利用可能です。Kinect v2で培われた骨格検出技術は、現在も各種3Dカメラ（Intel RealSenseやOpenCV対応の深度センサなど）に受け継がれ、視点追従コンテンツやモーションUIに応用されています。

オフアクシス投影（視点追従型表示）の仕組みと実装例

オフアクシス投影とは、ユーザーの視点がスクリーンの正面にない（オフ軸）場合でも、その視点に対応した正しい遠近感の映像を表示する手法です。簡単に言えば、見る位置がずれてもユーザーから見て破綻のない3D描写を行う技術で、視点追従ディスプレイやヘッドトラッキング表示とも呼ばれます。これを実現するために、コンテンツ描画側では視差に基づく投影行列（Projection Matrix）の調整を行います。ユーザーの現在の目の位置を座標として取得し、それを仮想カメラのオフセットに反映させることで、本来の視点から見たときに奥行き方向が正しく見える歪んだ画像を生成するのです。結果、単眼でも画面の中の物体が立体的・実物大に感じられる不思議な効果が得られます。

Kinect v2は上述の通り視点（頭部位置）の取得ができるため、これをオフアクシス投影に活用すれば、ユーザーが動いても常に正しいパースで表示されるインタラクティブ映像を作り出せます。古典的な例ですが、任天堂Wiiリモコンを使ったJohnny Lee氏のヘッドトラッキングデモ（2007年頃）では、ユーザーの頭の位置に応じて画面上の3D映像をオフアクシス描画し、モニタがまるで窓のように中を覗き込めるという現象を実現しました。この考え方はKinectでも応用されており、UnityやUnreal Engineでのオフアクシスレンダリングのサンプルが多数存在します。実装のポイントは、スクリーン中心から視点がどれだけずれているかを計算し、視錐台の左右上下のクリップ面をシフトさせたカスタム投影行列をカメラに適用することです。ゲームエンジンではこの投影行列を直接操作することで、通常の透視投影をオフアクシスに変更できます。実際、Yohei Kajiwara氏の技術ノートではUnreal Engine上で透過ディスプレイ越しに別世界を覗く「Holo Window」デバイスを制作する際に、このOff-Axis Projection Matrixを用いて実現したと解説されています。

オフアクシス投影の効果を活かしたコンテンツ例としては、前述のMicrosoft ResearchのRoomAliveがあります。RoomAliveでは複数のプロジェクターで部屋中に映像を投影しますが、ユーザー視点から見て壁や床に投影されたCGが歪まず立体的に見えるよう、Kinectで取得したユーザー位置に合わせて映像をリアルタイム変形しています。また、RoomAliveの前身にあたるIllumiRoom（2013年）では、Kinectが環境の3D形状をスキャンし、自動キャリブレーションと視点補正を行うことでテレビ画面の内容を周囲の壁や家具に拡張表示しました。IllumiRoom自体は周辺視野拡張を主目的とした研究でしたが、続編のRoomAliveで視点追従の要素が強化されたことにより、投影されたモグラ叩きのキャラクター等がまるで本当に壁に貼り付いているかのように感じられる没入感が生まれました。

日本国内でもオフアクシスな視点変化を取り入れた作品があります。筑波大学やUECなどの研究例では、大画面ディスプレイにKinectでトラッキングした頭部視点からの3D映像を映し出し、ヘッドマウントディスプレイ無しでの立体表示を試みています （※具体的な実装は「画面の前に仮想の部屋を描き、ユーザーの動きに応じて内部映像をレンダリング」といった手法）。商業アートの分野では、透明有機ELパネル越しにXR映像を表示するHolowindowデバイスが登場しており、こちらもユーザーの眼球位置をトラッキングして映像を生成することで、枠の向こうに立体物があるように見せています。このように、オフアクシス投影は視点の追従をキーワードに、VR/ARとプロジェクション技術の橋渡しをする重要なテクニックとなっています。

実装上の注意点としては、視点を一人に限定する必要があること、投影面と視聴位置のキャリブレーション精度、遅延の最小化などが挙げられます。Kinect v2のスケルトン追跡は60fps程度で動作し遅延も比較的少ないですが、プロジェクション表示までの遅延と相まって頭の動きに映像がしっかり追従するためには全体のレイテンシを抑える工夫が必要です。また、同時に複数人が見る展示では視点が人により異なるため、オフアクシス効果は特定の観覧者にしか適用できない点も留意が必要です（複数視点に対応する特殊なディスプレイを除きます）。とはいえ、単一ユーザー向けのインスタレーションやデモでは大きな驚きと没入感を与える手法としてオフアクシス投影は広く用いられています。

Kinect＋プロジェクターによるインタラクティブ作品・展示事例

Kinectセンサーとプロジェクターを組み合わせた作品は、2010年代以降のメディアアート展示やイベントで数多く見られます。深度センサーで人の動きを検出し、そのデータを元に映像や光をリアルタイムに変化させることで、鑑賞者参加型の体験コンテンツを実現できるためです。ここでは日本発の事例を中心に、視点追従やプロジェクションマッピングと連動した興味深いコンテンツ例を紹介します。

• 学生制作：「Unict ～影送り～」（2016） – 湘南工科大学 本多研究室の学生チームが制作し、第21回学生メディア・アート展に出品されたインタラクティブアート作品です。この作品ではUnity＋Kinectで構築された双方向システムを用い、床面にプロジェクションされたパネルを踏むと正面スクリーンの映像や音が変化します。また、人の動きを感知してスクリーン上の映像オブジェクトが動的に反応する仕掛けも取り入れられました。制作時にはKinectと人との距離調整や、Unityの扱いに試行錯誤したことが述べられており、学生にとっても技術と演出の両面で学びが大きいプロジェクトとなったようです。

• 魔法の美術館「つくもがみ」（2015） – 全国各地を巡回した体験型アート展「魔法の美術館」では、複数のKinect搭載作品が登場しました。坪倉輝明氏による《つくもがみ》は、廃品のゴミが人型に組み合わさったキャラクターが投影される作品で、スクリーン前に立つ観客をKinectで認識すると、その人に反応してゴミ人間がワサワサと動き回ります 。複数人が一緒に立つとあたかもゴミのロボット同士が戦っているかのような光景になり、子供たちが汗だくで走り回って楽しんでいたとレポートされています 。この作品は、人の存在や動きをKinectで捉えて投影映像のキャラクター挙動に反映した例と言えます。ほかにも魔法の美術館には、自分の姿を低解像度のピクセルアートに変換する《Pixelman》や、壁に映った自分の影にボールが当たると跳ね返る《Immersive Shadow》など、Kinectやセンサーを駆使した作品が多数展示されました 。

• 環境イベント向け没入コンテンツ – シネマレイ社の事例として、壁面投影型のインタラクティブ映像があります。海岸の景色が映し出された壁面映像の前で腕をパタパタ羽ばたかせると、空撮映像のスピードが変化してまるで鳥のように空を飛ぶ体験ができるコンテンツが制作されています 。これはKinectで検知した両手の位置から羽ばたき速度を算出し、それによって映像の再生フレームレートを制御することで飛行感覚を演出したものです 。また同コンテンツでは、海岸に落ちているゴミを拾う動作をすると映像内で反応が起きるといった環境啓発の要素も盛り込まれていたようです 。プロジェクションマッピングとモーションセンサー技術を組み合わせたこの作品は、映像の中に入り込める没入感と環境問題への気づきを両立した体験型コンテンツとなっています 。

環境イベントの壁面投影型コンテンツ。海岸の映像に合わせて腕を広げて羽ばたくと、まるで自分が空を飛んでいるかのように映像が変化する（Kinectによる両手検知で映像速度を制御）  。このような没入型インタラクションはプロジェクションマッピング展示で人気の手法である。

• 「店員を呼ぶ」インスタレーション（2014） – リクルート社の技術イベントでは、Kinectで手挙げ動作を検知して店員を呼ぶシステムが披露されました。これは、お客さんが席で手を挙げるとKinectがそれを認識し、離れた場所にいる店員側に通知が行き、店員が応答するとお客側スクリーンに店員の映像が投影され会話・注文ができるというものです。実装にはopenFrameworksを使用し、人体のジェスチャー・骨格検出にはofxOpenNI、プロジェクタ投影の台形補正にはofxQuadWarpアドオンを活用しています。プロジェクタで映す店員映像は、店舗の壁に直接投影される形で、まるで店員がその場に現れたような演出になっていました。これはKinect＋プロジェクタで遠隔コミュニケーションを図る珍しい例ですが、空間演出としても興味深い取り組みです。

• 大規模マルチプロジェクションゲーム – 前述のArkbell社のブログには、複数台の大型プロジェクタで作った幅10m超のスクリーン上に、Kinectで検出したプレイヤーの体の動きを連動させるゲーム事例が掲載されています。Microsoft Kinect v2で最大3人の頭・手・腰の位置を3D取得し、素早い手のグー・パー動作で画面内のボールを発射するようなマルチプレイゲームを制作しています。複数人のモーションを同時に扱うことでみんなで体を動かして遊べるコンテンツとなっており、大画面ならではの迫力と会場全体の盛り上がりを創出した好例です。Kinect V2は同時に6人までの骨格を認識できますが、安定追跡には2～3人程度が現実的とも言われます。それでも十分に「多人数参加のインタラクティブ体験」を実現できることが示されたプロジェクトです。

• Microsoft Research IllumiRoom/RoomAlive（参考） – 日本語の技術ブログではありませんが、Kinect＋プロジェクタ活用例として歴史的に有名なIllumiRoom（2013）とRoomAlive（2014）は外せません。IllumiRoomはKinectで取得した部屋の形状データを元に、テレビ画面の周囲の壁や家具に自動で歪み補正した映像を投影し、ゲームの視野を画面外にまで拡張する研究でした。さらに進化版のRoomAliveではプロジェクタ/深度センサーの複数組（プロカムユニット）を部屋中に設置し、空間全体をインタラクティブなゲームステージに変えることに成功しました。モグラ叩きやシューティングのデモでは、ユーザーが実際に壁や床に出現した仮想オブジェクトに触れたり回避したりでき、Kinectがそれを認識してゲームに反映します。これらの研究成果は、後にRoomAlive Toolkitとして開発者向けに公開され、任意形状の投影面への補正表示やマーカー不要のプロジェクタ自動キャリブレーション手法として知られるようになりました。日本国内でもこのツールキットを用いた実験報告がQiita等にあり、プロジェクションマッピング分野への技術的波及効果をもたらしています。

以上のように、Kinect v2とプロジェクタの組み合わせはアート、エンターテインメントから実用システムまで幅広く応用されています。人の動きをセンシングして映像に反映する仕組みは「インタラクティブプロジェクションマッピング」とも呼ばれ、近年では美術館や商業施設の展示、企業イベント、教育教材など様々な場面で採用されています 。UnityやopenFrameworks、TouchDesignerといったツールの充実も手伝い、学生やクリエイターが比較的短期間で試作できる環境が整ってきています。今後はAzure KinectやAIベースの姿勢推定技術との連携により、より精度が高くセンサーの数に制約されないインタラクティブ映像も登場するでしょう。Kinect発の骨格検出＋視点追従というアイデアは、没入型インタラクションを設計する上で一つの定番となりつつあり、技術発展とともにさらなる表現の広がりが期待されます。

結局off axisやります

https://scrapbox.io/files/6936d9cd7171626c8a361b0c.png