実質-substance-

卒業制作。かなりややこしいのでちゃんと整理したいよね

pdfを探し出そう。

見つけました

完全に個人情報が入っているので非公開。以下にテキストをコピー済み

現実と仮想をつなぐインスタレーション作品

序章 - 3 -

本論文では、『実質-substance-』を作るにあたって、現実と仮想をつなぐインスタレーション作品という目的を達成するための考察と方法、結果的にどのような作品になったのかを論じていく。

第一章　作品の背景 - 3 -

そのためには、オンラインの体験とオフラインの体験の違いについて考えなければならない。実際に見て触れるオフラインの体験を「リアル」とするのなら、インターネットを介するオンラインでの体験は「バーチャル」となるだろう。「リアル」と「バーチャル」、この相反するような言葉によって表されるVirtual realityは、仮想現実と訳されることが多い。しかし、この訳語だとVirtual realityはまるで現実ではないもののようである。日本バーチャルリアリティ協会にも「バーチャルリアリティのバーチャルが仮想とか虚構あるいは擬似と訳されているようであるが，これらは明らかに誤りである。」（舘2012）という記載がある。では、Virtual reality を仮想現実と訳す以外に何と言えばいいか。virtualには、他に実質的には同じという意味がある。Virtual realityとは実質的な現実と考えるべきではないか。オンラインの体験とオフラインの体験は、技術の関係で解像度や挙動に違いはあるが、実質的には同じであると考え、現実と仮想/実質的な現実が交わるような作品を作れば、それを体験できるのではないかと考えた。そこで、作品の目的を「現実と仮想をつなぐインスタレーション作品」と設定し、本作品の作成に取り掛かった。目的に「実質的な現実」ではなく「仮想」という語を使ったのは、わかりやすさと、谷(2020、p.54)によると、1928(昭和3)年には既にvirtualを「假想（仮想）」と訳しているというので、90年以上同じ言葉で使われているものを変えるよりも、むしろ仮想という言葉の認識を「実質的な」と考えるように改めるほうが良いと思ったからである。

本作品のタイトルである『実質-substance-』は、上記の「実質的な現実」からきている。virtualの訳語から実質という言葉に出会ったが、逆に実質という言葉はsubstanceと訳されることがある。substanceは実質の他に物質という意味を持つ。オンライン上にある実質と実際に存在する物質というのは対になるものだと考えていたが、実質と物質の英訳語の一致に驚き、サブタイトルとした。

第二章　先行事例

コロナ禍以前にもバーチャル空間上で作品を展示する試みは複数あり、コロナ禍以降も様々なオンラインイベントが行われた。特に参考にした事例について、(1)バーチャル空間上での事例、（2）リアルをバーチャルに持ってきた事例、(3)リアルをオンラインでつないだ事例、（4）バーチャル空間でリアルをオンラインでつないだ同時に行った事例、の四つに分けて、詳細を追いながら考察していく。

（1）バーチャル空間上での事例

事例1-1：『メディアアート展「1%の仮想」』

『メディアアート展「1%の仮想」』は2018年9月22-23日に行われたヨツミフレームによるバーチャル空間上のメディアアート展である。プラットフォームはVRChatを使っておりヘッドマウントディスプレイが使用できる。VRChatとはVRに特化した多人数と同時にコミュニケーションをとることができるソーシャルアプリで、SteamDBによると2017年11月30日に同時接続人数が380人だったのが2018年1月8日に20320人と一気に人数が増え、一度7000人程度になったものの、2020年12月現在も15000人程度の人がVRChatをプレイしている。ゲームエンジンのUnityで作ったものをワールドとして公開できるため、シェーダー(CGの描画方法を指定するプログラミング)や外部サイトの情報などを使った作品などがあり、VRChatならではのメディアアートが展示されていた。MOKUSHI(2018)によると累計入場者数は2024人で、当時の全世界の同時接続人数は7000人前後と、1/7が来場した計算になるという。現在この展示は常設化されており、VRChatを使うことでいつでも鑑賞することができる。

この発想は、『実質-substance-』にも応用している。Web上の仮想空間では展示空間であることを示すため、四角く空間を囲い、キャプションとタイトルを配置することで、より展示物であるということを強調した。現実空間では、白の硬質塩化ビニール板で仕切られており、作品自体がホワイトキューブとなっている。Web上にはホワイトキューブの中に入る体験を、現実空間ではホワイトキューブを外から見る体験をすることができる。また、現実空間のホワイトキューブの中の鏡や透過スクリーン、カメラの配置は適宜変えることができるため、キュレーションをして権威側になることもできる。

事例1-2：『バーチャル美術館』

『バーチャル美術館』は、2018年6月にえもこによって作成されたVRChat上、およびWeb上で閲覧できる美術館である。このワールドもまたUnityで作られVRChat上に公開され、のちにWebブラウザからも閲覧できるようになった。Twitter上で「#VMuseum」と画像を添付してつぶやくことで、自動的にバーチャル美術館に展示される。こちらも『メディアアート展「1%の仮想」』と同じく美術館を模した内装になっているが、Mogura VR のインタビュー記事によるとVRChatの方ではヘッドマウントディスプレイをつけていても目が疲れにくく、作品の閲覧に集中できるように黒を基調としたつくりになっているという。対してWebブラウザで見られるアプリケーションでは『バーチャル美術館』は白を基調とした、いわゆるホワイトキューブの内装になっている。

このWeb上のアプリケーションでは、VRChatと同じく「#VMuseum」をつけてつぶやかれた画像を美術館の中で見ることができるが、それだけではなく、アクセスすると出てくる「#VMuseum」の文字を他のハッシュタグに書き換えることで、違う絵を展示することができる。つまり、現在つぶやかれているハッシュタグを使って、美術館のキュレーションを変えることができるだけでなく、独自のハッシュタグを使うことで、簡単に邪魔はできるものの、だれでも個展を開くことができるようになっている。自分がワールドの中に入るだけでなく、自分がその空間に作用して、書き換えることができるのが、Web上の仮想空間の強みだと考えた。

『実質-substance-』では、すべての鑑賞者のアバターが現実空間を撮影し配信している映像になる。Web上にアクセスした鑑賞者の動きは、同じ時間にアクセスしている別の鑑賞者の画面に反映されるため、その仮想空間上の作品に干渉するとともに、その干渉すら現実空間上に投影される。現実空間上に投影された仮想空間のキャプチャは再びWebカメラによって撮影され、鑑賞者ら各々のアバターに配信される。

（2）リアルをバーチャルに持ってきた事例

事例2-1：『おうちで体験！かはくVR -国立科学博物館-』

『おうちで体験！かはくVR -国立科学博物館-』は、新型コロナウイルス感染拡大防止のために臨時休館していた国立科学博物館で、2020年5月から公開されたWeb上で見られるVRコンテンツである。ヘッドマウントディスプレイにも対応している。中を歩くインタラクション自体は、Google Mapのストリートビューと同じだが、建物の壁と展示のすべてをスキャンした3DモデルをWeb上で動かし探索できることが特徴である。ウェブページ上ではドールハウスと呼ばれている機能で、このドールハウスの3DモデルはMatterport呼ばれる機材によって作られている。ストリートビューのような360°写真の合成などを行うこともできる。

国立科学博物館の地球館と日本館のほぼすべてのVR化および3D化という、大規模なWebコンテンツがコロナ禍の影響で生まれたことは特筆すべきである。撮影協力として一般社団法人VR革新機構が携わっており、2020年12月現在もボランティア撮影を行っている。この規模のデータをとるには予算や人数だけでなく時間も必要であり、コロナ禍によって臨時休館していたから成し遂げられたものである。

『実質-substance-』を作るにあたって、コロナ禍の影響を作品自体に反映させるかどうかを考えたが、こういった事例が数多くある中でオンライン化を行うということだけで、文脈上コロナ禍の影響が作品に乗っているのではないかと思い至り、作品自体のコロナ禍の描写は少なくなった。技術的には、Web上の仮想空間において、視点を「WASD」キーとマウスで飛ぶように動かすという点と、キーボード上の「0」キーを押すと見られる、テクスチャと3Dオブジェクトのワイヤーフレームを重ねた表示が同じである。なお、「0」キーを押すとワイヤーフレームが表示されるのは、どこにも説明がないため隠し機能である可能性がある。

事例2-2：『あつまれ どうぶつの森』への美術館の参入

『あつまれ どうぶつの森』は2020年3月20日に発売された、任天堂によるNintendo Switch用のゲームソフトである。このコロナ禍の中で、様々なものがオンライン化したが、『あつまれ どうぶつの森』への美術館の参入は、オンライン化の方法として一度考えなければならない事象である。この流れの口火を切ったのは北京の「木木美術館」（M WOODS）である。美術手帖のインタビューによると2020年2月にはSNS「WeChat」上でバーチャル展覧会を開いていたという。同年四月にはどうぶつの森内で、ゲームの特性上「ホックニー、アンディ・ウォーホル、ニコラス・パーティー、陸揚といった比較的認知度の高いアーティストの作品をピックアップ」（美術手帖、2020）してバーチャル美術館を作り公開した。他にも、ロサンゼルスの「J・ポール・ゲティ美術館」では『Animal Crossing Art Generator』という所蔵するコレクションから好きな作品を変換しインポートできるWebサービスを立ち上げている。ニューヨークの「メトロポリタン美術館」では、所蔵している作品のうち、画像を無料公開している約40万点をどうぶつの森にインポートすることができる。画像を検索しパブリックドメインの表記があれば、SNSへの共有ボタンの中にどうぶつの森のマークが入っており、そこをクリックすることでどうぶつの森で使えるQRコードが生成される。

この事象では、オンライン化において、プラットフォームがどうあるべきかを考える必要がある。『あつまれ どうぶつの森』は話題性とユーザー数がとても大きく、他人のデータにアクセスすることが簡単であることや、画像をインポートできるマイデザインシステムなど、ユーザビリティが高く、ゲームということも相まってユーザーの能動性がとても高い状態であるから成功したと考える。同じようにゲームをプラットフォームとして考えられたイベントとしては『FORTNITE』内でのバーチャルイベントがある。Travis Scottが出た際のイベントでは、世界同時接続者人数1230万人を記録している。

『実質-substance-』は当初、上記にもでたVRChatをプラットフォームにして作品を作ることを考えていたが、VRChat内でコンテンツを作成すると、ゲームプラットフォームのSteamをインストール、アカウント登録し、VRChatをインストール、必要があればVRChatのアカウントも登録し、そこから作ったワールドにアクセスしてもらうという煩雑な作業が必要であるため手軽にアクセスすることができない。それはVRChatの利点でもあるが、本作品ではアクセシビリティを考え、VRChatではなく、Webブラウザ用に開発をすることにした。

（3）リアルをオンラインでつないだ事例

事例3-1：『Music Unity 2020』

『Music Unity 2020』は秋葉原にあるクラブ「MOGRA」を中心に、コロナ禍によって休業を余儀なくされている日本各地のクラブを動画配信サービスTwitchでつなぎ、DJをリレーしていくというイベントである。2020年の4月4日から計四回行われ、2020年6月20日にラストイベントとなった。配信の収益や寄付は各会場とアーティストに還元され、一部は医療・教育機関に寄付された。基本的に一回で9-10ヵ所程度のクラブが無観客状態でリレーしていった。困窮したクラブを助ける目的だったが、やむなく閉店してしまったクラブもあった。

オンラインによって違う場所をつないでいく様子や、そのイベントを通話アプリのDiscordなどで通話して別の場所にいながら他の人と一緒に見るという体験は、第一章で目的設定をする際にバーチャルとリアルの違いは何かを考えるきっかけの一つになった。また、動画配信サービスを利用してリアルとバーチャルをつなぐという方法もこの事例が一つの要因になっている。

事例3-2：『ASOBINOTES ONLINE FES』

『ASOBINOTES ONLINE FES』は2020年6月28日、バンダイナムコエンターテイメントが展開するレーベル「ASOBINOTES」を中心に行われたオンラインイベントである。オンライン配信が四つ同時に行われ、特設WebページではCGステージ上にある映像をクリックすることで鑑賞者が任意の映像に切り替えることができた。DJが中心ではあるが、Vtuber（定義は様々あるが、基本的にトラッキング技術を使って2Dや3Dなどのアバターを動かして活動しているインターネットタレントの総称）のトークイベントや、ルービックキューブを用いたモザイクアートのライブドローイングなど多様なコンテンツが配信されていた。バンダイナムコ研究所が開発したシステムによって、鑑賞者の投票によって楽曲の選曲が変わったり、スマートフォンを配信画面にかざすと配信画面に即した映像演出が現れたりなど、双方向体験も味わうことができた。

上記の『Music Unity 2020』と事例として被る部分はあるが、同時に配信が四つ行われたことと、四つのバーチャルマルチ画面がWeb上の3Dステージに配置され、それをインタラクティブに、シームレスに移動できるというのが先行事例として特に参考になった。

（4）バーチャル空間でリアルをオンラインでつないだ同時に行った事例

事例4：『Porter Robinson's Secret Sky.』

『Porter Robinson's Secret Sky.』はポーター・ロビンソンが主催で行ったバーチャルDJイベントである。出演したDJやアーティストの規模も特筆すべきものがあるが、ここでは、Webサイトの構成、演出について取り上げたい。

このイベントでは音楽を大勢で、同じ空間で楽しむためのWebサイトが用意されていた。Webサイトにアクセスすると、自分がグニャグニャと曲がる色鮮やかなミミズのようなアバターとなって、広い3Dの仮想空間に出る。シークレットURLを作成して、友人とだけでアクセスすることもができたが、基本は大勢の虫型アバターのいる空間で楽しむことになる。空間は薄暗く、アバターは明るいのでそれぞれが光の筋のように見える。入って前方には、大きなモニターのようなものがあり、VJの役割を果たしている。このモニターは平面の映像が流れているわけではなく、映像を基に立体的に凹凸のある表現になっている。入って右側には現在入ってきたアバターがどこの国の人なのか、人数、タイムテーブルなどが掲示されている。入って左側に近づくと大きな板があり、より近くに行くとマウスの動きで、少しの間だけその板に線が描かれる。線はすぐ消えてしまうので、素早く動かしても五芒星程度しか書けないが、たくさん人が集まってくると、本当に少しだけだが、意思疎通を図ることができる。常時、ブラウザの右下にはYouTubeでの配信が流れ、その場にいる人と一緒に音楽を楽しむことができた。

『実質-substance-』では、特にこの作品からの影響が強く、このクオリティのイベントをWebブラウザ上で開けるのであれば、ある程度のことはWebブラウザ上でできるのではないかと、作品の方向性の舵をWebブラウザに切ることになった。自分と他の人が、そこまで意思疎通をすることが出来なくても、同じ空間にいてお互いを認識するだけでコミュニケーションが成立するという体験もこの作品から得ている。

第三章　作品の実現

様々な先行事例と考察から作品の形は見えてきたが、目的である「現実と仮想をつなぐインスタレーション作品」を達成するために、作品を実現させなければならない。作品が現実空間と仮想空間の二つの面を持つ関係上、本章では、第一節を現実空間の実現、第二節を仮想空間の実現、第三節を空間の接続、第四節を細部の実現とし、順を追って解説していく。また、パソコンを二台使っているため、便宜上、現実空間に映像を投影しているパソコンをPC1、仮想空間上に映像を投影/配信しているパソコンをPC2とする。

第一節　現実空間の実現

現実空間では、硬質塩化ビニール板による箱の中に、透過スクリーンが複数枚、鏡、そこに映像を投影するプロジェクターとWebカメラが入っている。プロジェクターはPC1に、WebカメラはPC2と接続されている。

硬質塩化ビニール板で作られた箱は、高さ45cm×横60cm×奥行90㎝で、後から中を編集できるように上面が蓋になっている。この寸法は、先に作成していた透過スクリーンの大きさと、自宅に置ける最大の大きさを鑑みた結果である。第二章での通り、ホワイトキューブを作りだすため、箱の色は内外ともに白で、箱の形は方形である。今回使った硬質塩化ビニール板は、強い光を当てるか、周りを暗くすることで、硬質塩化ビニール板越しでも光を確認できる程度の厚さになっている。外の光が変わるだけでも中の色味は変わり、懐中電灯などの強い光を外から当てると、中からでも光の当たった部分を確認できる。中の壁が白いため、透過スクリーンを通った映像が、プロジェクターと反対側の壁、及び鏡に反射して側面に投影される。硬質塩化ビニール板は若干の光沢があるため、床面に視点近づけて中を見ると箱内にある要素が床面に反射して見える。

透過スクリーンは全部で9枚ある。この透過スクリーンは、2019年12月に展示/作成した作品『カイマミ』に使っていたものと同じものである。横80cm×縦45㎝（16：9）の黒いプラスチックダンボールを、相似になるように中を切り取っていき、計9枚の大きさの異なる枠を切り出した。そこに農業用ポリエチレンを張り付けることで透過スクリーンとして使っている。箱の大きさの関係上、一定の大きさ以上の透過スクリーンは斜めにしないと入らないことや、透過スクリーンを配置しすぎると、Webカメラに、スクリーンの黒い枠のほうが目立って映ってしまうこと、鏡を箱の対角線上に配置することから、基本は2～3枚の透過スクリーンのみを配置している。

鏡はちょうど箱の対角線における長さで、黒いプラスチックダンボールにロールミラーを貼り付けている。プラスチックダンボールには周波の小さい緩やかな凹凸があり、そこにロールミラーを貼り付けるとミラーが歪む。その歪みを映像が反射することで歪んだ映像が白い壁に投影される。また、ミラーの中には透過スクリーンも映り込むため、歪んだ透過スクリーンと透過スクリーンに映った映像を見ることができる。

プロジェクターにはPC1で合成された映像が常時投影される。カメラもプロジェクターも箱の中に入っているため、蓋を開けない限り、外からは白い箱と、箱の角から出るコード、PC1、PC2が見える。PC1では仮想空間上で撮影された映像とともに、リアルタイム映像合成アプリケーションのTouchDesigner上でプログラミングされた映像が合成されている。この合成される映像は手元のMIDIコントローラーで合成の割合などのパラメータを制御することができる。合成される映像は虹色のゆっくりと波打つ線や、黒い円から白い煙が放射状に噴き出す映像などがプログラミングされており、GLSL(シェーダー)を使って映像に特殊なエフェクトをかけることができる。GLSLでプログラミングされるエフェクトは二つある。一つは、一つ前のフレームの映像と今の映像をピクセル毎に比較して、より明るい場合はそのピクセルをMIDIコントローラーで指定された方向に1ピクセル分移動させる。毎フレームこの操作を繰り返すことで、映像が溶けていくようなエフェクトになる。もう一つは、モノトーンにした映像のピクセルを色で選別し一定の範囲の明るさに入ったピクセルを白くするもので、範囲の閾値を移動させることで画面上を白い帯を走らせることができるエフェクトである。この二つはMIDIコントローラーのボタンを押すことで自由にオンオフできる。

Webカメラも固定されておらず簡単に動かすことが可能である。透過スクリーンに投影された映像と、鏡越しに見る透過スクリーンに投影された映像を比べると、場所、距離角度、反射率などの影響で光の量がかなり違うため、Webカメラを動かす際は露出をどちらに合わせるのかを考える必要がある。鏡に映った映像に露出とピントを合わせると実際の映像を文字通り鏡写しした状態で撮影される。撮影された映像はPC2に送られ、TouchDesignerで加工された後、YouTubeライブで配信される。

第二節　仮想空間の実現

仮想空間では、YouTube Liveによって配信されたサイズの違う映像(YouTubeプレイヤー)が常に大きさ順で6つ並んでおり、鑑賞者と原点を対称に真逆の動きをする映像と、一定時間がたつと同時に滑らかにランダムな場所へ移動する映像が２つ空中に浮いている。空間は四角い板で囲われておりホワイトキューブを模しているが、現実空間の箱の中が暗いことを考え、光が当たっているところ以外は暗く見せている。アクセスしたときにいる場所から、右を見ると『実質-substance-』のキャプションが書かれたポスターとロゴを見ることができる。

仮想空間を構成するほとんどは、Three.jsを利用して書かれている。Three.jsとは、Webブラウザなどで3DCGを描画するためのWebGLを扱うことのできるJavaScriptライブラリで、様々なサイトに利用されている。『実質-substance-』では、WebGLを使った3Dレンダリングと、Three.js によって提供されているプラグインのCSS3DRendererを使うことで3D空間上にYouTubeプレイヤーを配置している。実際には、WebGLでレンダリングをした後、同じ設定をしたCSS3DRendererでレンダリングし、結果を重ねて表示することでWebGLによる3D空間上にCSSを使って表示されるYouTubeプレイヤーが同じ空間にあるように見せている。プログラミング上のシーン（レンダリングされる要素が入ったデータ上の空間のようなもの）も同じものを使っているので基本的に鑑賞者にとっては実質同じ空間にあるものである。この方法が使える理由は、板で仕切られた箱の中にいる限り、鑑賞者とYouTubeプレイヤーと箱の位置関係は、変わらないためである。そのため、この板で区切られた空間を一歩出ると、前後関係がおかしくなり、板よりも後ろにあるはずのYouTube プレイヤーが前に描写される。外から見る際は中が透明になったように見えるが、空間を出てしまったYouTube プレイヤーを中から見ても同じ現象が起こり、その時は違った違和感を覚える。その違和感は面白さとして残しているが、これが前面に出すぎると鑑賞者が空間を把握することが難しくなるため、キャプションとロゴはCSS3DRendererでレンダリングし、仕切られた箱の中に設置している。

WebGLで作られた空間では、そのキャプション、ロゴ、YouTubeプレイヤー以外の、箱を作る板とライトをレンダリングしている。YouTubeプレイヤーから出た光が、箱の中を照らしているように配置しているが、WebGLで作られた空間とCSS3DRendererで作られた空間ではレイヤーが違うため、YouTubeプレイヤーをWebGLで認識して箱に光を描画しているわけではない。WebGL上でYouTubeプレイヤーと同じ大きさの四角い光源、エリアライトを作り、各YouTubeプレイヤーのCSS3DRendererで配置されている座標に、置いている。また、ワイヤーフレーム表示(ポリゴンの枠だけをレンダリングする表示方法)させた板をYouTubeプレイヤーの一回り大きいサイズで作り、少しだけ手前に配置している。これによって前述の違和感が生まれ、二次元の画像として3Dオブジェクトがレイヤーになっていることを利用した表現になっている。

CSS3DRendererで作られた空間では、先述の通り、サイズの違う6つのYouTubeプレイヤーとともに、原点を対称に鑑賞者と真逆の動きをするYouTubeプレイヤーと、一定時間がたつと同時に滑らかにランダムな場所へ移動するYouTubeプレイヤーが２つ空中に浮いている。原点を対称に鑑賞者と真逆の動きをするYouTubeプレイヤーは、鏡のような役割として追加した要素で、もともと鑑賞者の面対称で動く映像だったが、それを実装すると鑑賞者が鏡面となる面を通る際に、鏡の中の自分と触れてしまうため、点対称に動くようにした。これによって、たった一人その空間にアクセスしたとしても、自分以外に動くものを見つけることで他の存在がいると錯覚する効果を期待した。鑑賞者の動きに合わせて動いているだけであって、鏡写しではないため自分とは別の他の存在であるともいえるが、逆に鏡に映る自分が自分であることに気付くように、鑑賞者の動きに合わせて動いていることで、自らの体験と動きが合致し他の存在ではなく空間内のギミックであると判断することもできる。鑑賞者が一旦立ち止まり、周りを見渡すと、その鑑賞者の動きに合わせて動くYouTubeプレイヤーも止まってしまう。静観したときに自律して動かないことが、自分と他者をわけるものなのではないかと考え、次に、一定時間がたつと同時に滑らかにランダムな場所へ移動するYouTubeプレイヤーを２つ作った。これは、いわゆるノンプレイヤーキャラクター、NPCとしての役目を持たせ、鑑賞者以外にアクセスしている人がいなくてもプレイヤーの存在を見ることができる目的として追加した。一定時間が経つと、ランダムに箱の中の座標が指定され、加減速/イージングがついた動きで移動する。しかし、一定時間経つと動く規則性と、止まったときに、一切動かないことによってNPCであることはすぐにわかってしまう。実際に他の鑑賞者がいる場合が顕著で、右左上下にまさに挙動不審に動く鑑賞者に対して、一定時間で滑らかに目標点に一方向に動くNPCは機械的に見える。ランダムに滑らかに動いているのに機械的に見えることが興味深かったため、よりその効果を増大させるために２つに増やした。最終的には、鑑賞者が一人の場合でも疑似的に複数人いる状態を体験できる、鑑賞者が複数人いた場合他のプレイヤーとNPCの比較をすることができるといった利点が生まれた。

他の鑑賞者がアクセスした場合、その鑑賞者の座標に新しくYouTubeプレイヤーが生成され、その鑑賞者が動くとYouTubeプレイヤーも追従して動く。

第三節　空間の接続

二つの空間は、「PC1 → プロジェクター → 現実空間 → Webカメラ → PC2 → YouTube Live → 仮想空間 → PC1」と接続されており、鑑賞者同士の仮想空間はサーバーで接続されている。本節では「現実空間 → Webカメラ → PC2 → YouTube Live → 仮想空間」についてと、仮想空間のサーバーを中心に解説する。

WebカメラからPC2に取り込まれた映像は、TouchDesignerで加工される。TouchDesignerでの加工はPC2の時の複雑なものと違い、色味と明るさの調整と、一定の間隔で明るくなるという加工のみである。この映像は仮想空間にそのまま流れるため、仮想空間から現実空間を見て感じることのできるよう原型がなくなるような加工は控えた。一定の間隔で明るくなるという仕組みは、現実空間で大きな変化がない場合に映像が流れているかどうか確認するためと、これを行うことによって、ローディングが行われた順に仮想空間の映像がウェーブのように光るためである。TouchDesignerを経た映像はOSC Studioという配信用アプリでキャプチャされYouTube Liveへと配信される。YouTube LiveはURLを知っていればアクセスすることができ、現実世界から現実空間の映像を閲覧できる。仮想空間ではCSS3DRendererをつかってYouTubeプレイヤーでYouTube Liveを視聴するため、仮想空間のプログラムをサーバーにアップロードする際に仮想空間上で再生する動画IDを展示の際に行っているYouTube Liveの動画IDへと書き換える必要がある。なお、視点移動の関係でマウスを使うことはできず、ミュートでないと自動再生されない仕様になっているため、YouTube Liveは基本的に無音で、流れていても仮想空間の鑑賞者には聞こえない。

仮想空間のプログラムはHerokuにアップロードし管理している。Herokuとは、サーバーを持っていなくても、プログラムをアップロードしてデプロイ(ここではアプリケーションを公開すること)することができるクラウド・アプリケーション・プラットフォームである。本作品は、仮想空間内の鑑賞者の位置情報を共有するためにNode.js、Socket.ioを主に使っており、Herokuでデプロイすることでサーバーの管理がHeroku上でできる。Node.jsとは、ネットワークアプリケーションを構築するためのJavaScript環境で、Socket.ioはWebSocketを扱うことができるNode.jsのライブラリである。WebSocketはリアルタイムWeb技術の一種であり、リアルタイムかつ双方向な通信を実現するプロトコルである(猪熊2016)。鑑賞者(クライアント)が『実質-substance-』のWebページにアクセスするとサーバーでIDが割り振られる。サーバーに全鑑賞者のIDと座標を保存しており、各鑑賞者から座標の情報がサーバーに送られると、保存したサーバー上のIDと座標を参照、IDが一致したら座標を更新し各鑑賞者にその情報を送る。IDが一致しない場合新しくIDと座標を保存する。サーバーからIDが割り振られるのはそのサーバーにアクセスしたときだが、『実質-substance-』のWebページを閉じなくても再アクセスされ同じ鑑賞者に違うIDが割り振られてしまう現象が起きたため、IDをサーバーだけではなく鑑賞者側にも保存し、その保存したIDを実質のIDとして利用することで新しくIDが割り振られてもサーバー上では元の同じIDとして座標が保存されるようにした。

第四節　細部の実現

ここでいう細部とは、ロゴ、キャプション兼ポスター、解説映像、ブラウザ上で開けるコンソール内の文章を指す。

ロゴとポスターはAdobe After Effects, Adobe Illustratorを使って作成した。ロゴはAdobe Illustratorで、「実質」と游ゴシックで打ち込んだものをAdobe After Effectsの波形ワープでスライスし、もう一度Adobe Illustratorに取り込んでベクター化している。下の「substance」部分はAdobe Illustratorで手書き。ポスターは作品に多数登場する枠を意識し、対比した単語を使ってレイアウトした。

解説映像は上記で作ったロゴとポスターをもとに、Adobe After Effectsで作成した。プログラミングによる人工感を出すために、加減速、いわゆるイージングを省き、カットと等速直線運動のみで作成した。音楽はCubaseで作成し、音色は全てソフトシンセサイザーのvitalで作成した。

『実質-substance-』では、アクセスしたときに文章がログに出力されるようになっていて、ブラウザ上でコンソールを開くとその文章を見ることができる。ページ内のソースを確認すると、いくつかの『実質-substance-』に関連する文章を読むことができる。

第四章　生まれた作品

第三章で実現した作品、『実質-substance-』は、結局どのような作品になったのだろうか。仮想空間と現実空間をつなぐことによって、作品自体が複雑なメディアとなっている。そこで、本章では、「映像の氾濫とフラクタル」と「現実と仮想、パラレル・リアリティ」の二つに分けて、本作品の考察を改めて行っていきたい。

<映像の氾濫とフラクタル>

ポスターにも同じように形容し記載した「映像の氾濫」について、北野(2009、pp.15-16)は「従来の認識の道具立てでは到達できないような不可視の層を多数織り込み始めているといってもいいのかもしれない。視覚経験が不可視化しつつあるという言い方さえ成り立ちうるだろう。確かに、いま、映像は見えにくい。」としている。『実質-substance-』についての説明としても差し支えないような文章である。というよりも、現在の「映像」に関する事象はすべてこの説明に帰するのかもしれないが、とりあえずこの作品において、現実空間でも仮想空間でも映像は氾濫しているが、むしろ見えにくい。

その見えにくさである映像の氾濫の一因は、フラクタルによるものである。フラクタルとは、三角形の中に小さな三角形があり、その中にまた小さな三角形があるといった、自己相似性を持つ図形のことで、「シェルピンスキーのギャスケット」や「マンデルブロ集合」などが有名である。渕上(1987、p.6)はフラクタルについて、森と木の枝、海岸線と砂粒を例に出し「部分と全体が程よいバランスを保ち、部分の中に全体が見える」としている。『実質-substance-』では現実空間の映像に仮想空間の映像が、仮想空間の映像に現実空間の映像がうつることで、入れ子構造、つまり自己相似性を持ち、ピクセルの許される限り複製されていく。部分であるYouTubeプレイヤーに現実空間から見た全体が見えるし、部分である透過スクリーンに仮想空間から見た全体が見える。マノヴィッチ(2013、堀 訳、p.73)はニューメディアによる文化の傾向の一つとしてあげた「モジュール性」について「この原則は『ニューメディアのフラクタル的構造』とも呼べるだろう。尺度が異なってもフラクタルが同じ構造を保つように、ニューメディアのオブジェクトもどこまでも同じモジュール的な構造を保つ」としている。これもまた、すべてのニューメディアによる作品について言及できるものだろうが、『実質-substance-』でも仮想空間はJavaScriptを用いたモジュールによって作られ、作品自体のフラクタル的構造の一つの要因となっている。現実空間で用いられている透過スクリーンもそれぞれが相似になっており、それを模して造られた仮想空間上の並べられたYouTubeプレイヤーもまた相似になっている。本作品はフラクタル、自己相似性によって複雑に入り組んだ構造になり、それによって映像が氾濫しているのである。

この作品の中で映像が氾濫すること、それはすなわち「複製」が行われているということである。ベンヤミンは『複製技術時代の芸術作品』において、「技術」と「知覚」の主要な概念を導入し、より重要なのは「技術」であり、その「技術」の根源とは「遊戯」であったとし、当時としてはもっともあたらしい芸術であった映画が、巨大な遊戯空間を展開しうることを見いだした（多木2000, p.129）。現在、新しく巨大な遊戯空間を展開しうるのがどんなメディアやコンテンツであれ、その巨大な空間はバーチャル空間である可能性があるのではないか。『実質-substance-』の仮想空間では、制限のないある種の巨大な空間に、普段のウェブでは見ない数の埋め込みの自律し複製された映像が実質的に存在し、鑑賞者はその空間を遊覧する。現実空間ではその様子が映し出され、仮想空間は現実空間へと流れだす。この様子は、巨大なバーチャル空間は現実世界を侵食し、巨大な遊戯空間が世界全体へと拡大していく様子を示唆している。また、藤幡(2009、p.216-217)は、データを表示することについて、「ハードディスクからメモリーへコピーされ、そのメモリーからディスプレイ・メモリーにコピーされることで、そのデータが表示される」ことから、「デジタル環境での『表示』とは『コピー』を意味している」といい、「つまり、『見ること』は、二つの同等のデータを世界の別の場所に作ることを意味する。インターネットにつながっているということは、この瞬間瞬間に、無限の複製が生まれていることを意味している。」という。『実質-substance-』はまさに無数の複製を繰り返している。「見える」場所であっても「見えない」場所であっても、PC2からYouTubeへと配信されるときも、仮想空間に配信が表示されるときも、その仮想空間をPC1でキャプチャするときも、PC1からプロジェクターに映し出されるときも、絶えず複製されているといっていい。そして、その複製されるものの多くが見ることのできない場所で行われている。Herokuへのデプロイもプログラムの複製であるし、その複製元はgit hubにアップロードされたプログラムであるので、これもまた複製されたプログラムである。むしろ、わざわざYouTube Liveで配信をすることによって、複製が見える場所が増えているともいえる。つまり、配信されたYouTube Liveは、データの複製を可視化したものである。

複製の中でもキャプチャ、スキャニングに着目したい。藤幡(2009、p.110)はデジタルカメラや携帯電話のカメラの行く先として、「デジカメが向かっている方向、ケータイのカメラが示唆している方向の向こうには、スキャニングという概念が覆いかぶさってくる。スキャンすることは、見ることとは関係がない。そこに意味を見出す必要もない。フレームに収める事、デジタル化するという行為そのものにしか意味がないのだ。」として、スキャンされたイメージはむしろブログなどの他人への共有に使われていることから「それはもはや自分でさえも見るわけではなく、他者のための(とはいえ誰が見るとも知れないページなのだが)データとしてのスキャニングなのである。そう、デジタル・カメラの本質は『見ないことの実践』なのだ。」としている。『実質-substance-』では、PC2で仮想空間を撮影する際に、ブラウザを全画面表示にしてキャプチャしている。キャプチャとは、スキャニングと同じであり、複製である。物理的空間のなくなったスキャニングがこの作品には含まれている。そしてこのスキャニングされた映像は誰かに見せるためのものではなく、そこから加工され現実空間に投影される。「見ないことの実践」を見ることはできないが、仮想空間と現実空間の次元を分ける線(映像は二次元+時間の三次元なので正確には面だが)として確実に作品の中に現れている。つまり、複製方法自体もこの作品は描いているのである。

<現実と仮想、パラレル・リアリティ>

仮想と現実、バーチャルとリアルの違いのあいまいさが、この作品の発端だった。本間(2019,p.106)は、健康診断などで用いられる超音波検査(エコー)による画像や特殊な光をあてて脳血流の変化を読み取り、脳の活動状態を数値化・画像化する光トポグラフィの例をあげ「このような画像化は、まさしく人工的なヴァーチャルなものだが、それがどこまで実在的なのかあるいは実在的事象の反映となるのか、判然としがたい点は残る。」としている。まさにこの作品の発端はここである。それに続き本間(2019,p.107)は、バーチャルに作られた画像において「そのとき画像などヴァーチャル平面から導き出される内容が、医師の診断や採用すべき対処法などを導く現実の作用を持つと、それが『現実の効果』となる。」としている。例えば、創作物から影響を受けて何か「現実の効果」として物事を始めた場合、その創作物は現実だろうか。この場合の創作物は現実ではなく「現実の効果」を持つものだが、現実の効果を持つものを現実ではないと言い張るのは無理があるような気がする。とはいえ、『実質-substance-』の仮想空間内で鑑賞者が移動し、その様子が現実空間に反映されるが、これは現実の効果なので仮想ではなく現実である、という論理もまた少しおかしい。そこで、全てが人工的/仮想だとか、すべてが自然/現実だとかと解釈するのではなく、全てが実質的に現実であると解釈したいということである。本間(2019,p111)はこのことについても、例えばインターフォンを例に挙げて、「住人は画面を見ながらインターフォンを通して来訪者と応答し、招き入れたり場合によっては体よく追い払ったりするのであるから、画面に出現している映像が事実上、実質的な存在である。このように、端的に言って映像が実物に優先される事態が生じているのである。」としている。映像と実物の関係の変化は着実に進み、反転してしまったところもある。『実質-substance-』はそういった、映像と実物の関係を、仮想と現実という言葉に置き換え作成されている。

では、その仮想と現実はこの作品によってつなぐことができただろうか。仮想空間と現実空間のほかにイメージの空間の存在を使って考察していきたい。藤幡(2019、p.215-216)は、撮影された物と印刷などのメディアによって再び物となった物があることで、「物を見ている自分と、イメージの中に写り込んでいる対象を理解する自分という、二重の自分に遭遇することになった。電子メディアの出現で、それがさらに複雑になった。」とし、「見ている対象であるディスプレイ・メディアと、その内部に表示されているイメージは、写真の印画紙や印刷物のように、一対一対応している必要がない。コンピュータの内部に仮想の空間があることを理解しなくてはならない。つまり、現代のわれわれは、現実空間、仮想空間、イメージの空間という三重の空間を、無意識のうちに行き来しているのである。」という。ここでいう仮想空間とは、今まで本論で論じてきた仮想空間とは違い、ハードディスクやメモリーにアクセスする際のインターフェイスとしてデザインされているフォルダーやディレクトリーのことを含んでいる。今まで論じてきた仮想空間は、そのディスプレイに映る仮想空間自体より、ディスプレイに映る映像によって想起される空間についてであったので、むしろイメージの空間に近い。しかし、その仮想空間として扱ってきたイメージの空間はこの作品全体のイメージの空間の一部でしかない。『実質-substance-』におけるイメージの空間とは、『実質-substance-』における仮想空間と現実空間、両方にうつるイメージの中に映り込んでいる空間のことで、仮想空間と現実空間を縦断している。普段のディスプレイで映像を見る際は、ディスプレイとある現実空間と、ディスプレイに映る仮想空間、そこに映るイメージと線形になっているが、この『実質-substance-』では、その線形がフラクタル構造によって崩れ、仮想空間と現実空間が交互に現れ、それを貫くようにイメージの空間が存在している。イメージの中に写り込んでいる対象を見るとき、そこには仮想空間と現実空間を繋いだ作品の全体を見ることができ、そこにある仮想と現実という言葉は二つの空間を区別するためのIDでしかなくなる。

空間という意味では、上記の三つの空間だけではない。本作品では、一度に複数アクセスされることで、並行的に仮想空間/実質的な現実空間が生成される。本作品から、平行世界、パラレル・リアリティを感じるには、作品の構造が大分素朴だが、現実空間と仮想空間を対比することによって、パラレル・リアリティについての思考の一端にはなる。本作品を、仮想空間で体験するということは、PCの環境や画面の大きさなど、それぞれが違う実質現実を持つことになる。しかし、仮想空間アクセスした最初の視点は必ず同じである。現実空間で見たものは、その時間の鑑賞者が同じ空間の大きさとその場で起こる現象を共有することになる。しかし、現実空間では視点が一致することはない。実質現実が複数存在することで、現実空間もまた一様ではないことが示される。パラレル・リアリティについて藤幡(2009、p.29)は「音声と映像、たぶんそれ以上のメディアによって現時点では想像もできないようなメディウムが生まれてくるだろう」とし、「しだいにわれわれに単一ではないリアリティの中で生きてゆく方法を模索させることになるのではないだろうか。つまり実際的に、『パラレル・リアリティ』の存在を確信させることになるのではないだろうか。」としている。その想像もできないようなメディウムに描かれる作品は、本作品や第二章であげた作品群の延長線上にあるのではないだろうか。仮想空間と現実空間によって作られた本作品は、複数の現実を実質的現実として一つにするのと同時に、無制限に存在する現実を生成しているともいえる。一方で一つになり、一方で無限に近づいていくのは矛盾しているようにも見えるが、多角形の角の数が増えると丸に近づいていくように、無限に近づく現実が充填し一つの現実になっていくともいえるため、矛盾はしない。本作品『実質-substance-』はフラクタル的にも空間的にも多次元的な作品になったといえる。

終章

ここまで『実質-substance-』について、「仮想と現実をつなぐインスタレーション作品」として出発し、作品の背景、先行事例の考察、作品の実現、改めて作品の考察と論じてきた。作品の背景としては、コロナ禍の影響化の中オンライン化による世界の変容によって見えてきた仮想と現実の曖昧さを作品に落とし込むことにしたということがあった。先行事例としては、オンライン化の方法や仮想空間で作品を展示するとはどういうことなのか、多人数で仮想空間に参加するイベントなどを通して考察した。作品の実現のために、現実空間と仮想空間を構築しそれぞれを繋ぐシステムを構築した。改めて作品を眺めることで、作品の中にある現実空間と仮想空間のフラクタル構造が多次元的な様子を描き出していくことを発見した。

参考文献

<書籍>

（堀 潤之 訳）みすず書房

<論文>

<URL>

1. 舘 暲「バーチャルリアリティとは」『日本バーチャルリアリティ学会』

(最終閲覧日2020年11月22日)

(最終閲覧日2020年11月22日)

4. MOKUSHI「『１％の仮想』展を大盛況で終えた制作者、y23586（ヨツミフレーム）さんに

(最終閲覧日2020年11月22日)

7. 国立科学博物館(2020)『おうちで体験！かはくVR -国立科学博物館-』

9. 美術手帖編集部「#あつまれどうぶつの森 に世界初のバーチャル美術館を開館。

木木美術館のオンライン戦略とは？」『美術手帖』

(最終閲覧日2020年11月22日)

11. Fortnite「Over 12.3 million concurrent players participated live in Travis Scott's Astronomical,

an all-time record! Catch an encore performance before the tour ends:」『Twitter』

(最終閲覧日2020年11月22日)

12.「4月4日、日本全国に存在するミュージックヴェニューが協力する

ストリーミングフェスの第一歩が始動」『MOGRA 秋葉原』

13.「VUENOS/Glad/LOUNGE NEOが5月末に閉店、

新型コロナウイルスの影響による事業縮小のため」『Musicman』

14.「ASOBINOTES ONLINE FES」『ASOBINOTES（アソビノオト）』

15. ワタナベイチロー、鶴岡八幡「ASOBINOTES ONLINE FES オフィシャルレポート」

『ASOBINOTES（アソビノオト）』

16. Porter Robinson『Porter Robinson's Secret Sky.』

17.「『バーチャルの世界は、クリエイティビティに影響してる』

ポーター・ロビンソン主催オンラインフェス『Secret Sky』インタビュー」『ギズモード・ジャパン』

18. 「【2019年REM後期展示】カイマミ」『uesən_portfolio』

%9f%e5%b1%95%e7%a4%ba%e3%80%91%e3%82%ab%e3%82%a4%e3%83%9e%e3%83%9f/>

(最終閲覧日2020年11月22日)

20. 「クラウド・アプリケーション・プラットフォーム 」『Heroku』

22. 猪熊 朔也「いまさら聞けないWebSocketとSocket.IOの基礎知識＆インストール (1/2)：

Socket.IOで始めるWebSocket超入門（1）」『＠IT』2016年3月14日

作品情報

インスタレーション

題名：実質-substance-

完成日時：2020年11月12日

現実空間のサイズ：高さ45cm×横60cm×奥行90㎝

仮想空間とシステムのデータサイズ：6.22 MB

（2020年12月現在アーカイブを放映中）

解説映像

題名：実質-substance- 解説映像

上記のURLから実際に作品の中に入って体験することができます。

同じ時間に別の人がアクセスしていれば、一緒に体験することもできます。

もうできないんだ代ねぇ

現実世界にあるインスタレーションは、プロジェクターと透過スクリーン（農業用ポリエチレン）で構成、Webでは、Node.js、Socket.io、Three.jsを主に用いて制作しています。

サーバーはherokuを使っています。

それぞれの映像処理にTouchDesignerを使い、Youtube Live を通して映像をやり取りしています。

実質-substance-

※本名出身大学注意

https://scrapbox.io/files/66f05bca18b66b001ded838e.png

サムネ用↑

下のサムネキャプチャしただけなのにめっちゃ黒い。どういうことや。

この作品、元から複雑なのに映像も解説する気なくて本体も残っていないので、なかなか難しい事になっている。

簡単に言うと、部屋の中に四角い白い箱を作って、ネットの中にも四角い白い箱を作って、相互作用をさせて、その箱の中で展示するみたいな感じ。

なぜ部屋の中かというとコロナ禍だったので

いつか復活、もしくは上位互換の作品を作りたい。

せめてちゃんとした解説を書きたくはある。

解説論文は本当に文が読みにくいのでそのままネットにはあげられない

とはいえ結果なんかもろたのでよかったです。

https://vimeo.com/486643276

コロナ禍の中、卒業をすることになり、卒業制作は家の中とWEB上で展示していました。WEB上ならいつまでもあり続けるだろうと思っていたのですが、結局メンテンナンスが追い付かず閉鎖。残ったのはスクリーンのみでした。

同じ時間に別の人がアクセスしていれば、一緒に体験することもできます。

もうできなくなりました。作品を維持するのは難しい