物理と仮想の対比から見えてくる詩の可能性

JAGDA「もうひとつの表示」に展示したARの企画。

グラフィックデザイナー佐々木俊と共作。

支持体を持たないデジタルメディア＝AR・VR・スマホ等における表示を考えることがテーマだった。佐々木俊と最果タヒによる物理空間に詩を展示した「最果タヒ展」をもとに、いくつかテーマを出し合い、従来のメディアと新しいメディアでの詩の表示方法をそれぞれ探った。佐々木が物理担当、北千住がデジタル担当。二つの異なるメディアで展示することで、２つの特性を相対化し、改めてその差について考えられることを目指した。

①詩が場になじむ

カッティングシートとAR、それぞれの地形との馴染み方を対比しています。

すべてが3DCGで作られるVRと比較すると、ARの特徴は現実世界の映像にCGで作られた情報を加えるところにあります。そのためにARデバイスは現実世界をセンサーやコンピューターによって解析し、状況に応じてグラフィックを変化させることができます。

ここでは、ARKitによって屋内の形状をリアルタイムに検出し、その形状に応じて仮想オブジェクトの一部が地面にめり込んだり影が落ちるようになっています。プリレンダリングの3DCGに比べると低品質ではありますが、幾つかの要素によって仮想オブジェクトの実在感が担保されています。

iOS, ARKit, Unity, ARFoundation

②詩がループする

３次元的な構造で作られたループする詩と、平面的で物質的な制約がないウェブサイト上でループする詩を対比しています。

メディアごとに無限ループの構造を考えられるのかもしれません。ご自身のスマホからも体験することがもできます。

※会期中のみアクセス可能

Web browser, JavaScript

③詩がこんがらがる

物理レベルのこんがらがらせ方と、情報レベルのこんがらがらせ方を対比しています。

ARやVRでは3３DCGが用いられ、それらは複数の頂点やポリゴンからできていて、数値の羅列です。ここでは、その数値の順番をランダムに入れ替えることでグリッチのような効果を実現しています。

iOS, ARKit, Unity, ARFoundation

④詩を拡大する

印刷物の拡大とピクセルの拡大を対比しています。

印刷物やデジタル写真を拡大すると、網点やピクセルのようにメディアの固有性が浮かび上がります。一般に、どちらも解像度が高いほど良いとされますが、装飾性という観点からみるとその限りではありません。

また、ARは実写と仮想のふたつのレイヤーが一体となることで画面が成立していて、これも自然なほど良いとされますが、ここではチグハグなふたつの解像度を組み合わせ、新しい表示を探っています。

Web browser, JavaScript, p5js

⑤詩をめくる

「めくる」という動作を対比しています。

近年のVRデバイスでは、ユーザーインターフェースのひとつとしてハンドジェスチャーが用いられ、マウスなどと比べると直感的かつ複雑なジェスチャーが可能です。ハンドトラッキングされたデータは数値化され、その数値に応じてアルゴリズムを設計することで様々なめくり方を考えられます。ここでは、そのひとつの可能性としてピンチインのようなハンドジェスチャーによって現れる詩を試しました。

Meta Quest 3, Unity, Meta XR SDK

⑥詩を身につける

「身につける」という行為を対比しています。

MicrosoftのKinect登場以降、姿勢推定を使ったインタラクティブアートが一般化しました。近年ではセンサーやソフトウェアの技術も向上し、仮想空間上のアバターを動かすことも珍しくありません。

本作で扱っている技術は目新しいものではありませんが、体を動かし詩を身につけるようなインタラクションを通して、誰でも詩や文字を楽しめるような体験を試みました。

Web browser, JavaScript, TensorFlow.js, p5js

終わった感想

タブレットにAR技術を使って展示した。ARの表示では、現実世界にリアルタイムに文字が表示される。

モニタ上のみで表示される詩。

詩は