膝蓋腱反射オーケストラ

自分の体、あるいは他人の体のシェアリングエコノミー。体を貸している間は、別の現実非現実の別のアバターを使っている。自分の体に付帯する様々な権利やメンバーシップもシェアリングできるようになるかもしれない。この時起こる問題や、価値観の変化とは何か？-Uozm

用語解説

膝蓋腱反射とは

膝蓋腱をハンマーで打つと大腿四頭筋が収縮して下腿が跳ね上がる現象です。

膝が床につかない状態で、膝を叩くと足がポンッって上がるでしょう？

この作品は、体の一部が他者に貸し出された状況におけるオーケストラを実践するものです。

演奏者は3人いて、それぞれリクライニングチェアにて体を固定されています。Aはハイハット、Bはスネア、一人はキックを担当しています

リクライニングチェアには膝を叩く用のハンマー、足の先にドラム、音を出したいタイミングで押すボタンがあります

https://gyazo.com/20e8b3ee0e3c866b2404c78d2ffba58f

Bangを送るボタンを押すと、他の人（例えばAがボタンを押したら、B）のハンマーが膝に落ちて膝蓋腱反応によって足の先にある楽器の音が鳴ります

https://gyazo.com/b15426ec73b627fad5d58dead60dca84

つまり、A（ハイハット）がボタンを押したらB（スネア）の膝蓋腱反射が起きてスネアの音が鳴る、B（スネア）が押したらC（ハイハットの）、、、と言うような構成になっており、誰かしら必ず他者の身体を借り、自分の身体を借りられている状態となっています。

それぞれのプレイヤーは、 ARサングラス（VRでもいいけど）でカメラで撮影された他の人の膝の様子が見えるようになっています。それによって実際自分のBangによって他の人の膝が動いて音が鳴っていることが確認できます。

https://gyazo.com/f39797aa8f6b3fcd3ba9680a8bdb784a

-.icon

これの何がすごい？

「自分の身体を他人に貸し、自分の身体を他人から借りる」という将来的に起こりうる状態を擬似的に作ることができる

今まで物理楽器は2本の腕、二本の足を前提としていたが、例えば視線入力によって他の人の膝蓋腱反応を起こせるとしたらそれの物理的拡張が可能となる

演奏者と演奏に対して指示を出す人の分離が達成される？

これの何が問題点としてある？

膝蓋腱反射が単純に起こらない人がいる（病気の場合）し、演奏レベルで何度もやるのは現実的に難しい（連打とかができない）

仮に膝蓋腱反射よりも良い外的刺激から筋肉の動きを誘発させるものがあればそれを使いたい。

今の所のどの奥に指を入れたらえずく反射を使って他の人がボタンを押したら喉奥の棒が突っ込まれてえずく体の動きで演奏する程度しか思い浮かばない

筋肉に電気流して勝手に動くとかってどこまでできているのかな？をディグる必要ありけり

ただ、膝蓋腱反射で足が動かされてる絵面はマジでおもろいからやるなら維持はしたい。

これを進めていくとどんな拡張性がある？

多感覚統合を使った楽器演奏？

多感覚統合

複数の感覚情報の間に相関を見出すと、そこに密接な関係があると学習してしまう現象。

最初にメトロノームを使って他人の足と自分の足が同じ刺激で同じように動くようになったら、ラバーハンド錯覚が生まれて多感覚統合による演奏体験ができる？

スライムハンド錯覚

鏡を隔てて鏡面側にスライムの塊を，鏡背面側に参加者の手を配置し，参加者には鏡の中のスライムの塊を見てもらう．次に，参加者の手の甲の皮膚を引っ張るのと連動させ，鏡面側のスライムを引っ張ることで，鏡の中のスライムの伸長があたかも自らの皮膚の伸長に感じられる

手の移動感覚を実際とはずれた位置にスライドさせる方法の一つ。

これもVRを使ったら視界が制約されるのでより手軽にできそう。

人間の身体の拡張のプロトタイピングを行うって点で多感覚統合はツールとして結構使えるのではないか？

一旦これをプロトタイピングするとしてどう言った形でやる？

6人用意する

3人は足が浮いている状態で椅子に座ってその先のバスドラムやらなんでもいいんだけど膝蓋腱反射が起こったタイミングで蹴れる場所に置く

残り3人は片手を座っている人とつないで、もう片手にハンマーを持つ

残り3人の仕事は、手を繋いでいる人が手を握ったらもう片手のハンマーを振り下ろす。

それによって、技術的に椅子を作らなくても、やらなくても一旦自分の身体の一部を貸して、他人の体の一部を借りる状態を作ることができる。

-.icon

受けたフィードバック

筋肉に電気刺激、色々やってるよね？

作品の新規制のなんだ

CAとか入ったらこういうことありえるよね〜とかがあれば使ってもOKかもしれん

身体性

ハンマーが即座に動いたら、、、

安全性大丈夫か〜！！

そこから膝を叩いて、足が上がるまでに時間がかかる

打ちどころがうまくいったりいかなかったりする可能性がある

上がったりほとんど上がらなかったり

これって人間の体の特性じゃない？

こういう不確かさっていうものを持っている！

人間って外的にやったとしても外的なズレとかって絶対おこるよね！

そこら辺まで含めた装置

だとしたら演奏ってこうなるよね？

操ってる感覚はこんな感じだけどうまくいったらこうだよね〜みたいなバランス

この感覚でボタン押したら、、、この人に対してこうだな〜とか

それを組み込んだ何かは想定はできたりするし、個人的な感想として

身体の持っている制約が人間が体として普段コントロールしているものの限界

知覚とかもそこに連動してきている

何を知覚するか、どう反応するか？

そこを明らかにする。

それを利用したような面白いもの

どんだけ早くしてもこれ以上早くならないよ〜

そこの限界が見えたりすると、サイバネティックアバターはこのスピード、サイズ感では済まなくなるよ〜

膝だけじゃなくってなんかない？

uozm

操り人形

人工関節で抵抗しないでくださいってルール付けで

時間遅延で回っていくパターンとか人数の比率だったりいろんなものが考えられる

それで相当辺なことになってたら面白い

相互接続された場合とか

一人の行動→二人

リレー形式

それぞれの動きが完全にその通りにならないから、、、アレンジされて帰ってくる

ハウリング状態になる

時間遅延作ってそこにリズムが生まれてくるとか

制約

3人おいた時に二人目は見えなくなるとかできるけど、、、

一回セッションかなんかしてみる

これは戦争で行ったらどうなる？

SF的にどんどん考えていく

人とのコミュニケーションがこえるものとして社会的な体の貸し借りが新しい集合知的リビドーになる

その時のEthicalに

15禁なのか18禁なのか？

人が一旦操ってみたいな

人形浄瑠璃にする誰がMasterで誰がSlaveか？

どういうパターンが出てくるか？

そこが出てくるパターン言語がアバター貸し借りに

時間遅延

自分の行動パターンが次の日の5時ぐらいに効いてくる

そこで出てくる抽象化されたデザイン言語だったり

それをいろんな形で解釈できたりする

この形にしたらやばいことが起こるからやめておけ

-.icon

膝蓋腱反射オーケストラvol.2

前回の振り返り

膝蓋腱反射を使って、体の一部が他者に貸し出された状況におけるセッションを実践作品。Aが指示を出したらBの膝が叩かれ音が鳴る、Bが指示を出したらC、Cが指示を出したらAが鳴るようにして、

実験してみた

人が集まらなかったので、膝蓋腱反射の楽器に対する応用を考察しました

うまく行ったとこ

膝蓋腱反射でカホンを鳴らすことはできた

膝蓋腱反射を使った楽器の限界を知ることができた

うまくいかなかったとこ

膝蓋腱反射は狙って出すのはかなり難しい

人間の体でやってこれなら、機械的にやるのはそもそも無理

大体10回やって6回ぐらいできたら本当いい方

最後の方になると、動きを予測してあげてしまった人もいる

求められている動きがそれになってしまうため、パフォーマンスだとこれが特に顕著に出かねない

音を出してからフィードバックするまで時間がかかる

自分が音を出している感覚が何もない

音を鳴らすぞ！って思う→叩く→膝が動く→音がなる

これに大体0.6秒ぐらいかかってしまい、全く自分が足を操作している感覚がない

そもそも膝を叩くのに音がなる

別の道具（ペットボトル以外）を使っても同じ結果になった

じゃあどうするのさ？→案①DextrEMSを使う

そもそも膝蓋腱反応を使わない方がいい。筋肉に電気信号を与えてそれで動かした方が未来感ない？

DextrEMS, a new invention from the Human Computer Integration Laboratory directed by UChicago CS assistant professor Pedro Lopes uses a combination of electrical muscle stimulation (EMS) and mechanical brakes to control individual fingers of its wearer.

筋肉に電気刺激を与えて5本の指を割と自由度高く動かすことができる

シカゴ大学のHCI labが開発

https://gyazo.com/81a2c9effd20e4a8b30b143eea36cdfe

じゃあどうするのさ？→案②Possesed hand

2010年暦本研で作られた上と同じようなデバイス（だけどかなりできることは限られてくる）

だけど楽器演奏の学習補助としての拡張性がみられていて、使い方は結構楽しめそう

暦本さんは繋がりがコンドームぐらい薄くあるので、一旦連絡してみる

⏫しっかり繋いでもらうように連絡した。

https://scrapbox.io/files/665db74114f3a8001cfbcb53.png

使ってどうするの？

5本の指、かつ機械制御される中でのシンプルな動きで演奏される状態において最適化された楽器を作る

MIDIコンとかPADのマッピングを作るぐらいでOK

あとはほとんど同じ、誰かの入力によって自分の身体が勝手に動き、自分の入力によって誰かの体が勝手に動く状態を作る

これの何が問題点としてある？

連絡はしたものの、DexterEMSを入手することが可能かどうかわからない

とりあえず返事待ちの状態

返事待ちの状態の時のサブプランをその間に進める

操り人形状態にしてKAGURAを演奏させるなど

自身の意思とは関係なく他者に操作される体験を作る

これの拡張性について

今はA→B→Cのパターンしか考えていなかったが、このパターンは無制限に考えることもできる

例

A→B、C

B、C→A

A→B、C→A

そのほか時間差が発生している状況など

このパターンを試していって、どのパターンだとうまくいく、どのパターンだとうまくいかないという現象をどんどん記述していく

それによって、CAが達成された社会において、どのパターンだとコントロール、被コントロールがうまくいくかのパターンランゲージ（繰り返し現れる関係性とか）が完成する

それはCAができる前に法律とか倫理面の問題を考える上で非常に役に立つ

視界の制約

前はVRヘッドセットをつけてコントロールしている人の視界を見る状態になっていた

これは続けてもいいけど、今やりたいのはCA時代のパターンランゲージの形成のため、一旦保留

逆にプロジェクトがめちゃくちゃ進んできた時にこれをぶっ込んでどんな状態になるかを検討したい

改めて何がゴール？

身体を貸す/貸される状況に於けるCA時代のパターンランゲージ

最後に

チームメンバー募集しています〜特にプロマネできる人欲しいです、、、

スケッチ

https://gyazo.com/f754ca66d5f3b78551a8555eb62c02df

仕組みとして複雑にしちゃってる

やることはある意味単純

装置が単純に動いていれば見た目としては面白い

半分コントロールしながら〜

言いたいことはあるけれども周りが見た時にどうなる？

やってる本人は面白い。周りはどう？

そこでwowって起こらない。

わかりやすくするんだったら、一人体が完全に乗っ取られた人を作る

観客の目線としてはわかりやすくなる。

そういうものだ！ってなる

自由が利かずにされてるな〜って

これで音を出したりする？

はい

コントロールしている方も思った通りに行かなかったりする

このタイミングでこう動かしたかったのに、、、

自分の体だったら自由に動かせるのに、、、

ワンステップがあるからうまく行かなかったり

コントロールされている方は方で言われるがまま

その関係性があったりする

そこも単純に演出として見せられるものになっていたら、、、

自由自在には動かせていない

自分の体のようにはまだ動かせないけどそこも含めて楽しんでいるのかな〜

そのわかりやすさがあった上で、パフォーマンスの時間の中で逆襲が起きるとか

そういうパターンを作っていく

片方が動かして三つ巴の関係ができていきました〜とか

観客としてもついていける

そこはうまく一個一個が伝わるような演出がされていれば、、、

説明文を読まされてああ確かに！ってなるよりも

演奏するものも物理的に音が鳴る方が面白い

物理的に音がなった方が絶対に面白い

そこの説明がなくていいから便利になる。

筋肉の速さと強さを兼ね備えるのは難しそう

この作品は体験型ではない

説明をなるべく文章の力に頼らない

見てわかるものにする。

CAとか言ってる時点で説明は必要ﾀﾞｹﾄﾞﾈ

パフォーマンスとして複雑な状態（半分コントロール、被コントロール）は本当に必要？

楽器を違うものに変えたり、、、

その展開の仕方だったりを変えたり十分伝えたいことが伝わる状態に

最終発表はベータドームの真ん中にあの円形になる机を置いてその周りを客で囲むスタイル

カメラで手の様子をプロジェクターに写す

パフォーマンス時間10分ぐらい

参加者も参加可能にする（？）

https://scrapbox.io/files/665dc2f914f3a8001cfc10f7.MOV

https://scrapbox.io/files/665dc5e3d0b265001df20747.MOV

-.icon

フィードバック

自分の行為が相手の操作に完璧にそうなっちゃうって話よりも

サイバネティックアバターと法律ってテーマ

それ一旦おいといて、CAと音楽で何が面白い？って話をした時は

なんかの行為がハックされたり邪魔されたり

干渉されたことによってグルーヴが変わる

一番面白いのはドラムとかベースのグルーヴ

ドラムを叩くとする

扇状の軌跡を描く

その軌跡が他者からの干渉によって崩れる

ベースのn弦だけめちゃくちゃ重い

干渉するやつは他の場所にいたり、干渉するやつは別の演奏をしている

それによって謎グルーヴが生まれる

身体が絡んでいることがすごく重要

それによって身体が適応したりする

そのせめぎが残る

普段の演奏していることによって、影響が

お互いが適応し合い続ける

これが面白い

即興と設計が二律背反？

実際そうじゃない

プレイヤーが意図的に即興しているんだけど、条件付けが変わる

システム論的にはとんがってる

来週までとりあえず読む

創造っていうものは人間と環境との相互作用

楽器とかの身体用件は物理的構造に紐づいている

音楽的必然性はない

物理法則が音楽を作っている（半分は）

西洋音楽的には音楽は人間の脳内にあって、それを楽器を使って表現している

めっちゃい

演奏としても体験としてもおもろくなってる

それ作れたら

SJQでそれを使う

最初の実験は演奏しているどっちかの人が演奏を邪魔するぐらいでいい気がする

それがある程度当たりがついてきたら、演奏家同士が互いについている状態で、、、

スケッチはもうちょっと詳細