UIST2019勉強会
N35.7089501,E139.7627321,Z16 ダイワユビキタス学術研究館
講演
石井さん
BubBowlが初めて通った
https://www.youtube.com/watch?v=QDoqyS9K7NE
初心者なのに通ったしレビュー点数が高かった
1. アイデア
2. 再現性（実装の記述がいい）
3. 貢献に対する長さがちょうどいい
4. UIST受け
なぜUISTにうまくハマる研究が始まったか
テーマが好きだったので共同研究を抜けた
プロトタイプ2.5ヶ月
やっと表示できたものをWISS2018で見せた
プロトタイプができた段階で外に出し続けたのがよかった
色々な意見が得られた
UIST投稿を決断
落ちた学会の原稿も役に立ったし、結果としてじっくり推敲できたのがいい論文につながった
UIST
初海外なので大変だった
登壇 + デモをしてBest Demoになった
どこにでもありそうな外見のコップに無線で表示できるようにした
鳴海さん
Self-healing UI
https://www.youtube.com/watch?v=Q1zfu5GYW8A
リバッタルがよかったのでは
春→自己修復素材との出会い
冬→闇
素材の3Dプリントをかなり頑張ったが失敗した（気をつけよう！）
3月になってエモーショナルにキレ散らかしたらUISTできることになった
3週間やばい生活を続けた
締め切り直前に判明する数々の新事実
3日で論文を書いた……
異文化とのコラボは大変（e.g. ジャーナル重視 vs. カンファレンス重視）
部品の組み合わせではできないことがマテリアルにはできる
マテリアル→デバイス→インタフェースを一気通貫に作れる人はなかなかいない
論文
Knitting Skeletons: A Computer-Aided Design Tool for Shaping and Patterning of Knitted Garments
ホールガーメントマシン→複雑な編み物ができるがインターフェースが何もわからん
Webでいい感じのインタフェースを作った
プリミティブShapeをインタラクティブに変更
KnitPicking Textures: Programming and Modifying Complex Knitted Textures for Machine and Hand Knitting
編み物のやり方を示すプログラミング言語（KnitSpeak）みたいなものがある
KnitSpeakの21%をホールガーメントマシンの言語にコンパイルすることに成功
CarvingやPatchingもできる
SensorSnaps: Integrating Wireless Sensor Nodes into Fabric Snap Fasteners for Textile Interfaces
スナップ（直径19 mm）にワイヤレスセンサを埋め込む
コントローラやユーザ支援など
ShapeBots: Shape-changing Swarm Robots
Swarm robotsが走って形を作る
清掃やタンジブルインターフェースに
A 3D Printer Head as a robotic manipulator
エンドエフェクタを3Dプリントするマニピュレータ
エンドエフェクタを持ち上げたり落としたりできる
プリントしたものを動かしたりできる
Redirected Jumping: Perceptual Detection Rates for Curvature Gains
RDWの概念を応用してRDJをやってみた
RDWより強く曲げられる
Tessutivo: Contextual Interactions on Interactive Fabrics with Inductive Sensing
布に導電糸でコイルアレイを作る
機械学習したら27種類の金属を識別できる
TipText: Eyes-Free Text Entry on a Fingertip Keyboard
親指と人差し指をタップしてキーボードにする
片手かつノールックで入力したい
フリック入力のような工夫をしてQWERTYキーボードを人差し指に収めた
Unakite: Scaffolding Developers’ Decision-Making Using the Web
テーブル式のフォーマットで開発環境を選定できるChromeインタフェース
Mercury: Empowering Programmers' Mobile Work Practices with Microproductivity
マイクロタスクを生成してモバイル環境でのプログラミングを容易に
Sketch-n-Sketch: Output-Directed Programming for SVG
コーディングとGUIを行き来して双方のいいとこ取りをする
Output-directed Programmingを提唱してる
ダイレクトに図形を編集できるようにする
Tip-Tap: Battery-free Discrete 2D Fingertip Input
RFIDを使って電源不要の指入力デバイスを作った
触覚フィードバックの有無は精度に影響なし
アンテナ1つに複数のRFIDチップを用いた点が新しい
X-Droid: A Quick and Easy Android Prototyping Framework with a Single-App Illusion
UIモックだけでなく中身を作りたい
既存のアプリを開発中のアプリからバックグラウンドで呼び出せる
既存アプリの機能だけを使える
個人利用ならOK
3D Printed Fabric: Techniques for Design and 3D Weaving Programmable Textiles
布状のオブジェクトを3Dプリント
まず柱を作り、柱から柱へ樹脂を織り込んでいく
組み合わせでいろいろできる
Robiot: A Design Tool for Actuating Everyday Objects with Automatically Generated 3D Printable Mechanisms
IoTで、電子化されていないオブジェクトを動かすのは大変
動きを撮影すると機構を生成してくれる設計ツール
StackMold: Rapid Prototyping of Functional Multi-Material Objects with Selective Levels of Surface Details
複数マテリアルを鋳造でファブ
型枠を作ったらあとは手動で鋳造
Ohmic-Sticker: Force-to-Motion Type Input Device that Extends Capacitive Touch Surface
トラックパッドに晴れるシール型入力デバイス
筐体とGNDを共有するので、誤差が小さい
HMDにつけたり横につけたりできる
Context-Aware Online Adaptation of Mixed Reality Interfaces
MRの情報提示タイミング・位置をいい感じに制御するシステム
ルールベース + 最適化
瞳孔径で認知負荷を推定した
PUMICE: A Multi-Modal Agent that Learns Concepts and Conditionals from Natural Language and Demonstrations
自然言語でプログラミングできるようにした
曖昧な表現を、conversational approachで明確化していく
CircuitStyle: A System for Peripherally Reinforcing Best Practices in Hardware Computing
コーディングスタイルに倣って回路スタイルを提案した
回路スタイルを遵守させる支援システムを提案した
Proxino: Enabling Prototyping of Virtual Circuits with Physical Proxies
Fritzingでシミュレートした結果を実際のArduinoシールドにプロキシできる
物理デバイスにプロキシすることで何ができるかデザインスペースを整理した
InfoLED: Augmenting LED Indicator Lights for Device Positioning and Communication
ARで家電精勤を見る際にLEDで情報を送信する
高周波点滅なので人には見えない
Manchester符号で周波数が落ちない工夫をした
LightAnchors: Appropriating Point Lights for Spatially-Anchored Augmented Reality Interfaces
InfoLEDとほぼ同じ
iOS上で実行できる
Loki: Facilitating Remote Instruction of Physical Tasks Using Bi-Directional Mixed-Reality Telepresence
phisical tasks用のテレプレシステム
テレプレのデザインスペース定義
全部盛りにして各要素をオンオフできる
Portal-ble: Intuitive Free-hand Manipulation in Unbounded Smartphone-based Augmented Reality
ハンドジェスチャによるAR操作→仮想物体の深さがわからない
物体との距離をFB→近づくほど円が大きくなる、通知音がなる
物体との接触状態をFB→視覚、触覚
Learning Cooperative Personalized Policies from Gaze Data
視線情報を用いて最小限のラベルでユーザ支援
強化学習を使うとタスク完了時間・協力性が一番良かった
Sketchforme: Composing Sketched Scenes from Text Descriptions for Interactive Applications
自然言語からのスケッチ生成
教材作成、思考ツールに
バウンディングボックスと説明文で学習
Optimizing Portrait Lighting at Capture-Time Using a 360 Camera as a Light Probe
カメラマンに対して希望する光の当たり方から最適角度を教えてくれる
光を測定する特殊な機材が不要
Videostrates: Collaborative, Distributed and Programmable Video Manipulation
映像編集を共同作業する
HTMLベースで操作を宣言的に記述
Webstratesという以前提案したプラットフォームに組み込める
View-Dependent Video Textures for 360° Video
Video Textures：さりげなく映像をループさせる技術
360度ビデオに適用し、ユーザがみて欲しい方向を見るまで映像をループさせて待つ
任意タイミング、任意方向で適切なループが存在するような技術的工夫がある
HairBrush for Immersive Data-Driven Hair Modeling
対話的に髪をモデリング
適当に描いた髪から完成品をサジェスト
Self-healing UI: Mechanically and Electrically Self-healing Materials for Sensing and Actuation Interfaces
素材の特性をよく検討していた
Skin-On Interfaces: A Bio-Driven Approach for Artificial Skin Design to Cover Interactive Devices
人間の皮膚を模擬したインタフェース
ただ、皮膚と同じセンシングは全然できてない……
色とかをアンケートしたが、人種を考慮できてない
磁性粒子で体毛を引っ張る
安全な既製品のフェイスマスクとヘアワックスで塗布
皮膚ではなく体毛に提示して繊細な表現が可能
梶本研の静電気の論文に言及してない？
Supporting Elder Connectedness through Cognitively Sustainable Design Interactions with the Memory Music Box
スライドショーが流れるMusic box
開けると家族に通知される
開けるだけでOK（タッチは使えない）
たまに通話してくれるserendipityがいいらしい
StateLens: A Reverse Engineering Solution for Making Existing Dynamic Touchscreens Accessible
視覚障害の人でもタッチインタフェースを使える
どこをさわればいいかダイアグラムを作っておき、触覚フィードバックする
Designing AR Visualizations to Facilitate Stair Navigation for People with Low Vision
弱視の人が点灯しないようARで支援
投影ベース、ホロレンズそれぞれで適した方式を調べた
投影の方が素早く移動できた
GesturePod: Enabling On-device Gesture-based Interaction for White Cane Users
白杖でスマホ操作
自前の白杖に取り付けるだけ
ボタンのシステムと比較してなくて微妙
Soft Inkjet Circuits: Rapid Multi-Material Fabrication of Soft Circuits using a Commodity Inkjet Printer
インクジェットプリンタでフレキ回路を作成
使えるインクの範囲を示す式に従いインクを選定していた
複数インク & 色々な素材が使える
Photo-Chromeleon: Re-Programmable Multi-Color Textures Using Photochromic Dyes
単一素材にプロジェクションしてカラーテクスチャを作る
UVの後に可視光を照射すると色が見えるようになる
Morphlour: Personalized Flour-based Morphing Food Induced by Dehydration or Hydration Method
パスタ生地に溝を掘って変形させる
バイメタル方式だと角度が制限される
本手法なら変形角度が大幅に向上する
ビジュアル面と触感面で評価した
MeCap: Whole-Body Digitization for Low-Cost VR/AR Headsets
5ドル以下でモーキャプ
2つのおたまをつける
全身画像から姿勢と表情を推定
発想の勝利
Interactive 360-Degree Glasses-Free Tabletop 3D Display
フレネルレンズをつかったスクリーンにテーブルトップ3D映像を投影
ユーザの頭部位置に合わせて視点を変えられる
ユーザの白飛びやテーブルとの近さによっては失敗
FaceWidgets: Exploring Tangible Interaction on Face with Head-Mounted Displays
GUIが20センチの見やすい距離に出現する
インタラクション中だけ絵を近くに持ち上げてくれる
手をかざすと使えるタンジブルインタフェース
HMDに取り付けることで皮膚を伸縮させるデバイス
6つの円板を動かして、どの程度動かすと知覚できるか調べた
容器の重心位置をVRでの液体の状態と同期させた
液体の入った容器を持ってる感覚を再現した
7動作・2種類の粘性で有効性評価
2次元平面での重心変化を表現するために、2つのジェットプロペラで力覚FB
デバイスが見えない状態で重心を知覚できるかどうか調べた
Mise-Unseen: Using Eye Tracking to Hide Virtual Reality Scene Changes in Plain Sight
ユーザに気付かれずにVRコンテンツを変化させる
VRで不用意にコンテンツを切り替えると没入感が損なわれる
視野内であっても、ユーザの注視位置の外で変化させる手法を提案
さりげなく猫の足元にピースを移動させるアプリを作成
Pull-Ups: Enhancing Suspension Activities in Virtual Reality with Body-Scale Kinesthetic Force Feedback
サスペンション
剛体の曲がり・縮み・ねじり感覚を振動で提示する
6軸の力センサでセンシング、ボイスコイルモータで提示
剛体や弾性体を握る感覚
摩擦ベースで大きな力が出せるので、電力や高価な部品不要
Third-Person Piloting: Increasing Situational Awareness using a Spatially Coupled Second Drone
ドローン操縦のサポートのため、2台目のドローンで3人称視点を提供
ユーザの感想しかない……
2台目の安全性はどうなん
Is this Real? Generating Synthetic Data that Looks Real
リアルな擬似データ生成を行いたい
パラメータを記述して複雑なデータでも生成できるようになった
インタフェースが便利になったらUISTは通る
Bespoke: Interactively Synthesizing Custom GUIs from
CUIをわかりやすくするGUIを作って評価した
Mallard: Turn the Web into a Contextualized Prototyping Environment for Machine Learning
DOMからデータを取得し、コンソールで機械学習
元のページに再度レンダリングする
応用にあまり言及されてなかった……
TilePoP: Tile-type Pop-up Prop for Virtual Reality
空圧アクチュエータでVR空間のオブジェクトを再現
ポンプで空気を入れる
磁石を埋め込んで戻るときちゃんと畳まれるようにする
膨らむのは5秒だが戻るのに10秒かかる
milliMorph -- Fluid-Driven Thin Film Shape-Change Materials for Interaction Design
流体で動く薄膜インタフェース
製造の工夫が詳しかった
BubBowl: Display Vessel Using Electrolysis Bubbles in Drinkable Beverages
電気分解で泡ディスプレイ
泡の明度を評価
他の提案より解像度が高い
LeviProps: Animating Levitated Optimized Fabric Structures using Holographic Acoustic Tweezers
ビーズをアンカーにして布を浮かせる
様々な形状のものを6DOFで動かせる
最適なビーズ位置を提案するソフト作った
数センチ角のものしか浮かせられない
Turn-by-Wire: Computationally Mediated Physical Fabrication
旋盤のコントローラを独立にした
触覚フィードバックを自由に設計できる
スナップ感や終了通知などができる
危険な振動触感も教えられる
SpringFit: Joints and Mounts that Fabricate on Any Laser Cutter
レーザカッタで作った部品がはめ合いできない
オンラインのデータ配布では特に困る
スプリング構造を入れることではめ合い問題を解決
Ondulé: Designing and Controlling 3D Printable Springs
3Dプリントしたバネを変形させる
伸ばしたり曲げたりが実現する
荷重センサのデータで色々やるときのフレームワーク
指のブレ具合で触っているものの高さがわかったりする
直感的・連続的に検出できるが、身体との接触・面の広さ・物体の密度の違いに改善点あり
Pseudo-hapticsのパラメータとして筋活動を加えた
力を入れれば入れるほどものが動く
従来手法と比較したが、楽しい人と障害だと感じた人がいた
抵抗感は一番良かった
任意の立体物に触覚インタフェースを貼り付けるシステム
導電性インクジェット印刷やFDM 3D印刷で出力可能
実装したい刺激パターンや周波数、印刷手法を調整可能
プロトタイプのサイクルが加速される
手軽に作れる触力覚アーム
3DoF + 力センサ
フォームファクタの提案なので、大きさや可搬性など色々できる
センシングと触覚フィードバックを一体でできるデバイス
特殊なポリマー素材と銀を重ねる多層構造によって実現
たくさんのアプリケーションがある
Opisthenar: Hand Poses and Finger Tapping Recognition by Observing Back of Hand Using Embedded Wrist Camera
手の甲からのカメラ画像で手形状認識
Sozu: Self-Powered Radio Tags for Building-Scale Activity Sensing
バッテリ不要のセンシングデバイス
熱・振動・光を電力にしてデータを無線送信
PrivateTalk: Activating Voice Input with Hand-On-Mouth Gesture Detected by Bluetooth Earphones
口を押さえてこっそり喋ると音声認識が立ち上がる
判定精度が超高いが、静かな場所で一人で喋る必要がある
手法：FFTで発話認識→メル周波数ケプストラム分解して認識している
LabelAR: A Spatial Guidance Interface for Fast Computer Vision Image Collection
現実オブジェクトでAR
新規オブジェクトでも対応できて早い
RFTouchPads: Batteryless and Wireless Modular Touch Sensor Pads Based on RFID
RFIDを使ってバッテリレスのタッチセンシング
マルチタッチもできるよ！
Multi-Touch Kit: A Do-It-Yourself Technique for Capacitive Multi-Touch Sensing Using a Commodity Microcontroller
静電容量のマルチタッチセンサをDIYできる
ArduinoとProcessingのライブラリを作った
アプリケーション色々
DreamWalker: Substituting Real-World Walking Experiences with a Virtual Reality
屋外での既知でない土地でもリダイレクションできる
障害物なども動的検知してVR経路を生成できる
障害物検知はRealsense
RGB重ね合わせよりも歩行速度は落ちてしまった
隣に人がいれば安全なんじゃないですかねという話がされてた
The Memory Palace: Exploring Visual-Spatial Paths for Strong, Memorable, Infrequent Authentication
記憶の宮殿を使ったパスワード
Drift-Correction Techniques for Scale-Adaptive VR Navigation
現実とVRのドリフトについて再定義し、修正のための手法を定式化
ユーザ評価でドリフトが小さくなるのがわかった
NaviFieldsもぜひ
CAVRN: An Exploration and Evaluation of a Collective Audience Virtual Reality Nexus Experience
複数人VR体験の設計手法をちゃんと考えた
CAVEの人が著者に入っている
ActiTouch: Robust Touch Detection for On-Skin AR/VR Interfaces
腕時計型の送信機をつけた手でタッチする
受信機がHMDに付いていて、人間の身体を流れる信号を検出
実験が細かくていい
Eye&Head: Synergetic Eye and Head Movement for Gaze Pointing and Selection
間違ったターゲットの選択（Midas touch）問題を解決したい
3つの視線操作を提案した
仮装オブジェクトのサイズに合わせて手モデルのサイズを変える
小→大、大→小はOKという知見が得られた
Plane, Ray, and Point: Enabling Precise Spatial Manipulations with Shape Constraints
平面や線を軸にした物体操作を切り替えるためのジェスチャセット提案
INVANER: INteractive VAscular Network Editing and Repair
血管の3Dモデルがくっついたりばらけたりするのを手動修正する
実際の医師にインタビューしながら、医師向けインタフェースを作った
試行錯誤の過程がすごく詳細に書かれている