インタフェース設計論 授業ページ
11. 実世界インタフェース(1)
キーボードつきスマホ その後
日本語入力環境できた!
YouTube
気になる研究者を検索
出てこなければダメな研究者?
未踏名鑑
閑話休題
編集にあたって by
アーキテクチャとインタラクションデザイン by 中西
身体性に基づく実世界インタフェース by ?
集合知センシングによる実世界インタフェース by 味八木
ソーシャルメディアと実世界 by 垂水
テーブルトップインタフェース by 小池
家庭のユビキタスコンピューティング by 椎尾
日常生活のインタラクションデザイン by 安村
ウェアラブルインタフェース&センシング by 福本
計算機利用スタイルの変化
モバイル時代以前
机の上で端末に向かう
スタンドアロン
モバイル時代
どこでも/だれでも/いつでも
ネットワーク / 現実世界との融合
計算機の形態の変化
従来型計算機
CUI, GUI
実世界型計算機
実世界指向インタフェース
Invisible Computer
Ubiquitous Computing
実世界指向インタフェース
実世界の事物や状況を活用
机、紙、場所、時間、...
計算機がどこにあるかわからない
計算機データと実世界データの区別がない
e.g. 計算数内の数値と紙上の数字の区別がない
インタフェースが大きく変わる例
電車の切符
切符を売るインタフェースはむずかしい?
直接課金により切符関連インタフェースが消滅
スーパーのレジ
カートが課金すればレジは不要
自動ドア
実世界指向インタフェースのための技術
インフラ
無線通信
計算機小型化
入力装置 / 状況検出装置
センサ
カメラ
バーコード (1D, 2D) / RFIDタグ
位置認識 (GPS, WiFi)
出力装置
薄型ディスプレイ
プロジェクタ
研究動向
実世界指向インタフェースのアイデアと要素技術
計算機と実世界との融合テクニック
センサ技術 / センサ応用技術
モバイル環境の入出力技術
文字入力手法
小型画面利用技術
モバイル時代の暮らし方の提案
検索技術
コミュニケーション技術
関連概念/用語
Ubiquitous Computing (Ubicomp)
Pervasive Computing
Cyber Physical System (CPS)
Augmented Reality (AR)
Virtualized Reality ( = Augmented Virtuality )
Mixed Reality ( = AR + AV )
Wearable Computer
Tangible Bits
Ubiquitous Computing
Mark Weiserの造語
実世界に沢山の計算機を埋め込んでおく
計算機は動かなくてよい
Mark Weiser
"Calm" technology
> 書き慣れたペン、履き心地のよい靴、あるいは朝配達される新聞にたとえている。
ParcTab
Active Badge
ユビキタスコンピューティングの草分けみたいなもの
超音波で位置を検出するBatというシステム
ケンブリッジ大学とAT&Tの研究所で開発
現在もAndy Hopperらがこれに似た研究をしている
Andy Hopper
システム分類
システム分類
AR系
紙系
家系
机系
ウェアラブル系
人系
流通系
画像配信系
写真共有系
サイネージ系
時間系
地図系
天気系
交通系
Augmented Reality
「拡張現実感」
Virtual Reality(全て計算機で現実をシミュレート)に対抗
狭義 (Computer Vision, Computer Graphicsの研究者の理解?)
実世界画像にCG画像を重ねる手法
「電脳コイル」でポピュラーに
「AR Toolkit」で敷居が下がった
ARKit
広義 (インタフェース研究者の理解?)
現実世界を計算機の力で増強する各種の手法
CGに限らない
狭義のAugmented Reality
実世界画像にCG画像を重ねる
画像を重ねる手法
実物や自分の位置の認識手法
画像のずれや時間遅れを最小にする技法
3次元位置認識
画像を重ねる技法
HMD(Head Mount Display)式
光学式
ビデオ式
モニタ式
光学式
ビデオ式
モニタ式
ARによる飛行機内配線 (Boeing)
手術/診断での使用
Karma
透過表示型のHMDを装着してプリンタのヘルプを参照
HMDとプリンタの位置関係を計測してCG画像を重ねる
NaviCam
2次元バーコード利用NaviCam
実画像に計算機内の情報を加えてモニタに表示
2次元バーコードを用いてIDの位置と方向を認識
ビデオ: 2次元バーコードによるAR
電脳コイル
最近のブームの火付け役?
ビデオ: 電脳コイル
加藤 博一氏, Mark Billinghurst氏 @ Washington Univ.
1999〜
工学ナビ 橋本直氏
ビデオ: 電脳フィギュアARis
Parallel Tracking and Mapping for Small AR Workspaces
George Klein氏の開発
ソース公開
ビデオ: PTAM
ビデオ: 初音ミクが家の前を...
ARKit
ARKit
紙系
普通の紙/ノート/黒板などを計算機と融合
紙データと計算機データの相互変換
紙インタフェースの例
XAX
Paper WWW
PaperLink
PaperIcon
Ultra Magic Key
IconSticker
CrossPad
XAX
計算機内データと紙データの相互変換
「DataGlyph」(目だたないバーコード)利用
バーコード付きのカバーシート利用
DataGlyph
Paper WWW
紙に印刷したWebページに2次元バーコードを埋め込む
QRコード利用
PaperLink
VideoPen(小型カメラと蛍光ラインマーカを組みあわせたもの)利用
紙文書をハイパーテキストのように利用
マーカーで紙をなぞって領域指定
領域パタンにアクションを定義可能
未定義領域を指定するとOCRで引数指定
PaperLink製品版「LinkStick」
Audio Notebook
ノートに書いた文字のその時の音声をリンク
タブレット上のペンの動きと音声を記録
文字を書いたときの音声を参照可能
Pick and Drop
異なる計算機間のCut/Paste
ペン計算機の画面上から図形を「Pick up」して別の計算機の画面に「Drop」する
c.f. Drag and Drop
Paper Icon
Pick and Dropにより紙上のデータを計算機にコピー
Ultra Magic Key
情報を印刷した紙を指で操作
カメラで指認識
IconSticker
画面上のアイコンをバーコード付きアイコンとして印刷
任意の場所に貼りつけて実世界内アイコンとして使用
PICO
セガの子供用ゲーム機
絵本の上をペンでなぞるとテレビ上の画面が変化
CrossPad
Cross/IBMの製品
タブレット上の紙の上で字/絵をかくと書いたものがすべて記録され計算機に送出可能
Decrio
PalmPilotとCrossPadを一体化
家系
TRONハウス
PAPI
AwareHome
お茶ハウス
NICTハウス
TRONハウス
ホームオートメーション実験 (1989〜1993)
自動調味料装置
地下に移動コンテナを沢山格納するストレージがあって呼び出すことができる!
AwareHome
Georgia Techのプロジェクト
実際の家で各種の実世界インタフェースの実験
AwareHome
AwareHome
AwareHome
AwareHome
キッチン
床
風呂
京都産業大学のプロジェクト
ビデオ: 大画面ディスプレイ
Georgia Techのプロジェクト
実際の家で各種の実世界インタフェースの実験
未来のキッチン
おうちハック
MakeupMirror
SyncTrash
机系
机上に計算機画面を投影
机の上のデータ/操作と計算機内のデータ/操作を融合
システム例
DigitalDesk
InteractiveDESK
InfoBinder
DigitalDesk
机上にプロジェクタとカメラを設置
紙や指を認識しつつ画面を投影
InteractiveDESK
机上に投射した計算機画面をペンで操作
キーボードを机上に置くと前面のモニタが使えるようになる
InfoBinder
紙ばさみやマウスのように動作するInfoBinderデバイスを指のかわりに使用
仮─データを移動
閉じて別の実物に格納
MetaDesk
Phicon (= Physical Icon)を入力に使用
プロジェクタから背面投射された机
PingPongPlus
卓球台の上にプロジェクタで画像を投影
台の四隅のマイクで玉が当たった位置を検出
プロジェクタとカメラの組みあわせ
レンズによる光線のシミュレーション
Piano
inFORM
Wearable Computer系
計算機を「着て」使う
計算機は常に動いている (e.g. 腕時計)
Wearable Computerのアプローチ
携帯端末的アプローチ
小型計算機を持ち歩いて使う
Augmented Reality的アプローチ
人間の能力を増強
会った人を忘れない
目では見えない情報が見える
位置情報などを活用
ファッションショー
携帯端末的Wearable Computer
IBMの超小型PC
音声入力
MITのWearable6人衆
Thad, Steve, Sandy, Brad, Lenny, Rehmi
トロント大学12人衆?
Google Glass
ビデオ: Google Glass
塚本氏 @ 神戸大
その他のWearable Computer
人系
ソーシャルネットワーク
実世界集合知
流通系
配送追跡
配達状況をWebでチェック
画像配信系
動画配信
ustreamなど
Webカメラ
写真系
写真共有
地図との連携
サイネージ系
公共ディスプレイ利用
時間系
宴会サポート
予定表サポート
地図系
各種地図サービス
Google Maps, Yahoo Maps
Google Street View
リモートセンシング
位置情報サービス
現在地を知る
GPS応用
Geocoding
位置情報と認証
どこに行ったかを認証に利用
実世界的情報(写真とか)を認証に利用
天気系
天気予報
天気情報
交通系
自動車
電車
運行状況の確認など
まとめ