7. Augmented Reality

Augmented Reailty

増井俊之

慶應義塾大学 環境情報学部

masui@pitecan.com

2017年11月9日

Augmented Reality

Virtual Realityに対抗

狭義のAR

実世界画像にCG画像を重ねる

Computer Vision, Computer Graphicsの研究

広義のAR

現実世界を計算機の力で増強

CGに限らない

インタフェース研究

ポケモンGO

https://gyazo.com/930c4b003a89a1f806a29771c53597d2.png

https://www.youtube.com/watch?v=iQWbc5giC-Y

https://gyazo.com/0f1dfc779395f1fdb9ea20af83455508

最近の流行

「電脳コイル」でポピュラーに

「AR Toolkit」で敷居が下がった

「セカイカメラ」で有名に...

HoloLens, MagicLeap, ポケモンGo, ARKitなどでまた人気に

https://gyazo.com/4b1333aedd358ba3bcf27cc8fccf0004.png

広義のAR

「実世界指向インタフェース」

「ユビキタスコンピューティング」

センサを利用して計算機と実世界を融合

表示は有ってもなくてもよい

広義のARの例

バーコード、RFID

Suica

ラジオを聞きながら試合を見る

カーナビ

狭義のAugmented Reality

実世界画像にCG画像を重ねる

画像を重ねる手法

実物や自分の位置の認識手法

画像のずれや時間遅れを最小にする技法

3次元位置認識

Augmented Realityの例

http://masui.org/f0d2598a87f913c2aa43b2d000e4d508.gif

画像を重ねる技法

HMD(Head Mount Display)式

光学式

ビデオ式

モニタ式

プロジェクタ式

光学式

http://masui.org/b01f8f8c7ddb9d9426f34eda788c6832.gif

ビデオ式

http://masui.org/f55f7c4f49121ad78b133406b6f85b43.gif

モニタ式

http://masui.org/a298cb4d776098abbf76398e5a2cfa0e.gif

ARによる飛行機内配線 (Boeing)

http://masui.org/39c05a4ae66f45092a1dd525215ef391.gif

手術/診断での使用

http://masui.org/157c254708adac895edb24c8462a8108.gif

http://masui.org/9140463c8b5c1ec4a9e27adb0f0194e5.gif

オリンパスのシステム

内視鏡映像に腫瘍/視神経/骨洞等を重畳

https://gyazo.com/49fb5af7e70a9f81bb543a058f9ac7c7.png

Karma

HMDでプリンタのヘルプを参照

HMDとプリンタの位置関係を計測してCG画像を重ねる

http://masui.org/0dfe66559ab4ea24246494f11a51adc0.gif

http://masui.org/786c3fa5edca5d3eb41016f2ebfdb05a.gif

NaviCam

実画像に計算機内の情報を加えてモニタに表示

バーコード認識

http://masui.org/564d19d00095edc9cfaada7154c09189.gif

http://masui.org/70ba9d18856c75a54dedf9e92470306d.gif

2次元バーコード利用NaviCam

2次元バーコードを用いてIDの位置と方向を認識

http://masui.org/ba88fe067ad4ec8e8726b4086b545299.gif

http://masui.org/795961425fc089c146f65f98e99e8e2d.gif

Video: NaviCam

http://www.youtube.com/watch?v=S6XKPEexRbU

電脳コイル

ブームの火付け役?

https://gyazo.com/cdbde78694cbedaa95b2a21469c128d0.png

ビデオ: 電脳コイル

https://www.youtube.com/watch?v=L2QgAGGk9ow

加藤 博一氏, Mark Billinghurst氏 @ Washington Univ.

1999〜

http://hondana.org/%E5%A2%97%E4%BA%95/4048673610 http://masui.org/8565dd98143823ef91b3032ed02b38fa.png

AR Toolkit

黒い枠の中の図形をタグとして利用

https://gyazo.com/a4acc4273131921070560aa1ec837987.png

https://gyazo.com/1710f89d0d46dddfbadd43c9fe771335.png

ARをゲームに使った草分け

http://masui.org/788ed6a2f3313d09ab84acb2894c5b3e.png

ビデオ: 電脳フィギュアARis

https://www.youtube.com/watch?v=yCCx7zANsGE

George Klein氏

ソース公開

https://gyazo.com/3120a2d5f1e29e4093beb90cedadd0d7.png

Video: PTAM

https://www.youtube.com/watch?v=Y9HMn6bd-v8

Video: 初音ミクが家の前を...

https://gyazo.com/4b2c375c1a179af29aaa278a9e67bb5f.png

Video: 初音ミクが家の前を...

https://www.youtube.com/watch?v=PkmjN6eyyHg

ARKit

https://www.youtube.com/watch?v=khavGQ7Dy3c

ARKit

https://www.youtube.com/watch?v=GBds_Y9buxY

Wikitude

Android

GPS+コンパス

https://gyazo.com/872379f6a5bc710afb7553de2fca0f6d.png

Video: Wikitude

https://www.youtube.com/watch?v=8EA8xlicmT8

金町氏

https://gyazo.com/6493f9a229bf95b4e4d87473ffdf50e7.png

Video: SREngine

https://gyazo.com/6a1baeb130598dc22b3c90313ff1e45d.png

Video: TwittARound

https://www.youtube.com/watch?v=_Vbh7nHalCc

NY地下鉄案内

https://gyazo.com/ba57bf7b06da264c2a111fb54fe6eac7.png

Video: NY地下鉄案内

https://www.youtube.com/watch?v=ps49T0iJwVg

https://gyazo.com/4a730c80d833341dc3475d2b23d812fc.png

ビデオ: 星座表

https://www.youtube.com/watch?v=-mVl5Xd2DAw

https://gyazo.com/27b08ab05c3488f62c43defc365ab150.png

手品との融合 by Marco Tempest

https://gyazo.com/60245c53b318e4d42fcb9ebd2e0ca3aa.png

Video: AR Magic

https://www.youtube.com/watch?v=ZX8MBBohX3s

稲見氏

Keio KMD => University of Tokyo (2015/11/1)

様々なAR技術を開発

https://gyazo.com/998a98607efb92a30a28fbea2a68d5c9.png

稲見氏

https://gyazo.com/f4274d9beb4f639c8543542907315abf.png

Vido: 爆問学問

Google Glass

https://gyazo.com/72bc27b1ab8a51cc308edb241a8c2d58.png

Video: Google Glass

http://www.youtube.com/watch?v=9c6W4CCU9M4

Google Glass

開発中止

インタラクションへのAR利用

DigitalDesk

MetaDesk

PingPongPlus

LuminousRoom

DigitalDesk

机上にプロジェクタとカメラを設置

紙や指を認識しつつ画面を投影

http://masui.org/40b96c944513f8d03e6b26d7ed8b2877.gif

Tangible Bits

石井裕 @ MIT

人間が触覚的感覚で計算機内のデータ(ビット)を操作

システム例

MetaDesk

PingPongPlus

Luminous Room

石井氏講演会

https://gyazo.com/5c94ee3799a33f390560a8252509d94e http://ps.nikkei.co.jp/tf2017/

http://tangible.media.mit.edu/projects/ https://gyazo.com/aaaa760d6b048480f4863a2ff15db15f.png

MetaDesk

Phicon (= Physical Icon)を入力に使用

プロジェクタから背面投射された机

https://gyazo.com/3e1d1317a050381e784d8b87be83b1b5.png

PingPongPlus

卓球台の上にプロジェクタで画像を投影

台の四隅のマイクで玉が当たった位置を検出

マイク, ピエゾ利用

http://masui.org/113c4dd7bbf21081fdfe6c62db19d96d.jpg

Luminous Room

プロジェクタとカメラの組みあわせ

レンズによる光線のシミュレーション

http://masui.org/9e4f546bc185e1bcc1a6bf8e3abee2ac.gif

inFORM

http://tangible.media.mit.edu/project/inform/ https://gyazo.com/f7c503717d02e1924bca4251826b8fd0.png

https://gyazo.com/2c5e0ce2592e112af9fe18b98944cccf.png

ビデオ: TRANSFORM

ビデオ: Radical Atoms

https://www.youtube.com/watch?v=LOD8D7_iNNg

Pattie Maes

https://gyazo.com/ca690c2e0f39352c0f26457bed4decba.png

https://www.youtube.com/watch?v=YrtANPtnhyg

MicrosoftのAR

半透明HMD

Video: HoloLens

https://www.youtube.com/watch?v=IgtHnCJJUMU

Video: HoloLens

https://www.youtube.com/watch?v=qym11JnFQBM

謎の "wearable AR" 会社

Googleが出資

超軽量HMD?

Magic Leap

https://www.youtube.com/watch?v=REoI1QC7Uy0

Magic Leap

https://www.youtube.com/watch?v=kw0-JRa9n94

Magic Leap

https://www.youtube.com/watch?v=kPMHcanq0xM

アートへの利用

KAGE

http://masui.org/1738a0621424d74f36cfb262c8d1500e.png

Video: KAGE

https://www.youtube.com/watch?v=7JNk_lXjxQY

ICCで展示

https://gyazo.com/620f45a73f41694dc37e3e5113b428b0.png

Kobito

https://gyazo.com/e13275e04979dfd97b7f9467f6ad85f9.png

Video: Kobito

まとめ

ARがあたりまえのものになった

AR Toolkit, ARKit

ポケモンGO, HoloLens, etc.

小型プロジェクタなどによりあらゆる場所に情報提示可能

どこでもビジュアリゼーションの時代