YubiCamera

概要

スマートフォンのカメラを用いて写真撮影とトリミングを同時に行うアプリケーションである．撮影対象物を撮りながら同時に指の動きで画像の切り取り領域を指定できるため，将来的には，メガネ型端末などの画面を持たないデバイスへの移植が考えられる．

使用方法

Android端末, iPhoneなどの動画を撮影できるスマートフォンを用意する．

スマートフォン標準の動画撮影アプリを用いる

人差し指に貼ったマーカーシールをスマートフォンカメラに向けた状態で，空間を四角形に切り取る動きを動画として撮影する．

マーカーシールが正円に映るようにカメラに向けながら，切り取りたい領域を描くように人差し指をゆっくり動かす．

四角形を意識して領域を決定すると後の静止画抽出の作業で成功しやすい．

後に紹介するウェブアプリケーション「YubiCamera現像所」では，アップロード可能な動画ファイルのサイズに制限を設けているため，撮影は5 ~ 6秒ほどで済ませる．

サーバで動画ファイルをコマ切れの静止画に分割し，各コマでマーカーシールを検出してこれの位置に基いて切り取り領域を決定する．

開発内容

領域指定のアイデア

指にマーカーシールを貼ることにより，切り取り領域の位置を特定しやすくする手法

今後の開発でより安定した切り取りが可能になれば，指に付けたマーカーシールの色の違いにより，撮影後のアクション (Instagramに投稿，メールで送信など) を区別して指定することを検討している．

ウェブアプリケーション

上記の領域指定方法を用いて撮影された動画をウェブブラウザからアップロードすると，目的の領域をトリミングした静止画像が返却される．

領域決定アルゴリズム

マーカーシール位置の特定にはHough変換による円型抽出を行っている．

(a) Hough変換では，マーカー以外の円型を大量に検出するため，マーカー以外の円を除外する必要がある．

(b) 撮影環境の明暗状況や過剰な手ブレなどによってコマ切れ静止画からマーカーが検出できない場合や，(a)での円型除外処理により正規のマーカーも除外されてしまった場合など，撮影時間とともに変化するマーカー位置情報を全て取得できるとは限らない．そこで，検出できた限られたマーカー (除外しきれなかった誤検出の円形を含む) 位置情報から，もっとも最適らしい切り取り領域の四角形を決定する必要がある．

上記の処理 (a), (b) を解決するために独自アルゴリズムを考案し，現在も撮影実験を行いながら改良を進めている．下図は，幾つかの動画ファイルに対する，アルゴリズムの改良による切り取り領域の決定の変化を示す．緑色の四角形枠は改良前，赤色の四角形枠は改良後を表している．また，赤色の円形は，Hough変換による円型抽出の後，処理 (a)を行った結果残った円型の位置を示す．

https://gyazo.com/60aef3dd077a7d5931699feafcce9702

公開情報

リリースブログ記事