机の片付け度
良い点
懸念事項
3段階くらいなら良いが5段階とか増えてくると微妙な感覚をラベル付けしていくのが大変そう
ハッカソン的には、画像分類やっただけじゃインパクトがイマイチ薄い気がする
案2) 机の上に置かれたものを物体検出&認識して状況を解釈する案 状況を解釈して点数付けをする
例1)異なるシーンの混在
机の画像内に、「食器」「本」「化粧品」が同時に出て来たら何かが変 「食事をする」「読書する(or 勉強する)」「身支度をする」と異なるシーンが混在している
一人暮らしで全部ひとつの机の上で色々やろうとすると、こういう状況が発生する
机は作業場なので、何かの行為Aを終えたら、行為Bに移る前に、行為Aに関するものを一旦片付けないといけない 要は、ご飯食べた後にちゃんと片付けないでお化粧始めちゃったような状況。
食器とドライヤーが同居している例
https://gyazo.com/01ec0cedbf50344d8f790a264ea83678
そのため、机の上に「食器と化粧品が同時に出ていたら減点」みたいに点数付けする
例2)
「ペットボトルが2本も3本もあったらおかしい。減点」みたいな点数付け
https://gyazo.com/147e9bc17e07b36148726d0b9354dc47
例3)
「お皿が2時間も放置されていたらおかしい。減点」みたいな点数付け
時間の概念が入る
実際に試すのは良いけど、ハッカソン的にはデモしにくいというか カレンダー上に検出した物体の情報を出してみる?
良い点
案1よりも、もう少し突っ込んだ解釈ができる
懸念事項
事前に想定していない物体をどう認識した場合、どう点数付けするか?
ハッカソンのデモとしては、問題ないかもしれないが。。。
結果がUnknownでも「Unknownが5個ある」は変だって判断できる。。。?
教師データどう作る?
既存の学習済モデルでどのくらいカバーできる?
本を検出しただけだと「乱雑に置かれている本」と「ちゃんと並べられている(見た目的にはすっきりしている)本」を区別できない
位置や向きまで考えるのはちょっと面倒くさそう
補足
検出した物体の情報を、Wikipediaの情報などと組み合わせて「皿とコップは距離が近い」「本とペンは距離が近い」「櫛と化粧品は距離が近い」みたいな感じでシーンの解釈を自動でできると面白そう 「ダイニングテーブルにおもちゃが置きっ放しになってる」とか