CCSE2018
at 明治大学 中野キャンパス
on 2018/07/01(日) 10:00 〜 17:30
https://gyazo.com/9cbaaf7fc8266bb1bfd30f595c318337
オープニング
岩本拓也
遅刻により聞けず
山口光太
遅刻により聞けず
中澤満
遅刻により聞けず
インタラクティブな属性操作が可能なファッションアイテム検索
中村拓磨
遅刻により聞けず
あとで詳しく知りたい
【スポンサー発表】メルカリの研究開発組織R4Dのご紹介
山村亮介
遅刻により聞けず
学会をゲームに -情報処理学会ECシンポジウム オーガナイズドゲームの試み-
Unity Technologies Japan プロダクト・エヴァンジェリスト 簗瀬洋平
遅刻により聞けず
今井晨介
遅刻により聞けず
中河宏文
Copy-On-Write
Hyper parameter optimization
モデルの再学習
一週間に一度
人間が介在して教師データをラベリングしているモデルもある
MLにおいてKPIをどう設定しているのか
【スポンサー発表】Unity Labsの研究成果
Unity Technologies Japan プロダクト・エヴァンジェリスト 簗瀬洋平
世界に21個
パリのUnity Lab
XR Editor
githubにあるよ
XR Foundation Toolkit
Animator XR
ARView
Humans Research
Graphics Research
Behavior Planner
Animation Synthesizer
XR Research
MR Editor Mockup
場所はあまり関係なくて、日本にもパリの研究所に所属してる人がいるよ
全世界でデバイス20億台
昼休憩
【基調講演】グローバル企業の中で「変化」を仕掛ける,楽天技術研究所の挑戦
森正弥
楽天技術研究所
事業とは独立したR&D
8割以上が日本人以外
ビジョン:サードリアリティ
3つの研究領域
パワー
HPC
分散コンピューティング
インテリジェンス :データから価値を生み出す
リアリティ:エクスペリエンス
66個の研究プロジェクト
42個のプロジェクトでビジネス成果を創出
代表的な成果
RakutenDrone
世界初のドローンデリバリー
RakutenCafe
サッカー選手のユニフォームからプロフィール情報などを表示
CreativeAI
シリコンバレーの研究拠点
創造性を持つ人工知能
繰り返しのタスクではない、パターン認識ではないAI
楽天生命技術ラボ
InsurTech領域の推進
遺伝子データ解析
アプローチ
研究立案・遂行の段階からビジネス部門と一緒にやる
最初からビジネス部門と一緒にやることで、ビジネス実装が実現できる
ビジネス部門でも研究部門の持っている技術、技術の課題などを把握することが重要
ビジネスデータを中心におく
現場の課題に触れる機会を増やす
楽天イーグルスの投球予測
広告関連のサービス
AIris
ディープラーニング技術によって、潜在的な顧客層を見つけ出すことができる
アカデミアとの連携
ユーザーの多様化、個別化
ビジネスの知識は20年経ったら使えなくなる
産学連携などを行って長期的視点で共同研究を行う
Stanford
Dan Jurafsky
MIT
Regina Barzilay
研究機関には無償で提供
楽天トラベル
文単位で評価極性情報がついているコーパス
商品画像
アノテーションつきデータセット
データチャレンジのイベントをやっている
未来店舗デザイン研究室
筑波大学との共同研究
楽天市場の店舗とも協力
最先端を走っている経営者は、時に学生や研究者、企画者よりも先を行っている
e-zakkamaniaとの共同プロジェクト
デジタルサイネージとスマートフォンを連携させる
楽天スタジアムの観客3万人のスマートフォンを接続させることができる
感性工学を取り入れて、リモートで接客しようという試み
ボイスチェンジャーで声を変えることで顧客からどんな反応が得られるかを試行錯誤
リアルでの接客は顔も見えて距離も近いから、友達感覚で結構キツイことを言ったりする
ボイスチェンジャーを使うことで「天の声」みたいになってキツイことを言っても大丈夫だったりするのではないか
接客のうまいスタッフが、在宅でも接客できるようになるかもしれない
今後の展開
広告業界の変化
よろしくない広告出稿先をどうしよう問題
想定外のユーザーにリーチしてしまうかもしれない問題
文化の違う人にリーチしてしまって炎上するかもしれない
割と世界的な問題になっている
広告を出そうと思ったら、根本的に、企業カルチャーを変えていかなければならない
スタートアップ企業とも協業
RakutenAccelerator
MaritimeRoboticsとの協業
無人船航行システムの研究開発
ビジョン
サードリアリティ
リアルとネットの融合
真木勇人
推薦システム
映画、音楽はたいてい一つづつ利用される
ファッションアイテムは、常に複数同時に利用される
アイテムの組み合わせかた=コーディネートによってセンスが良くなったり悪くなったりする カテゴリ間の推薦を実現したい
例:トップスを入力したときに、それと相性の良いボトムスを推薦
共通の空間に埋め込んでおく
一番近いアイテムを推薦
データセットに問題がある
Amazon同時購入データセット
同時に購入された=コーディネート整合性が高い??
Amazonのユーザー!=おしゃれに関心の強いユーザー
購入したアイテム!=着用したいアイテム
ファッションSNSのデータを使うと良いのではないか
IQON
服の画像を組み合わせてアップロードするSNS
コーディネートとして同時着用を想定した画像セット
「買った服」ではなく、「着たい服」
IQONのデータセットを使った実験
初期値:学習済み物体認識モデル
見た目が似ているアイテムをピックアップしがち
質疑応答
評価手法が主観なのでは
同感yuiseki.icon
カテゴリ間推薦における定量的な評価基準は……ない!
ビジネスとしてGoするんだったら必ずしも必要ないのでは
ファッションはトレンドが変わるのでは
返答聞き逃した
楽天株式会社 楽天技術研究所 楽天技術研究所東京 シニアマネージャー 平手勇宇
倉庫内オペレーションの最適化
ピックパスの最適化
楽天ブックス
ピッカーの人件費:配送料の50%
めんどくさいピックもあれば簡単なピックもある
ニッチなピックばかり:苦
アイドルのCDを大量買いする:楽
ピッキングリストをソートせずそのまま出す→近い商品にソートしてからピッキングリストを出力
ピッカーの総歩行距離の最小化
注文データから倉庫内ロケーションデータをもとにクラスタリング
商品が更新されたらどうなるのか?
完全にランダム、開いてるところに詰める
ロボットの導入
商品配達効率の向上
受け取りボックス
コンビニ受け取り
再配達の削減がしたい
楽天エクスプレス
初期の配達不成功率:19%
任意の荷物に対し、最適な配送の時間帯を推定する
すでに学習用データセットはある
配達成功?失敗?
住所
宛名
企業か?
会員データ
結婚しているか?
子供がいるか?
注文データ
商品カテゴリ
配送種別
配送日
平日か?
上記を元に最適化……→早朝か深夜に配達すればいいよ:……あたりまえ!
配達不成功率:11%にできるが……
限られたリソースのなかで最適化しなければならない
時間あたりの配達スロットの上限を決めるとか、小さな荷物はポストに入れるとかを考慮
配達不成功率13%くらいになってきている
Reactive Extensionsを用いた映像機器向けモバイルアプリの制御とキャッシュ機構の簡素化手法
村清司郎
デジタル放送対応録画TVチューナー「REC-ON」
ブルーレイ無しのモデル
アプリ起動シーケンス
デバイスへのリモートアクセスを要求、仮想Webサーバーへ認証
10秒くらいかかる
p2p通信
UDP Hole Punching
遅い、失敗する
接続が確立していなくても、ある程度使えるように見せることはできないか?
ReactiveX
RxJava
操作をキャッシュして、接続確立してから反映
【スポンサー発表】サイバーエージェントのアカデミックへのアプローチ
岩本拓也
サイバーエージェントの事業
メディア
広告
ゲーム
アドテクスタジオ
AI Lab
対話エージェント
大阪大学石黒研究室×東急不動産
広告クリエイティブ自動生成
広告因果効果分析
社内向けの研究論文誌「ホワイトペーパープロジェクト」
エンジニア全員投稿可能
社内で査読もしている
研究インターン
博士後期課程を対象
3つのテーマから選択
月額50万円~
トップカンファレンスの渡航費サポート
計算機科学領域の様々な分野
ゼミ制度
業務時間の一部を使える
20%ルール
研究テーマごとにゼミがある
全エンジニアが参加可能
白川達也
機械学習プラットフォーム
業界特化のSaaS
リテール
マニュファクチャリング
アノテーションとはなんなのか
AIの導入プロセス
データ収集
アノテーション
学習
評価
運用
アノテーションでコケると学習・評価・運用死んじゃう
少量の教師ありデータと大量の教師なしデータを使う
3つの手法で試してみた
効果はあるが不安定で、教師データを増やしたほうが明らかに精度が良かった
クリーンなアノテーション
顔認証の事例
同一人物・異人物判定99%の精度
巨大なデータセットを一生懸命念入りにクリーニングした
FaceNetのデータセットが改善されただけで古典的な手法でも精度が上がった
アノテーションの改善
ワイルドなデータ
本質的に難しいタスク
CIFAR,MNIST
アノテーションノイズを検知する
同一データを複数のアノテーターに割り振る
アノテーターごとのアノテーション傾向(ConfusionMatrix)を推定する
アノテーション傾向にブレのあるアノテーターが発見できる
Cygames Researchにおける技術研究とその実用化事例について:論文化・特許化・実用化の高速なイテレーションの実現
株式会社Cygames 技術顧問/Cygames Research所長 倉林修一
UI
Virtualization
AI
Rapid Iteration
実例
ポスターでチェックイン
ポスターがどこに貼られているのかを完全に認識できる
ポスターを認識しているのではない
まったく同じポスターなのに、どこに貼られているのかを識別できる
ポスターを枠に収めるという動作を促すことによって、ポスターの周辺の背景画像も取得・認識している
動画でチェックイン
リアルタイムに放送しているアニメをスマホのカメラで撮影するとポイントが付与される
画像認識を同時接続30万、秒間10万のリクエストで処理する
HoloLensで3Dキャラクターが現実空間の物体とインタラクションできる
点群データを持っている
Unityでふつうに3Dオブジェクトになるので、いつもどおりのアニメーションをつくれば、あたかも現実の物体とインタラクションしているかのように見れる
3ヶ月でイテレーションを回す
研究者の能力
論文を書く
体系化
特許を取る
権利化
実装をする
研究者は、理論だけでなくプロトタイピングまでやる
実用化
研究者の倍、実用化のためのエンジニアがいる
手法やアルゴリズムなどをライブラリ化する
API定義、更新
論文を書いてトップカンファレンスで査読をされる=テック企業においては、外部監査に等しい重要性
技術がガラパゴス化しない、体系化されて客観的に認められた価値のあるものになる
Autoencoderを用いたOutfitからのスタイル抽出
中村拓磨
ファッションアイテムの組み合わせによって受ける印象が変わる
スタイルを4つのテイストに分類して地図のように配置
仮定:すべてのコーディネートは基底となるスタイルの混合として表現できる
アクア、ブライト、クリスタル、アース
手法:スタイル混合比と基底スタイルを獲得する
教師なし学習でどんなスタイルがあるのかを調べた
データセット:IQON
検証:コーディネートベクトルを作る
Concat型
Channel方向に結合してCNNで画像特徴量抽出
アイテム数ばかり基準になってしまう
Reduce型
各出力の平均を取る
けっこううまくいった
考察
既存のスタイルを混合することで新しいスタイルを作ることができる
【スポンサー発表】楽天技術研究所および「未来店舗デザイン研究室」のご紹介
楽天株式会社 楽天技術研究所 技術推進室 企画・運営管理グループ 落合裕美
気持ち
馬場惇
対話エージェント
自動対話技術
大阪大学共同研究講座
テキストメッセージでの
複数人会話
選択式会話
個性・キャラクタ生成
音声対話での上記の実現
実店舗における接客の実現
積極的に話しかけてくる対話エージェントの研究
ロボットと会話するのが当たり前の世界にしたい
「私のためにやってくれている感」を出したい
なぜ?yuiseki.icon
実体験(経験)をベースに考えた
「自分の話をしてもいいかもと思える、信頼に足る相手」
「向こうから話しかけてくる相手」
何もしなくても話しかけてくるロボット
空気を読むみたいなことが必要そうyuiseki.icon
カスタマーサポートにおける理不尽なクレームを諦めさせたい
ガチャを回しても欲しいアイテムがでない!
パスワード忘れた!!ログインできない!
なんか変えるなら事前に告知しろ!
複数人の対話により「社会」を形成することで、理不尽さを理解してもらう
一次請けのチャットボット
難しい問い合わせのときだけオペレーターを呼ぶ
以後は3人チャットルームにいる状態
チャットボットにクレーマーの味方をさせる
このチャットボットも、実は裏でオペレーターが操っている
自然会話の中でも違和感なく介入させることができる
カスタマーサポートとのチャットの画面に「送信」ボタンのほかに、「怒る」ボタンがある
「怒る」とチャットボットが再度現れて、味方してくれる
しばらくの間は、ユーザーと一緒になってオペレーターに怒ってくれる
適切なタイミングで味方が突然折れると、諦めがつく
チャットボットを介入させることによって、カスタマーサポートに掛かる時間は明確に伸びる
実は何も問題解決してないんだけど、スッキリはするので、クレームは収まるのではないか
事例2:ロボットによるホスピタリティ
ホテルのエレベーターの前とかに小さいロボットを配置
人が通りかかったら話しかける
挨拶
近隣の便利情報
株式会社スタートトゥデイテクノロジーズ スタートトゥデイ研究所 プロジェクトマネージャー Rajam Sidhant
錯覚で無限にまっすぐ歩ける廊下を作る Unlimited Corridor Unity Technologies Japan プロダクト・エヴァンジェリスト 簗瀬洋平
空間を感じられるVR
ジャンプするVRコンテンツ
VR Jump Tour
ドローンで200mくらいまでジャンプできる
StratoJump
成層圏までジャンプできる
歩くVRコンテンツ
Redirected Walking
直径44メートルの空間が必要……
Magic Potという研究がある
円筒形の筒を触っているのに、VRで壺を表示すると壺のような物を触っているように錯覚するという研究
古典的な感覚モデル
感覚一つ一つの入力が独立して認知される
複数の感覚が相互作用して認知が生じる
Unlimited Corridor
丸い壁を触りながら歩く
エレベーターで上がる
200mの高さのキャットウォークにいる感覚
直径5メートルの空間で可能
【スポンサー発表】スタートトゥデイ研究所のご紹介
後藤亮介
スタートトゥデイ研究所
「ファッションを数値化する」
3つの取組み
「採寸」の研究
ZOZOSUIT
「服作り」の研究
プライベートブランド「ZOZO」
あらゆるサイズ・パターンの服をオンデマンドで作る生産ラインの研究開発
形や柄をカスタマイズするインターフェイスの研究開発
「似合う」の研究
エキスパートの知識抽出
コンテキスト・手持ちの服に応じたコーディネートの提案
「似合う」を探すインターフェイスの研究開発
「世界中をカッコよく、世界中を笑顔に」
AI Labにおける広告配信技術の研究開発について
谷口和輝
Response Prediction
Logistic Regression
Field-aware Factorization
Bandit Algorithms
探索
表示回数が少ないので可能性がある
活用
一番効果が良いのでもっと表示させたい
Counterfactual
配信することができなかった広告は反応を得ることすらできない
異なるアルゴリズムを取った時に、評価することができない
Counterfactual Evalution
Inverse Probability Weighting (IPW)
出現確率が低いものほど高く評価しましょう
IPWを用いたアルゴリズムの評価
IPWの有無で評価が大きく異なる
Offline Evalutionアルゴリズムの確立
スマートフォンから遠隔操作可能なデジタルサイネージの開発とその応用 楽天株式会社 楽天技術研究所 リアリティドメイングループ 牟田将史
進化するサイネージ
静的な看板
動的なデジタルディスプレイ
インタラクティブなタッチパネルやセンサなど
さらに進化させて、スマートフォンと連携して個人化させられないか
デジタルサイネージは、目を惹く
動的に更新されるコンテンツは人の目を惹く
適切なコンテンツを提供できる
課題
広告のゴールに対する貢献が小さい
public / privateの衝突
複数人での利用
ゴール
Webサイトをみる
商品を買う
インタラクティブなサイネージ
誰か一人だけが使うと他の人が使えない
他の人に見られていると個人情報とか書き込みたくない
複数人で同時に使えない
WallShop
壁にいろいろなアイテムが表示されている
スマートフォンで、サイネージ内のカーソルを操作できる
複数人の場合、複数カーソルが出現する
サイネージで選択しているアイテムの情報をスマホ側に引っ張ってこれる
スマホのブラウザで使える
スマホに設定されている言語設定の情報をカーソル毎に保持することで、ひとつのサイネージで多言語対応も可能になる
100人とか200人が同時にアクセスしても技術的には使える
画面サイズのほうが先に限界がくる
楽天スタジアム
スコアボードでWallShopやってみたけど使い難い
野球のイニング間で暇つぶし的に遊べるゲームを作った
野球選手がボートレースする
スタジアムにいるスマホユーザーがスマホで応援したい選手を連打すると早くなる
1位になると景品がもらえる
株式会社メルカリ Team AI Engineer Manager 木村俊也
1億ダウンロード、1000万MAU
C2Cのデータセットを持っている
Seller
Buyer
Team AIの研究領域
基本的にメルカリ事業のための研究開発
それ以外はR4D
SysML
量子アニーリング
メルカリでは、1クオーターごとに力を入れる分野を入れ替える
トップダウンで目標設定される
OKRメソッドを実践
Project CRE
Project UX
Project Grouth
Project US/UK
やること多すぎ
画像認識、自然言語処理はモデル作成に特化
SysMLはプラットフォームに特化
1人のデータサイエンティストにたいして2~3人のエンジニアが必要
data engineer vs data scientist
出品改善
カテゴリ推定
ブランド推定
色推定
類似画像検索
KPI:出品完了率
不正出品対策
メモできず
感動出品
出品したい物の写真を撮るだけでカテゴリとブランドが入力される!
特徴抽出
色推定
不正出品
画像と商品説明から異常検知する
マルチモーダル
テキストの特徴抽出
悪意のある本気の不正出品の対応は難しい
今後
機械学習で数10億オーダーの類似画像検索を実現したい
クロージング
益子宗