naltoma
e05, e13の年次指導してたらしい
＾＾するのが趣味らしい。
受講生募集してるらしい。2017年テーマは「子どもの貧困」。
9月末現在は、テーマに関する補足記事を書いてます。 京大院生だけでなく、愛媛大学からも受講生来るという打診あり。
今回5年目で論文（？）か何かで運営側として得られた知見みたいな話を書くことになるらしい。（遠い目）
[気になる論文・事例・ニュース]
2018/5
機械翻訳関連
2016年頃の例では、「ソース文(S文)をターゲット文(T文)に翻訳し、その逆翻訳が元のソース文に戻る」ように学習。この時点で教師なし学習ではあったけど、翻訳時点でのノイズが問題で、これをS文->T文翻訳時のノイズ除去と、逆方向翻訳時のノイズ除去も学習するようにしてたが、互いに独立していた。
2018/4
様々な略称が使われる＆生み出されるアニメタイトルを対象に、同義語判定を自動化したいという事例。
深層学習ベースの自然言語処理で、ここ最近（2017年）の流行を概要＆出典示しながら解説してる記事。
word2vecのオリジナル実装は層が浅すぎるということで様々な拡張がされ続けているという話と、学習済みの294ヶ国語分のベクトルデータが公開されてて、これをどう使うかという事例が増えてきてるっぽい。 深層学習に限らないですが、データ増えて学習時間増えると、ドメイン適合とか転移学習みたいな話も重要だよねという指摘も。
感情分析の話で「sentiment neuron」という「単一ニューロンで高精度出せた」という話が。アブスト読む限りでもそう書いてるけど、RNNで十分なデータセットと学習時間用意できればとかわざわざ書いてるので、そうとうな量＆時間かけてるのかも。
Twitterとかのソーシャルなデータでの時系列感情分析の話も。SemEvalで毎年タスク設定してるよという紹介も。 自動要約では、RNNベースが代表的だったけどそれだと文章の長さの制限が辛く、その点を改善したLSTMベースのアプローチにアテンションモデルと強化学習組み合わせたモデルが出てるっぽい？
機械翻訳では、「完全な教師なし学習」への取り組みが始まってるっぽい。
「ニュース記事を13文字で表現する」ことの現場の様子。虫の目＋鳥の目＋魚の目。データは必要だが、それを参照して利用する（調理する）スキルが必要なケースとしての紹介記事。自然言語処理でいうところの「理解しやすい文章って何？」みたいなものに近いか。
表現能力の高い学習器（モデル）は、質の高いデータを大量に揃えて時間かけて学習させればそれだけ精度向上に繋がりやすいですが、「表現能力が高い≒膨大なパラメータを含む≒計算コストが高い」ということで学習後に使うモデルを利用するだけであったとしても遅い場合があります。
そこをどうにかしたい（高速なモデルを使いたい）という用途の場合に、モデルを圧縮しようという考え方があります。蒸留（knowledge distillation）とも呼ばれていて、一度精度の高い重いモデルを構築しておき、その後でそれを教師役として設定し、小さなモデルで改めて学習し直すというのが基本的なアプローチです。単純に圧縮するだけではなく、抽象化するという側面もあるため、速度向上だけではなく精度も上がるということもあります。何故そうなるのかといったことは上記記事を読んでみよう。
2017/10
機械学習で、良質で膨大なデータセットを用意するコストが大きすぎる。ここでいうコストは人手がかかるという意味。だから「creating algorithms that achieve superhuman performance in the most challenging domains with no human input.（その問題に関する知識を人手を借りずに目標を達成させたい）」
「Previous versions of AlphaGo initially trained on thousands of human amateur and professional games to learn how to play Go. AlphaGo Zero skips this step and learns to play simply by playing games against itself, starting from completely random play.」AlphaGoの前バージョンでは膨大な棋譜から「どう指すべきか」を学習させていたが、このステップを削除し、自分自身都の対戦だけから学ぶようにした。最初はランダムに指すだけの状態から。
教師信号なしで（自分自身相手の対戦結果のみから）学習するために強化学習使ってるのは良いとして、無駄な探索が膨大すぎる気がするのだけどMonte Carlo tree search (MCTS)でどうにかなったという話？もちろんハードの性能向上も含めた「今」だからやれてるという話なんだろうけど。
「Multi-Policy」という名前が格好良い（ぉ）
ロボットが壊れたり環境が変化してもすぐ適応できる学習手法
多様な学習結果を表に格納しておき環境が変化したら最適な学習結果を探索
【「しょうゆ」のバリエーションは 100 種類以上】とか死ねる
2017/9: 科研費申請書作成に向けてあれこれ眺めてる事例。
ペアプロの一側面でも良いから何か支援できないかな〜
タイトル通りなんだけど、こういうこと考える人もいるのか。
（機械的に）内容理解できなくても、発話時間・繰り返し回数ぐらいでそれなりに状況判断できるよという話。
課題設計/採点支援
レポート作成側じゃなくて、採点側か。
レポート作成支援
システム化に向けて、優先度の高い推敲項目について調べたらしい。
議論支援
議事録から話題切り分けして、構造化するという話。
発表中にチャット併用前提で、「発表構造を把握するために聴者から情報収集する」ような質問促すシステム。
東ロボ->リーディングスキルテスト
元々はタイトル通り「センター試験をロボットに受験させて合格させる」みたいな話が目標。
これを通して「機械的には読み取りにくい・把握しにくい設問」というのがある程度分かってきた。
ためしにそれを確認するテスト（リーディングスキルテスト）を「人間相手に実施してみた」ところ、実は人間も読み取れてない人多いよという話。
新聞記事
リーディングスキルテスト詳細。
こういうところの教育支援（？）ってどうやったものかな。
評判情報処理
レビューとかアンケートとかから「評価対象に対する評価情報をどう抽出するか」に関するサマリ。
事例が少ない項目
間接的な表現。e.g., 「買ってすぐに電源が入らなくなった」「おもわず息子の頭をなでていた」
評価軸の曖昧さ。e.g., 「りんごが好きです」
ものによるけど、「どういう立場の人が書いたのか」推定
その他基礎的な言語処理技術
表記の多様性
局所的なコミュニティ特有の言い回し、略語等
周辺タスク
収集方法（フィルタ対応等）
データ拡張 for 機械学習
写真でいうところの左右反転・ノイズ付与・拡大縮小とかしてデータをかさ増しする方法。
これ、対話文とか自然言語に対してもやりたいよね。
類義語置き換え + LSTMな例。
ワーカー能力推定とかタスク難易度推定とかすると、クラウドソーシングでもそれなりに質担保できるよという話。
生成寄りの話
Conditional GAN を組み合わせることで、同じスタイルで揃った数字を生成
表現学習（主に言語寄り）
word2vecではシンプルにユークリッド空間に写像してたけど、双曲空間で専用の物差し使って写像するという話。関連してグラフ構造（木構造）獲得の話も。
企業からこんな話が（まだ共同研究すると決まったわけではない）
コールセンターとかトラブル対応業務で、7割ぐらいはチャット的に自動応答できる。残り3割ぐらいが人間オペレータに頼っている。
割合はともかく、母数が増えていく一方なのでそれに応じて新人オペレータが毎年大勢いる。今はベテランオペレータとのロールプレイなどを通して教育しているが、この教育コストどうにかならんかね。