naltoma
#NAL研 #712 #ルートビア
e05, e13の年次指導してたらしい
Twitter: @naltoma
^^するのが趣味らしい。
#デザインスクール
受講生募集してるらしい。2017年テーマは「子どもの貧困」。
9月末現在は、テーマに関する補足記事を書いてます。
京大院生だけでなく、愛媛大学からも受講生来るという打診あり。
今回5年目で論文(?)か何かで運営側として得られた知見みたいな話を書くことになるらしい。(遠い目)
[気になる論文・事例・ニュース]
2018/5
機械翻訳関連
教師なし学習は機械翻訳に魔法をかけるか?
関連: tweet1, tweet2
2016年頃の例では、「ソース文(S文)をターゲット文(T文)に翻訳し、その逆翻訳が元のソース文に戻る」ように学習。この時点で教師なし学習ではあったけど、翻訳時点でのノイズが問題で、これをS文->T文翻訳時のノイズ除去と、逆方向翻訳時のノイズ除去も学習するようにしてたが、互いに独立していた。
Phrase-Based & Neural Unsupervised Machine Translation(2018)では、上記のノイズ除去学習時に「モデル(重み)を共有」という強い制約を導入したら、割とうまくいったという話らしい。
BLEUの評価時に 本体の前処理(単語分割)を使うな
A Call for Clarity in Reporting BLEU Scores(2018)
2018/4
サブカルのためのword2vec
様々な略称が使われる&生み出されるアニメタイトルを対象に、同義語判定を自動化したいという事例。
Deep Learning for NLP, advancements and trends in 2017
深層学習ベースの自然言語処理で、ここ最近(2017年)の流行を概要&出典示しながら解説してる記事。
word2vecのオリジナル実装は層が浅すぎるということで様々な拡張がされ続けているという話と、学習済みの294ヶ国語分のベクトルデータが公開されてて、これをどう使うかという事例が増えてきてるっぽい。
深層学習に限らないですが、データ増えて学習時間増えると、ドメイン適合とか転移学習みたいな話も重要だよねという指摘も。
感情分析の話で「sentiment neuron」という「単一ニューロンで高精度出せた」という話が。アブスト読む限りでもそう書いてるけど、RNNで十分なデータセットと学習時間用意できればとかわざわざ書いてるので、そうとうな量&時間かけてるのかも。
Twitterとかのソーシャルなデータでの時系列感情分析の話も。SemEvalで毎年タスク設定してるよという紹介も。
自動要約では、RNNベースが代表的だったけどそれだと文章の長さの制限が辛く、その点を改善したLSTMベースのアプローチにアテンションモデルと強化学習組み合わせたモデルが出てるっぽい?
機械翻訳では、「完全な教師なし学習」への取り組みが始まってるっぽい。
Yahoo!ニュースで起こった「ダルビッシュ論争」~編集とデータ活用の現場から
「ニュース記事を13文字で表現する」ことの現場の様子。虫の目+鳥の目+魚の目。データは必要だが、それを参照して利用する(調理する)スキルが必要なケースとしての紹介記事。自然言語処理でいうところの「理解しやすい文章って何?」みたいなものに近いか。
Deep Learningにおける知識の蒸留
表現能力の高い学習器(モデル)は、質の高いデータを大量に揃えて時間かけて学習させればそれだけ精度向上に繋がりやすいですが、「表現能力が高い≒膨大なパラメータを含む≒計算コストが高い」ということで学習後に使うモデルを利用するだけであったとしても遅い場合があります。
そこをどうにかしたい(高速なモデルを使いたい)という用途の場合に、モデルを圧縮しようという考え方があります。蒸留(knowledge distillation)とも呼ばれていて、一度精度の高い重いモデルを構築しておき、その後でそれを教師役として設定し、小さなモデルで改めて学習し直すというのが基本的なアプローチです。単純に圧縮するだけではなく、抽象化するという側面もあるため、速度向上だけではなく精度も上がるということもあります。何故そうなるのかといったことは上記記事を読んでみよう。
2017/10
AlphaGo Zero: Learning from scratch
機械学習で、良質で膨大なデータセットを用意するコストが大きすぎる。ここでいうコストは人手がかかるという意味。だから「creating algorithms that achieve superhuman performance in the most challenging domains with no human input.(その問題に関する知識を人手を借りずに目標を達成させたい)」
「Previous versions of AlphaGo initially trained on thousands of human amateur and professional games to learn how to play Go. AlphaGo Zero skips this step and learns to play simply by playing games against itself, starting from completely random play.」AlphaGoの前バージョンでは膨大な棋譜から「どう指すべきか」を学習させていたが、このステップを削除し、自分自身都の対戦だけから学ぶようにした。最初はランダムに指すだけの状態から。
教師信号なしで(自分自身相手の対戦結果のみから)学習するために強化学習使ってるのは良いとして、無駄な探索が膨大すぎる気がするのだけどMonte Carlo tree search (MCTS)でどうにかなったという話?もちろんハードの性能向上も含めた「今」だからやれてるという話なんだろうけど。
関連: 「AlphaGo」が進化 囲碁の打ち手教えずに従来型破る
Map-based Multi-Policy Reinforcement Learning: Enhancing Adaptability of Robots by Deep Reinforcement Learning
「Multi-Policy」という名前が格好良い(ぉ)
関連: tweet by @hillbig
ロボットが壊れたり環境が変化してもすぐ適応できる学習手法
多様な学習結果を表に格納しておき環境が変化したら最適な学習結果を探索
Encoder-Decoder でレシピの材料名を正規化する
【「しょうゆ」のバリエーションは 100 種類以上】とか死ねる
2017/9: 科研費申請書作成に向けてあれこれ眺めてる事例。
ペアプロの一側面でも良いから何か支援できないかな〜
プログラミング教育における学習者の状況に適応的な支援ツール選出システムの開発 (2010)
タイトル通りなんだけど、こういうこと考える人もいるのか。
ペアプログラミング学習における状態の推定――つまずきの解決の成功と失敗に見られる会話の違い (2012)
(機械的に)内容理解できなくても、発話時間・繰り返し回数ぐらいでそれなりに状況判断できるよという話。
課題設計/採点支援
プログラミングレポート採点支援ツールと課題設計による評価方法の改善
レポート作成側じゃなくて、採点側か。
レポート作成支援
文を分かりにくくする要因の分析と改善支援手法の提案
システム化に向けて、優先度の高い推敲項目について調べたらしい。
議論支援
議論構造の可視化による論点の発見と理解, ファジィ学会 2003
議事録から話題切り分けして、構造化するという話。
聴衆参加型プレゼンテーションにおける発表構造獲得手法, WISS 2010
発表中にチャット併用前提で、「発表構造を把握するために聴者から情報収集する」ような質問促すシステム。
東ロボ->リーディングスキルテスト
ロボットは東大に入れるか, 通称「東ロボくん」
元々はタイトル通り「センター試験をロボットに受験させて合格させる」みたいな話が目標。
これを通して「機械的には読み取りにくい・把握しにくい設問」というのがある程度分かってきた。
ためしにそれを確認するテスト(リーディングスキルテスト)を「人間相手に実施してみた」ところ、実は人間も読み取れてない人多いよという話。
新聞記事
中3「教科書理解できない」25%…読解力不足
中3の15%、短文も理解困難 教科書や新聞で読解力調査
togetter: 中3の15%は短文理解も難しい?中学卒業までの読解的基礎力と将来との関連性に驚く人々と納得する人々「ツイッター見てたらわかる」
デジタライゼーション時代に求められる人材育成
リーディングスキルテスト詳細。
こういうところの教育支援(?)ってどうやったものかな。
評判情報処理
テキストを対象とした評価情報の分析に関する研究動向 (2006)
レビューとかアンケートとかから「評価対象に対する評価情報をどう抽出するか」に関するサマリ。
事例が少ない項目
間接的な表現。e.g., 「買ってすぐに電源が入らなくなった」「おもわず息子の頭をなでていた」
評価軸の曖昧さ。e.g., 「りんごが好きです」
ものによるけど、「どういう立場の人が書いたのか」推定
その他基礎的な言語処理技術
表記の多様性
局所的なコミュニティ特有の言い回し、略語等
周辺タスク
収集方法(フィルタ対応等)
データ拡張 for 機械学習
写真でいうところの左右反転・ノイズ付与・拡大縮小とかしてデータをかさ増しする方法。
これ、対話文とか自然言語に対してもやりたいよね。
データ拡張による感情分析のアスペクト推定 2017
類義語置き換え + LSTMな例。
クラウドソーシングと機械学習 (< 特集> 知識の転移) (2012)
ワーカー能力推定とかタスク難易度推定とかすると、クラウドソーシングでもそれなりに質担保できるよという話。
生成寄りの話
Generative adversarial networks (GAN)
Conditional GAN を組み合わせることで、同じスタイルで揃った数字を生成
表現学習(主に言語寄り)
異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開
word2vecではシンプルにユークリッド空間に写像してたけど、双曲空間で専用の物差し使って写像するという話。関連してグラフ構造(木構造)獲得の話も。
企業からこんな話が(まだ共同研究すると決まったわけではない)
コールセンターとかトラブル対応業務で、7割ぐらいはチャット的に自動応答できる。残り3割ぐらいが人間オペレータに頼っている。
割合はともかく、母数が増えていく一方なのでそれに応じて新人オペレータが毎年大勢いる。今はベテランオペレータとのロールプレイなどを通して教育しているが、この教育コストどうにかならんかね。