AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS
著者
Abstract
In this work we propose a simple and efficient framework for learning sentence representations from unlabelled data. Drawing inspiration from the distributional hypothesis and recent work on learning sentence representations, we reformulate the problem of predicting the context in which a sentence appears as a classifica-tion problem. Given a sentence and the context in which it appears, a classifier distinguishes context sentences from other contrastive sentences based on their vector representations. This allows us to efficiently learn different types of en-coding functions, and we show that the model learns high-quality sentence rep-resentations. We demonstrate that our sentence representations outperform state-of-the-art unsupervised and supervised representation learning methods on sev-eral downstream NLP tasks that involve understanding sentence semantics while achieving an order of magnitude speedup in training time.
メモ
既存のsentence埋め込みの課題
理想的なセマンティック表現は意味を表現することにある
存在するモデルはセンテンスの表層から再構築し学習し、意味を予測するだけではなく、センテンスの関係のない意味の側面も予測する
計算コストが高い
ターゲットセンテンスの単語時系列のデコーディングを含む単語レベルのオブジェクトの再構築
全ボキャブラリーのsoftmax層の学習
課題の解決
センテンス埋め込みの空間を直接操作するオブジェクトを提案
この生成オブジェクトは、センテンス候補が与えられたときの正しいターゲットセンテンス埋め込みを明らかにしようとする判別的な近似で置き換えられる
貢献性
センテンスの分散表現を効率的に行うためのシンプルで一般的なフレームワークの提案 新しいstate-of-the-artの達成
教師なしセンテンスの分散表現学習手法
いくつかのダウンストリームタスクをまたがる、センテンスの意味理解を含む
アプローチ
https://gyazo.com/c4397be2ca9d329a37b7ce9fddfd633c
実装