蒸留
層が深いニューラルネットワーク(教師ネットワーク)の知識を層が浅い軽量なニューラルネットワーク(生徒ネットワーク)に伝えて軽量化を図る手法.
正解かどうかではなく,予測の結果として正解の可能性が高いものについても学習として利用できるため効率が良いと考えられている.