蒸留
層
が深い
ニューラルネットワーク
（
教師ネットワーク
）の
知識
を
層
が浅い軽量な
ニューラルネットワーク
（
生徒ネットワーク
）に伝えて
軽量化
を図る手法．
正解
かどうかではなく，予測の結果として
正解
の可能性が高いものについても
学習
として利用できるため効率が良いと考えられている．