知識蒸留
#研究
そもそもクソ強い教師モデルがあるなら,わざわざ小さい生徒モデルでやらせる必要はないのでは
クソ強モデルはGPUを潤沢に使える前提
エッジデバイスとかを考える上では,モデルサイズを減らした上で性能とのトレードオフと戦う想定
ウォッカは弱いアルコールから蒸留して純度を高くして作る