蒸留
@birdMan710Nika
: データセットの蒸留に関するサーベイ
読んでおくべき
［2301.05603v1］ A Comprehensive Survey to Dataset Distillation
カリフォルニア大学バークレー校のAI博士候補であるリトウィック・グプタ氏は、「スタートアップや学者が、ChatGPTのような人間と連携した商用大規模言語モデル(LLM)の出力を使って別のモデルをトレーニングすることは、ごく一般的なことです」
https://gigazine.net/news/20250130-openai-has-evidence-china-deepseek-distillation-train/