ニューラル構造探索(NAS)

タスクに応じた適切なアーキテクチャの探索

探索空間の設定

性能評価のコスト

生物学との対応

重みの学習が個人の学習であり、アーキテクチャの学習が進化にあたるのでは？

SPDF: Sparse Pre-training and Dense Fine-tuning for Large Language Models

【DL輪読会】LLMによるアルゴリズム生成に関わる論文