ニューラル構造探索(NAS)

タスクに応じた適切なアーキテクチャの探索

探索空間の設定

性能評価のコスト

生物学との対応

重みの学習が個人の学習であり、アーキテクチャの学習が進化にあたるのでは？

SPDF: Sparse Pre-training and Dense Fine-tuning for Large Language Models

【DL輪読会】LLMによるアルゴリズム生成に関わる論文

Low-Rank Adapters Meet Neural Architecture Search for LLM Compression

ALPHAEDIT: NULL-SPACE CONSTRAINED KNOWLEDGE EDITING FOR LANGUAGE MODELS

岡野原大輔のランチタイムトーク Vol.41「学習したLLMを直接編集する」

Estimating the Probability of Sampling a Trained Neural Network at Random