Instruction-Following Pruning（IFP）

概要

性能と軽量化の両立：動的なプルーニング

従来のプルーニングは、モデルのパラメータを固定的に削減する。

IFPはプロンプトに応じて、入力ごとに動的なプルーニングマスクを生成する。

外部の予測器による重要パラメータの推定

LLMの外部に小さな予測器を設け、この予測器がユーザーのプロンプトを読み取る。

そして、モデルの順伝播時に重要度スコア（有効化すべき度合い）を予測し、必要なパラメータだけをアクティブにする。

MoEは、トークン生成ステップごとに異なるパラメータをロードするため、基本的に全パラメータをメモリに載せる

IFPは、プロンプト入力直後（デコード前）に必要なパラメータを選定して、それらのみメモリに載せる

Appleが開発した第3世代のオンデバイスAIモデル「AFM 3 Core Advanced」のアーキテクチャに、IFPが採用されています。

このモデルは全体で200億のパラメータを持ちますが、IFPを用いることで、リクエストの難易度に応じて10億から40億のパラメータのみを動的にアクティブ化して処理を行っています

参考