Kimi-Linear

概要

Kimi Linearは、短期、長期、強化学習（RL）のスケーリングなど、様々なコンテキストにおいて従来のフルアテンション手法を上回る性能を発揮するハイブリッド線形アテンションアーキテクチャです。その中核となるのは、有限状態RNNメモリの使用を最適化するためのより効率的なゲーティングメカニズムを導入したGated DeltaNetの改良版であるKimi Delta Attention（KDA）です。

Kimi Linearは、特にロングコンテキストタスクにおいて優れたパフォーマンスとハードウェア効率を実現します。大容量KVキャッシュの必要性を最大75%削減し、デコードスループットを最大で向上させます。

6 × コンテキストの長さは最大 100 万トークンです。