Hierarchical Reasoning Modelに関する研究
NotebookLM：https://notebooklm.google.com/notebook/ad471d2b-f6a4-4951-9b51-0675ba0bcb5d
提供された2つの文書は、複雑な推論タスクにおける大規模言語モデル（LLM）の限界に対処するために開発された、新しい再帰的ニューラルネットワークアーキテクチャについて論じています。
両論文は、推論システムを向上させるために、再帰的かつ深層教師あり学習が、従来の浅いTransformerベースのCoTアプローチに代わる、データ効率とパラメータ効率に優れた有望な手段であることを示しています。
by NotebookLM
HRM論文：Hierarchical Reasoning Model
26 Jun 2025
URL：https://arxiv.org/abs/2506.21734
人間の脳の階層的でマルチタイムスケールの処理からインスピレーションを得た階層的推論モデル（HRM）を紹介しています。HRMは、抽象的なプランニングのための高レベルモジュールと、詳細な計算のための低レベルモジュールという2つの再帰モジュールを使用し、Chain-of-Thought（CoT）モデルが苦戦する数独や迷路探索などのタスクで、少ないパラメータと訓練データで優れた性能を達成しています。
TRM論文：Less is More: Recursive Reasoning with Tiny Networks
6 Oct 2025
URL：https://arxiv.org/abs/2510.04871
HRMをさらに簡素化し改善したTiny Recursive Model（TRM）を提案しており、HRMの複雑な階層的設計や固定点定理の必要性を排除しています。TRMは、わずか7Mのパラメータを持つ単一の小さなネットワークを使用し、HRMやはるかに大きなLLMを上回る推論ベンチマーク（ARC-AGIを含む）でより高い汎化性能を達成しています。