スーパーコンピュータ「富岳」政策対応枠における大規模言語モデル分散並列学習手法の開発について
大規模言語モデルは、ChatGPT（注6）をはじめとする生成AIの中核として使用されている深層学習のAIモデルであり、4者は今後今回の研究開発の成果物を公開することで、アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整え、国内におけるAIの研究力向上に貢献し、学術および産業の両面で「富岳」の活用価値を高めることを目指します。 今後4者は、日本の研究者やエンジニアが大規模言語モデルの開発に活用できるように、今回の「富岳」政策対応枠で得られた研究成果を、2024年度に、GitHub（注7）やHugging Face（注8）を通じ公開する予定です。また、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果に繋がることが期待されます。
目標としては、GPT3.x並みの1700憶パラメタのモデルを富岳の1/5程度を使って一月程度で事前学習モデルを形成します。勿論、富岳ではその為に多くの高速化の技術を既に開発中で、それらの技術は今後の各機関の学習専用スパコンやFugakuNEXTなどに活かされるでしょう。 Satoshi Matsuoka 170Bか
富岳ってGPUなの？yosider.icon
CPUメインのスパコンですwogikaze.icon
一方で、1000垓規模の計算をするにあたっては、富岳以外の選択肢もある。一般的に深層学習に向いているとされるGPUを搭載したスーパーコンピュータとしては、産業技術総合研究所が構築・運用する「ABCIシステム」が日本最大とされてきた。搭載されているGPUの計算処理性能も富岳のCPUを超えている。 https://gyazo.com/6c01d2a80c3f616a109115cbb79730b0
ABCIシステムはさまざまな組織が共用しているものであり、長時間貸切ることが難しい。性能は高いが占有できないという“現実”がハードルになっている。
対して富岳は、各CPUの処理性能を見るとABCIシステムのGPUの17.75分の1程度。しかし、現実的に使えるリソースの規模を考慮すると1000垓規模の計算を実現できるのは日本で富岳だけになるという。
GPUとは違う高速化機構がある？yosider.icon
理化学研究所 計算科学研究センター 松岡 聡 センター長
「富岳」で開発された「A64FX」（注11）は、SVEと呼ばれるAIの加速機能を備えていますが、その能力を最高に発揮し、かつ一般的なAIアプリで活用するには、ソフトウェアの開発と最適化が不可欠です。今回の共同研究を通じて、本計算科学研究センターの研究者を含む、我が国の言語モデルや計算機科学の研究者が結集して、スーパーコンピュータ「富岳」上で大規模言語モデル構築基盤の高度化に取り組むことが重要です。これにより、本センターとしてSociety 5.0の実現に貢献していく所存です。 注11 A64FX：
富士通が開発したARMベースのCPUでスーパーコンピュータ「富岳」に搭載。 東工大
https://gyazo.com/64e8e3a6838c7029bab35bee954efc9e