ChatGLM-6B
ChatGLM2-6Bは、オープンソース対訳会話モデルChatGLM-6Bの第2世代モデルです。 初期モデルのスムーズな会話や展開の敷居の低さなど多くの優れた特徴はそのままに、ChatGLM2-6Bでは以下の新機能を導入しています： より強力なパフォーマンス: ChatGLM の第一世代モデルの開発経験に基づいて、ChatGLM2-6B のベース モデルを完全にアップグレードしました。 ChatGLM2-6BはGLMの混合目的関数を使用し、中国語と英語の識別子の1.4T事前トレーニングと人間の好みの調整トレーニングの後、評価結果は、元のモデルと比較して、ChatGLM2-6BがMMLU (+23%)であることを示しています。 CEval (+33%)、GSM8K (+571%)、BBH (+60%) およびその他のデータセットは、パフォーマンスの大幅な向上を達成しており、同じサイズのオープンソース モデルにおいて強力な競争力を持っています。 より長いコンテキスト: FlashAttendant テクノロジーに基づいて、ペデスタル モデルのコンテキスト長 (Context Length) を ChatGLM-6B の 2K から 32K に拡張し、対話フェーズで 8K コンテキスト長トレーニングを使用して、より多くのラウンドの対話を可能にしました。ただし、ChatGLM2-6B の現在のバージョンでは、単一ラウンドの超長いドキュメントを理解する能力が限られているため、今後の反復アップグレードでの最適化に重点を置きます。 より効率的な推論: マルチクエリ アテンション テクノロジーに基づいた ChatGLM2-6B は、より効率的な推論速度とより低いメモリ使用量を備えています: 公式モデルの実装では、推論速度は第 1 世代よりも 42% 高速です。INT4 量子化、6G の下では、ビデオ メモリでサポートされるダイアログの長さが 1K から 8K に増加しました。