Claude
https://gyazo.com/bd7416aa9a442d569514380a9e37f349
Claudeは実装の技術的な詳細についてはほとんど触れていませんが、AnthropicのConstitutional AIに関する研究論文では、AnthropicLM v4-s3という520億パラメータの事前学習済みモデルについて述べています RLHFとは異なり、Constitution AIのプロセスでは、人間ではなくモデルを使って、微調整された出力の最初のランキングを生成する。このモデルは、基本的な原理原則である「憲法」に基づいて最適な対応を選択する。研究論文にあるように、原理原則の策定は、強化学習プロセスにおける唯一の人間の見落としである。 Introducing 100K Context Windows! We’ve expanded Claude’s context window to 100,000 tokens of text, corresponding to around 75K words. Submit hundreds of pages of materials for Claude to digest and analyze. Conversations with Claude can go on for hours or days. Anthropic 10k token!?
Congrats to the @AnthropicAI team for launching 100K Context Windows! We tested it with our chatbot, Copilot, using a 144-page LMA-standard real estate facility agreement. Copilot was able to analyse and answer questions within seconds.
10kコンテキスト窓w