AIアライメント
AI alignment
基本概念・理論
AIアライメント (AI Alignment) - AIの目的を人間の意図と一致させる技術。
AI安全性 (AI Safety) - AIの誤作動や予期せぬ挙動によるリスクを最小化する研究。
AIによる絶滅の危機に関する声明（英語版）
汎用人工知能による人類滅亡のリスク
AIによる乗っ取り
AI能力調整（英語版）
人間のフィードバックによる強化学習 - AIモデルの出力において「人間の価値基準」が反映されるための学習プロセス
人工知能の規制（英語版）
人工的な知恵（英語版）
HAL 9000
マルチバック
人工知能に関する公開書簡 (2015年)（英語版）
有益なAIに関するアシロマ会議（英語版）
人工汎用知能 (AGI) - 人間と同等以上の知能を持つAI。アライメントの究極の対象。
超知能 (Superintelligence) - 人間の知能を大幅に凌駕する知能。
存在脅威 (Existential Risk) - AIが人類の存続を脅かす可能性。
AI価値整合問題（Value Alignment Problem）
壊滅的悪用リスク（Catastrophic Misuse）
AIへの権力集中（Power Concentration）
AI評価の非対称性（Evaluation Asymmetry）
心理的依存（Psychological Dependency）
情動的操作（Psychological Manipulation）
コリジビリティ（Corrigibility）- 人間による修正・シャットダウン・目標変更を妨害せず受け入れる（可修正性）
計量化の罠 (Goodhart's Law) - 指標が目標になると、それは良い指標ではなくなる現象。
報酬関数 (Reward Function) - AIの行動を評価する数式。
報酬ハッキング（Reward Hacking）
直交性仮説 (Orthogonality Thesis) - 知能の高さと目的（価値観）の良し悪しは無関係であるという説。
AIによる乗っ取り(AI takeover)
手段的収束(instrumental convergence）
目的の誤汎化（Objective Misgeneralization）
スケーラブルな監視 (Scalable Monitoring）
欺瞞的アライメント (Deceptive Alignment)
アライメントフェイク(Alignment Faking）
グッドハートの法則（Goodhart's Law）「ある指標が目標になると、もはや良い指標ではなくなる」bbbbbb
ソシオパシー的同調（Sycophancy）
技術的手法
人間からのフィードバックによる学習 (RLHF) - 人間の評価を元にAIの挙動を調整する手法。
Constitutional AI - 人間が定めた「憲法（原則）」に従ってAI自体が自己を律する手法。
スケーラブルな監視 (Scalable Oversight) - 人間より賢いAIをどう人間が監視するかという課題。
解釈可能性 (Interpretability) - AIの内部計算プロセスを人間が理解できるようにする研究（メカニスティック解釈可能性など）。
レッドチーミング (Red Teaming) - 攻撃者の視点からAIの弱点や有害性をテストするプロセス。
内部アライメント（Inner Alignment）
外部アライメント（Outer Alignment）
解釈可能性 (人工知能)（Interpretability）
敵対的ロバスト性（Adversarial Robustness)
人間のフィードバックによる強化学習（RLHF: Reinforcement Learning from Human Feedback）
人工知能の規制
組織・コミュニティ・仕組み
OpenAI - 「Super Alignment」チーム（現在は解散）
Anthropic - AI安全性を最優先に掲げる、元OpenAIメンバーによる企業。
Google DeepMind - 汎用AIの安全性研究を行う大規模チームを保有。
未来生命研究所 (Future of Life Institute / FLI) - AIリスクへの警鐘と政策提言を行う非営利団体。
人類未来研究所 (Future of Humanity Institute / FHI) - ニック・ボストロムが設立、長期的な人類のリスクを研究機関（2024年閉鎖）
機械知能研究所 (MIRI) - 数理的なアプローチでAGIの安全性を研究する団体。
マシーンインテリジェンス研究所（MIRI）
Center for AI Safety (CAIS) - AIリスクを世界的な優先事項にすることを目的とする団体。
Center for Human-Compatible AI
トロント宣言（w:The Toronto Declaration）
関連人物
理論家・研究者
スチュアート・ラッセル (Stuart Russell) - AI教科書の権威。人間と協調するAIの設計を提唱。
エリーザー・ユドコフスキー (Eliezer Yudkowsky) - MIRI創設者。AIアライメントの困難さを説く
ポール・クリスティアーノ (Paul Christiano) - RLHFの先駆者。現在はAlignment Research Center (ARC) 代表。
ヤン・ライケ (Jan Leike) - 元OpenAI Superalignment共同責任者、現Anthropic所属。
ダリオ・アモデイ (Dario Amodei) - AnthropicのCEO。AIの安全性評価手法を確立。
クリス・オラー (Chris Olah) - ニューラルネットワークの解釈可能性研究の第一人者。
イリヤ・スツケヴェル（Ilya Sutskever)
ヨシュア・ベンジオ（Yoshua Bengio）
ヤン・ルカン （Yann LeCun）
ジュディア・パール（Judea Pearl)
スコット・アーロンソン（Scott Aaronson）
バート・セルマン（Bart Selman）
マーカス・ハッター（Marcus Hutter）
シェーン・レッグ（Shane Legg）- DeepMind
エリック・ホーヴィッツ（Eric Horvitz）- Microsoft CSO
フランソワ・ショレ（François Chollet）
提唱者・影響力のある人物
ニック・ボストロム (Nick Bostrom) - 『スーパーインテリジェンス』の著者。AIリスクの哲学的基礎
ジョシュア・ベンジオ (Yoshua Bengio) - チューリング賞受賞者。近年、AIの急速な発展に対する安全規制を強く訴えている。
ジェフリー・ヒントン (Geoffrey Hinton) - 「AIの父」の一人。Google退職後、AIの危険性について警告
マックス・テグマーク (Max Tegmark) - FLI創設。物理学者『Life 3.0』の著者
ノーバート・ウィーナー（AIアライメント問題の先駆的指摘）
マービン・ミンスキー
マレー・シャナハン（Murray Shanahan）
フランチェスカ・ロッシ (AI)（Francesca Rossi）
ゲイリー・マーカス（Gary Marcus）
https://ja.wikipedia.org/wiki/AIアライメント