「話す、たたかう、作りだす」第1部講義メモ
00:03:18 第1部開始
00:05:18 伊勢さんによる導入
（ゲーム）AIという分野には遊びというテーマに対して独特のアプローチがあるのでは（伊勢）
すでにある遊びを分析、研究するだけでなく、遊びそのものを作り出し、その過程でさらに新しい知見を得る
FF15が面白くて生活リズムが狂うほどハマってしまったんですが、ゲームというのはなぜこんなに面白いんでしょうか？（伊勢）
デジタルゲームはインプットとアウトプットのリズムがある（三宅）
デジタルゲームは70年代から50年くらいの積み重ねがあり、ユーザーを面白さに引き込むテクニックとして、階層的に快楽をつくるようになっている
剣でモンスターをザクッと切る：0秒の楽しさ
何発かなぐるとチャリンと経験値やお金が出る：30秒の楽しさ
どんどん的を倒すとレベルが上がる：5分の楽しさ
レベルを何度か上げると次の街に行ける：30分の楽しさ
感動したのは、作業的にレベルを上げなくてもけっこう簡単にレベルがあがることで、人助けをしたりおつかいをするうちにレベルが上がるのが「得を積む」というのはこういうことなのかと…（伊勢）
今日はFF15のような最先端の話とともにゲームAIの歴史をお話いただく（伊勢）
00:13:38 三宅先生の自己紹介
今日は個人として来ているので、あまり会社のゲームの話はできないですが…（三宅）
2004年にゲーム産業に入り、20年くらいずっとAIを作ってきた
2004年ごろはゲームがAIを本格的に導入しはじめた頃で、日本語の文献もほとんどなかった
後から来る人や社会にいろんな技術を渡したいと思い、執筆してきた
デジタルゲームだと現実より先に全体性を持ったAIを作ることができるので、「知能とはなにか」と問いを考えながら作ることができる
AIのアカデミックな場で哲学的な議論はあんまりしない。産業の真ん中のほうが哲学的なことを考えている（三宅）
応用の最先端が哲学的というのが人工知能の世界の面白いところ
00:16:03 いきなり結論
理系なんでいきなり結論を言わないと気がすまない（三宅）
ゲームのAIは3種類
ゲームを外側からプレイするAI
将棋やチェスをプレイするAI
アカデミック
ゲーム内部から構築するAI
三宅先生の本職
ゲームの構成要素
敵を動かすなど
ゲームを作り出す人工知能
プレイヤーの様子を見てゲームを管理する
進んだものはゲームそのものを製作する
スライドが400枚くらいあるので、どうしようかなと…（三宅）
630枚のスライドが届いて、削って400枚なんですよ！（伊勢）
00:18:08 第1部 ゲーム内部から構築するAI
人工知能は60年くらい歴史がある
コンピュータの誕生と同時に人工知能が立ち上がってきた
人工知能は「閉じた問題（問題設定がはっきりして偶発性がない問題）」しか解けない
フレーム問題
科学者はとりあえず閉じた問題を解かせていた
ダートマス会議(1956年)
人工知能研究者が10人集まったと言われているが、1週間くらいやってるから10人全員顔合わせてないのでは（三宅）
問題を解くAIが想定されていた
これはすごい図ですね…（伊勢）
人工知能は学問じゃないと今でも言われる
作ってみてできてみて考える（構成主義）
根本をなす理論がないというのが逆に強みでもある？（伊勢）
そう。だからブームになるとなんでも人工知能になる（三宅）
よくある誤解が、なんでもできる人工知能があると思われていること
そんなものはない。95%のAIはどれか一つのことに特化している
残りの5%のAIは汎用的なもの？（伊勢）
AGIと呼ばれるもの。人間と同じように1つの知能でいろいろできるもの
だんだんそっちに向かっているが第3次ブームにはそこまでいかないかなと（三宅）
人間と逆
なにか１つことであれば人間を超えた、というのが第3次AIブームで起きている
知能と知性の差は？（伊勢）
自分は知能はAbility（能力）、知性はExistance（存在）と考えている（三宅）
知能を持ったものが知性、という区別（伊勢）
00:26:24 人間と人工知能の違い（フレーム問題）
人間は柔軟に問題を設定できる
AIは現状まったくできない
DNN(Deep Neural Network)つくるときに、何に使うのかを決めているのは人間
80年代はコンピュータの能力が低すぎて何を作っても叩かれるので、（フレーム問題のような）哲学的議論をする時間があった（三宅）
いまはまったく逆で、哲学的議論をする暇がない
人間に残された能力は問題を作る能力
00:29:52 問題を分類すると
開いているか閉じているか
偶発性が多い問題（一般道の運転とか）は開いている
精密か直感か
専門型か総合型か
AIが得意なのは閉じていて専門型で精密な問題
人間より圧倒的にうまい
24時間はたらける
開いていて総合型で直感的な問題は人間が得意
人工知能と人間の得意不得意はだいたい逆（モラベックのパラドックス）
フレームが閉じている問題領域＝ゲーム
ディープラーニングのおかげで定式化できない問題もある程度解けるようになってきた
00:34:43 意識の階層と環境
人間の意識には階層がある
AIもだいたいの場合は意識しか作らないが、ゲームAIは無意識を作る ゲームキャラクターは体があるから、そこは無意識で制御
知性と環境
知性同士がわかりあうには？
環境が複雑だとわかり合うのが難しい
わかりあうには、ノンバーバルコミュニケーションが必要（三宅）
環境にフレームを設定すれば、わかりあえる
ゲームだとそれができる
テニスのダブルスのプレイヤーはコートの上では相性ぴったりとか
00:39:33 ボードゲームの人工知能
ボードゲームは人工知能のゆりかごだった
盤面の情報を定義しやすい（知識表現）
完全に情報を表現しやすい（完全情報）
人口知能は箱庭の中で育ってきた
00:40:27 ディープブルー（チェス、1996）
チェスチャンピオンのカスパロフに勝利
このときは機械学習を使ってない。
いかにうまく探索をするかがテクニックだった
選択肢が有限だから解ける、ということですね（伊勢）
00:42:57 AlphaGo（囲碁、2016）
20年飛んで
イ・セドル棋士に勝利
こちらは探索の他にディープラーニング（ニューラルネット）を使っている
00:45:03 AlphaGoの解説
DQN(Deep Q Network)
深層強化学習
感じる（五感）→考える（意思決定）→体を動かす
いつ、どんなアクションをするか：Q関数（意思決定関数）
Q関数をどう定義するかでもめてきた
学習して決めればいい＝DQN
Deep Q-Learning(2013)
DQNの前段
アタリの固定画面ゲームで画面(4フレームごと）を入力に、コントローラを出力にして学習させると、ルールを知らなくてもゲームがうまくなる
https://www.youtube.com/watch?v=TmPfTpjtdgg&themeRefresh=1
DQLを経て、膨大な囲碁の棋譜を学習させたのがAlphaGo
人間の棋譜のデータと自己対戦した棋譜のデータはどう違うんですか？（伊勢）
最初は教師データとしてプロ棋士の棋譜を3万局くらい学習する
棋譜がなくなったので、学習したAI同士で対戦した棋譜で学習
これがいわゆるシンギュラリティ超え
ある時点以降はAI同士で最適化していく
盤面を入れると、次の手の確率分布を出力
ある盤面で、どちらが勝つかを出力
モンテカルロ木探索(2004)
当時の囲碁AIのブレイクスルー
候補の手から先を適当に打って勝率を判定
勝率が高い候補に計算リソースを振り向ける
フランス人レミ・クーロンが開発
デジタルゲームの敵思考ルーチンに使われている
https://www.youtube.com/watch?v=hQM_Dw_b0jE
強化学習（1990年代後半）
※攻撃や避けを学習した動画は見えないスライドしか公開されてないかな？dotimpact.icon
失敗の中から成功を導く
最初はランダムに攻撃して、当たったら報酬を与える→当たる間合いを学習
ランダムに動いて、プレイヤー攻撃を避けたら報酬を与える→よけまくる動きを学習
いつほめるかで学習後の振る舞いが変わる
まさに教育ですね（伊勢）
強化学習が得意なのは繰り返しが多いゲーム：格闘ゲーム、シューティングゲーム、レーシングゲーム
プレイヤーのクセを学習して、サーバにアップロードできるゲームがある
https://www.youtube.com/watch?v=JeYP9eyIl4E
DQN + モンテカルロ木探索 + 強化学習がAlphaGo
01:03:20 DQNのさらなる発展
最初の6つのゲームは簡単なものを選んでいた
解けないゲームがでてきたら、別の技術を足す→57個のゲームをクリアできる「Agent 57」
Agent57を学ぶと、人工知能の歴史がわかる
最後まで解けなかったゲーム
Montezuma's Revenge、Pitfall、Solaris、Skilling
https://www.youtube.com/watch?v=pqkM1PrIOyI
複数の画面で別のメカニクスが採用されていると難しい
この技術はゲームのデバッグとかに使われているんですかね？（伊勢）
2Dゲームだと画面を入力にしてうまくいくが、3Dゲームだとカメラが動いたり光源が変化するので難しい（三宅）
01:09:52 AlphaGo以降
2016年くらいからいろんな企業が開発しだした
2019年に一気に発表
ゲーム業界は採用してない
DeepLarningはブラックボックスになってしまうので、ゲームのデザインに組み込むには制御できず難しい
人間でいうと100年分くらいのプレイで学習する
カリキュラム学習
段階的にスキルを上げていく
２グループに鬼とかくれんぼ役をプレイさせ、戦略を学習したらフィールドを広げたり道具を増やしたりする
https://www.youtube.com/watch?v=kopoLzvh5jY
01:15:13 シミュレーション空間とディープラーニングを組み合わせる
ビックデータ×ディープラーニングが一時期流行った
クラウドの会社のビジネス
シミュレーション×ディープラーニングが別のビジネスになるかも
ゲームはこちらが向いている
マルチエージェントのサッカーシミュレーション(Google)
https://www.youtube.com/watch?v=F8DcgFDT9sc&t=4s
これで学習したサッカーゲームはあるんでしょうか？（伊勢）
ないですね。ゲームの面白さはちょっと違うので（三宅）
序盤はディフェンス、後半は攻めるなど演出が重要
ゲームではドラマチックなサッカーシーンになるように演出している
ゲームはエンターテインメントなのでシミュレーションとは違う。ある程度人為的に面白さを作り出す必要がある（三宅）
ドラマチックなシーンの評価関数がある
ドローンシミュレータ
落ちたら壊れるのでシミュレーションで学習させる
https://www.youtube.com/watch?v=-WfTr1-OBGQ&t=9s
自動運転のためのドライビングシミュレータ
昼間は実際の車で実験し、夜はシミュレーション環境で学習する
https://www.youtube.com/watch?v=vgot-CK1xRk&t=5s
危険性もある。シミュレーションはウソなので
01:21:35 質疑応答1
伊勢さん：これだけ執筆をされていて、ゲームの開発もされていて、ゲームの研究も必要だと思うんですが、お時間あります？
たしかにない。買ってプレイしてクリアしてないゲームはたくさんある（三宅）
質問A：今のAIを駆使して昔のゲームがリメイクされるなら遊んでみたいゲームは？
ボンバーマンとか？（三宅）
だいたいされているという話もある
アイスクライマーとか（三宅）
AIの技術とは関係ないですが、クーロンズゲートを現在の技術でリメイクしてほしい（伊勢）
バンゲリングベイ（三宅）
本来はオイルが流れているんだけど、なにかの問題でオイルが透明になっていて意味がわからない。リメイクしたちゃんとしたゲームとして遊んでみたい