複雑な環境における学習

シミュレーション上でうまく行っても，実環境では複雑すぎてうまくいかないことが非常に多い．

複雑，頑健な方策を学習させたい

良い初期値から始める

今の主流：世界モデル上でModel-basedにpolicyをpre-trainingして、実際の環境でModel-freeにpolicyをfine-tuningする (src)

カリキュラム学習：簡単な環境から始める

複雑な環境をシミュレーションで再現

研究例

シミュ環境に多様なノイズを加えることで，高次元で複雑な実環境にも適応できる

複雑で多様な環境を用いることで、単純な報酬関数から多様で頑健な行動を創発

シンプルな環境でも、競争的なself-playでの学習によって複雑で多様な行動を創発