ブラックボックス最適化
目的関数や制約がブラックボックスとして与えられるような最適化問題
C. Audet and W. Hare, Derivative-Free and Blackbox Optimization, Springer Series in Operations Research and Financial Engineering, Springer International Publishing, 2017
目的関数や制約の関数形が不明
勾配情報などの目的関数値以外の情報が利用できない
代表的な手法
grid search
random search
並列化できる
どんな探索空間も扱える
ベイズ最適化
最も成功を納めてるブラックボックス最適化手法
これはまんまベイズ統計とかの理屈を利用してるだけっぽいmiyamonz.icon
代理モデル
ガウス過程
獲得関数
主要なアルゴリズム
GP-EI
代理モデルをガウス過程
獲得関数をEI
SMAC
sequential model-based algorithm configuration
代理モデルをランダムフォレスト
獲得関数をEI
代理モデルとしてTPE
獲得関数をEI
上記2つとの違い
上記2つ、GP-EIとSMACは、目的関数に対する代理モデルを構築する
対してTPEは、各ハイパーパラメータについて良質なハイパーパラメータ設定の分布と、それ以外の分をそれぞれカーネル密度推定する
???miyamonz.icon
わからんので後回し
進化計算
遺伝的アルゴリズムは、進化計算の一部miyamonz.icon
反復的に個体の生成と各個体の低高度評価を行う
例
CMA-ES
Genetic Algorithm
Nelder-Mead法
単体をにょきにょき生やして、内部や外部に移動していき、条件に達するまで更新する感じmiyamonz.icon
特徴
局所的な探索
局所解への収束が速い
今までの手法は、大域的な最適化が多く、すぐに収束しない
当然、初期値への依存が高い
複数の初期値から実行するマルチスタートなどで緩和できる
https://gyazo.com/3a2fc8871f558121bdeb7a524b13a881