各アルゴリズムの特徴
#アルゴリズム
各アルゴリズムの特徴
決定木
モデルを解釈しやすい
線形分離不可能な問題を解けるが、線形分離可能な問題は逆に不得意(軸に対して平行な分割しかできないため)
クラスに偏りのあるデータは不得意
データのちょっとした違いに対して結果が変わりやすい
予測性能はまずまず
特徴量の重要度を出せるメリットがある
ランダムフォレスト、XGBoost等の決定木アンサンブル手法
決定境界をなめらかにできる(線形分離不可能でも解きやすい)
単一の決定木より汎化能力を高めやすい
単一の決定木よりは若干学習に時間がかかる
特徴量の重要度を出せるメリットがある
ロジスティック回帰
説明変数(特徴量)をうまく作れば、予測性能はそこそこ良い
学習は速い
正則化項により過学習を防ぎやすい
サポートベクターマシン(SVM)
説明変数(特徴量)をうまく作れば、予測性能はそこそこ良い
決定境界をなめらかにできる(線形分離不可能でも解きやすい)
学習は速い
正則化項により過学習を防ぎやすい
多層パーセプトロン
決定境界をなめらかにできる(線形分離不可能でも解きやすい)
パラメータ数が多くなりやすく、学習に時間がかかりやすい
重みの初期値に依存して結果が変わりやすい
パラメータ数を多くすると過学習しやすいので正則化等工夫が必要
逆に、パラメータ数を多くすると非常に表現能力が高くなるので、GPUによる学習高速化・並列化などを活用して大規模なデータを用意すると高い性能を得られる