機械学習システム導入
モデルがデータに依存する、特に入力特徴量が変更されるという点
データの変更というのは1年後には変わってる可能性、外界の変化に弱い -> Legacy Features
CASE(Changing Anything Changes Everything) ▹ 少し変わると全て変更される ▹ 入力特徴量が変更される(削除、増加、変化 etc) -> モデルの重みが全て変更される ▹ 重みだけでなく、ハイパーパラメータ、学習設定なども 変更される
製品レベルのコードと実験用コードは分ける
機械学習システムではシステムの振る舞いを学習データを通じて変更することが可能であるという特徴があります。
テストを実施する前に正解の挙動を定義できないという問題があります。