説明可能AI
機械学習はブラックボックス？
機械学習（とくに教師あり学習）は、その「判断のしくみ」を人間が理解しづらい
「ブラックボックス」であると表現される
入力に対して何らかの出力がされるとき、「なぜそうなったのか」を解釈するのが難しい
線形モデルであれば回帰係数などによる解釈が可能だが、非線形性を扱う複雑なモデルでは、そのような解釈が難しいことが一般的
説明可能AI（XAI）
機械学習モデルの「判断根拠」を人間にわかる形で提示するための方法の研究が進められている
説明可能AI（Explainable AI）とよばれる
XAIの代表的手法にSHAPがある
SHAP（SHaplay Additive exPlanations）
学習済みのモデルにおいて、各説明変数が予測値にどのような影響を与えたかの貢献度を示す「SHAP値（Shapley値）」を算出する
ゲーム理論における考え方を参考にしたもの
データごとに結果を出力して可視化できる
あるデータに対する予測や分類の結果に対して、「どの説明変数がどのように予測に効いていたのか」を説明することができる
ただし正しいかどうかはドメイン知識もあわせて判断する必要がある