ハードマージンとソフトマージン
サポートベクトルマシンの分類の中で、AかBかはっきり分かれることを前提としたマージンを「ハードマージン」と呼ぶ。 一方で、どうしても誤判別をしてしまうデータもあり得る。そういうデータに対して無理やり「100％正確な判別」をしてしまうと、正しい分類規則を見失ってしまい、予測の精度が逆に下がってしまうこともある。
そのように「手持ちのデータ」に対して無理に適合性を高めてしまい、「まだ手に入れていないデータ」への予測精度が下がってしまう問題を「過学習」と呼ぶ。 過学習をせずに予測ができることを「汎化性」と呼び、この汎化性能を高めるために、あえて誤分類を許すように工夫する。 誤判別を許すことを前提としたマージンのことを「ソフトマージン」と呼ぶ
ソフトマージンの場合は、誤判別されたデータに関しても「識別境界線を決める要素」すなわちサポートベクトルだとみなす。
参考：Logics of Blue/サポートベクトルマシンの考え方/2021.01.06/