摂動

Pertubation

「摂動」という言葉は、元々は物理学や数学などの分野で使われる用語

通常、摂動（perturbation）は、系に対する小さな変化や乱れを意味する

人工知能や機械学習のコンテキストで「摂動」という言葉は少し異なる。

AIモデルの入力に対する小さな変更や微細な調整を指している。

例えば、質問の言い回しを少し変えることや、入力データに小さな変更を加えることなどが「摂動」として考えられり。

データを正しいクラスに分類する際に、ノイズを通常のデータに加えてモデルを設計することによって、正しいデータとの誤差を増大させることがある。

このノイズを敵対的摂動と呼ぶ。

簡単に言うと、学習済みモデルの出力を故意に誤ったものにすることを目的としている。

この際の入力に与えられる (悪意のある) ノイズのことを敵対的摂動と呼ぶ。

近年では、自動運転や医療の現場など人命に関わる部分でも人工知能技術や機械学習技術は用いられているため、この脆弱性はそれらの技術を実社会で用いる上での大きな課題と言えます。敵対的摂動によって、高い信頼度 (confidence) でモデルに間違いを出力させられる点は、この課題を大きなものにしている一因かもしれません。また、敵対的摂動は人間の目では判別できないレベルの摂動でさえ、モデルによっては大きな影響を受ける場合があることもわかっています。