帰納バイアス
例えば線形回帰のinductive biasを考える.入力xと出力yは線形の関係であり,その目的関数は二乗誤差を最小化することにある.という制約が線形回帰のinductive bias.データの分布に何らかの制約(仮定)をおかないと,任意の値を求めるのは事実上不可能である.
学習データ以外に最初からもっている知識または仮説を、帰納的バイアスと呼ぶ。先程のノーフリーランチ定理と組み合わせていうと、ディープラーニングは、何らかの帰納的バイアスを持った上で特定の問題に特化することで他の手法と比べて優れた性能を達成しているといえる。