ヘブ学習は相関学習

一番シンプルな式は、

$ Δw_{ij}=\eta r_i r_j

シナプス後ニューロンの活動はシナプス前ニューロンからの入力に依存するはずなので、

$ r_j=\sum_iw_{ij}r_i

シナプス前ニューロンの活動とその結合の強さの積で表現できる

もう少し書き直すと

$ r_j=\sum_iw_{ij}r_i=\mathbf{r^T}\mathbf{w_j}

これを最初の式に戻すと、

$ Δw_{j}=\eta \mathbf{rr^T}\mathbf{w_j}

つまり入力の性質が似ているほど、結合が強くなることを示している