言語モデルを自作する

言語モデルを理解するためには自分で作ってみるのが良いと思い立ち、作ってみることにする。

1000パラメータぐらいの非常に小さな言語モデルを作ってみて、学習や推論の方法を理解することを目標とする。