宝くじ仮説ってなんだ

最初の数字の羅列のこと初期パラメータていうんや

文脈が多いので分ける

ニューラルネットワークのパラメータが過剰であればあるほど精度が良いという現象が発生。

いやよく考えたら同じなまえのモデルで何Bみたいなのが違くてあれはパラメータ数のことなのでよく考えたらわかることだ

同じパラメータ数の同じモデルでサイズが大きいのと小さいのがあるが、あちらはそれぞれのパラメータの大きさが違うという認識で合ってるんだろうか、あとでしらべよう

なんとなく float32 （32ビット浮動小数点数）が用いられるが、

32 bit である必要はあるのか、

16bit や 8 bit ではダメなのか、

浮動小数点数の整数部は（どうせ重みが0~1なのに）要るのか、

そもそも「浮動」小数点数である必要はあるのか、

「固定」小数点数であれば計算自体が重くなくなってよいのではないか、

固定小数点数で良いなら尚更 32 bit も要らないのではないか、

16 bit も要らないのではないか、

8 bit で良いのではないか、

いや 4 bit でも良いのではないか、

いや 2bit でも良いのではないか、

といったふうな研究がある。

多分どうせ 1 ビットでもいいという研究もある。

パラメータの大きさが130億→130億個のパラメータ

なので、語弊を招きづらいように、（あまり使わない）パラメータ一つ一つの大きさと、パラメータの個数の大きさと区別を明確にした表現で説明している。

パラメータ一つ一つのサイズと言われると 1 パラメータ当たり何ビット使うかということを想起させるが、その解釈に従うと、間違い。

パラメータの個数が多ければ多いほど精度が良い

おわり。

しかし、同程度の精度で小型のニューラルネットワークを学習させる蒸留というテクニックもある。

さらに、プルーニング（枝刈り）により元のニューラルネットワークから直接不要な（影響の少ない）重みを削除して精度を保ちながらサイズを削減できる。

この説明で何をしてるかわかるけどなんでそんなことができるかわからない、あとで調べよう

ワードセンスに関しては、丸くてもっさりした植木の枝を刈っているのを想像して欲しい。

ということは、デカいニューラルネットワークの中に同等の性能を発揮する小型ニューラルネットワークが含まれている。

逆に考えると、デカければデカいほどニューラルネットワークの精度が良いように思えたのは宝くじの母数を大きくして当たりを引きやすくなったからではないか？という仮説

宝くじに例えるのが納得いかない気持ちがある

おわり。違ってたら誰か訂正お願い。

とか言っているとマサカリ来た時に恥ずかしいわね

わかった！

ネーミングを理解するために追う文脈が多すぎる

新技術が出た時にいつでもそういう風に思われるのかもしれないが