冪乘則
$ f(x)=ax^k+O(x^k),$ f(cx)\propto f(x)
冪乘分布
學習曲線
Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre “Training Compute-Optimal Large Language Models” 2022/3/29 人閒の技能習得にも同じ傾向が見られる。逆正弦法則と共に 一般化冪乘分布
累積分布函數$ F(x;\alpha,\beta,\gamma)=1-e^{-\left(\frac{\log\frac x\gamma}\beta\right)^\alpha}
確率密度函數$ f(x;\alpha,\beta,\gamma)=\frac\alpha\beta\left(\frac{\log\frac x\gamma}\beta\right)^{\alpha-1}
形狀 parameter$ \alpha
$ F(x;1,\beta,\gamma)=1-\left(\frac\gamma x\right)^{\frac 1\beta}冪乘分布
尺度 parameter$ \beta
位置 parameter$ \gamma
scale 不變