言語モデルをトレーニングする方法は分散していくか？
public.icon
from
オープンソースなAI研究
言語モデルをトレーニングする方法は分散していくか？
@yo_ehara
: AIの学習の形態、
産業革命
そのもの説。
BERT
の前、
word2vec
の時代は、各々の研究室で
コーパス
入手からモデル作成までやってた（
家内制手工業
）。BERTが出てから、計算力が必要な事前学習モデルの作成・配布は大きな研究室（
問屋
）が行い、各々の研究室では事後学習する形に（
問屋制家内工業
） （続
@yo_ehara
: そして、
ChatGPT
が出てから、基盤モデルが巨大すぎて大きな研究室でも持てなくなり、モデル本体は専門の１企業が持ち（工場）、個々の研究者がAPIを通じて基盤モデルを個々のタスクにチューニングするようになった（
工場制手工業
）。 （続
@yo_ehara
: 今度は研究者同士が互いのドメイン知識を補完しあって基盤モデルのプロンプトチューニングをする分業（協業）の時代がやってくるのだろうか…？
https://t.co/gniqlDQpw7
個人的には
Federated Learning
の文脈と、
ChatGPTの学習済みモデルが検閲済みになっている問題
は似ている？
PoWを基本としたFederated Learningは、"Decentralized AI "への唯一の道
tkgshn.icon*3