Groq
x.comのgrokではない
ハードウェアレベルでなんか色々頑張ってめちゃくちゃ推論が早い
2024/前半にちょっと話題になった気がする
ぜんぜんそれから音沙汰なかったが、gpt-ossをホストしてるらしいからまた触った というかgroqで動かせるというのを読んでgroqを見つけて、思い出した
https://scrapbox.io/files/6894adcad39a2c70e2f91dd6.png
530 token/s 速すぎる！！！miyamonz.icon
https://scrapbox.io/files/6894ae77383279a5ff0aee61.png
flash-liteが
0.2 USD per 1M Tokens
groqの場合
https://scrapbox.io/files/6894af6b306ddf077e4c619a.png
比べるとちょっと高いね。これは専用ハードウェアと速度代か
いや、安いんだけどねそれでも
賢さでいうとflash-liteじゃなくてflashと比べるべき
https://scrapbox.io/files/6894b01406d010b7099f57b7.png