Groq
https://groq.com/
Groq
すんごい速い
wogikaze.icon
https://vengineer.hatenablog.com/entry/2024/02/20/173000
GroqのLLM Inferenceが超絶速い件に対する感想 - Vengineerの戯言
webbigdata(@webbigdata)
Groqまとめ
・GoogleのTPUを開発した人が立ちあげたスタートアップで結構前からあるがここ数日で話題になった
・LPU(Language Processing Unit)という独自ハードウェアでLLMを他Webサービス比で3～18倍速で実行可能
・ハードウェアも売る予定があるようだが、現状、一般消費者向けではなさそう…
https://pbs.twimg.com/media/GGvns9taAAMBR2z.png
Groq LPU™
NVIDIA GTC 2024
https://wow.groq.com/news_press/groq-is-still-faster/
Groq® Is Still Faster