近日一家名叫Groq的公司在AI圈内刷屏，对标英伟达。电子邮件初创企业Otherside AI的首席执行官兼联合创始人马特·舒默（Matt Shumer）在演示中亲自体验了Groq的强大功能。他称赞Groq快如闪电，能够在不到一秒钟的时间内生成数百个单词的事实性、引用性答案。更令人惊讶的是，它超过3/4的时间用于搜索信息，而生成答案的时间却短到只有几分之一秒。
然而震撼过后，很多行业大佬一算账，发现这个快的代价可能有点高，目前并不能替代英伟达。贾扬清在推特上算了一笔账，因为Groq的内存容量很小（230MB），在运行Llama-2 70b模型时，需要305张Groq卡才足够，而用H100则只需要8张卡。从目前的价格来看，这意味着在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。
