分析师揭秘爆火Groq,每小时要烧168美元!10倍H100拥有成本,老黄笑而不语

AI初创公司Groq推出了比GPU快4倍,成本低70%的推理系统。尽管速度快,SemiAnalysis专家拆解后认为Groq成本是H100的10倍。专家分析了Groq芯片无缓冲、确定性架构,但对于大型模型,Groq要用多芯片服务器。尽管Groq推出价格战,但其成本问题严峻。与此同时,谷歌在基础设施和吞吐量优化上,成本效益超过Groq。分析表明,性能与成本的平衡对AI硬件来说至关重要。(新智元)

搜索