Groq推出LPU的解决方案，推理速度超英伟达GPU十倍

Groq初创公司基于自研芯片，推出大模型推理加速方案，提高大型模型的推理速度和降低成本。Groq的技术团队中有谷歌TPU团队的原班人马，开发了LPU的解决方案，克服了计算密度和内存带宽等问题，使得其推理性能比其他云平台厂商快18倍。该公司的芯片采用14nm制程，内存带宽达到80TB/s，运算速度为750TOPs。Groq的推理速度相较于英伟达GPU提高了10倍，成本降低到十分之一，性价比提高了100倍。