OpenAI 研发出新方案，可将推理成本减半

据 The Information，一位知情人士透露，本月早些时候，OpenAI 工程师向部分同事表示，依托几项全新研发的优化技术，他们找到了一套方案，能将模型推理成本削减一半以上。工程师将这套新技术应用于没有免费或付费帐户的访客使用 ChatGPT 的场景后，一度把所需英伟达图形处理器（GPU）数量压至仅数百个。