尤洋谈 Scaling Law 困境:AI 未来不是要「省算力」,而是要能「吃下」更多算力

1 月 1 日消息,据新智元报道,新加坡国立大学校长青年教授、潞晨科技创始人尤洋昨天发表深度文章《智能增长的瓶颈》,探讨了 AI 行业当前面临的 Scaling Law 困境及未来发展方向。

尤洋谈 Scaling Law 困境:AI 未来不是要「省算力」,而是要能「吃下」更多算力

文章指出,过去 10 年 AI 大模型的技术本质是将电力能源通过计算过程转化为可复用的智能。

当前行业面临的核心问题并非算力枯竭,而是现有的计算范式 —— 包括模型架构、损失函数(Loss)及优化算法对算力的「消化能力」正在下降。这意味着,我们现有的方法无法充分利用持续增长的算力来实现同比例的智能跃迁。

这一观点与近期行业巨头的判断相呼应。

Ilya Sutskever 曾公开表示单纯堆砌预训练算力正进入平台期;

Yann LeCun 认为当前的大语言模型路径无法触达真正的 AGI;

OpenAI CEO Sam Altman 也曾含蓄承认,仅靠增加 GPU 已无法换回同比例的智能提升。

尤洋在文中重新界定了「瓶颈」的含义,强调需区分「效率提升」与「智能上限提升」。

前者如剪枝、蒸馏、低精度训练等技术,旨在用更少资源达到相同效果,对工程落地至关重要;而后者则关注在相同的浮点计算总量约束下,如何训练出能力更强、泛化性更好的模型。

他提到,英伟达 GPU 的本质是并行计算机,Transformer 之所以胜出,正是因为其并行计算特性完美匹配了 GPU 的硬件架构。

然而,当算力继续增长时,真正的瓶颈在于如何让AI模型在单位时间内「吃下」更多能源并转化为智能,而非单纯追求节省算力。

针对未来路径,文章提出了几个值得关注的方向:

探索更高数值精度(如从 FP16 转向 FP32 甚至 FP64);

采用更高阶优化器,以提供更优的参数更新路径;

设计更具扩展性的模型架构或 Loss 函数,不以吞吐量为单一目标,而是以极限算力下的模型表现为标准;

进行更充分的训练和超参数搜索。

尤洋总结认为,如果说过去 10 年的核心问题是「如何获得更多算力」,那么下一阶段的问题将变成「如何把这些算力真正转化为智能」。

声明:内容来源公开的各类媒体平台,若收录的内容侵犯了您的权益,请联系邮箱,本站将第一时间处理。
资讯

Kimi 完成 5 亿美元 C 轮融资,账上现金储备超百亿

2026-1-1 14:07:48

资讯

AI 重塑人力格局,摩根士丹利预计欧洲银行到 2030 年将裁员 20 万人

2026-1-2 18:23:01

搜索