OpenAI 首席科学家：预训练即将终结

在近期举办的人工智能顶会 NeurIPS 2024 中，OpenAI 首席科学家发表了个人最新演讲，表示预训练即将终结。演讲中，Ilya Sutskever 表示，虽然计算能力在不断增长，硬件和算法的进步使得神经网络的训练效率得到了提升，但数据的增长却已接近瓶颈。他认为，「虽然当前我们仍然可以使用现有数据进行有效训练，但这一增长趋势终将放缓，预训练的时代也会逐步结束。」在谈到人工智能的未来发展方向时，Ilya Sutskever 指出，虽然当前的语言模型和AI系统在某些任务上表现出超人类的能力，但它们在推理时仍显得不稳定和不可预测。他还在演讲中进一步推测，未来的 AI 将不仅仅是执行任务的工具，而会发展成能够自主进行推理和决策的「Agent」。