研究机构Epoch AI公布全新AI模型数学基准测试集FrontierMath，用于评估模型数学推理能力。它与现有测试题集不同，所含数学问题更复杂，涉及现代数学多个领域，难度极高，人类专家解答耗时久。其题目由人工智能资深专家设计，要求AI理解概念并具备复杂情境推理能力，防止比对作答。经利用该测试集对市场上AI模型初步测试，发现包括Claude 3.5和GPT-4等在内的模型普遍表现不佳，解题成功率低于2%。研究团队指出AI解决高级数学问题的主要困难在于依赖训练数据中类似题目生成答案而非真正理解推理问题逻辑结构，且这一问题无法靠增加模型规模解决，需从推理架构层面深入改造。
官网地址：
https://epoch.ai/frontiermath