SuperCLUE-Auto: 首个汽车行业中文大模型测评基准

SuperCLUE发布了汽车行业的大模型评估标准——SuperCLUE-Auto。作为首个为汽车行业定制的大模型评估基准，它采用多维度、多轮次的开放式问题测评方式。该基准涵盖了智能座舱与交互、汽车营销、汽车理解与知识以及车辆使用指南四大核心领域，包含了十余个具体任务。

在首批评估中，SuperCLUE-Auto选择了具有代表性的12个闭源和开源模型进行测试，其中包括多个中文大模型。结果显示，有4个中文大模型在中文汽车场景的表现上超越了GPT-3.5，展现出强劲的实力。