中国电信宣布开源其规模为12B参数的巨型AI模型TeleChat-12B,这标志着国内大模型技术发展的重要进展。与1月份发布的7B参数版本相比,TeleChat-12B在内容理解、性能表现和应用场景等方面实现了约30%的整体提升,特别是在多轮对话推理和安全相关领域的能力上提高超过了40%。中国电信计划在今年内推出参数规模达到千亿级的超大型AI模型。为了确保模型的高效能,TeleChat-12B将训练数据量从7B版本的1.5TB增加至3TB,显著提高了数据的质量和模型的性能。TeleChat-12B还利用了电信用户的实际交互数据,对奖励模型和强化学习模型进行了优化,有效提升了模型在问答场景中的表现。
开源地址:
https://huggingface.co/Tele-AI/TeleChat-12B