零一万物回应大模型架构争议

零一万物是李开复旗下的AI企业,他们的开源大模型被指责完全使用了Llama的架构,只对两个张量(Tensor)名称进行修改。对此,零一万物回应道:GPT是一个业内公认的成熟架构,Llama在GPT上做了总结。零一万物研发大模型的结构设计基于GPT成熟结构,并借鉴了行业顶尖水平的公开成果。由于大模型技术发展还在非常初期,与行业主流保持一致的结构,更有利于整体的适配与未来的迭代。同时,零一万物团队对模型和训练的理解做了大量工作,并在持续探索模型结构层面本质上的突破。

搜索