零一万物在微信公众号发文，对Yi-34B训练过程作出回应。零一万物表示，大模型的持续发展和寻求突破的核心在于训练得到的参数，而不仅仅是架构。他们从零开始训练了Yi-34B和Yi-6B模型，并重新实现了训练代码，使用自建的数据管线构建了高质量的训练数据集。此外，在基础设施方面进行了算法、硬件和软件的联合端到端优化，实现了训练效率的大幅提升和强大的容错能力等原创性突破。这些系统性的科学训练模型工作往往比基本模型结构本身具有更大的作用和价值。
对于之前的争议，零一万物做出回应称，在初次开源过程中，他们发现使用与开源社区普遍使用的Llama架构对开发者更友好。关于沿用部分Llama推理代码并经过实验更名的疏忽，他们表示原始出发点是为了充分测试模型，并非刻意隐瞒来源。零一万物解释了这一情况，并表达了诚挚的歉意。他们正在重新提交模型和代码，并补充Llama协议副本的流程，承诺尽快完成各开源社区的版本更新。