8 月 29 日消息，阮一峰在最新一期《科技爱好者周刊》中，把大模型回答问题的过程拆成参数、推理和联网三种机制。他认为，训练先用参数建立词元之间的数学关系，模型回答时据此生成概率上更合适的内容；参数没有直接包含的结论，则可以通过逻辑推理获得。
他把参数机制概括为「压缩—生成」：训练阶段把知识关系编码进权重，生成阶段再依据这些权重寻找最可能的下一个词元。参数越多通常能描述得更细，但训练与推理成本也会随之上升，因此模型不可能把所有知识都直接储存在参数里。
推理机制承担从已有事实推出新结论的部分。例如已知一座城市的出生率和死亡率后，净增长率可以通过逻辑关系算出，不必成为独立记忆。联网机制则负责补足参数和推理都无法给出的实时信息，例如当天的股票收盘指数，由 Agent 或应用框架调用外部搜索取得。
这篇文章是其「AI 小知识系列」第三篇，前两篇分别讨论大模型内存需求和 AI 缓存，写作对象是希望用较低技术门槛理解大模型工作方式的普通读者。
声明：内容来源公开的各类媒体平台，若收录的内容侵犯了您的权益，请联系邮箱，本站将第一时间处理。