翁荔时隔13个月博客上新《谨慎对待Scaling Law》

翁荔时隔13个月更新博客发表《谨慎对待Scaling Law》，系统梳理幂律预测、计算最优分配原理及数据限制下外推困难等内容；文章详解Kaplan与Chinchilla分歧根源，前者因小模型实验及嵌入层参数处理高估了最优模型规模，后者主张模型与数据应同步翻倍；她强调Scaling law拟合对参数计算、精度舍入等流程选择异常敏感，数据受限区域的重复训练建模仍缺乏理论支撑。