新加坡国立大学尤洋教授团队与加州大学伯克利分校、Meta AI Research等机构合作,开源p-diff的扩散模型。该模型能够生成高性能的神经网络参数,其训练速度比直接训练快最多44倍。不论在何种架构和数据集下,p-diff的扩散过程始终能生成与经过训练的网络相当甚至性能更高的模型,而额外成本最小。相关论文发布在arXiv平台上。Meta首席AI科学家杨立昆在社交平台上评论这项研究是一个“巧妙的想法”。
论文地址:
arxiv.org/abs/2402.13144
GitHub地址:
https://github.com/NUS-HPC-AI-Lab/Neural-Network-Diffusion