南洋理工发布视频升维框架Upscale-A-Video

南洋理工大学发布了一种名为Upscale-A-Video的、通过文本引导的潜在扩散框架,用于视频分辨率的提升。该框架通过两个关键机制来确保时序一致性:在局部方面,它将时序层整合到U-Net和VAE-Decoder中,以保持短序列的一致性;在全局方面,无需训练,它引入了流引导的递归潜传播模块,通过在整个序列中传播和融合潜信息来增强视频的整体稳定性。

项目主页:
https://shangchenzhou.com/projects/upscale-a-video
GitHub仓库:
https://github.com/sczhou/Upscale-A-Video

搜索