字节跳动:推出单图视频驱动技术 X-Portrait 2

字节跳动智能创作团队推出单图视频驱动技术 X-Portrait 2,只需一张静态照片和一段驱动视频即可生成高质量“电影级”视频,该模型既能保留原图 ID,又能捕捉和迁移表情情绪,简化创作流程。它不同于以往依赖人脸关键点检测的方法,构建表情编码器模型,通过自监督训练框架从大量人像视频中自学习 ID 无关的运动隐式表征,并与生成式扩散模型结合生成流畅且富有表现力的视频,在大规模高质量表情视频上训练后,在运动表现力和 ID 保持性方面优于先前技术。

搜索