RIGID:一强大的视频编辑框架,通过深度学习技术对视频中的人脸进行精确编辑,同时确保时间连贯性和真实感。
翻译下就是它能对视频当中人物的人脸进行编辑,比如把你变胖变瘦,给你涂口红,眼睛变大变小,甚至能让你开口微笑、改变你的年龄等。
项目演示:https://t.co/T9kGwE27sQ
论文:https://t.co/0Cw6BPpDcp
RIGID(Recurrent vIdeo GAN Inversion and eDiting)通过强制实现时间连贯的GAN反演和面部编辑,确保了整个视频序列中的微笑或其他面部编辑看起来自然和连贯。
通过学习时间补偿潜码、解耦不一致噪声,并应用帧间组合约束,RIGID可以在整个视频序列中自然地添加微笑或进行其他面部编辑,而不会打破时间连贯性。
这种方法不仅限于微笑,还可以用于其他面部编辑,如改变眼睛的颜色、添加化妆等,都可以在不重新训练的情况下实现。
举例解释RIGID的工作原理和应用:
假设你有一段视频,其中一个人正在讲话,但他的面部表情相对单调。你想让这个人在视频中微笑,但你不想仅仅编辑一个帧,因为这会导致视频在时间上不连贯。你需要一种方法来确保整个视频序列中的微笑看起来自然和连贯。
这就是RIGID可以派上用场的地方。
1、反演保真度和一致性的最大化:RIGID首先会分析视频中的每一帧,学习时间补偿潜码,确保真实视频的忠实重建。这意味着它会理解人物面部的自然运动和表情。
2、高频域中的不一致噪声的解耦:通过分离潜在空间中的噪声,RIGID可以更准确地捕捉面部特征,如微笑的微妙变化。
3、属性操作后的不一致性的消除:现在,当你想添加微笑时,RIGID会确保任意帧都是其相邻帧的直接组合。这意味着微笑不会突然出现或消失,而是自然地流动在整个视频中。
通过这三个步骤,RIGID能够在整个视频序列中自然地添加微笑,而不会打破时间连贯性。这种方法不仅限于微笑,还可以用于其他面部编辑,如改变眼睛的颜色、添加化妆等,都可以在不重新训练的情况下实现。
RIGID提供了一种强大的工具,可以在保持时间连贯性的同时进行复杂的视频编辑。这对于电影制作、广告、虚拟现实等许多领域都有潜在的应用。