这个研究牛蛙,可以通过手绘的轨迹,控制镜头的运动轨迹和视频中物体的运动轨迹,而且还支持 Animatediff,希望开源之后会有对应的节点插件。
项目优势:
1)它有效地独立控制摄像机运动和物体运动,实现更精细的运动控制,促进两种类型运动的灵活多样组合。
2)它的运动条件由摄像机的姿势和轨迹确定,这些条件与外观无关,对生成的视频中的物体的外观或形状影响最小。
实现方法:
MotionCtrl通过添加相机运动控制模块(CMCM)和物体运动控制模块(OMCM)来扩展LVDM的去噪U-Net结构。CMCM通过将相机姿态序列RT附加到第二个自注意模块的输入中,并应用一个定制的轻量级全连接层来提取相机姿态特征,将其与LVDM的时间变换器进行集成。
论文地址:https://t.co/9qf6UIdFQ3