MotionFollower – AI视频动作转移、跨视频人物动作复制

MotionFollower 是一个用于视频动作编辑的轻量级分数引导扩散模型。它的目标是在保留原始主角外观和背景的同时修改运动信息。具体来说，MotionFollower 使用两个轻量级信号控制器，一个用于姿势，另一个用于外观，这两者都包含卷积块，而不涉及繁重的注意力计算。它还设计了基于两个分支架构的分数引导原则，包括重建和编辑分支，从而显著增强了对纹理细节和复杂背景的建模能力。MotionFollower 在运动编辑能力上表现出色，相比最先进的运动编辑模型 MotionEditor，它在 GPU 内存方面减少了约 80%，同时支持大幅度的相机运动和动作。

官网入口：https://francis-rings.github.io/MotionFollower/

MotionFollower 的主要功能特点：

1. 视频动作编辑：MotionFollower 是一个用于视频动作编辑的模型。它可以修改视频中的运动信息，同时保留原始主角外观和背景。
2. 轻量级分数引导：MotionFollower 使用两个轻量级信号控制器，一个用于姿势，另一个用于外观。这两者都包含卷积块，而不涉及繁重的注意力计算。
3. 分数引导原则：MotionFollower 设计了基于两个分支架构的分数引导原则，包括重建和编辑分支。这显著增强了对纹理细节和复杂背景的建模能力。
4. GPU 内存优化：相比最先进的运动编辑模型 MotionEditor，MotionFollower 在 GPU 内存方面减少了约 80%，同时支持大幅度的相机运动和动作。

视频效果演示

MotionFollower 的使用场景：

1. 视频创作：如果你是一位视频创作者，你可以使用 MotionFollower 来编辑视频中的运动信息，改变角色的动作，同时保留原始外观和背景。
2. 动画制作：动画制作人员可以利用 MotionFollower 来修改角色的动作，使其更加流畅或有趣。
3. 虚拟现实和增强现实：在虚拟现实和增强现实应用中，MotionFollower 可以用于编辑虚拟角色的运动，以适应不同的场景和用户交互。
4. 电影特效：电影制作人可以使用 MotionFollower 来调整演员的动作，以获得更好的视觉效果。