MimicMotion是由腾讯和上海交通大学联合开发的一种高质量视频生成框架。该技术能够根据任何动作指导生成任意长度的视频内容，并对视频内容进行精确控制，包括动作、姿势和视频风格等。与之前的方法相比，MimicMotion有几个亮点。首先，通过置信度感知的姿态引导，可以实现时间上的平滑过渡，从而增强模型的鲁棒性。其次，基于姿态置信度的区域损失显著减轻了图像的失真。最后，为了生成长且平滑的视频，提出了渐进潜变融合策略，可以以可接受的资源消耗生成任意长度的视频。MimicMotion在多个方面都显著优于之前的方法。
官网入口：https://tencent.github.io/MimicMotion/
类似阿里的通义舞王，但效果看起来比阿里通义舞王好很多，MimicMotion支持面部特征和唇形同步，不止可以搞跳舞视频，也可以做数字人。
MimicMotion的主要功能特点
- 置信度感知的姿态引导：通过姿态置信度分数，自适应调整姿态引导的影响，确保视频帧的高质量和时间上的平滑过渡。
- 区域损失放大：基于姿态置信度放大高置信度区域的损失，减少图像失真，提升视频细节。
- 渐进式潜在融合：生成任意长度的视频，资源消耗可控，适用于长视频生成。
- 多样化视频生成：能够根据用户提供的姿态指导生成各种动作的视频内容，如舞蹈、运动或日常活动。
- 控制视频长度：用户可以指定视频的持续时间，从几秒的短片段到几分钟甚至更长的完整视频。
适用场景
- 娱乐和媒体行业：生成细节丰富、平滑连贯的电影特效和动画人物动作 视频。
- 游戏开发：制作真实感强、动作流畅的游戏角色动画。
- 虚拟现实（VR）和增强现实（AR）：创建逼真的虚拟人物互动视频。
- 自动视频编辑：通过模仿现有视频中的动作，自动生成新的视频片段，适用于剪辑和合成。
- 特效制作：在影视特效制作中辅助设计师生成逼真的动作和特效，提高制作效率。
- 社交媒体内容创作：生成舞蹈短片或复杂的运动场景，适用于社交媒体平台。
- 体育训练和康复医疗：生成运动指导视频，辅助体育训练和康复。
技术原理
MimicMotion结合了图像到视频扩散模型与新颖的基于信心的姿态指导。该模型的可训练组件包括时空U-Net和PoseNet，用于引入姿态序列作为条件。基于信心的姿态指导的关键特性包括： 1) 姿态序列伴随着关键点置信度分数，使模型能够根据分数动态调整姿态指导的影响。 2) 在损失函数中，对置信度高的区域给予更大的权重，在训练中放大它们的影响。
1、姿态引导的视频生成：利用用户提供的姿态序列作为输入条件，引导视频内容的生成。这样可以根据姿态的变化合成相应的动作。
2、置信度感知的姿态指导：通过分析姿态估计模型提供的置信度分数，对姿态序列中的每个关键点进行加权，以减少不准确姿态估计对生成结果的影响。
3、区域损失放大：针对手部等容易失真的区域，在损失函数中增加权重，提高生成视频的手部细节质量。
4、潜在扩散模型：使用潜在扩散模型提高生成效率和质量，减少计算成本。
5、渐进式潜在融合：生成长视频时，通过逐步融合重叠帧的潜在特征，实现视频段之间的平滑过渡。
6、预训练模型的利用：基于预训练的视频生成模型（如Stable Video Diffusion, SVD），减少训练所需的数据量和计算资源。