MuseTalk是由腾讯音乐娱乐集团的Lyra实验室开发的一个实时的高质量音频驱动唇形同步模型，能够根据输入的音频信号自动调整数字人物的面部图像，使其唇形与音频内容高度同步，支持多种语言，并实现每秒30帧以上的实时处理速度。这意味着观众可以看到数字人物的口型与声音完美匹配的效果。
官网入口：https://github.com/TMElyralab/MuseTalk
MuseTalk的主要功能特点
- 实时唇形同步：根据输入的音频信号，自动调整数字人物的面部图像，使其唇形与音频内容高度同步。
- 高质量音频驱动：支持高质量的音频输入，确保同步效果自然流畅。
- 高帧率：在NVIDIA Tesla V100上能够实现超过30帧每秒的实时推理，提供流畅的视觉体验。
- 适用于高分辨率：适用于256×256像素的面部区域，保证了图像的清晰度。
- 潜在空间修补技术：通过这项技术进行训练，可以处理和修改未见过的脸部图像，增强模型的通用性和灵活性。
- 开源和社区支持：提供开源代码和预训练模型，允许社区成员下载使用，促进技术的共享和创新。
技术原理
- 潜在空间修补：MuseTalk通过在潜在空间中进行修补来调整未见过的面部图像。这个潜在空间是由一个固定的变分自编码器（VAE）编码的，它能够捕捉面部图像的关键特征。
- 音频编码：输入的音频信号由一个固定的whisper-tiny模型编码，这个模型专门用于提取音频特征。
- 生成网络架构：MuseTalk的生成网络借鉴了stable-diffusion-v1-4的UNet架构，其中音频嵌入通过交叉注意力机制与图像嵌入融合。
- 实时高帧率：MuseTalk能够在NVIDIA Tesla V100上实现超过30帧每秒的实时推理，这意味着它可以在不牺牲视频流畅性的情况下进行唇形同步。
- 高分辨率支持：MuseTalk适用于256×256像素的面部区域，确保了生成图像的清晰度。
- 面部区域中心点修改：MuseTalk支持修改面部区域的中心点，这在生成结果中有显著影响。