pyvideotrans – 开源GPL-v3的视频翻译配音工具

pyvideotrans是一个开源的视频翻译配音工具(开源协议GPL-v3),将一种语言发音的视频,翻译为另一种语言发音的视频,并嵌入该语言字幕。它利用了先进的AI语音识别、机器翻译和语音合成技术,实现了视频的自动翻译和配音功能。比如有一个英文电影,发音是英文,没有英文字幕,也没有中文字幕,使用这个工具处理后,可以转成带中文字幕,并且带有中文配音的电影。

pyvideotrans - 开源GPL-v3的视频翻译配音工具

官网入口:https://pyvideotrans.com/

pyvideotrans的主要功能特点

  • 自动视频翻译:集成faster-whisper模型/并支持自定义huggingface模型,同时集成批量语音转字幕、批量字幕翻译、批量配音小工具。
  • 多种配音和翻译渠道:配音:edgeTTS|AzureTTS|OpenAiTTS|Elevenlabs|clone-voice|GPT-SoVITS;翻译:Google|ChatGPT|DeepL|Gemini|Mircosoft|百度|腾讯|本地模型。
  • 可完全离线:翻译渠道替换为本地模型,配音渠道替换为clone-voice,即可实现完全本地离线视频翻译。
  • 免费+开源:代码GitHub公开可审查,免费无功能限制,无隐藏收费。开源协议GPL-v3。

pyvideotrans - 开源GPL-v3的视频翻译配音工具

pyvideotrans的原理及转换流程

  • 将原始视频先使用 ffmpeg 分离出音频文件和无声的mp4,然后利用 openai-whisper/faster-whisper模型识别出音频中的人声,并保存为srt字幕,接着将srt字幕翻译为目标语言并保存为srt字幕文件,再将翻译结果合成为配音音频文件。接着将配音音频文件、字幕srt文件、原无声mp4合并为一个视频文件,即完成翻译。

pyvideotrans - 开源GPL-v3的视频翻译配音工具

pyvideotrans - 开源GPL-v3的视频翻译配音工具

pyvideotrans - 开源GPL-v3的视频翻译配音工具

pyvideotrans视频教程

AI视频工具AI视频编辑

MotionShop - 阿里巴巴开源的 3D角色视频替换框架

2024-8-24 12:42:07

AI视频工具AI视频编辑

Runway AI - 基于人工智能的视频创作工具、图像、音乐、文本和视频编辑

2024-8-24 15:13:12