Diffutoon是一种先进的动漫风格渲染技术，它能够将真人视频转换成动漫风格。这个技术由阿里巴巴和华东师范大学的研究人员推出，基于扩散模型的可编辑卡通着色技术。Diffutoon具备内容一致性、高分辨率输出和智能编辑功能，适用于高分辨率和快速运动的视频。
官网入口：https://github.com/camenduru/Diffutoon-jupyter
Diffutoon生成动漫效果展示：
主要功能特点：
- 动画风格化 (Toon Shading)：Diffutoon将真实感视频转换为动漫风格的视频。它适用于视频游戏开发和动画制作等多个领域，能够将输入的真实视频转换为平面化和风格化的动漫风格
- 一致性增强 (Consistency Enhancement)：通过引入运动模块和滑动窗口机制，Diffutoon解决了视频每一帧独立处理导致的不一致问题，确保生成视频的连贯性和流畅性。
- 结构指导 (Structure Guidance)：为了在风格化过程中保留视频中的重要结构信息（例如轮廓和深度），Diffutoon使用了控制网络来进行结构指导。
- 上色与超分辨率 (Colorization and Super-Resolution)：Diffutoon采用专门的控制网络进行视频的上色处理，即使输入视频的分辨率较低，也能够生成高质量的动漫风格视频。
- 视频编辑功能 (Video Editing)：Diffutoon允许用户通过提示编辑视频内容，实现个性化的视频制作。它设计了一个额外的编辑分支，可以生成文本指导的编辑信号，如更改视频中的颜色或添加特效。
Diffutoon 的应用场景：
- 游戏开发：Diffutoon 可以将真实感视频转换为动漫风格，适用于游戏中的角色、场景和动画效果。
- 动画制作：动漫制作人员可以使用 Diffutoon 来快速生成风格化的动画片段，减少手绘的工作量。
- 虚拟现实和增强现实：Diffutoon 可以用于虚拟现实和增强现实应用中，为用户提供独特的视觉体验。
- 社交媒体和短视频：Diffutoon 可以将普通视频转换为有趣的动漫风格，吸引更多观众。
- 广告和宣传片：Diffutoon 可以为广告、宣传片和品牌推广视频添加独特的风格。