- PaintsUndo是一款专注于数字绘画行为的AI模型，由 ControlNet 作者 Lvmin Zhang 开发，专注于数字模拟和重现绘画过程中的笔触和步骤。用户只需提供一张静态图像。PaintsUndo 就能自动生成该图像的绘画全过程视频，从线稿到成品都有迹可循。这个工具不仅适用于复杂的插画，还能处理简单的草图，并且可以将不同风格的图像转换为相应的绘画过程视频。它在艺术创作、教育和娱乐领域具有广泛的应用前景。项目的核心在于一系列基于AI的模型，这些模型能够接受图像输入并输出绘画序列，展示从初步素描到最终作品的详细步骤。这些步骤包括但不限于草图绘制、描线、上色、阴影处理、形状转换、左右翻转、颜色曲线调整、图层可见性变化，甚至在绘画过程中的创意调整，这种模拟人类绘画行为的能力，不仅为艺术家提供了新的表达方式，也为AI技术在艺术创作领域的应用开辟了新的路径。
官网入口：https://lllyasviel.github.io/pages/paints_undo/?ref
PaintsUndo的主要功能特点
- 模拟和重现绘画过程:paintsUndo能够模拟和重现绘画过程中的笔触和步骤，用户只需提供一张静态图像，该模型就能自动生成对应的绘画全过程视频。
- 提取粗略草图:通过分析输入的静态图像，PaintsUndo能够提取出绘画的基础线条，即粗略草图，这对于数字艺术家和设计师来说，是一个快速获取创作灵
感的好帮手。
- 外部草图插值:在已有草图的基础上，PaintsUndo还能进行补充和完善使得草图更加完整和细致。
- 动漫风格转换:该模型还具有将动漫作品转换为草图风格的功能，为动漫爱好者和创作者提供了更多的创作可能。
- 多输出生成:对于同一张静态图像，PaintsUndo可以生成多种不同风格和细节程度的绘画过程视频，满足用户多样化的需求。
应用场景
- 艺术创作：PaintsUndo为艺术家提供了快速生成草图和多种创作方案的能力，有助于他们在创作过程中更加高效和灵活。
- 教育：对于教育工作者来说，PaintsUndo可以作为教学工具，帮助学生理解绘画的过程和技巧。
- 娱乐：用户可以通过PaintsUndo将自己喜欢的动漫作品转换为草图风格，或者观看绘画全过程视频，享受艺术带来的乐趣。
paintsUndo的技术原理
- 图像分析与草图提取: paintsUndo 通过分析输入的静态图像，提取其中的绘画草图。这一步骤利用了深度学习技术，能够识别图像中的关键线条和结构。
- 外部草图插值: 在已有草图的基础上进行补充和完善。这个过程使用了插值算法，可以在现有草图的基础上生成更加细致和完整的绘画。
- 动漫风格转换: 将动漫作品转换为草图风格。通过特定的风格转换模型，PaintsUndo 能够将动漫图像转换为线条草图，保留原始图像的风格特征。
- 多输出生成: 单一输入图像可以生成多种不同的绘画输出。PaintsUndo 使用多帧模型和单帧模型结合的方法，生成多个关键帧，并通过插值生成完整的绘画过程视频。
- 模型架构: paintsUndo 的多帧模型基于 VideoCrafter 系列模型，包含 3D-UNet、VAE、CUP等组件。单帧模型则采用修改后的 SD1.5 架构，以图像和操作步骤作为输入，输出绘制序列。
PaintsUndo的使用教程
- 访问 PaintsUndo 的网页链接: 打开 PaintsUndo 的官方网站或相关平台
- 选择输入图像: 选择一张静态图像作为输入。这可以是任何你想要转换为草图或进行处理的图片。
- 提交图像: 上传选定的图像并提交，等待模型处理。
- 查看生成结果: 模型会生成草图或绘画输出。你可以查看并下载这些结果,
- 选择功能: 根据需要选择不同的功能，如提取草图、外部草图插值或动漫风格转换。
- 分析输出: 分析模型的输出，了解其在特定情况下的局限性和表现。
要注意的是，paintsUndo虽然挺牛，但它对电脑配置要求不低(至少10GB显存)，处理一张图大概需要5到10分钟，最终生成一个25秒左右的视频。如果你的电脑配置不高，建议不要轻易尝试。