DDColor：阿里巴巴达摩院推出的开源AI图像上色模型

DDColor是什么？

DDColor（全称 Towards Photo-Realistic Image Colorization via Dual Decoders）是由阿里巴巴达摩院 团队在 ICCV 2023 发布的开源 AI 图像上色模型。它采用创新的 双解码器（Dual Decoders）结构，结合多尺度视觉特征与可学习的颜色查询（Color Queries），能够为黑白或灰度图像自动生成自然、逼真的色彩效果。

DDColor Github项目地址：https://github.com/piddnad/DDColor

主要功能特点：

1. 智能色彩增强与自动上色

• 基于深度学习技术的多尺度视觉特征提取技术和可学习颜色查询（Color Queries）技术，可以使黑白、灰度或质量低下的彩色图像自动生成最自然、逼真的色彩。
• 自动检测和寻找图像中的纹理、物体、结构以及物体类型并预测最适合真实世界的效果以产生最自然的效果。

2. 高保真还原与艺术化渲染

• 精准还原历史照片、老电影胶片等原始黑白资料的真实色彩。
• 提供艺术风格上色版本，可为图像赋予更具审美价值和视觉冲击力的色彩效果。

3. 双解码器（Dual Decoders）架构

• 结构解码器：恢复图像的空间结构与细节。
• 颜色解码器：预测并生成每个像素的色彩分布。
• 这种分工协作的架构使得上色效果既细腻又符合语义逻辑。

4. 自适应学习能力

• 不依赖人工制定的色彩分配规则，依据输入图中的内容可自动选择适当颜色进行涂色。
• 对于复杂情况下的图，如具有多个物体、不同光线光照条件也能保证很好的色彩选择能力，少有错误涂色的发生。

5. 多版本与多平台支持

• 提供标准版、轻量版（Tiny）、艺术版等版本模型，能够适用于不同的性能需要和风格偏好。
• 支持运行在本地 Python 环境中，也支持运行于 Hugging Face、ModelScope、Replicate 等平台，便于融入不同环节的工作流中。

应用场景

• 历史影像修复：为黑白老照片、老电影胶片添加符合时代氛围的色彩
• 艺术创作：为素描、线稿或灰度插画赋予丰富色彩
• 游戏与动漫制作：批量上色或风格化处理
• 商业摄影后期：快速为黑白作品添加色彩基调

DDColor的黑白上色测试效果展示：

安装及使用方法：

运行需要安装

• 方式一：如果有本地或云服务器计算资源，可以在本地进行环境安装，以更灵活的方式体验算法模型。
• 方式二：如果觉得本地安装较为复杂，也可以在线运行 ModelScope 平台提供的 Notebook。Notebook 中预先安装了官方镜像，因此无需再进行手动环境安装，更加方便快捷。（打开链接：ModelScope 魔搭社区，点击右上角“快速体验”）

图像准备

• 准备一张黑白图像或者彩色图像（输入一张彩色图像，也可以进行重上色），图像可以在本地或网络上，记录下图像的地址，例如我们选取这张奥黛丽赫本的经典黑白照片：
  https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/audrey_hepburn.jpg

调用 pipeline 进行图像上色

• 这样，我们就获得了一张上色后的彩色图像（result.png），效果还不错！