CodeFormer 是一款基于 AI 技术深度学习的人脸复原模型,由南洋理工大学和商汤科技联合研究中心联合开发。此外,CodeFormer 还可以用于修复破损、模糊、不完整以及黑白的照片和视频,效果令人瞩目。它运用了尖端的神经网络 AI 技术,能够精确地修复各种图像和视频问题。
官网入口:https://github.com/
主要功能特点:
- 老照片修复:可以修复模糊或损坏的老照片,使其变得更加清晰。
- 黑白照片彩色化:为黑白照片添加自然的颜色,让照片更加生动。
- 照片马赛克修复:去除照片中的马赛克,还原照片的原始内容。
- 低码率视频增强:增加低码率视频的细节,提升视频质量。
CodeFormer 在人脸修复方面有着极为出色的表现,这一点从其官方给出的测试对比图便能够得到有力证明。用户能够便捷地下载并安装 CodeFormer 的源码,且可运用 PyTorch 框架来进行运行和测试。若要对 CodeFormer 工具进行测试,用户仅需下载源码并依照说明安装 PyTorch 框架,之后通过命令行界面输入相应的参数,便能够进行人脸清晰化修复、人脸色彩化以及人脸去马赛克等一系列操作。
先上一张效果图来进行做一个对比:
CodeFormer 的人脸去马赛克算法仅对白色遮挡有效,对于其他颜色的遮挡并不能做到完全修复。这或许可以算是该工具存在的一个稍小的缺陷之处,不过在大多数情形下,这并不会对其整体的性能与效果产生太大的影响。
使用方法(图文教程):
- 第一种方式:直接在 Github 上按照 README 文档配置环境,加载模型权重进行推理。这种方式需要一定的技术基础,适合对技术比较熟悉的用户。
- 第二种方式:通过 Web 端直接访问,作者已将该模型打包至抱抱脸平台上,用户可以在线上使用。这种方式比较方便,无需安装配置环境,但可能需要一定的网络条件。
- 第三种方式:通过 GUI 可视化界面在本地运行,无需担心隐私泄露,也无需安装配置编译环境,一键即可运行。这种方式适合大多数用户,尤其是对技术不太熟悉的用户。
下载与安装:
- 把压缩包进行下载,并将其解压至本地的特定目录之中。
- 预先准备好两个文件夹,其中一个作为输入文件夹,用于放置有待复原的图片,另一个则作为输出文件夹,用来存放经修复后的图片。然后,选择对应的功能,当前支持针对人脸(已抠好的)、人体(内部已置入了人脸检测以及对齐模型)以及视频进行推理操作。
- 该项目是在 DeepFaceLab 和 CodeFormer 的基础上得以完成的,其中人脸检测模型是基于 retinaface 以及 yolov5,而背景增强则是基于 RealESRGAN_x2plus 的模型权重。需要特别加以注意的是,全图清晰化所针对的是对全身进行复原操作,所以建议在使用完毕之后,针对截取过的人脸再次运用一遍人脸图清晰化的功能。