用于图像着色的五个开源Python工具

作为测试，我将使用两张图像。

本文将使用开源工具，这些工具可以从GitHub下载。

DeOldify

DeOldify是基于SA-GAN (Self-Attention - generate对抗网络)。一般来说，GAN由两个独立的神经网络组成——生成器和判别器。这两个网络都是由大量的图像训练而成，在训练过程中，生成器学会了制作似是而非的图像，而判别器学会将生成的图像与真实的图像区分开来。

为了在本地运行DeOldify，我们需要从GitHub中获取项目，并将预训练好的神经网络权重下载到“models”文件夹中(链接来自项目页面，未来作者可能会更改):

git clone https://github.com/jantic/DeOldify
cd DeOldify
mkdir models
cd models
wget https://data.deepai.org/deoldify/ColorizeArtistic_gen.pth
wget https://www.dropbox.com/s/usf7uifrctqw9rl/ColorizeStable_gen.pth?dl=1 -O ColorizeStable_gen.pth
cd ..

在这里，我将“device”设置为CPU - 如果您没有好的显卡，则很可能会收到“内存不足”错误（CPU上的处理时间约为3-5s，GPU上的处理时间约为0.5s，因此CPU计算也运行良好）。如果您希望运行独立的Python代码，则可以使用以下Python代码：

from deoldify import device
from deoldify.device_id import DeviceId
from deoldify.visualize import *
torch.backends.cudnn.benchmark=True
device.set(device=DeviceId.CPU)
colorizer = get_image_colorizer(artistic=True)
img_out = colorizer.get_transformed_image(path="anna_bw.jpg", 
                                          render_factor=15,
                                          watermarked=True)
img_out.save("anna_color.jpg")

至于结果，相当不错：

大家还可以尝试更改模型(有两种模型，具有更鲜艳颜色的“artistic”模型和“stable”模型可用)和影响输出颜色的“render_factor”变量。要去除水印可以将参数watermarked设置为False。

彩色图像着色（Colorful Image Colorization）

这个项目使用卷积神经网络(CNN)来生成彩色图像。在体系结构上，它比DeOldify简单得多，但正因为如此，它可能更方便大家理解它的工作原理。

最后一次项目更新是在2020年，但代码仍然可以工作，并且可以很容易地在本地运行。

有两种模型可用，Python代码如下:

import colorizers as c
import torch
import matplotlib.image as plt
img = c.load_img("image_bw.jpg")
tens_l_orig, tens_l_rs = c.preprocess_img(img, HW=(256, 256))
img_bw = c.postprocess_tens(tens_l_orig, 
                torch.cat((0*tens_l_orig, 0*tens_l_orig), dim=1))
colorizer_eccv16 = c.eccv16(pretrained=True).eval()
out_img_eccv16 = c.postprocess_tens(tens_l_orig,
                                colorizer_eccv16(tens_l_rs).cpu())
plt.imsave('image_eccv16.jpg', out_img_eccv16)
colorizer_siggraph17 = c.siggraph17(pretrained=True).eval()
out_img_siggraph17 = c.postprocess_tens(tens_l_orig,
                             colorizer_siggraph17(tens_l_rs).cpu())
plt.imsave('image_siggraph17.jpg', out_img_siggraph17)

结果如下：

ChromaGAN

顾名思义，ChromaGAN的作者也在使用生成对抗网络给图像上色。

这个项目可能只是作为研究的一个演示，操作并不是太友好。在使用项目之前，应下载“my_model_colorization.h5”文件（链接在GitHub页面上提供）并放入“MODEL”文件夹中。源图像和输出图像应该分别放在“chromagan_images”和“chromagan_results”文件夹中，然后可以参考作者jupyter notebook进行处理。要在本地PC上运行代码，“from google.colab.patches import cv2_imshow”和“cv2_imshow(…)”行应该删除。该项目正在使用Keras，如果出现“内存不足”的错误，建议在文件开头添加os.environ["CUDA_VISIBLE_DEVICES"] = "-1"。

Google Colorization Transformer (ColTran)

这个项目可以从google-research GitHub页面下载，更详细的研究论文也可以下载。作者使用的是具有自注意力架构的轴向transformer，而不是GAN。在使用ColTran之前，我们需要下载预训练模型，这些模型位于ColTran.zip归档文件中。该归档文件包含3个模型检查点:colorizer、color_upsampler和spatial_upsampler。然后我们可以运行3个Python命令:

python3 custom_colorize.py --config=configs/colorizer.py --mode=colorize --accelerator_type=CPU --logdir=colorizer --img_dir=img_dir --store_dir=target_dir
python3 custom_colorize.py --config=configs/color_upsampler.py --mode=colorize --accelerator_type=CPU --logdir=color_upsampler --img_dir=img_dir --store_dir=target_dir --gen_data_dir=target_dir/stage1 --mode=colorize
python3 custom_colorize.py --config=configs/spatial_upsampler.py --mode=colorize --accelerator_type=CPU --logdir=spatial_upsampler --img_dir=img_dir --store_dir=target_dir --gen_data_dir=target_dir/stage2

这里的img_dir是一个文件夹，包含源图像，store_dir是输出文件夹，colorize是一种处理模式，而logdir是到预训练模型的路径。我们有3个处理步骤:我们有3个处理步骤:“colorizer”只使用512种输出颜色和64x64的输出图像进行粗着色，“color upsampler”改善颜色，“spatial upsampler”将图像提升到256x256的分辨率。

结果是颜色也很准确:

这个工具可能只是作为研究论文的演示而制作的，与以前的项目相比，没有现成的方法来处理任意分辨率的图像。输出仅限于 256x256 大小。

BigColor

BigColor项目是由作者在2022年提出的。作者还在他们的论文中写道:“我们将BigColor与最近的自动着色方法进行了比较，包括CIC、ChromaGAN、DeOldify、InstColor、ColTran和ToVivid。在六张具有挑战性的图像上，BigColor的优于所有方法。”

该项目本身可以从GitHub页面下载（https://github.com/KIMGEONUNG/BigColor）。使用代码很简单。在进行转换之前，应该执行两个脚本download- pretraining.sh和download-bigcolor.sh。之后，可以使用一个命令完成转换:

python3 colorize_real.py --path_ckpt=ckpts/bigcolor --path_input=images_gray --epoch=11 --type_resize=powerof --seed=-1 --device=cpu

此处的path_ckpt是指向预训练模型的路径，images_gray是包含源图像的文件夹。结果如下：

最后

图像着色是一个有趣的话题，正如我们所看到的，不同的方法和架构是可能的。从准确性的角度来看，事情也很复杂。通常，黑白照片不再有颜色信息，因此神经网络只能根据之前训练的图像来猜测输出结果。例如，这是我用来测试的原始图像：

这是相同的图像，转换为黑白：

这是使用DeOldify制作的图像：

树是绿色的，天空是蓝色的，这已经挺不错了。但是，不仅DeOldify，而且其他经过测试的项目都无法正确确定百叶窗的颜色。在大多数情况下，这些结果已经足够好了。