GitHub给老照片上色项目曝光： 用AI修复母亲的旧照片
大数据文摘出品
作者：宋欣仪
出门在外，是不是才觉得妈妈的唠叨分外可爱又令人怀念。母亲节到了，翻箱倒柜想找出一张妈妈的老照片，却因为早已泛黄褪色而触碰不到回忆的信号，记不得哪年哪月哪天，找不回那条曾经以为可以一直走都走不到尽头的童年街巷。弯弯的月亮，摇在手里的蒲扇，是回不去的流逝光阴，但能不能至少将这些回忆镌刻在相片，然后紧紧攥在手里？
最近图像修复大火，从网友们用小程序“你我当年”一键修复老照片到GitHub上的热门项目“用机器学习给黑白照片上色”，我们似乎找到一个保存记忆的良方。
GitHub上给老照片上色的一个项目：DeOldify
岁月从墙上剥落，小时候牵着妈妈的手哭着闹着要买的那根冰棍，你还记得它的颜色吗？用DeOldify给黑白照片上色，尝试拼凑出曾经的家庭生活的欢乐色彩，也找回曾经的家庭时光的温度。
感恩节的回忆（1911年）
Lemuel Smith夫妇和年幼的孩子们在农场的家庭时光（1941年）
假如母爱有颜色，假如思念有形状，它不应该是黑白而模糊的。回忆应该是在明朗的月光下，沿着夏夜的风爬上家门口的梧桐，然后轻轻敲打我的窗台。
给老电影《黑暗中的舞者》上色
《黑暗中的舞者》讲述一个母亲来到美国为了治愈失明的13岁儿子，甘愿自己被捕入狱，并且最后被判死刑。当死亡就在眼前时，巨大的恐惧和强烈的求生欲让她嘶叫嚎哭，只有朋友告诉她儿子手术成功，不会失明时，才让她镇定下来，惊恐无助的女孩又回归成为了从容的母亲。是非常适合母亲节观看的一部影片。
这是影片最后行刑前比约克对儿子说的话：
亲爱的儿子俊，别害怕，我从不孤单，这不是最后一首歌，没有小提琴，合唱团那么安静，没人转圈。这是倒数第二首歌，记得我说过的话，把面包包好，把床铺好。
大火的小程序“你我当年”
网友用小程序“你我当年”还原女星模糊照片后的美貌：
林青霞修复后的照片
我的妈妈可能有点普通，有时候还有点市侩。我们说“为母则刚”，但她当年也只是一个被捧在手心里的小公主。快拿妈妈年轻时候的照片也试一下，看一看她当年的风采。
图像修复技术一览
AI修复官：记忆不再模糊
“你我当年”运用主要是CNN、GAN等AI技术，即卷积神经网络和生成式对抗网络”，让人想到美图秀秀的一键磨皮，它们虽然都利用了卷积神经网络，但二者并不一样。美颜软件中常见的磨皮功能是做减法，将照片去掉细节，做模糊处理。常用的磨皮算法包括均值模糊、高斯模糊、中值滤波等，它们的去噪效果好，但视觉效果差。而你我当年是做加法，可以自动补充细节，即利用AI算法替代图像中缺失或者损坏的数据。
AI修复的大小S照片在网上引起惊叹
图像修复一般用“扩散”的方法来处理，这种方法将局部结构应用到其他部分。或者用“示例”的方法，每一次构建缺失部分的一个像素点（块）保持和周围像素点的一致性。但是当缺失部分很大时，这些方法会失效，因此就需要运用机器学习。由一个高阶模型提供补充的信息，例如深度神经网络。
深度神经网络使用监督图像分类，在监督图像分类中，每个图像都有一个特定的标签，神经网络通过一连串的基本操作运算来学习图像到标签之间的映射。通过输入学习大量的数据集（数百万张带有成千个的标签的图像），神经网络可以实现准确的分类，实施一个判别式预训练的神经网络来指导图像重建。
原理类似训练一个机器人，让其对缺失信息很多的图进行“脑补”；同时找来一个“鉴定师”提出意见，让机器不断钻研，双方不断提升。
AI上色师：老照片重见光彩
同样地，训练有素的AI可以学会上色，生成对抗网络的本质还是学习损失函数。通过先对照片进行图像分割，AI可以区分出标志性物体，认出图像中的各种元素，比如树木、天空、人脸、服装……在输入大量包含常见场景和人物的图片后，AI会自动学习和记忆这些关键信息的颜色，比如树叶是绿色、人脸是肤色等。因此，它可以很快开始对黑白照片里的场景进行彩色化，填补缺失色彩。
而更进一步地，AI正在逐步从静态照片进军动态效果，近日，在Facebook的F8大会上，一个名为Jason Antic软件工程师展示了用DeOldify为老电影上色，效果非常惊艳。
电影《Reefer Madness》1936
DeOldify的深度学习模型借鉴了当前多种主流技术方法，包括：自注意生成对抗网络（Self-Attention Generative Adversarial Network）、两个时间尺度更新规则（Two Time-Scale Update Rule）以及最重要的——NoGAN——他开发的一种新型GAN训练模型，用来解决之前DeOldify模型中出现的一些关键问题。NoGAN训练结合了GAN训练的优点(绚烂的色彩)，并消除了一些副作用(如视频中闪烁的物体)。
GitHub地址：
https://github.com/jantic/DeOldify/blob/master/README.md
上色体验地址：https://colorize.cc/