微软提出人工智能老照片彩色化,基于样本的局部着色深度学习方法

微软提出人工智能老照片彩色化,基于样本的局部着色深度学习方法(特约点评:人工智能老照片彩色化,基于样本的局部着色深度学习方法对于老照片彩色化提供了新的思路,这个创新点趣说人工智能必须推荐。来自网友小星的推荐!)

人工智能老照片彩色化基于样本的局部着色的深度学习方法摘要:我们提出了第一种基于样本的局部着色的深度学习方法。给定参考彩色图像,我们的卷积神经网络直接将灰度图像映射到输出彩色图像。我们的端到端着色网络不是像传统的基于示例的方法那样使用手工制作的规则,而是学习如何从大规模数据中选择,传播和预测颜色。即使使用与输入灰度图像无关的参考图像,该方法也可以很好地执行并且通用性很好。更重要的是,与其他基于学习的着色方法相反,我们的网络允许用户通过简单地提供不同的参考来实现可定制的结果。为了进一步减少选择参考的手动工作量,系统会自动推荐使用我们提出的图像检索算法的参考,该算法同时考虑语义和亮度信息。只需选择顶部参考建议,就可以完全自动执行着色。我们的方法通过用户研究和对最先进方法的有利定量比较得到验证。此外,我们的方法可以自然地扩展到视频着色。我们的代码和模型将免费供公众使用。

人工智能老照片彩色化基于样本的局部着色的深度学习方法简介:图像着色的目的是为灰色图像添加颜色,使得彩色图像在感知上有意义且在视觉上是可见的。该问题是病态的并且本质上是模糊的,因为可能有许多颜色可以分配给输入图像的灰色像素(例如,叶子可以用绿色,黄色或棕色着色)。因此,没有独特的正确解决方案,人为干预通常在着色过程中起着重要作用。

用于指导着色的手动信息通常以两种形式之一提供:用户引导的涂鸦或样本参考图像。在第一个范例中[Levin et al。 2004; Yatziv和Sapiro 2006;黄等人。 2005; Luan等。 2007; Qu等人。因此,必须仔细选择放置涂鸦和颜色调色板的手动工作,以获得令人信服的结果。这通常需要经验和良好的美感,因此对于未经训练的用户来说具有挑战性。在第二范式中[Welsh et al。 2002; Irony等人。 2005;泰等人。 2005; Charpiat等人。 2008;刘等人。 2008; Chia等。 2011;古普塔等人。 2012; Bugeau等。在图2014中,给出了与灰度图像类似的颜色参考图像以便于处理。首先,建立相关性,然后从最可靠的对应关系中传播颜色。但是,结果的质量在很大程度上取决于参考的选择。由照明,视点和内容不相似引起的参考和目标之间的强度差异可能误导着色算法。

更可靠的解决方案是利用巨大的参考图像数据库来搜索最相似的图像补丁/像素以进行校准。最近,深度学习技术在大规模数据建模方面取得了令人瞩目的成果。图像着色被公式化为回归问题,深度神经网络被用来直接解决它[Cheng et al。 2015年; Deshpande等。 2015年;拉尔森等人。 2016年Iizuka等。 2016年张等人。 2016年Isola等。 2017年;张等人。 2017年]。这些方法可以完全自动地为新照片着色,而无需任何涂鸦或参考。不幸的是,这些方法都不允许多模式着色[Charpiat et al。 2008]。通过从数据中学习,他们的模型主要使用他们学到的主色,阻碍了任何类型的用户可控性。另一个缺点是必须在包含所有潜在对象的非常大的参考图像数据库上进行训练。

最近的作品试图实现两全其美:互动的可控性和学习的稳健性。张等人。 [2017]和Sangkloy等。 [2016]将颜色点或笔画形式的手动提示添加到深度神经网络中,以便为用户提供的涂鸦建议可能需要的颜色。这极大地促进了传统的基于涂鸦的交互,并通过从大规模数据中学到的更自然的颜色实现了令人印象深刻的结果。然而,涂鸦对于获得高质量的结果仍然是必不可少的,因此仍然涉及一定量的反复试验。

人工智能老照片彩色化基于样本的局部着色的深度学习方法贡献:在本文中,我们建议另一种类型的混合解决方案。我们提出了第一种基于样本的本地化的深度学习方法。与现有的着色网络相比[Cheng et al。 2015年; Iizuka等。 2016年张等人。 2016],我们的网络允许通过简单地选择不同的参考来控制输出颜色。如图1所示,参考可以与目标相似或不同,但我们总是可以在结果中获得似乎合理的颜色,这些颜色在视觉上忠实于参考并且在感知上有意义。

为了实现这一目标,我们提出了第一个卷积神经网络(CNN)来直接选择,传播和预测灰度图像的对齐参考的颜色。我们的方法在质量上优于现有的基于样本的方法。成功来自我们基于样本的协作框架中的两个新的子网络。

首先,相似性子网是预处理步骤,其提供端到端着色网络的输入。它使用在灰度图像对象识别任务上预训练的VGG-19网络测量参考和目标之间的语义相似性。与基于低级特征的先前度量相比,它为不同的语义图像外观提供了更健壮和可靠的相似性度量。

然后,Colorization子网为相似或不相似的贴片/像素对提供更通用的着色解决方案。它采用多任务学习来训练两个不同的分支,它们共享相同的网络和权重但与两种不同的损失函数相关联:1)色度损失,它鼓励网络有选择地传播相关补丁的正确参考颜色/像素,满足色度一致性; 2)感知损失,它强制结果与高级特征表示的真彩色图像之间的紧密匹配。即使在参考中没有适当的匹配区域的情况下,这也确保从大规模数据中获得适当的着色(参见图2)。因此,我们的方法可以大大放宽对其他基于示例的方法所要求的良好参考选择的限制要求。

为了引导用户进行有效的参考选择,系统根据提议的图像检索算法推荐最可能的参考。它利用高级语义信息和低级亮度统计来搜索ImageNet数据集中最相似的图像[Russakovsky et al。 2015年]。在此建议的帮助下,我们的方法可以作为全自动着色系统。实验证明,我们的自动着色在数量和质量上优于现有的自动化方法,甚至可以为最先进的交互方法产生相对高质量的结果[Zhang et al。 2017年; Sangkloy等人。 2016年]。我们的方法也可以扩展到视频着色。

我们的贡献如下:(1)基于样本的着色的第一个深度学习方法,它允许可控性并且对参考选择是稳健的。 (2)一种新颖的端到端双分支网络架构,当可靠的参考不可用时,它共同学习忠实的本地着色到有意义的参考和合理的颜色预测。 (3)参考推荐的参考图像检索算法,通过它我们也可以实现全自动着色。 (4)一种能够转换为不自然图像的方法,即使网络纯粹是在自然图像数据集上进行训练。 (5)视频着色的扩展。

人工智能老照片彩色化基于样本的局部着色的深度学习方法基于Exemplar的着色网络:我们的目标是基于颜色参考图像着色目标灰度图像。更具体地,我们的目标是将参考颜色应用于存在语义相关内容的目标,并且回归到参考中没有相关内容的对象或区域的合理着色。为实现这一目标,我们解决了两大挑战。

首先,难以测量参考和目标之间的语义关系,特别是考虑到参考是彩色的而目标是灰度图像。为了解决这个问题,我们使用灰度VGG-19,仅使用亮度通道训练图像分类任务,以提取自己的特征,并计算其特征的差异。其次,通过基于相似性度量定义手工制作的规则,选择参考颜色并正确地传播它们仍然具有挑战性。相反,我们提出了一个端到端网络来同时学习选择和传播。通常两个步骤都不足以恢复所有颜色,特别是当参考与目标不是很相关时。为了解决这个问题,我们的网络将改为预测大规模数据中未对齐对象的主色。

图3说明了系统管道。我们的系统使用CIE Lab颜色空间,它是感知线性的。因此,每个图像都可以分为亮度通道L和两个色度通道a和b。我们系统的输入包括灰度目标图像TL H×W×1,颜色参考图像RLab H×W×3,以及它们之间的双向映射函数。比迪西反射映射函数是用双向对应定义的空间扭曲函数。它返回给定源位置“p”的变换像素位置。这两个函数分别表示为φT→R(映射T到R的像素)和φR→T(将像素从R映射到T),其中H和W是高度和输入图像的宽度。为简单起见,我们假设两个输入图像具有相同的尺寸,尽管这在实践中不是必需的。我们的网络由两个子网组成。相似子网络计算参考和目标之间的语义相似性,并输出双向相似性图simT↔R。 Colorization子网采用simT↔R,TL和Raj b作为输入,输出目标Pab H×W×2的预测ab通道,然后将其与TL组合以得到校正结果PLab(PL = TL)。以下部分介绍了两个子网的详细信息。

人工智能老照片彩色化基于样本的局部着色的深度学习方法限制和结论:我们提出了一种新颖的着色方法,它采用深度学习架构和参考彩色图像。我们的方法是基于样本的着色的一般解决方案,因为即使目标图像在参考中没有明确的对应关系,它也会产生合理的结果。在这种情况下,它仍然能够为目标图像产生合理和自然的颜色。与大多数深度学习着色框架不同,我们的方法允许我们控制着色结果。此外,利用参考推荐算法,系统还为用户提供了用于重新着色黑白照片和电影的自动工具。我们的方法也受到一些限制,可以在未来的工作中解决。首先,我们的网络不能使具有异常或艺术色彩的对象着色,因为它受到来自所提出的感知分支的学习的约束,如图21的顶行所示。

其次,基于分类网络(VGG)的感知损失不能惩罚具有较低语义重要性的区域中的错误颜色,例如图21第二行中的墙壁,或者无法区分具有相似局部纹理的较少语义区域例如图21第三行中类似的沙和草纹理。此外,当图像之间存在明显的亮度差异时,我们的结果不太忠实于参考,如图21的底行所示。为了减轻这种限制,我们的参考推荐算法在当地排名中强制实施亮度相似性。偶尔,我们的方法无法预测某些局部区域的颜色,如图16所示。探索如何更好地平衡网络的两个分支是值得的。

原文:Deep Exemplar-based Colorization。

发表评论
留言与评论(共有 0 条评论)
   
验证码:

相关文章

推荐文章

'); })();