自适应图：一统零样本、增量域适应问题

科技 07-03 来源：茕茕而孑立

这里介绍一篇关于迁移学习的论文，发表于CVPR 2019。

论文属于 #人工智能# 之 #计算机视觉# 之迁移学习。题目：

AdaGraph: Unifying Predictive and Continuous Domain Adaptation through Graphs

摘要

论文定义了域适应的一种场景，预测域适应 PDA，没有目标域数据，系统需要从标注的源域数据和辅助域带有元数据的无标注样本。

问题来了？

什么是辅助域？在PDA当中有多个源域，本文中的辅助域指的是没有标注数据的源域。

样本的元数据是什么？答：对应的图片时间戳或者对应的相机姿势等。在数据集Comprehensive Cars中，指的是拍摄角度和车的生产年份。

从图1来看，辅助域就是传统域适应里的目标域的图片，但是还没有搞清楚，这里的“目标域”和辅助域之间的关系。元数据就是通过这些样本得到的图。这些图代表了一些先验信息，使得在测试阶段给定目标域的元数据的时候，可以对目标域很好的预测。

我们理一下训练阶段和测试阶段都有什么？

训练阶段：目标域标注样本及其元数据，辅助域无标注样本及其元数据
测试阶段：目标域无标注数据及其元数据，在“增量情况下”目标域数据及其元数据在增长

引言

域适应的本质问题是什么？

现象是在一个数据集上效果很好的模型，在另一个数据集上效果不好。原因是光照变化、视角变化等变化导致的在视觉数据（图像、视频）中的外观变化。视觉数据中的外观变化产生了域漂移问题，也就是说模型的判别准则是和视觉变化是有莫大关系。那域适应目标就是要克服这些视觉变化，让模型能够更好的识别目标。其实，抽象一点来说，就是需要模型能够提取更高层的语义信息、减少对底层信息的依赖，适应不同视觉变化下的目标。也就是学习所谓的，域不变表示，domain invariant representation。

域适应解决的是源域和目标域分布不匹配的问题，目的是为目标域训练一个精准的预测模型。在无监督域适应中，目标域只有无标注的数据。但是，在实际当中，并不是所有的目标域都能收集到无标注数据。所以，为了更实际的情况，我们旨在得到能够泛化到新的之前没有见过的目标域。

> DA -> unsupervised DA -> predictive DA (PDA)

> predictIve DA类似于ZSL。两者的情况都是目标域没有任何数据。

> ZSL中有GZSL，那么PDA是否对源域样本也进行测试？

图是如何构建的？

图是建立在辅助域的元数据和辅助样本上，这些图描述了域之间的依赖关系。

节点：表示一个域；

边：表示域之间的关系。

方法

概览

源域和目标域的基础框架一样，针对不同的域微调框架参数。文中拿分类任务举例。

对分类任务，文中建立了一个统一的神经网络模型。该模型有卷积层，全连接层和正则化层(batch-normalization layer)组成。作者认为，对每个域，卷积层和全连接层的参数是一样的。对不同的域，正则化层的参数不一样。所以1. 探求域与正则化层参数之间的关系。2.利用该关系调整目标域的参数

数据

AdaGraph: Graph-based Predictive DA

用图连接域

给定一个新的域（目标域T）要求它的模型参数：

给定一张新的图片x，求一组属于它的模型参数

其中p(v|x)是指，样本x属于域v的概率

可学习的参数

我们将模型的参数分为两种：$\psi(k)=\{ \theta^{\alpha} , \theta^s_k \}$

一种对每个域来说都一样，比如卷积层、全连接层。由源域数据做有监督的训练得到

一种是每个域都不一样的参数：正则化层的参数

Experiments

扒开迷雾见青山，终于见到了元数据。

数据集

论文有三个数据集：Comprehensive Cars (CompCars), the Century of Portraits and the CarEvolution.

Comprehensive Cars：136,726张图片，产自2004到2015年。论文选定了一个子集，24,151张图片，4种车型（MPV，SUV，sedan，hatchback），生产年份从2009年到2014年，5种视角（前方、侧前方、侧面、后方、侧后方）。把视角和生产年份作为独立的域，一共有5x6=30种域。其中，1个域作为源域，1个域作为目标域，剩下的28个域作为元数据是二维向量, 车辆生产年份、拍照角度。

Century of Portraits：

元数据是三维向量，年代、南北方、东西。