人工智能图像来源分析图像来源分析的任务也受益于深度学习元数据（特约点评：人工智能图像来源分析图像来源分析的任务也受益于深度学习元数据对于图像来源分析提供了新的思路，这个创新点趣说人工智能必须推荐。来自网友小星的推荐！）

人工智能图像来源分析：图像来源分析的任务也受益于元数据摘要:无论是绘画还是模因，创意作品都遵循独特的旅程，从而形成最终形式。了解这些旅程，这一过程被称为“原产地分析”，为任何特定工作的使用，动机和真实性提供了丰富的见解。我们在本文中考虑将这种类型的研究应用于互联网上广泛的不受管制的内容。源内容分析提供内容的时间顺序和有效性的快照，因为它随着时间的推移上传，重新上传和修改。尽管仍处于起步阶段，但在线多媒体的自动化起源分析已经应用于不同类型的内容。目前大多数作品都是根据图像或视频之间的共享内容来构建起源图。这可能是一项计算成本高昂的任务，尤其是考虑到互联网每天都能看到的大量内容。利用非基于内容的信息（例如时间戳，地理标记和摄像机ID）可以帮助提供有关特定图像或视频在互联网上传播的路径的重要见解，而无需大量计算开销。本文在两种不同的场景中测试基于元数据的推断图形构建的范围和适用性：数字图像取证和文化分析。

人工智能图像来源分析：图像来源分析的任务也受益于元数据简介:理解视觉对象背后的故事是一种广泛兴趣的活动。无论是确定用于制作绘画的调色板，雕塑家的风格，还是艺术品的真实性，得出手头物体的起源和构成对许多人来说都是一项艰巨但重要的任务。考官。源于艺术作品性质的微妙线索长期以来一直用于提供与起源相关的问题[8]。劳伦斯·斯蒂芬·洛瑞（Darnce and Joan）绘画中的灰白色调使劳伦斯·斯蒂芬·洛瑞（Laurence Stephen Lowry）对其真实性产生了质疑[10]。 Danseuse Bleue et Contrebasses油漆中的铅含量以及对画家签名的仔细审查使得专家能够正确地恢复Edgar Degas最着名作品的有效性[9]。这种来源分析帮助历史学家，文化分析师和艺术爱好者分析这些作品的起源，内容和成长。虽然用于进行种源分析的技术随着时间的推移而发展[25]，但它一般来说仍然是一个未解决的问题[63]。在艺术史领域，它是最活跃和最重要的研究领域之一[64]，因为仍有复杂的案例尚未建立起源（例如，绘画Bords de la Seine a`Argen- teuil [ 51]和解释艺术品之间关系的新途径。

上述案例研究可能使人们相信，来源分析是过去破译事件的工具。相反，随着在线数字媒体的普及，对起源分析的需求从未如此及时。目前的社会情绪只能在网上模因和其他病毒运动的背景下得到充分理解[59]。此外，由于真实和虚假图像之间的界限模糊，这些类型的在线现象可以用于欺骗公众的程度已经引起了人们的极大关注[32]。借助高质量的相机和图像编辑软件，任何人都可以使用照片，比照片或雕塑更容易打造照片。我们已经达到了这样的程度，即可以生成具有细粒度细节的数字伪造品，直至摄影风格和传感器噪声[49,44]。反取证方面的这些进步削弱了内容的可信度，所有权和真实性。共享图像和视频的当前比例需要以自动方式回答这些问题。

可以采用图像处理和计算机视觉技术来检测图像或其他数字艺术形式之间的对应关系[47,7,68]。这种对应的范围可以从图像[46]中的对象匹配到比较两者的风格[29]和语义[57]。原产地分析可以被认为是多个图像对集之间的排序对相似性，因此是成对图像比较的自然延伸。这些随后的有序排序可以被建模为图形，其中每个边缘表示一对之间的对应关系，并且边缘的末端顶点表示两个相应的图像。图1中可以看到这种图形的一个实例。该示例表明，源头分析算法可以分析同一视觉对象的多个非常近距离的真实版本。像这样的复杂场景可能会使基于内容的相似性指标不可靠。

人工智能图像来源分析：图像来源分析的任务也受益于元数据贡献：由于单个原始图像的大量可能版本，用于量化图像对之间的相似性的度量可能是嘈杂的。完全依靠视觉线索将不同版本排序成图形可能导致原始重建不良[11,52]。因此，利用其他数据源来确定连接变得恰当。例如，很难指出图2中两个图像之间的语义差异，但可以通过检查图像文件的元数据来区分图像。这样的一对图像可以被称为语义上相似的，因为它们以语义方式彼此相关但不是源自相同的源[56,11]。匹配难度也可以出现在近似重复图像的集合中，这些图像是从经历过一系列变换的单个原点（例如，作物饱和去饱和物）产生的。这些图像集中的像素级数据可能表现出模糊的证明方向性。可能需要超出像素级数据的信息来检测这些图像之间的差异。为了处理图像内容无法解释图像演变的场景，可以使用文件元数据来帮助填补空白。在这项工作中，我们探索使用通常存在的文件元数据标签来改进图像来源分析。我们将这些结果与基于图像内容的方法进行比较，并突出显示两者的优缺点。

人工智能图像来源分析：图像来源分析的任务也受益于元数据相关工作：原产地分析是各种基于数据的领域中广为人知和研究的现象，如语义网和数据仓库[30,16,4,62]。然而，在线多媒体的起源分析尚未在现有文献中进行广泛研究。与图像起源分析问题最相关和最相关的工作类型来自数字取证文献中的三个既定概念：近似重复检测[19,41]，图像拼接检测[21,6， 38,17,34,15]和图像系统发育[24,23,22]。大多数提出的方法用于分类图像是否是检索上下文中的查询图像的近似复制，并且不确定近似重复的集合中的原始图像。然而，图像系统发育社区已经研究了这个特殊问题。

图像系统发育解决方案旨在找到不同版本图像之间的亲缘关系[24]。与物源分析类似，图像系统发育将其表示限制为以原始图像为根的单根树，即使可能有多个原始图像对图像的创建有贡献。该算法接收查询图像并输出图像系统发育树（IPT）。通过将拼接图像纳入考虑范围，该方法也被扩展到处理多个（两个）根[56]。此多父方案的一个实例在图1中可以观察到四个图像（供体）对中心合成图像的内容有贡献。这些图像系统发育方法的一个约束是解决图像来源分析的非常具体的情况，它们使用有限的一组变换和图像格式处理受约束的数据集[39,22]。除此之外，他们中的大多数只考虑两个图像来形成复合，从而限制了大规模一般适用性的解决方案。因此，新的图像来源算法必须在不同的伪造数据集，图像变换，文件格式和图像分辨率中进行推广和评估，以适用于实际情况。

作为从图像系统发育工作启发的图像种源分析的更一般框架的一步，最近关于无向种源图构建的工作[11]采用了美国国家标准与技术研究所（NIST）提出的更一般的分类和数据集。 [55]。它提供了U-phylogeny管道作为解决证明分析的初步方法，该方法不仅限于一组封闭的图像变换，也不限于用于形成多母复合材料的供体图像的数量。结果是针对存在和不存在干扰物的情景（与查询图像的起源历史无关的图像），显示了容忍无关图像的方法。 U系统发育方法的局限性在于它不提供定向起源图，这是理解媒体对象演变所必需的。

为了克服方向限制并提出可扩展的方法，在[52]中描述了用于图像源分析的更完整的端到端流水线。用于图形构造的方法首先基于局部图像特征建立不相似性矩阵，然后采用层次聚类来对节点进行分组并在最终出处图中绘制边缘。如第1部分所述，仅依靠图像内容可能会导致噪声边缘延迟。对于有向边缘尤其如此，已经证明有向边缘比无向边缘更难以导出[11,52]。解决此问题的一个选项是使用文件元数据。文件元数据主要用于数据和软件起源分析[1,4,30]，因为这些信息揭示了无法直接从数据中获得的文件的重要线索。

在图像域中，元数据通常存储关于用于捕获图像的设备和用于处理图像的软件的信息。这些类型的标签提供的信息已被用于提高任务的有效性，如图像分组[37,45]，基于内容的图像检索[2,67]，照片分类[14]，图像注释[ 40]和版权保护[33]。其中，在图像之间建立语义对应的算法，例如自动分组或分类，可以利用诸如日期，位置，内容发起者，相机类型和场景类型之类的标签[35]，而那些检测到篡改的标签可能依赖于检测内部的不一致性。包含源和版权信息的这些和其他标签的值[18,33]。图像元数据可以分为三种类型：EXIF，IPTC和XMP [26]。可交换图像文件格式（EXIF）数据是使用最广泛的数据，无论图像采集的模式和条件如何，大多数相机都会自动创建和存储。 IPTC是国际新闻电信委员会专门为媒体开发的标准。它主要与版权信息有关，在最新版本中，它已被纳入Adobe的可扩展元数据平台（XMP）标准。 XMP是三者中最新的标准，但并不是最广泛采用的标准。在本文中，我们专门使用EXIF标准。正如Alvarez在[3]中所提到的，“从JPEG文件中提取EXIF标题可以帮助调查人员区分未触及的数字图像。”根据该文章，执法人员使用元数据来帮助确定图像是否已被编辑为看起来像儿童色情。 EXIF信息以及JPEG标题信息和缩略图也被用于测试数字图像的真实性[42]。 Fal等人提出了要相关的图像处理和EXIF参数的证据的另一个实施例。 [27]。虽然过去已经成功地将元数据用于取证任务[12,28,34,48]，但它之前尚未用于物源分析。

使用元数据进行原产地分析：提出的基于元数据的解决方案建立在上一节中解释的最先进的物源图构建框架之上。为了使解决方案尽可能广泛适用，我们依靠EXIF元数据标签来改进对来源图中边缘的推断。我们根据标签的可用性和与出处问题的相关性来选择标签。虽然许多图像中经常存在大量元数据标签，但这些标签中只有一小部分提供了有用的信息，可用于辨别图像间关系。此外，使用仅由特定相机固件提供的标签或仅适用于某些格式（例如，JPEG）的标签降低了所提出方法的普遍性。

图3描绘了一个方向模糊的图像对示例。在图3（a）中的两个图像之间执行基于兴趣点的成对分析之后，两者之间的拼接（从左到右边缘）或移除（从右到左边缘）操作的有效参数可以做成。利用两个图像中的“DateTimeOriginal”标记消除了这种关系的歧义，揭示了狮子在以后确实拼接到图像中。表1显示了在本工作中选择的元数据标签，用于提供图像成对出处分析。

通常，互信息的价值被用作图像之间的成对关联度，或者作为N个图像中完整图形中边缘的权重，没有自我循环[52]。为了在此阶段合并元数据信息，我们提出了一种基于启发式的规范化投票，以将权重归因于每个成对的图像关系。用于此目的的启发式算法是在图像出处的背景下直接的元数据相关假设，并且依赖于表1中给出的标签的内容。

人工智能图像来源分析：图像来源分析的任务也受益于元数据讨论：图像元数据是改善图像检索[61]，语义分割[5]和操作检测[34]等领域结果的宝贵资产。我们的工作表明，图像来源分析的任务也受益于元数据。外部环境可以证实纯视觉技术的证据，为物源图重建创造一个更好的整体解决方案。除了利用无法从图像本身获得的信息之外，基于元数据的方法在计算上非常便宜。此外，与需要大量培训资源的复杂，数据驱动，基于视觉的技术不同，像我们这样的方法根本不需要培训。这些方法可以很容易地大规模部署，从而导致很少的性能开销。由于当前可用的物种数据集的尺寸相对较小，需要大量训练数据的方法可能会受到影响。到目前为止，在该领域发布的大多数数据集确实很小。

尽管外部信息可以改进基于图像的方法，但是来源分析还远未解决。这项工作仅提供了在物源分析中利用元数据的初步探索。虽然我们的结果显示出改进，但基于元数据的方法由于缺少或操纵而具有更高的不可靠性的可能性。解决问题的进一步进步必须集中在检查内容衍生的元数据上。未来的工作可能包括从内容和可用标签估计缺失的元数据信息[27,65]。目前，我们的研究结果表明，基于图像内容的方法应该是后备选项，因为仅元数据对于确定边缘方向而不是边缘选择更有用。我们推测，未来，最佳出处方法应主要依赖于图像内容，但在元数据分析存在的情况下利用元数据分析作为二次细化系统，并提供充分的证据。