美国军方正在资助一个项目，试图确定由人工智能产生的日益逼真的虚假视频和音频是否很快就会无法与真实的事物区分 ，即便使用另一个AI系统也做不到。 今年夏天，在美国国防高级研究计划局(DARPA)资助的一个项目之下，世界顶尖数字鉴定专家们将齐聚一场人工智能竞赛。他们将比赛谁能生成最具信服力的人工合成视频、图像和音频，他们还会尝试开发能够自动识别这些“假货”的工具。 比赛将包括所谓的“deepfakes”，就是把另一个人的脸合成在视频里的人身上。可想而知，这项技术已经被用来制作一些假冒的名人色情视频。但这种方法也可以用来制作一段政客演讲或一些离谱行为的片段。 DARPA的技术专家尤其关注一种相对较新的人工智能技术，它使得AI假素材几乎无法被自动查出。使用名为生成式对抗网络（GAN）的技术，可以产生逼真到令人震惊的人造图像。

“从理论上讲，如果使用所有我们已有的技术来检测一个GAN（生成的样本），它能通过所有的技术检查。” DARPA的项目经理大卫·贡宁（David Gunning）说。“我们不知道GAN是否有极限。目前还不清楚。” GAN由两个部分组成。一个被称为“玩家”（actor），试图学习数据集（比如一组图像或视频）中的统计模式然后生成令人信服的合成数据。另一个被称为“批评家”(critique)，试图区分真实和虚假的样本。“批评家”的反馈使玩家能够创作出更加真实的对抗样本。而且，由于GAN的设计初衷是要骗过人工智能系统，所以目前还不清楚是否有任何自动化的系统能够抓到它们。

GAN是相对较新的技术，但是它已经在机器学习的应用场景中掀起了风暴(参见2018年2月下《GAN之父：让机器拥有想象力的男人》 )。它们已经能够被用来虚构出非常真实的假名人图片，也可以完美地修改图像，比如把皱眉变成微笑，或者把夜晚场景变成白天。 检测数字伪造品通常包括三个步骤。一是是检查数字文件，以检查两个图像或视频有没有被拼接在一起的迹象。二是观察图像的光照状况和其他物理性质，以检查出错的征兆。第三种最难做到自动化，同时也是虚假样本最难克服的，就是检查照片的逻辑是否一致，比如在特定的日期天气不对，或者在特定的位置背景不正确。 美国圣母大学的数字鉴定专家沃尔特·斯切尔（Walter Scheirer）参与了DARPA的项目。他说，自从几年前该项目启动以来，这项技术已经取得了惊人的进展。他说:“我们绝对是在进行军备竞赛。”

尽管一直以来只有经验丰富的图形学专家能够制造出令人信服的伪造品，但人工智能让这件事变得更加容易。“虚假数字内容已经从有别国资助的黑客和好莱坞蔓延到了Reddit上的任何一个人”，达特茅斯大学教授、专门研究数字鉴证的阿尼·法里德（Hany Farid）说。“我们现在感受到的紧迫感出于对民主的保护。” Deepfakes使用一种流行的机器学习技术，也就是深度学习，将新面孔自动融合到当前视频中。当大量的数据被输入到一个非常大的深度模拟神经网络中时，计算机就可以学习执行各种有用的任务，比如非常精确的人脸识别。但同样的方法也使得制作恶意视频变得更加容易。网上有一款在线工具可以让任何拥有基本专业技术知识的人都能生产出新的Deepfakes假视频。工具的发明者告诉Motherboard，一个对用户更加友好的版本正在开发中。 当然，这个问题远远超出了换脸的范畴。专家们不断地说，在不久的将来，区分照片、视频或音频剪辑是否由是机器生成的可能会更加困难。谷歌甚至开发了一种叫Duplex 的工具，可以使用AI技术来伪造电话通话。

密歇根大学社会媒体责任中心的首席技术专家阿维夫·奥瓦迪亚（Aviv Ovadya）担心，目前正在发展的人工智能技术可能会被用来损害他人的声誉，影响选举，甚至用于做更糟糕的事情。“这些技术可以用于娱乐，但也有很多非常可怕的方式，”奥瓦迪亚于5月15日在彭博组织的一场活动中表示，“篡改图像然后在发展中国家引发现实中的暴力，这种情况已经发生了，这样的危险是真实存在的。”

如果不能用技术手段来检测虚假信息和错误信息，可能会有人推动法律管制。事实上，马来西亚今年4月已经出台了针对虚假新闻的法律。然而，达特茅斯学院的法里德认为，这件事本身就存在问题，因为所谓“真相”就是一个模棱两可的概念。“你怎么定义假新闻?它并不像你想的那么简单。我既可以裁剪图片，也可以从根本上改变图片。还有，你怎么应对洋葱新闻?”