【观点】在人工智能的各种学习中,或许生成对抗网络的对抗学习,是继深度学习、增强学习之后的下一个热点。它几乎在一定程度上颠覆了深度学习的范式,打乱了机器学习之前范畴及其类别的划分。 关注人工智能的前沿,很有必要了解一下生成对抗网络(下文定义为对抗学习)——《新未来简史》如是说。
在包括深度学习、增强学习、对抗学习与迁移学习(如今基本无法实现)等机器学习算法中,“生成式对抗网络”的对抗学习法很重要,这一开创性的全新学习思路,很可能会成为深度学习的下一个热点。这里有必要深入讨论一下。
颠覆深度学习范式
自从伊恩·古德费洛(Ian Goodfellow)在2014年发表了论文《生成式对抗网络》(Generative Adversarial Nets,缩写GANs)以来,对抗学习便广受关注,加之全球学界大牛,Facebook人工智能研究中心FAIR负责人、深度学习三驾马车之一的扬·勒丘恩(Yann LeCun )在知乎网上答疑时曾说:
“他最激动的深度学习进展是生成式对抗网络”,使得对抗学习(GAN)成为近年来在机器学习领域的新宠。
2017年6月18日,扬·勒丘恩在Facebook上转发了一条动态,介绍了他作为合作者之一的一项研究成果:
帮助对抗学习使用离散数据的“对抗性正则化的自动编码器”,该算法被评价有一种厉害的用法,可以在对抗性的设定下生成离散性的结构(比如文本)。
由于对抗的过程是发生在(连续)编码上的,而不是输出上,这就可以缓解对抗性鉴别器直接用在离散输出上时可能会遇到的问题。看来,对抗学习真的受到学界的高度重视,其意义非同凡响。
对抗学习这一算法的出现,似乎打乱了之前机器学习的范畴及其划分。如今,机器学习也可以划分成如下两类:生成式模型(generative model)和判别式模型(discriminative model)。
其中,近两年来流行的生成式模型主要分有三种方法,分别是生成对抗网络、变分自编码器和自回归模型。
对抗学习可以简单的理解为,培养一个对手(对抗网络),给自己(生成网络)的学习随时找茬。
这样,用不同的目标分别训练对抗网络与生成网络进行竞争,一段时间后,生成方就会变得非常厉害以至于即使给定足够的线索和时间,其对抗网络也无法分辨它给的答案是真实的还是合成的。
看看,对抗学习有多厉害!
下面了解一下对抗网络的训练。
小知识:如何训练 对抗网络(GAN)
概括来讲,包括两个阶段:
第一阶段:训练鉴别器,冻结生成器(冻结意思是不训练,神经网络只向前传播,不进行 Backpropagation 反向传播)。
第二阶段:训练生成器,冻结鉴别器。
即交换着训练,以同时提升彼此的能力。
训练对抗网络(以下用英文简称GAN) 的步骤:
(1)定义问题。你想生成假的图像还是文字?你需要完全定义问题并收集数据。
(2)定义 GAN 的架构。GAN 看起来是怎么样的,生成器和鉴别器应该是多层感知器还是卷积神经网络?这一步取决于你要解决的问题。
(3)用真实数据训练鉴别器 N 个 epoch。训练鉴别器正确预测真实数据为真。这里 N 可以设置为 1 到无穷大之间的任意自然数。
(4)用生成器产生假的输入数据,用来训练鉴别器。训练鉴别器正确预测假的数据为假。
(5)用鉴别器的出入训练生成器。当鉴别器被训练后,将其预测值作为标记来训练生成器。训练生成器来迷惑鉴别器。
(6)重复第 3 到第 5 步多个 epoch。
(7)手动检查假数据是否合理。如果看起来合适就停止训练,否则回到第 3 步。这是一个手动任务,手动评估数据是检查其假冒程度的最佳方式。当这个步骤结束时,就可以评估 GAN 是否表现良好。
假设你有一个功能完整的生成器,可以复制几乎任何东西。给你一些例子,你可以生成假新闻、不可思议的书籍和小说、自动应答服务等等。你可以拥有一个近乎现实的人工智能,一个真正的人工智能!这就是梦想。
上文部分内容节选自《新未来简史:区块链、人工智能、大数据陷阱与数字化生活》。
《新未来简史》与世界级畅销书《未来简史》有近100项相对立的观点,豆瓣8.5高评分。该书旨在颠覆过往绝大多数有关人类未来的预测与推断,最大限度地靠近事物的本原。以特有近乎刁钻的视觉、博杂的知识、激情的文风和严密的逻辑,联动前沿科技(如区块链、人工智能、大数据等黑科技)与社会、自然、经济、金融、人文、历史以及人性驱动下的人类竞争、价值创造等进行了深入的思考与推演,展现出"气势恢宏、磅礴瑰丽”的未来价值场景,极具吸引力。
其中,本书率先提出"大数据悖论、算法“马甲”、科技道德定律、资本科技悖论、大生态人力论、分工悖论,互联网将被替代、人工智能让人最终摆脱无用阶级、追算你的9倍价值、未来人类演进9大范式”等独到的观念或理论,极具"颠覆”性,刷新人们的五官。有利于人生、事业的未来布局。
| 留言与评论(共有 0 条评论) |