服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

田渊栋:关于GPT-4的一些感想

日期: 来源:新智元收集编辑:新智元



  新智元报道  

作者:田渊栋
编辑:桃子
【新智元导读】对于研究者们而言,GPT-4的出现意味着什么呢?

OpenAI昨天发布了GPT-4,试用了一下确实很不错。

在我主要关心的故事生成方面,与ChatGPT生成出来的故事相比,GPT-4文笔更佳细节更多,更擅长生动具体的描绘,情节也开始出现一些有趣的转折。当然,ChatGPT有的问题,比如说缺乏整体布局谋篇能力,角色不突出,叙事展开比较无聊,续写段落会很快归于一个平庸的结尾等等,在GPT-4上面仍然存在。

从它的性能报告上来看,与GRE verbal接近满分相比,GRE写作只有4分,大学预修英语写作也只有2分(3分及格),而且从GPT-3到4没有进步,不知道是不是和这些问题有关联。

但不管怎么说,GPT-4已经能帮我们干很多日常工作了。自从2013年深度学习开始爆发以来,仅仅过了十年,我们就有了如此强力的工具,其进化速度可以说是超出想象。

2017年我在为什么有些学数学的看不惯甚至鄙视 Deep Learning?这个回答里面写了一些大胆的猜测,比如说“漫漫长夜里瞎摸,太阳还没有露头”,现在看起来这些预测还是大体正确的,只是想不到,这一天会那么快到来。

一个技术,一旦变成像微积分一样的通用工具,那接下来带来的巨大变革,是可以预期的。

如果再把眼光放得长远些,将来会发生什么事呢?

我在2020年左右也有一些思考,放在自己的科幻小说里了。总的来说,如果这样的趋势发展到极致,再加上连实物产品的制造都可以就地取材完全自动化,那最后的结果就是「所思即所得」:只要能构思出一个东西,它就会以极低的成本出现在自己的面前。

大部分重复性劳动,只要可以被机器无限制复制,其价值就会降到近乎为零,成为和水和空气一样无所不在的公共品。

在这种条件下,「独一无二」就会成为大家所珍视的价值和意义。也许以后,判断人才的主要因素,不再是完成学位,考试过关,而是看个人的经历和成就。

「同样的目标下比别人做得更好」是一种独一无二,「去往从未有人去过的方向」也是一种独一无二。这不仅包括同行认可的学术成就,比如解开无人能解的难题,开创并探索一个新的学术方向,更包括独一无二的经验、见解、思考方式,乃至三观,比如说一个拄着拐杖徒步探险过南极的程序员,他/她对这个世界会有什么样的观点,见解和感悟?一个曾自制火箭去往月球但中途失控,又奇迹被救的历史系学生,将在自传里如何讲述这段经历?

这些与个人特质紧密结合的话语权,会让每个人都能占据人类社会中的一个独特生态位,成为「人之为人」最终的定海神针。即便是将来意识能够上传,数字孪生能够实现,这种独特人格仍然是无法复制的——完全相同的个体,只要变成了两个并开始各自接受不同的外界信号刺激,他们内部的状态就会因更新而不同,轨迹就会开始分叉,从而再次变得独一无二。

总的来说,每个人都通过自身的「道」来证明自己的选择,又因为过去的选择,来累计自己独一无二的特质。无法预先判断谁比谁更优秀,因为计算这个判定函数本身,就需要个体践行自己的道路。而无数的,坚持各自方向的人聚在一起,就会不断涌现出各种奇妙的想法,有一些被实践证明正确的,就会影响到他人并且吸引到追随者。而包含这些所有个体的,一个多元包容的世界,就会充满前进的动力。

扯远了。

对于研究者们而言,GPT-4的出现意味着什么呢?

我们有两种极端的选择,其一是关起门来,不听不看,沿用旧的思维惯性去构思研究路线,继续发表下一篇文章;也可以从此百分百抛弃以前的研究思路,撕掉所有课本,相信算力为王,大模型大数据就是一切。

我觉得这两种态度都不可取。研究的范式要有变化,不再是发现特定的知识,而是研究模型学习的机制,寻求其学习能力的本源。比如说通过海量的数据训练,现有的模型可以自动学会很多概念。

但模型是如何学会这个概念的,为什么大模型会学得更快更好,它怎样从数据中被发现,被模型抓住并且在训练中不断被强化?高级的概念是如何形成的?现有的模型如何抓住这些概念,以什么样的机制抓住它们?我觉得这些可能是在长远上来看,真正有意义的基础研究方向,也是把”人工智能“这个玄学,真正转化成科学的最终出口。

当然了,这些应该说是几十年的尺度上看的,要做这些研究,需要大量的基础知识,充足的耐心,擅长接受超出自己认知范围内的新生事物,又能把它融入原本的工作流和研究思路中去。

这可以算是自己在研究上独一无二的「定海神针」吧,希望能够继续走下去。

参考资料:
https://zhuanlan.zhihu.com/p/614458786




相关阅读

  • 我没有故意学术不端,我只是偶然抄袭……

  • 【做计算 找华算】理论计算助攻顶刊,10000+成功案例,全职海归技术团队、正版商业软件版权!经费预存选华算,高至15%预存增值!来源丨爱思唯尔、浙大学报英文版抄袭,或未适当标注作者
  • 聪明的职场人,从不与这类人共事

  • 经常抱怨不仅会强化自己的负面思维模式,还会对周围的人产生负面影响,就像是把别人当作垃圾桶一样,令对方感到不堪重负。遇到这种人你会怎么办?本文可以为你支招。莉萨实在受不了
  • 中华民族一家亲,爱心义卖心连心

  • 本报讯(通讯员 车巧琼 罗珍珍)3月15日下午,邵阳市双清区志成学校举办了中华民族一家亲爱心义卖活动及捐赠仪式。全校学生在活动现场参与本次义卖活动。同学们拿出了自己的各类
  • 长者先行 拒毒有我

  • 3月16日上午,在郑州市禁毒办、郑东新区禁毒办的指导下,郑东新区公安分局禁毒大队、郑东新区祭城路办事处、舜华禁毒社工共同联合,在金龙社区开展“长者先行,拒毒有我”禁毒学习
  • 践行低碳环保 乐享健康生活

  • 阳春三月,人面桃花相映红;春风扑面,俏丽巾帼展风采。为庆祝“三八”国际劳动妇女节,促进教职工身心健康发展、丰富业余文化生活,增强团队凝聚力和向心力,展现女教师“自尊、自信

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 官宣!颜水成加入智源,任访问首席科学家

  • 新智元报道 来源:智源研究院编辑:好困【新智元导读】近日,智源研究院发文官宣称,计算机视觉和机器学习领域专家颜水成,即将出任访问首席科学家。计算机视觉和机器学习领域专家
  • 田渊栋:关于GPT-4的一些感想

  • 新智元报道 作者:田渊栋编辑:桃子【新智元导读】对于研究者们而言,GPT-4的出现意味着什么呢?OpenAI昨天发布了GPT-4,试用了一下确实很不错。在我主要关心的故事生成方面,与Chat
  • 联合国安理会全票通过

  • 当地时间3月16日,联合国安理会全票通过两项关于阿富汗决议,分别授权延长联合国阿富汗援助团(联阿援助团)行动时间,以及对阿富汗局势进行独立评估。安理会决议2678号将联阿援助团