服务粉丝

我们一直在努力
当前位置:首页 > 科技 >

可怕!他们“攒”的论文骗了科学家

日期: 来源:中国科学报收集编辑:中国科学报
文 | 李木子
科学家担心,人工智能的日益成熟可能会破坏研究的完整性和准确性。图片来源:Ted Hsu/Alamy

生物预印本服务器bioRxiv日前发布的一项研究显示,人工智能(AI)聊天机器人可以写出科学家通常无法辨别真假的虚假研究论文摘要。

“我很担心。”英国牛津大学科学家、并未参与此项研究的Sandra Wachter说,“如果专家无法判断真假,我们就失去了指导我们解决复杂问题的迫切需要的中间人。” 

聊天机器人ChatGPT可以根据用户提示创建真实、智能的文本。这是一个“大型语言模型”,是一个基于神经网络的系统,通过学习大量现有人类生成文本执行任务。总部位于美国加州旧金山的软件公司OpenAI发布了这款工具,并可免费。

该工具发布以来,研究人员一直努力解决围绕其使用的伦理问题,因为它输出的文本很难与人类书面文本区分开来。科学家已经发表了由ChatGPT撰写的预印本和社论。现在,西北大学的Catherine Gao领导的一个小组,使用ChatGPT生成了论文摘要,以测试科学家能否辨别它们的真假。

研究人员要求聊天机器人根据发表在《美国医学会杂志》《新英格兰医学杂志》《英国医学杂志》《柳叶刀》和《自然-医学》的文章,撰写50篇医学研究摘要。然后,他们通过剽窃检测器和AI输出检测器将这些摘要与原始摘要进行比对,并请一组医学研究人员找出编造的摘要。

结果,ChatGPT生成的摘要通过了剽窃检查:原创度得分中值为100%,表明没有发现抄袭。AI输出检测器发现了66%的生成摘要。但人工审稿人并没有做得更好——只正确识别了68%的生成摘要和86%的真实摘要,错误地将32%的生成摘要识别为真实摘要、14%的真实摘要识别为生成摘要。

“ChatGPT撰写出了能骗过审稿人的科学摘要。”Gao和同事在预印本中说,“利用大型语言模型帮助科学写作的道德和可接受的界限仍有待确定。”

Wachter表示,如果科学家不能确定研究是否属实,那么会产生“可怕的后果”。如果研究人员阅读的研究是捏造的,可能会将他们带入有缺陷的研究路线。不仅如此,科学研究在社会中扮演着重要角色,这也可能意味着基于研究的政策决定是不正确的。

“任何一位严肃的科学家都不太可能使用ChatGPT生成摘要。”普林斯顿大学计算机科学家Arvind Narayanan补充说,“生成的摘要是否能被检测到并不重要,重要的是该工具是否能生成一个准确且令人信服的摘要。而ChatGPT不能,因此使用的好处是微不足道的,缺点则是显著的。”

Irene Solaiman在总部位于纽约和法国巴黎的AI公司hug Face研究AI的社会影响,她担心科学思维会依赖大型语言模型。“这些模型是根据过去的信息训练而成的,而社会和科学的进步往往来自与过去不同的思维,或开放性思维。” 

作者建议,那些评估科学通讯的人应该制定政策,禁止使用AI生成的文本。若有机构选择在某些情况下使用该技术,则应该制定明确的规则。将于今年7月在夏威夷檀香山举行的第四十届国际机器学习大会,不久前宣布禁止使用ChatGPT和其他AI语言工具撰写的论文。

Solaiman补充说,虚假信息可能危及人类安全,比如医学领域。因此,期刊必须采取更严格的方法验证信息的准确性。

Narayanan说,问题的解决方案不应该仅集中在聊天机器人上,而应是导致这种行为的不正当动机上,比如大学在进行招聘和晋升审查时,只计算论文数量,而不考虑论文质量。

相关论文信息:

https://doi.org/10.1101/2022.12.23.521610

《中国科学报》 (2023-01-17 第2版 国际)
排版 | 志海

相关阅读

  • 就差最后“一哆嗦”!20%末位红线该划吗

  • 文 | 《中国科学报》记者 温才妃不久前,2022年研究生初试落下大幕。“挤破头”依然是考研入口端的现状。从出口端反观,研究生的日子越来越不好过。近日,上海某“双一流”高校出
  • 中小学教师评职称应当看什么

  •   “长久以来,基础教育界有个认识误区,一说老师们的成果,首先想到论文;一说成果多,就看论文篇数。其实,成果并不等于论文,甚至有些论文的价值很低。”采访中,华南师范大学基础教育
  • 北化最新科研动态,请关注!

  • 大力弘扬创新精神深度聚焦科技前沿全面展现最新成果新一期“科研动态”新鲜出炉快来和北小化一起学习吧我校化学工程学院马志勇课题组Adv. Sci.:萘苯胺结构的有机磷光基元近
  • 以科学家精神铸魂育人

  • 科学家精神包含三个向度,即价值向度、认知向度、道德向度,因其直指“培养什么人、怎样培养人、为谁培养人”的问题,而与教育立德树人、培育现代文明人格方面的精神主旨相契合。
  • 进一步做好职称评审工作,改革举措有这些

  • 近日,人力资源社会保障部办公厅印发《关于进一步做好职称评审工作的通知》,主要从调整职称评审专业、完善职称评审标准、创新职称评审机制、优化职称评审服务等四个方面提出改

热门文章

  • OPPO k1的低价高配真实么?网友:不看不知道

  • 近日OPPO一款新机OPPO k1,摒弃了高价低配,就连自家老大哥r17都要怼一下。更是放弃了请代言人,以往的OPPO手机还没出来,各路流量小生,花样美男的代言就先来了。还有线下销售人员的
  • 一招教你手机无限制成为一台新设备

  • 大家平时用手机去注册app,肯定会遇到检测设备异常,交易关闭,等问题 这个都是手机已经不止1-2次注册过此app,不断更换手机仅是一个暂时的方法,却不是长久之计,手机总归会用完
  • 从零开始如何开网店

  • 随着互联网的高速发展,人们的生活发生了翻天覆地的变化,生活节奏越来越快,网购已经成为家家户户生活中离不开的一种购物方式了。网购的发展使得越来越多的人想要涉足电商事业,那

最新文章

  • 可怕!他们“攒”的论文骗了科学家

  • 文 | 李木子科学家担心,人工智能的日益成熟可能会破坏研究的完整性和准确性。图片来源:Ted Hsu/Alamy 生物预印本服务器bioRxiv日前发布的一项研究显示,人工智能(AI)聊天机器人可
  • 就差最后“一哆嗦”!20%末位红线该划吗

  • 文 | 《中国科学报》记者 温才妃不久前,2022年研究生初试落下大幕。“挤破头”依然是考研入口端的现状。从出口端反观,研究生的日子越来越不好过。近日,上海某“双一流”高校出