编者按： 随着人工智能系统能力的日益强大，也许未来10年，我们将看到通用人工智能在几乎所有领域的专业技能都超越人类。这些系统的生产力可能最终会超过最大的企业所能产出的集体效力。人工智能的革命可能会为我们创造共享的财富，并极大地提升人与机器的交互水平。 

当前，全球对于科技伦理开展了空前的关注与讨论。2023年3月29日，美国研究机构生命未来研究所（Future of Life Institute）发布联名公开信，呼吁立即暂停训练比GPT-4更强大的AI系统至少6个月，在此期间全社会应当对人工智能研究进行反思检讨并就新技术条件下如何推进AI研究的原则达成初步共识，诸多知名科技人士包括“人工智能教父”杰弗里·辛顿、特斯拉和推特CEO埃伦·马斯克、图灵奖得主约书亚·本希奥都参与其中。欧洲议会于2023年5月通过了《人工智能法案》的草案。我国学者在科技伦理方面也已经做了一些开拓性的工作。

2017年第6期《中国科学院院刊》就科技发展的本源问题采访了潘教峰研究员。在访谈中，作者就前瞻性地提出了“科技发展要坚持以人为本”这一深刻观点。在人工智能急速发展的今天，这篇文章的深刻阐释愈发显得尤为重要，分享本文，以期引起读者对于科技发展和人类文明的审视和深思。

《中国科学院院刊》：中国科学院科技战略咨询研究院是中国科学院建制化的智库研究机构，凝聚了中国科学院科研院所、学部、教育机构“三位一体”的优势，为国家提供科技战略咨询和决策支撑，为我国宏观科技发展把脉。您最近提出了“科技发展要坚持以人为本”，有怎样的缘起？

潘教峰：现代科技发展到今天，人们时而感到困惑，科技发展到底为了谁？比如，随着生命科学技术的发展、人工智能的发展，人类忽然发现自己可能正在慢慢失去对科技发展的控制：将来随着生物技术的发展，繁殖后代的功能将可以被替代，科技自身就可以创造新生命；另外，人工智能在某些方面开始超越人的智力范围，如在智能相关的人机大战中，人类选手屡屡落败。这样发展下去，未来世界将会是一个怎样的世界？一些人开始产生一种对未来的困惑，甚至恐惧。

我们提出科技发展要坚持以人为本，就是要厘清科技发展的本源问题——科技发展依靠谁、为了谁？“依靠谁”是清楚的，只有依靠人。“为了谁”，我想应该被更清晰和突出地提出来，即“为了人”。

从历史上看，人类社会从蒙昧走向文明，并不断地向前发展，背后起革命性作用的，就是对自然规律的不断认识，进而将其物化为工具，为人们生活创造更好的物质条件。在这个过程中，技术是一种物质性的财富，用来改造自然；而人类对于规律的认识本身则内化到人类自身，科学对人的观念和思想的影响，区别于技术的财富性，它是一种精神性的财富。科学发展有其自身的逻辑，技术发展也有自身的逻辑，科学技术与人类和经济社会的关系也在不断演进。因此，我们提出“科技发展要坚持以人为本”，就是要在科技发展突飞猛进、进而可能对人类社会产生革命性影响的时候认真地思考这一根本问题，不忘“为了人”这一初心。

《中国科学院院刊》：科学和技术过去是在人主导下发展，未来是否会超出人类的控制？

潘教峰：科学发展的目的，是使人类与整个自然的相互关系和适应性变得更好，同时也为人类社会发展提供一种知识源泉和认知基础。但技术的发展会渐渐出现伦理问题，我想人类不能让技术损害人的尊严，更不能让技术失去控制成为损害人类社会的一种力量。

从目前发展看，技术有异化的可能，如果人类不能用人性和理性的力量来驾驭技术的话，那将是非常危险的。比如，我们刚才已经提到的两个方向，生物技术和人工智能，如果创造出的新物种、新生命在各个方面都比人强，这会不会对人类发展带来灾难性影响？再比如，各国现存的核武器不知足够毁灭世界多少次。

我认为要切实防止科技的未来发展超出人类的控制，就要让科技在人类主导下发展。因此，今天世界各国的决策层在面对关于科技未来发展的问题时，应该倾听多方面、多层次的声音，慎重决策。研究无禁区，应用要谨慎。

《中国科学院院刊》：能否就您的研究系统地表述一下科技发展如何坚持“以人为本”。

潘教峰：我们简单地归纳为3个方面。

1

拓展人的能力，而不使之失去控制

科学技术发展的历程，是人类不断拓展自己的能力和将能力外化的过程，既然如此，人类就应当始终站在能够控制它的位置，防止能力异化。

农业社会时代，劳动工具非常简单，更多依靠人力和畜力。随着蒸汽机、纺织机等的出现，人力、畜力开始转向机械力，这种机械力是一种超脱于自然的能力，本质上也可以认为就是技术的力量。机械力本身成为一种独立的力量，必须有动力，从蒸汽机到内燃机、再到电机，机械力一步一步地发挥到极致，伴随而来的是不断产生新的能力外化的形式，汽车让人类跑得更快，轮船让人类跨过海洋，飞机让人类腾云而上，大的机械工具开山搭桥不断扩展人类的臂力……。

20世纪中叶以来，随着计算机科学的出现，人类又开始了知识程序化进程，算法开始应用，这代表了机械力之外的另一种能力——智力。这种“智力”开始出现时非常简单，但不断发展，到今天随着对脑功能的认识，对人类意识的认识，终于出现了人工智能。人工智能将具有深度学习能力、逻辑推理能力、计算能力……。继人类将自己的机械力外化之后，现在又可以将智力外化了。

人的能力，整体上来讲可以分为3类，机械力、智力和繁衍能力。那么近代以来科技的发展，使人类已经具备了将机械力和智力外化的能力。生育能力、繁衍能力，人类现在也有技术将其外化了。各种能力不断外化和完善，显然能够创造出一个完全不同的新世界。但是，归结到本源，既然技术发展是为了人类，那么人类就应该始终保持对技术的控制。

2

维护人类尊严，维护人类社会秩序

科技发展“为了谁”的问题应始终放在一个突出位置上，科技发展不能失去方向，不能失去基本伦理的规则，现在正是应该高度重视起来的时候了。

我们应当为未来的科技发展制订新的准则，这种新的准则应该以不损害人的尊严、不损害人类社会作为前提和条件。并且在将科学原理应用于技术层面时，更加重视技术的伦理性。在这种准则下的“科学研究永无止境”，我认为是可以的。

3

拓展人类生存空间，保障人类永续发展

放眼浩瀚宇宙，地球无比渺小，自然造物，而人类的出现又是多么幸运和奇妙。反观人类自身，生存需要多么苛刻的自然条件，温度太高无法生存、温度太低无法生存、没有氧气无法生存、不能接受高频辐射……。宇宙虽大，但如此苛刻的生存条件，使得人类至今还未在地球之外找到另一个符合条件的生存场所。所以科学技术的发展，应该是拓展人类生存的空间、保障人类永续发展，而不是用另一种科技或物种来替代人。

最近的畅销书《未来简史》，讲到未来的科技，在一定程度上变成了人类的异化。我认为应该回归本源，科技的目的应该是始终为了人，不断地拓展人类发展的新空间，不断地创造人类生存发展的更好条件。

《中国科学院院刊》：在这样特定的、狭窄的生存条件下，人类从起源开始便为了生存，不断拓展自身的机械力和智力，这是否也是拓展人类文明的一部分？

潘教峰：您说的非常好，我觉得科技正是应该围绕拓展人类文明来进行，而不是失掉这种文明！

过去的技术发展相对较慢，人与自然、人类社会与自然的关系，是在动态平衡中发展的。而现在新技术的应用越来越快，这本身会带来很多问题，包括诸多新技术的负面效应叠加引起系统性风险，从而可能不再给自然适应人和适应人类社会的足够时间，所以人类生存的风险逐渐暴露出来。

生态环境改变就是一个很典型的例子。对于一些进入食物链且可能造成长期遗传甚至改变食物链的新生物技术应用，人类应该特别慎重。现有的知识，人类对自然、对生命的认识，还是很有限的、不完整的。如果基于现有的知识，去盲目地应用这些技术，改变了食物链，改变了遗传链，后果也是难以预测的。总的来说，人类需要认真审视和反思科技发展带来的问题和解决方案，不忘科技发展为了人这一初心无疑是必须的。

另外一个例子是基因编辑技术。基因编辑技术的应用，可能会带来一系列伦理问题。科技的发展，越来越触及到生命的本质和人的本质，所以建立科技发展最基本的准则就显得特别重要，尤其是在技术应用领域。

所有的这些问题，应回归到科技发展“为了谁”的本源。以目前科技发展的伦理准则而言，我觉得至少要重视以下两个方面：会不会影响人的尊严，会不会破坏人类的生命体系。当我们还在关注自然环境污染影响人类生存的时候，技术对人类的生命体系自身正在产生什么样的影响？这个问题值得深思。

所以，人类在得益于拓展自己能力、拓展自己文明的时候，应该有一种危机感，这种危机感促使人们回头看看科技发展的最终目的，这应当是“以人为本”，为了人、发展人、发展人类文明。

《中国科学院院刊》：您为我们阐述了一套科技发展要坚持以人为本的理念，这将是处理科技发展带来的一系列伦理问题的准则吗？

潘教峰：是的。食物链、遗传链等是人类生命相关的伦理问题，而人工智能、网络空间隐私等是人类社会相关的伦理问题。

食物链、遗传链和人工智能，我们已经提到，再拿网络空间举例。我们知道“人肉搜索”这个网络热词，如果技术不受控制，人都将变成网络上的透明人，完全没有隐私了，这是我们要追求的科技发展吗？所以，科技发展要“以人为本”还是要“反人性”的问题，一目了然。

加强技术风险评估，加强技术伦理审核、审查，这是我们作为国家高端智库，要系统研究并向决策部门建言献策、向社会公众阐释的内容。人的尊严、人的隐私和人类伦理，是伴随人而与生俱来的。失去准则，技术可能被异化掉，对人类造成难以弥补的影响。所以我们强调，紧扣“以人为本”这一基本原则，始终牢记科技发展“为了谁”的问题，对避免这种异化意义重大。

人类的发展，需要一方面不断利用新技术提高效率，不断丰富物质世界，但技术一旦不受控制，影响将是难以预测的。所以我们提倡新技术应用要进行风险和伦理评估，尤其是多种技术的应用要综合评估其将带来的影响。

这是人类社会整体发展的大问题，正像人类从蒙昧时期过渡到文明时代，所建立的一系列准则一样，今天我们应该本着“以人为本”再次精进我们的科技发展准则。科技发展本身在惠及人类的同时，也在对人类社会、生命本身带来新的挑战。紧扣科技发展以人为本，建立科技发展新准则，是时代赋予我们这一代的伟大使命和责任。

潘教峰  中国科学院科技战略咨询研究院院长、研究员，中国科学院大学公共政策与管理学院院长，中国发展战略学研究会理事长。《中国科学院院刊》编委。主要从事科技战略规划、创新政策和智库理论方法研究。

文章源自：

科技发展不要忘记“为了人”这一初心——潘教峰研究员访谈. 中国科学院院刊, 2017, 32(6): 637-640.