了解生成式AI模型的碳足迹。

编者按：生成式人工智能推动整个社会、技术和生产力的提升，但这些模型隐藏的环境成本和影响往往被忽视。本文分享八个步骤来使这些系统更环保：使用现有的大型生成模型；对现有模型进行微调；使用节能计算方法；只有在提供重大价值时才使用大型模型；辨别何时使用生成式人工智能；评估云提供商或数据中心能源；重用模型和资源；了解人工智能活动的碳活动足迹。文章来自编译。

虽然ChatGPT、BERT、LaMDA、GPT-3、DALL-E-2、MidJourney和Stable Diffusion等新型生成式AI工具在更多领域中得到广泛应用，但这些模型所暗藏的环境成本和影响却通常被人忽视。这些系统的开发和使用耗能巨大，维护其物理基础设施也很耗费电力。现在，这些工具刚刚开始获得主流关注，但我们有理由相信，这些成本在不久的将来定会增长，而且是大幅增长。

数据中心行业是指用于存储和管理信息和通信技术系统的物理设施，占全球温室气体(GHG)排放量的2-3%。全世界的数据量每两年翻一番。数据中心的服务器存储着不断扩大的信息海洋，需要大量的能源和水来运行计算机服务器、设备和冷却系统。这些系统约占丹麦用电量的7%，占美国用电量的2.8%。

几乎所有最著名的生成式人工智能模型都是由超大规模的云提供商生成的，这些云提供商拥有成千上万台服务器，会产生大量碳足迹。特别是，这些模型是在图形处理单元（graphics processing unit，GPU）芯片上运行的。这些芯片所需的能量是传统中央处理单元（CPU）的10-15倍，因为GPU在算术逻辑单元中使用了更多的晶体管。目前，三家主要超大规模云提供商是亚马逊云科技（AWS）、谷歌云（Google Cloud）和微软云（Microsoft Azure）。

如果我们试图从碳足迹的角度来理解ChatGPT对环境的影响，那么我们应该首先了解机器学习（ML）模型的碳足迹生命周期。这是通过降低能耗让生成式人工智能变得更加绿色的关键所在。

是什么决定了生成式人工智能模型的碳足迹?

所有大型生成模型在能源使用和碳排放方面都是不一样的。在确定机器学习模型的碳足迹时，需要考虑三个不同的值：

• 训练模型产生的碳足迹；

• 一旦部署了机器学习模型，使用ML模型进行推理（使用新输入数据推断或预测结果）所产生的碳足迹；

• 生产所有所需计算硬件和云数据中心能力所需的碳足迹。

拥有更多参数和训练数据的模型通常会消耗更多能量，产生更多碳。GPT-3是 ChatGPT的“母”模型，其规模在生成式模型中名列前茅或接近前茅。它有1750 亿个模型参数，并在超过5000亿字的文本上进行过训练。一篇研究文章指出，与上一代人工智能模型相比，最近的生成式人工智能模型需要增加十倍到百倍的计算能力来训练模型，具体取决于哪种模型。因此，总体需求大约每六个月翻一番。

训练模型是生成式人工智能最耗能的部分。研究人员认为，训练一个“单个大型语言深度学习模型”（如OpenAI推出的GPT-4或谷歌推出的PaLM）估计要消耗约300吨二氧化碳。相比之下，平均每人每年要产生约5吨二氧化碳，而北美人平均每年要产生是其数倍的二氧化碳。根据其他研究人员的计算，使用一种名为“神经架构搜索”（neural architecture search）技术训练一个中等规模的生成式人工智能模型所消耗的电力和能源相当于626,000吨二氧化碳排放量，或者说相当于驾驶五辆普通美国汽车终生所产生的二氧化碳排放量。从头开始训练一个BERT模型（谷歌开发的一种大型语言模型）所需的能源和碳足迹相当于一次横跨大西洋的飞行。

部署人工智能模型，让它们在现实环境中采取行动——这个过程被称为推理，该过程的能耗比训练环节更高。推理，或使用模型响应用户输入的提示问题，虽然每次对话消耗的能量不多，但对话次数却不计其数。有时这些模型只训练一次，然后部署到云中，供数百万用户进行推理。在这种情况下，将大型深度学习模型部署到云端进行推理也会消耗大量能源。分析人士报告称，实际上，英伟达公司（Nvidia）估计，神经网络80％至90％的能量消耗出现在推理环节，而不是训练环节。

除了大型生成模型的初始训练和推理使用的能量外，这些模型的用户和经销商越来越多地采用微调或基于提示的训练。当与经过大量数据训练的原始生成模型相结合时，微调允许模型根据组织的特定内容定制提示和答案。一些研究表明，微调训练比初始训练消耗的能量和计算能力要少得多。但是，如果许多组织采用微调方法并经常这样做，总体能耗可能会相当高。

尽管很难计算运行所有这些人工智能软件所需的成本，但人们有理由相信这个成本非常高。2011年的一项研究估计，一台普通笔记本电脑70%的能源消耗是在制造过程中产生的，台式电脑的能耗甚至更高。很有可能的是，用于运行AI模型的复杂而强大的GPU芯片和服务器在能耗方面远远高于笔记本电脑和台式电脑。

如何让人工智能更环保

考虑到这一切，现在有一种运动使人工智能建模、部署和使用更具环境可持续性。它的目标是用更合适、更环保的替代品取代耗电的方法。供应商和用户都需要做出改变，使人工智能算法变得更加环保，这样它们的效用才能在不损害环境的情况下得到广泛部署。特别是生成式AI模型，鉴于它们的高能耗，它们需要在普及之前变得更加环保。通过好几种不同的方式，AI和生成式AI可以朝这个方向发展，接下来我们会在下文描述。

使用现有的大型生成模型，不要生成自己的模型。现在已经有很多大型语言和图像模型提供商，而且未来还会有更多。创造和训练这些模型需要大量的能源。除了大型供应商或云提供商之外，其他公司几乎不需要自己生成大型人工智能模型。他们已经可以在云端获取所需训练数据和海量的计算能力，因此他们不需要获取这些数据。

对现有模型进行微调训练。如果一家公司希望按照自己的内容训练生成式模型，它不应该从头开始训练模型，而是应该改进现有的模型。相比于从头开始训练新的大型模型，在特定内容领域进行微调并及时训练所消耗的能量要少得多。它还可以为许多企业提供比一般训练模型更多的价值。对于希望针对自己的内容采用生成式AI模型的公司而言，这才是主要关注点。

使用节能计算方法。另一种减少生成人工智能能耗的方法是使用计算成本较低的方法来处理数据，如TinyML。TinyML框架允许用户在小型、低功耗的边缘设备上运行机器学习模型，比如带宽要求低的微控制器(不需要将数据发送到服务器进行处理)。一般CPU平均耗电70瓦，GPU消耗400瓦的功率，而一个微型微控制器仅耗电几百微瓦，相比前两者，其耗电减少一千倍。这样就可以保证模型在本地处理数据，而不需要将数据发送到数据服务器。

只有当大型模型提供重大价值时才使用它。对于数据科学家和开发人员来说，了解模型在哪里提供价值是很重要的。如果使用3倍以上的耗电系统仅能让模型增加1-3%的计算精度，那么额外的能耗就不值得。更广泛而言，机器学习和AI并不总是解决问题所必需的。开发人员首先需要对多种备选解决方案进行研究和分析，并根据研究结果选择一种方法。例如，蒙特利尔人工智能伦理研究所(Montreal AI Ethics Institute)正在积极研究这个问题。

当你使用生成式AI时，要有鉴别力。机器学习和NLP工具对于医疗相关的健康问题和预测是革命性的。它们在预测自然灾害，如海啸、地震等方面非常有用。这些都是有用的应用程序，但是仅用于生成博客文章或创建有趣故事的工具可能不是这些计算量很大的工具的最佳用途。它们对地球健康的消耗可能大于对人类的帮助。如果一家公司正在使用生成式人工智能进行内容创作，它应该尽量确保只在必要时使用这些模型，或者减少其他计算成本，这应该也会减少其总体计算预算。

评估云提供商或数据中心的能源来源。在能够使用环保能源的地区以及低碳环保的地区部署模型，可以最大限度地降低AI（以及一般软件）的碳强度。这一做法表明，运营排放减少了75%。例如，在美国训练和运行的模型可能使用来自化石燃料的能源，但同样的模型可以在主要能源是水力发电的魁北克运行。谷歌最近开始在魁北克建造一个7.35亿美元的清洁能源数据中心，并计划到2030年转向全天候的无碳能源。歌还提供了一个“碳感应套件（Carbon Sense Suite）”，以帮助公司减少云工作负载的能源消耗。云提供商的用户可以监控这些公司关于何时以及如何部署碳中和或零碳能源的公告。

重复利用模型和资源。就像其他材料一样，技术也可以重复使用。企业可以使用开源模型，而不是训练新的模型。循环利用可以降低人工智能产生碳足迹的影响。原材料可以被提取出来制造新一代的最新笔记本电脑、处理器、硬盘驱动器等等。

将AI活动纳入你的碳监测。所有研究实验室、人工智能供应商和使用人工智能的公司都需要采用碳监测的做法，以了解模型的碳足迹。他们还需要公布自己的足迹数字，以便让客户在与他们进行人工智能相关业务时做出明智的决定。温室气体排放的计算取决于数据供应商和处理公司（如研究实验室）以及基于人工智能的服务提供商（如OpenAI）的数据集。从最初的想法到会被用于获得研究成果的基础设施，都需要遵循绿色人工智能方法。有几个可用的软件包和在线工具，如CodeCarbon, Green算法和ML CO2 Impact，可以在运行时纳入你的代码中以估计你的排放量，我们应该鼓励开发人员社区考虑这些性能指标来建立基准并评估ML模型。

当然，组织和个人在使用生成式人工智能模型时需要考虑很多因素：道德、法律，甚至哲学和心理学。然而，生态问题也值得考虑。我们可以讨论这些技术对人类的长期未来影响，但如果我们没有一个适合居住的星球来讨论这些问题，那么这些考虑将毫无意义。

译者：Araon_

本文来自翻译, 如若转载请注明出处。