网红聊天机器人ChatGPT的碳排放究竟多高？

最近关于AI聊天创作工具ChatGPT的网红讨论很多。这是聊天伊隆·马斯克创建的OpenAI公司所研发。

先是机器究竟微软宣布再砸100亿美金入股OpenAI，然后亚马逊和美版“今日头条”BuzzFeed宣布将在日常工作中启用ChatGPT，碳多高同时，排放百度也宣布将于3月推出“中国版”的网红ChatGPT聊天。在多家科技公司推波助澜后，聊天ChatGPT瞬间引发全球关注。机器究竟

一些网友开始疯狂测试ChatGPT，碳多高比如写代码、排放写剧本、网红写小说、聊天写新闻、机器究竟写作业、碳多高广告文案、排放知识搜查，甚至玩游戏等，而ChatGPT展现的能力也不负众望，不仅对答如流，甚至还充满智慧，洞察人性，比真人回答都丝毫不差。

还有一些网友开始谈论ChatGPT的投入成本，像谷歌、华为、特斯拉、微软、Meta、苹果等，每年投入数以百亿美元的研发费用，被称为烧钱无底洞。

但是，很少有人谈论ChatGPT模型的环境成本。

我们要意识到，即使是数字产品也需要能源来开发和消耗。据统计，信息和通信技术 （ICT） 行业和数据中心行业在全球温室气体排放中所占比例相对较大，约占全球电力消耗的3-5%。

如果这些数字产品（从我们手机上运行的应用程序到在云端运行的数据），一旦所消耗的电力不是由可再生能源产生的，就会产生碳排放。这就是机器学习模型，也会产生碳排放的原因。ChatGPT也不例外。

谷歌曾表示，公司总能源消耗的15%用于研究、开发和生产中与机器学习相关的计算。据NVIDIA和亚马逊估计，机器学习工作中推理处理占算力消耗的80%-90%。

这些模型所消耗的能源也影响着气候变化。在本文中，我们将从碳足迹的角度来看一下ChatGPT对环境的影响。

这里我们可以采用广泛使用的生命周期评估 （LCA）法，该法旨在涵盖产品或过程生命周期的所有阶段。

虽然生命周期评估 （LCA）法通常是评估产品从摇篮到坟墓的整个阶段的碳排放，这将考虑到原材料提取的所有过程对环境的影响。但此次对于ChatGPT的评估是仅专注于从制造设备到模型部署运行，如下图。

绿色部分为本次算ChatGPT生命周期碳足迹的3个主要阶段，分别为设备制造，模型训练，模型部署和运行。

那么，这3个主要阶段中，ChatGPT的碳排放究竟是多少？

01 ChatGPT设备制造阶段的隐形碳排放

首先，我们来看设备制造阶段碳排放。

因目前关于ChatGPT的设备制造相关信息有限，我们以另一个大型语言模型BLOOM的设备制造碳排放作为类比，来推测ChatGPT该阶段碳排放。

据了解，BLOOM和ChatGPT的前身GPT-3的模型大小大致相同，分别为176b和175b参数，因此设备方面也具有一定相似性。

设备制造阶段的碳排放被称为隐含碳。这是生产产品所涉及材料和过程相关的排放，例如训练和部署模型所需的计算设备。虽然这些排放的产生仅限于制造过程，但这一总量通常分布在设备使用期间，方法是将这部分排放总量除以使用时间。

BLOOM模型在含有Nvidia A100 40GB GPU的HPE Apollo 6500 Gen10 Plus服务器上进行训练。根据相关资料，与HPE Apollo类似的服务器生产碳足迹2500kgCO2e（二氧化碳当量）。这不包括服务器中使用的GPU的隐含碳排放，以论文[11]中估算，GPU的碳足迹约为150kgCO2e（二氧化碳当量）。

以IDRIS的数据，假设以6年的更换率和85%的平均使用率，用排放总量除以使用时间转化为后，服务器每小时约0.056kgCO2e，GPU每小时约0.003kgCO2e。

根据[11]中表示，BLOOM训练总时间共持续108万小时，平均使用48个计算节点上的384个GPU，我们可以估计与模型训练相关的服务器隐含碳排放大约为7.57吨和GPU3.64吨，总计约11.2吨。

以此类推，根据相关资料显示，ChatGPT的训练时间大约比BLOOM长3倍，单从这个角度估算，估算ChatGPT中模型训练的隐含碳排放总量约为33.6吨。

不过这部分隐含碳还不包括其余计算基础设施（如网络交换机、冷却设备和其他设备）的隐含排放。

02 ChatGPT模型训练阶段的碳排放

其次，估算模型训练阶段碳排放。

因为ChatGPT是基于GPT-3的一个升级版本，在GPT-3的模型架构基础上进行了优化并在训练时期增加了强化学习。以网上公开的数据表示，训练一个GPT-3约消耗1287 MWh（兆瓦时）的电，相当于排放了552吨碳。

但由于强化学习需要额外消耗的电力，ChatGPT在模型训练阶段所产生的碳排放将大于552吨。

从这些大型语言模型的碳排放来看，ChatGPT前身GPT-3碳排放最大。据悉，美国人平均每年产生16.4吨碳排放，丹麦人平均每年产生11吨碳排放。因此，ChatGPT的模型训练碳排放多于50个丹麦人每年的碳排放。

03 运行推理过程中ChatGPT的碳排放

再来估计运行推理阶段碳排放。

假设继续把BLOOM作为类比，可以推测ChatGPT运行阶段的碳排放。

大型语言模型BLOOM曾在具有16个Nvidia A100 40GB GPU的Google Cloud Platform实例上部署并运行了18天，共432小时。

前面提到BLOOM与ChatGPT前身GPT-3的模型大小大致相同，因此我们假设把相同的硬件用于ChatGPT，并在16个Nvidia A100 40GB GPU上运行，并推测硬件利用率始终为100%。

由于ChatGPT公司OpenAI的总部位于美国旧金山，所以猜测ChatGPT的托管在美国西部。

使用ML CO2 Impact计算器，我们可以估算ChatGPT的每日碳排放为25.92 kg，如下：

最新评论