服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

计算机孟灿|ChatGPT训练及多场景推理成本测算

日期: 来源:国金证券研究收集编辑:

金选·核心观点


行业观点


2023年3月1日,OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他们的应用程序和产品中。本次ChatGPT API接入的模型名为GPT-3.5-turbo,只需0.2美分/千 Tokens。本文尝试测算训练和不同推理场景之下的实际成本;未来随着模型压缩的持续发展,推理成本可能进一步降低,也有望大幅推动生成式模型在各个场景的大规模商用。我们的成本估算思路是:计算AI模型在进行训练与推理时所需的浮点运算次数,与AI算力集群的平均算力 (以每秒浮点运算次数计) 做比,以此估算AI模型的训练成本与推理成本。


在通用大模型训练方面,经测算,使用云计算时ChatGPT的训练成本约为170万美元,若自建AI算力中心进行模型训练,训练成本有望降至约51万美元;在大模型推理方面,使用云计算时的ChatGPT每处理1,000Tokens信息需花费约0.177美分,自建AI算力中心有望将成本降至0.053美分。


不同应用场景中AI模型面临的任务复杂度有所不同,我们考虑模型缓存命中率、计算集群闲置率、模型压缩等因素,综合估算各典型场景下模型的推理成本:1)搜索引擎场景中,以新版Bing为例,完成一次搜索的成本约为1.73美分;2)办公软件融合ChatGPT后可支持文字生成、文字修改等功能,完成一次用户需求的成本约为1.70美分;3)AI客服作为对话场景应用,有望率先实现B端落地。经测算,AI客服场景解决一次用户需求的成本约为0.08美分。


未来随着模型压缩技术的持续发展,推理成本可能进一步降低,也有望大幅推动生成式模型在各个场景的大规模商用。


投资逻辑


我们认为有海外场景的公司有可能率先与GPT-3.5-turbo进行对接,建议关注福昕软件、万兴科技等海外营收占比较高的应用公司。


风险提示
海外基础软硬件使用受限;应用落地不及预期;行业竞争加剧风险。

 


相关阅读

  • ChatGPT引发互联网治理新变局

  • ChatGPT是结合了人类反馈强化学习与大数据预训练语言模型的自然语言处理工具。ChatGPT的问世,引发了国内外的广泛关注,同时也正在人工智能领域引发新一轮的科技竞赛。实现交互
  • ​人工智能技术解密——机器视觉技术及应用

  • 点击下方卡片,关注“新机器视觉”公众号重磅干货,第一时间送达来源:长虹AI实验室视觉是人类最敏感、最直接的感知方式,在不进行实际接触的情况下,视觉感知可以使得我们获取周围环
  • 80后“复原”高启强老家,满满细节令张颂文破防

  • 电视剧《狂飙》里,高启强旧厂街上那个小家经山东济南一位80后的巧手“微缩”20倍,超还原细节,3月6日,扬子晚报/紫牛新闻记者联系上了这位微缩模型制作师李寿升,听他分享还原老物
  • 加速产业化进程,钠电池能否分庭抗“锂”?

  • 连日来,资本市场上关于钠电的消息不断。3月1日,中伟股份(300919)首期年产8000吨钠电项目在中伟铜仁(上市主体)产业基地正式投料,标志中伟钠电前驱体材料从中试生产进入到大批量大规
  • ChatGPT:未来,你会被淘汰吗?

  • ‍观点 / 刘润 主笔 / 万青 责编 / 黄静 这是刘润公众号的第1832篇原创文章1、前几天,我带领“问道中国”的学员参访百度。 看到AI这么火爆,大家都很激动。 有人问我,润

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章