文｜阎贵成 于芳博
Transformer 模型融合了词向量、注意力机制和预训练模式的诸多优势，其出现标志着深度学习进入大模型时代。OpenAI 推出基于Transformer和人类反馈强化学习的ChatGPT以其强大的语义理解和生成能力引爆了市场。技术侧重点理解大模型训练中的核心四要素：模型参数、训练数据、训练方法以及训练效率。随着预训练自然语言模型进入巨量化参数时代，模型算力需求迈上新台阶。相关投资机遇中，建议重点关注国产AI芯片供应链、海内外大模型相关垂直应用落地情况。
训练好大模型的四要素：模型参数、训练数据、训练方法以及训练效率。在模型参数上，参数量越大，大模型性能往往越好，当参数量提升到一定程度后性能可能会产生跨越式提升；训练数据方面，大模型对数据量和数据质量均提出了更高要求，高质量的数据集在模型训练过程中带来了更高的边际收益；在训练方法上，一方面需要更充分的预训练以及增大预训练难度，另一方面使用Prompt或Fine-tune可以显著提高模型在下游应用场景的表现；在训练效率上，并行计算、显存优化与模型稀疏性能显著提升大模型训练效率。
随着预训练自然语言模型进入巨量化参数时代，模型算力需求迈上新台阶。当前大规模的自然语言模型进入了千亿参数时代，模型的训练算力显著提升，例如GPT-3模型参数量为1750亿，训练算力需求为3.14E+23 flops，如采用1000块英伟达A100芯片提供算力，需要不间断训练55天，可以估算单次训练租用云服务器的成本是328万美金。大模型在商业化落地之后，大量的客户访问还会带来不菲的运行成本，近期ChatGPT官网每日访客数量接近5000万，估算云上月租金576万美元/每月，头部企业开发大模型竞争力更强。
证券研究报告名称：《ChatGPT技术演进及研究框架》
对外发布时间：2023年3月3日
报告发布机构：中信建投证券股份有限公司
本报告分析师：
阎贵成 SAC 执证编号：S1440518040002
SFC 中央编号：BNS315
于芳博 SAC 执证编号：S1440522030001
免责声明
本订阅号（微信号：中信建投证券研究）为中信建投证券股份有限公司（下称“中信建投”）研究发展部依法设立、独立运营的唯一官方订阅号。
本订阅号所载内容仅面向符合《证券期货投资者适当性管理办法》规定的机构类专业投资者。中信建投不因任何订阅或接收本订阅号内容的行为而将订阅人视为中信建投的客户。
本订阅号不是中信建投研究报告的发布平台，所载内容均来自于中信建投已正式发布的研究报告或对报告进行的跟踪与解读，订阅者若使用所载资料，有可能会因缺乏对完整报告的了解而对其中关键假设、评级、目标价等内容产生误解。提请订阅者参阅中信建投已发布的完整证券研究报告，仔细阅读其所附各项声明、信息披露事项及风险提示，关注相关的分析、预测能够成立的关键假设条件，关注投资评级和证券目标价格的预测时间周期，并准确理解投资评级的含义。
中信建投对本订阅号所载资料的准确性、可靠性、时效性及完整性不作任何明示或暗示的保证。本订阅号中资料、意见等仅代表来源证券研究报告发布当日的判断，相关研究观点可依据中信建投后续发布的证券研究报告在不发布通知的情形下作出更改。中信建投的销售人员、交易人员以及其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本订阅号中资料意见不一致的市场评论和/或观点。
本订阅号发布的内容并非投资决策服务，在任何情形下都不构成对接收本订阅号内容受众的任何投资建议。订阅者应当充分了解各类投资风险，根据自身情况自主做出投资决策并自行承担投资风险。订阅者根据本订阅号内容做出的任何决策与中信建投或相关作者无关。
本订阅号发布的内容仅为中信建投所有。未经中信建投事先书面许可，任何机构和/或个人不得以任何形式转发、翻版、复制、发布或引用本订阅号发布的全部或部分内容，亦不得从未经中信建投书面授权的任何机构、个人或其运营的媒体平台接收、翻版、复制或引用本订阅号发布的全部或部分内容。版权所有，违者必究。