计算产品性能基准测试是支撑计算产品性能迭代优化、牵引计算产业能力提升的重要工作。2023年3月2日计算产品性能基准工作组线上组织召开“计算产品基础算力测试基准工具CPUBench宣讲会”,本次宣讲会由中国电子技术标准化研究院主办,中国电子工业标准化技术协会新一代计算标准工作委员会、开放计算标准工作委员会承办,绿色计算产业联盟(GCC)协办。中国电子技术标准化研究院信息技术研究中心陈海针对基础算力基准工具CPUBench工作进展进行了介绍,集成电路测评中心钟伟军博士针对基础算力基准工具CPUBench的设计、测试与分析进行了详细阐述。

为准确评估计算系统的真实性能,解决传统性能基准工具存在的问题,弥补国内在性能测试技术研究及基准工具研制方面的经验不足,由处理器厂商、整机厂商、评测机构及学术机构在2020年共同成立了计算产品性能基准工作组。经过较长时间的研究、设计、开发、验证等阶段,工作组于2021年世界计算大会上完成了计算产品基础算力测试基准工具CPUBench的发布,当前工作组成员单位也已突破80家。

计算产品基础算力测试基准工具CPUBench定位于对通用计算场景下的CPU、内存子系统以及所依赖的编译器进行综合计算能力评估。考虑到多种计算架构平台的性能评测需求,目前已经移植到x86_64、aarch64、ppc64le、sw_64和loongArch64等指令集架构的处理器平台,覆盖飞腾、海光、合芯、鲲鹏、兆芯、龙芯、申威、超微、英特尔等不同单位处理器产品,可运行在Debian、KylinOS、openEuler、Redhat、SUSE、UOS等基于Linux的操作系统,兼容AOCC、BiSheng、Clang、GCC和ICC等编译环境。计算产品基础算力测试基准工具CPUBench安装包提供针对不同指令集架构的内置依赖库,简化测试环境部署过程,提高了工具的易用性。

计算产品基础算力测试基准工具CPUBench的测试负载选择考量了诸多因素,首先,测试负载应来自于实际的应用场景,具有较高的业界认可度和影响力。其次,还要综合评估各负载于多架构平台的移植成本、计算密集程度、编程语言、稳定性、公平性、知识产权等因素。另外,基准工具整体的微架构特征覆盖度、业务领域覆盖度、不同负载之间的差异性同样作为重要的选择依据。基于原始业务应用,设计并实现一个可用的测试负载也是一个复杂的过程,不光要移除掉除业务核心计算逻辑外的其他代码部分,如网络、图形、I/O操作、依赖于特定架构的汇编代码等,同时要为裁剪后的负载设计输入数据集,并确保运行时长在合理范围内。最后要基于一系列不同的测试环境进行测试验证,考察裁剪后负载的稳定性、兼容性、可重复性、资源利用率、微架构特征等指标。

当前,计算产品基础算力测试基准工具CPUBench已经正式进入市场应用推广阶段。2022年8月,工作组正式面向全行业启动测试报告提交活动,得到积极响应。活动中共计收到30余家单位报名,参测机型达40余款,基本覆盖业界主力销售产品;生成有效测试报告200余份。首批测试数据在计算产品性能基准工作组网站已完成发布,相关单位包含众多国内优秀服务器整机厂商,如新华三、超聚变、宝德、同方、百信、长江计算、广电五舟、华鲲振宇等单位,中国移动研究院作为客户单位也提交了部分测试结果,上述结果可为行业和用户提供高价值选型参考和前瞻性指引。

后续,工作组将持续发布经各单位提交的不同产品有效测试报告,并在官网汇聚成性能数据库,帮助客户选型、牵引产品性能提升。工作组也将积极推动测试报告进入运营商集采、金融、电力、信息创新等重要市场项目,打通研究-标准-工具-认证-商业项目路径,形成产业链条闭环。

在工作组的长期推动下,性能基准作为牵引计算产业高质量发展的抓手已凝聚为各方共识。未来,工作组将持续支撑计算产品性能迭代优化,构建芯片、单机、集群、数据中心全栈式计算产品性能基准标准体系,推动工具在重点行业领域深度应用,吸引产学研用单位广泛参与,完善性能评价及基准生态,为促进计算产业全链条健康有序发展提供抓手。