此次飞桨升级的2.4版本,框架开发更加灵活便捷,大规模模型分布式训练持续领先,并实现了全场景高性能推理部署。开发方面,飞桨开源框架2.4版本针对稀疏计算、图学习等重要场景新增160多个API,并且API开发门槛和成本大幅降低,使此次新增的API中有1/3来自生态开发者的贡献。针对AI for Science场景需求,2.4版实现了通用的高阶自动微分功能,更好地支持科学计算相关应用。同时,飞桨全面提升了核心动转静技术的可扩展性和部署灵活性,新模型动转静成功率达92%,充分发挥动态图和静态图各自优势。训练方面,2.4版全新升级,推出了基于GPU的超大规模图模型训练引擎PGLBox,在业内率先实现了可同时支持复杂算法、超大图、超大离散模型的一体化图学习方案。另外,飞桨的集合通信分布式训练性能也做到了极致优化,为大模型训练提供了全面丰富的分布式训练性能优化体系,基于此,飞桨今年连续两次获得国际权威的AI训练基准测试MLPerf Training榜单第一。推理部署,作为AI实现产业落地的“最后一公里”,模型的推理部署过程十分关键。首先对于大模型的推理,飞桨开源框架2.4版支持自适应模型切分和分布式推理等功能,依托飞桨框架动转静能力,可实现自动深度融合及高性能优化,全面支撑大模型应用落地。同时为了从根本上解决AI应用落地面临的场景碎片化、开发成本高、推理速度慢三大难题,飞桨全新推出的全场景高性能AI部署工具FastDeploy,一站式满足端、边、云多场景,多框架与多硬件的部署需求,不仅API设计统一,简单易用,而且还支持自动化压缩与高性能推理引擎深度联动,可充分发挥软硬一体融合优势,拥有业内领先的推理性能,为AI产业应用落地提供最优解。