Run.ai与Nvidia合作,将目光投向推理模型


据TechCrunch网站7月21日报道,Run.ai是一家资金充足的用于编排AI工作负载的服务商,在过去几年中,它通过帮助用户充分利用本地和云端的GPU资源来训练他们的模型而声名鹊起。但是,训练模型是一回事,而将它们投入生产是另一回事,这已经不是什么秘密了——这也是很多项目仍然失败的地方。毫无疑问,这家将自己视为端到端平台的公司现在正在超越培训模型,同时支持其客户尽可能高效地运行推理工作负载,无论是在私有云、公共云,还是边缘云中。由于两家公司之间的密切合作,该公司的平台现在还提供与Nvidia的Triton推理服务器软件的集成。

Run.ai与Nvidia合作,将目光投向推理模型

图片来源:Getty Images

值得注意的是,除了与Nvidia的合作伙伴关系外,Run.ai今天还宣布了其平台的多项其他更新。其中包括新的以推理为中心的指标和仪表板,以及在部分GPU上部署模型并根据其各自的延迟服务水平协议自动扩展它们的能力。该平台现在还可以将部署扩展到零,从而降低成本。

(编译:王宇)

发表评论
留言与评论(共有 0 条评论) “”
   
验证码:

相关文章

推荐文章