服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

一种使命是国家需要,一种征途是世界前沿

日期: 来源:深信服科技收集编辑:信服云

“人工智能应用落地的‘高歌猛进’,是有人在‘负重前行’。”


王博士(化名)作为清华大学智能产业研究院自动驾驶课题组的一员,负责车路协同数据集的训练工作。


课题研究中,王博士在电脑上要处理成千上万张图片:每一张图片,道路轨迹、建筑形状都不尽相同,一张图片里可以拆分出好几个标签,这是他每天都要面对的“复杂”标注题


“我们拿到这些文件之后,可以挖掘出很多信息,然后不断地去进行标注。既要保证标注的效率,也要保证质量,这样才能训练出更精准的AI模型。

图片来源:清华大学智能产业研究院官网

自动驾驶,是清华大学智能产业研究院的研究课题之一。作为一所面向第四次工业革命的国际化、智能化、产业化研究机构,这里汇聚了来自全球的国际顶尖科学家、产业变革领袖世界级研创团队。


他们站在国际科技前沿,引领中国的科技创新,探索着自动驾驶、生物计算、绿色计算等领域的未解之谜。


AI“更懂”人类的背后,是大量数据训练的结果。


时逢2022年的9月,清华大学智能产业研究院的多项科研工作都在和时间赛跑。就在这时,清华大学智能产业研究院的十多个课题组感受到了AI研究工作的“阻力”,“给图像做标注时,图片迟迟加载不出来;检索图片,系统也要卡很久。”


原来,训练AI数据集需要存储大量数据,数据量很快就达到百TB级而传统存储阵列在庞大的数据量面前“不堪重负”,没有展示出最佳的性能、可扩展性等能力,导致科研工作者们在实际操作时遇到了卡慢问题。


面对存储性能提升的难题,信服云EDS为清华大学智能产业研究院设计了高性能文件存储方案。480TB存储空间配置完成后,有了充足的存储空间,科研工作者们可以放心地开展AI训练的工作。

一个可以尽情“驰骋”的存储底座,

背后是信服云EDS“刚柔并济”的实力。

硬件上,信服云EDS采用通用的X86服务器搭配NVMe固态硬盘的组合形式,构建存储高性能层,这使得训练集群访问数据时,可以优先经过高性能层的缓存加速,相较于传统磁盘阵列,存储性能有了大幅提升。


软件上,信服云EDS通过自研的分布式高性能文件系统利用小文件合并、phxkv分布式元数据库、智能预加载等自研技术,提高KB级小文件的元数据和数据处理效率,有效保障AI训练过程中访问数据的效率,并大幅缩短了科研中的AI训练时间


对于清华大学智能产业研究院而言,选择一款存储产品首要关注的是性能。因为科研工作者在标注数据时,需要不停地读取文件和创建文件,频繁的操作中无疑会增加元数据的访问耗时,CPU算力也会受到影响,而信服云EDS让读写文件的性能彻底告别了卡慢。

其实,信服云EDS和用户的双向奔赴,不止于此:

容量与性能的同步扩展,

见证千行百业的腾飞与发展。

“我们现在的容量使用率已经超过90%,但性能丝毫没有受影响。”除了提供稳定一致的性能表现,信服云EDS灵活扩展的能力,也在不断刷新用户的预期。考虑到研究院数据规模不断增长的情况,信服云EDS支持同时扩展容量和性能,这打破了传统存储架构的局限性。

在传统存储架构中,容量增长到一定程度,性能的增长不会相应增加,甚至还会出现性能下降的现象。而信服云EDS实现了容量和性能的同步扩展,在容量扩展的同时,存储性能也随之线性增长。以集群规模扩展至8节点为例,混合盘配置4KB随机读可达120万IOPS。

故障闭环处理的设计,

是保障业务可靠运行的底气。

在注重高性能的同时,业务连续性和数据可靠性也不可忽视。为此,信服云EDS构建了完整的故障闭环处理框架:


在故障发生前,通过硬件亚健康预测、检测和数据多副本、纠删码等机制,帮助用户提前预防故障的发生;亚健康的可视化监控,则让用户感知硬盘健康状态,提前做好备件采购和替换准备工作。


在故障发生时,通过亚健康硬件自动隔离、智能数据修复、I/O路径自动切换等机制,自动处置问题,最大化减轻运维的压力,同时也保障了业务连续性和数据可靠性。如若发生人为误删除、恶意删除或超过冗余机制范围的故障等情况,可通过快照备份、回收站等机制快速找回数据


这些高可靠的设计,也是用户坚定选择信服云EDS的理由之一

截至目前,信服云EDS已经累计参与交付超过20000个客户和300+例PB级项目,在AI训练、卫星遥感、医疗影像、动漫制作、软件开发等场景获得了用户的广泛认可。

从蒸汽技术革命到信息技术革命,科技一次次改变着世界。


这一次,AI的想象力更是无限。这些面向未来交通、医疗、绿色发展的难题,也正在一步步被清华大学智能产业研究院的科学家们“拿下”:


▷ 发布全球首个真实场景车路协同数据集

▷ 研发出连续获得全球第一的自动化蛋白质结构预测平台

▷ 绿色计算5G网络智能减碳技术获得吴文俊人工智能科技进步奖


丈量寰宇,眺望星辰。在科技领航者的探索下,智能时代正以一种前所未有的清晰度呈现在我们面前。信服云EDS身处这个伟大的时代中,将集自身之所长,融用户之所需,助力科研工作者们在数据的浩瀚宇宙中,自由翱翔。


扫码咨询

信服云EDS

文章推荐

相关阅读

  • 一文解读业务平台升级JDK11的适配之路

  • 阿里妹导读本文基于两个出发点,描述了业务平台于21年12月启动了对JDK版本升级的适配之路,并回顾了整个升级过程,对升级过程中的问题做了记录。业务平台升级JDK11,基于两个出发点
  • 鲲鹏展翅凌云志:iLogtail社区2022年度开源报告

  • 阿里妹导读2022年,iLogtail 迈出了开源的关键一步,不管是数据模型演进,还是生态集成都有了很大的飞跃。本文总结了iLogtail 社区的2022年开源之路。2022 注定是不平凡的一年,在
  • 无缝切换?从Vue到React

  • 阿里妹导读本文主要针对Vue开发者或新手快速上手React。本文主要分析Vue和React在开发上的区别,帮助Vue开发者快速上手React,同时也适用于前端新手入门React。单文件组件 VS c
  • 虚拟数字人之《手语翻译官》的技术实践

  • 阿里妹导读目前全球范围内手语老师严重不足,调研各种情况后我们开发了一款产品希望帮助听障人士解决一些生活中的常见问题,本文将为大家分享虚拟数字人《手语翻译官》的技术实
  • 2023.01.10北京租房信息汇总

  • 今日房源速览2023.01.101.海淀区清华大学旧西院2.昌平区白各庄新村 3.1号线高碑店村2区4.海淀区清河街道铭科苑5.14号线将台芳园南里西区6.朝阳大悦城燕保百安家园2号院7.中
  • 安全牛课堂丨企业数据分类分级治理与拆解之道

  • 数据分类分级是我国近年来数据安全治理的高频热点词汇。今日份,浅谈企业为什么做数据分类分级?数据分类分级有哪些坑点难点?数据安全治理框架,以及大数据时代背景下数据安全治理

聚合标签

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 一种使命是国家需要,一种征途是世界前沿

  • “人工智能应用落地的‘高歌猛进’,是有人在‘负重前行’。”王博士(化名)作为清华大学智能产业研究院自动驾驶课题组的一员,负责车路协同数据集的训练工作。课题研究中,王博士在
  • 遗失贵重物品?别慌!有普陀城管出手相助

  • 近日,一面印有“拾金不昧,品德高尚”的锦旗被送到了长征镇市容服务队队长闻承虎的手里,以表示对服务队员的真诚感谢。一起来看看具体是怎么回事吧!赠送锦旗2月初的一个晚上,镇市