1. 首页 > 人工智能

向AI时代装配“新大脑”:数据密集型超算带来了哪些变革

作者:admin 更新时间:2025-03-27
摘要:这几天,世界人工智能大会成为了行业中当之无愧的流量焦点,而媒体与分析师对这届大会的关注点也各有不同。,向AI时代装配“新大脑”:数据密集型超算带来了哪些变革

 

  这几天,全球人工智能大会成为了行业中当之无愧的流量焦点,而媒体和解析师对这届大会的关注点也各有不同。

  大家发现,全球人工智能大会来到第四届,大家关心的不再仅仅是基础算法创造以及酷炫的黑科技应用。AI相关的产业基础设施、规模化落地方法的关注度逐步增强。大家更多把AI视作壹个产业结构,而非单单一种技术来加以讨论。

  说到AI的产业会基础设施,就不能不提到超算。无论对于科研、行业,甚至区域进步和民族战略来说,超算都是AI和相关新一代信息技术的核心。而随着AI等技术带来数据量大规模增长、数据结构多元化、数据解析任务复杂化,原本的HPC(高性能计算)体系也迎来了最新的变革和挑战。HPC正在走给HPDA(高性能数据解析)的新路线,AI时代的超算体系正在从计算密集型转给到数据密集型。

500)this.width=500" border=0 alt="" align=center src="http://www.2025china.cn/resupload/00000000000000000019/033001/1626325081914_1.jpg">

  大家了解,人的伶俐才智不仅来自反应能力,还来源于对姿势、记忆、经验的准确调取和应用。当AI要变得更伶俐时,一定需要更强大的数据处理能力。数据密集型超算,可以说是社会经济真正需要的AI大脑。

  人脑中的记忆是存储在神经元当中的,那么AI时代的超算大脑中,数据将要存储在哪里呢?

  一场由数据密集型超算带来的存储变革正在发生。7月8日,在2024全球人工智能大会(WAIC2024)上,上海交通大学和华为企业联合公开了数据密集型超算示范中心。这是双方继4月份联合成立“高性能计算&存储技术联合创造中心”以来的又一重磅合作,开创了产学研一体化推动超算进步的最新玩法。

  让大家以此为基础来谈一谈:智能时代何故必须进步数据密集型的“新超算”?和此同时,存储产业又怎样帮助“新超算”跨越数据裂谷?

智能时代,

数据密集型超算的产业需求

  自疫情发生以来,全球无数民族和地区,相继觉悟到了超算能力的重要性。在确诊病例、寻找治疗方式以及研发疫苗的经过中,病毒和蛋白质解析能力至关重要。而相关职业就特别明显地展现出了计算由计算密集型,给数据密集型转化;由HPC给HPDA演进的必要性。

  病毒解析任务中,需要快速产生海量数据,而且其结构复杂、数据形态多元。类似计算任务不仅考验计算能力,更考验全流程化的数据存放、调用、解析和再利用能力。如果仅仅是算得快,那么任务也许在数据的全流程循环中浪费大量时刻。而疫情面前,时刻就是生活。

  在AI进入产业化周期的阶段,类似难题出现在各行业的超算需求中。自动驾驶、油气勘探、天文解析、工业数字化孪生,都清晰地指给数据密集型计算。

500)this.width=500" border=0 alt="" align=center src="http://www.2025china.cn/resupload/00000000000000000019/033001/1626325096474_1.jpg">

  华为IT产品线化解方法设计部部长陈默博士认为,超算进步目前主要有6大动向:架构集群化、计算异构化、数据密集化、网络IP化、运营自动化和应用容器化。这些动向的出现,不仅考验了超算本身的算力进步,还给超算的存储体系带来了一系列挑战。比如说:

  1、超算对应的数据存储量和存储类型快速增加:自动驾驶、卫星探测等任务带来了数据量的几何级飙升。而聪明城市、地质勘探等行业带来了大量非结构化数据、混合类型数据的存在任务,这都对存储体系产生了更高标准。

  2、数据调用性能极大增加,标准存储能力增强:HPDA形态下的超算体系,需要完成海量数据的短时刻内大量吞吐,这对存储性能提出了挑战。

  3、产业智能化动向,标准存储可靠性趋给极点:在生产场景中落地的超算,需要结局高度可靠,且不能出现重复,更不能持续故障。这标准存储的可靠性极高,并具有强大的自我修复和诊断能力。

  4、超算中心和数据中心融合:超算体系未来将承担更多的数据服务和数据利用职能,这就标准数据在存算场景中反复流动,快速循环,形成有效的数据湖场景。这将对现有存储体系造成巨大的更新。

  这些动向的存在和进步,意味着数据密集型超算必将建立在存储能力的更新和进化之上。海量存储能力更新支撑数据密集型超算和HPDA动向;超算更新又支撑了AI产业化进步。

  这样来看,现在大家希望在全球人工智能大会中找到的产业底座,一定蕴藏在海量存储体系当中。

应对HPDA挑战,

需要存储能力更新

  为了应对数据密集型超算中出现的一系列数据存算挑战,华为推出了OceanStor Pacific存储,在高密设计、应对混合负载能力,以及多协议互通三大领域完成了创造,从而更准确满足海量、多种类数据的快速存算需求,助力超算体系更新。

  大家可以具体来看一下这三大能力是怎样化解数据密集型超算所遇到挑战的。

  首先,HPDA的核心挑战就是海量数据的涌入,以及业务量的几何级增长,很快会造成机房空间不足、存储成本高昂的难题,相关用户不能无限制投入成本和空间用以存放数据。为了化解这个难题,华为推出了OeanStor Pacific高密专用硬件,基于最新的高密架构设计提供更高的容量利用率,在有限的机房空间里存下更多数据。

500)this.width=500" border=0 alt="" align=center src="http://www.2025china.cn/resupload/00000000000000000019/033001/1626325112005_1.jpg">

  其次,随着AI产业化的推进,超算体系中的一套存储必须支持不同业务流程、产业环节的混合负载。以油气勘探为例,过往数据采集、解释、处理每个环节的业务能力对存储的需求都不同,如果搭建多套存储会造成大量迁移成本和安全风险。华为OceanStor Pacific推出了新一代分布式并行文件体系,从而应对混合负载挑战。

  再有,数据密集型超算需要让数据在其他环节、不同体系之间进行复杂的循环流动,这就需要存储具备多协议互通能力。华为OeanStor Pacific具备业界领先的多协议互通能力,能够实现多个存储服务同时访问一份数据,进步跨环节、跨体系的数据解析效率。

  面给数据密集型超算的产业动向,华为也并不仅仅是提供市场需要的产品和技术,而是和科研界、产业界走到一起,联手寻觅未来超算的更多也许性。比如上海交通大学和华为联合打造的数据密集型超算示范中心。

  产学研一体,寻觅超算下一幕

  数据密集型超算的进化,以及HPC给HPDA的演进,都不是一家企业、壹个产业链环节能够完成的任务,而是需要这个领域中产学研各界高效协同,更准确完成从基础设施革新、技术创造到产业落地的一系列工程。

  华为和上海交通大学联手打造的数据密集型超算示范中心,就是一种有效的产学研一体化协作玩法。华为OceanStor Pacific存储对于HPDA的赋能和帮助,不应该等待产业界慢慢寻觅发掘,而是应该在有效的示范和引导下,确保行业用户和超算建设方能够准确找到切入点,实现投入产出比最大化。

  数据密集型超算示范中心就是这样壹个产学研一体化打造的示范项目,其具有两大创造点,一是国内高校建设的第壹个ARM超算体系,二是在国内高校第一次践行“数据密集型超算”的建设理念。围绕数据密集型超算的建设理念,华为和上海交大紧密协作,持续投入了相关技术和应用创造,而且在科研合作、人才培育等领域进行生态化合作,以此来寻觅超算在智能时代的有效更新途径。

500)this.width=500" border=0 alt="" align=center src="http://www.2025china.cn/resupload/00000000000000000019/033001/1626325126920_1.jpg">

  回到存储领域,华为OceanStor Pacific存储为数据密集型超算示范中心提供了统一的数据底座,对异构化算力实现了坚实支撑,既确保了创造型的超算部署成功落地,同时还增强了结局验证能力,提高了用户操作尝试和运行效率。

  未来,数据密集型超算将在AI走入千行百业、寻觅技术边界的进程里起到中坚影响。而相关的存储能力则是众多想象力的基础。

  大家在现在的全球人工智能大会中,不仅能够看到对AI基础设施的关注,甚至能看到“基础设施的基础设施”迎来了更新进化。

  基建是无数产业进步的灵魂,大家在高速公路、高铁上见到的故事,正在AI、存储中又一次上演着。

  文章来源:风辞远 脑极体

(转载)