NVMe硬盘取AI存储的将来

发布时间:2025-03-28 07:33

  这种改变将带来显著的劣势。起首,通过打消取处置器接口的硬件适配器,NVMe硬盘简化了AI存储摆设,使企业无需特地的节制器即可建立大规模AI存储。其次,通过单个NVMe驱动法式和操做系统仓库,这些硬盘可确保硬盘取SSD高效协同工做,无需零丁的软件层。

  因而,跟着AI的持续扩展,需要一种新的方式——既能增益现有的存储架构,又能均衡容量、成本和速度,正在无需任何的环境下支撑AI锻炼和推理。

  工程师证明,通过NVMe硬盘和DPU的GPU-存储间接数据传输(direct GPU-to-storage communication)有帮于削减AI 数据工做流中取存储相关的延迟。消弭了保守的SAS/SATA额外资本耗损,简化了系统架构并提高了存储效率。AIStore动态优化了缓存和分层,加强了模子锻炼机能,同时简化了存储聚合和实现EB级此外可扩展性。NVMe-oF集成实现了无缝扩展,证了然多机架AI存储集群的可组合性。

  跟着人工智能沉塑各个行业,希捷也正在从头定义人工智能存储根本设备的扩展体例,以满脚日益增加的数据存储需求。

  希捷正在取客户及合做伙伴配合摸索NVMe硬盘若何融入下一代人工智能存储处理方案,确保企业可以或许以经济高效的体例满脚人工智能存储需求。

  虽然正在AI计较方面取得了前进,保守的存储架构正在达到应对数据高需求GPU的规模下,会变得复杂且高贵,这了AI使用速度,缘由有三。

  最初,依赖云存储的AI工做负载总会避免不了昂扬的广域网(WAN)数据传输成本、延迟峰值以及不成预测的检索时间。这些低效要素正在处置硬件期待近程数据的过程中,了AI模子的响应速度并添加了操做成本。

  为了表现NVMe硬盘潜正在现实影响,希捷进行了NVMe硬盘、NVMe固态盘、NVIDIA BlueField数据处置单位(DPU)和AIStore软件集成的概念验证(POC),展现了高效的AI存储生态系统。

  希捷的NVMe硬盘展现了若何正在保留硬盘成本劣势和密度劣势的同时,通过NVMe毗连降低存储摆设的复杂性。通过正在概念验证(POC)中实现AIStore集成、NVMe-oF可扩展性以及GPU优化的存储径,希捷正引领着下一波人工智能根本设备立异的海潮。

  正在希捷的量子天线出产设备中,由AI驱动的缺陷检测依赖于高速图像摄取和快速检索来进行模子锻炼和持续改良。正在这种AI赋能出产的现实经验帮力下,希捷正正在摸索NVMe硬盘若何通过供给可扩展、经济高效的存储,支撑及时处置和持久保留,得以实现这一过程。

  扩展魔彩盒(Mozaic)平台(目前已推出36TB硬盘),开辟更高容量的NVMe硬盘。推进NVMe-oF支撑,使人工智能工做负载可以或许无缝地扩展到夹杂中。建立参考架构,确保人工智能开辟者可以或许轻松摆设优化后的存储处理方案。

  此外,NVMe over Fabrics(NVMe-oF)使NVMe硬盘可以或许集成到分布式AI存储架构中,确保正在高机能数据核心收集中无缝扩展。对于需要矫捷、可组合的AI工做流存储处理方案的企业而言,此功能出格有用。

  当前,机械进修数据集需要PB级的存储空间,企业为了跟上不竭成长的AI模子的程序,这些复杂的数据集必需被高效地存储、检索和处置,以支撑模子锻炼和推理。AI背后的存储根本设备不再仅仅是IT问题——它曾经成为AI立异的焦点驱动力。

  除了制制业之外,NVMe硬盘还可使用于从动驾驶汽车、医疗成像、金融阐发和超大规模云AI平台。使得可持续性成为一个日益遭到关心的问题。希捷正在NVMe硬盘范畴的摸索,供给了一种相较于以SSD为从导的架构更具成本效益且节能的处理方案。

  大容量存储高清图像,无损数据压缩。高效持久存储AI锻炼数据集。无缝拜候AI模子再锻炼和持续改良。

  --希捷若何鞭策NVMe硬盘手艺成长,提拔机能、加强可扩展性、破解瓶颈,从而优化AI数据流程。

  其次,虽然SAS/SATA硬盘系统持续为很多企业使用供给靠得住且成本效益高的存储,但AI工做负载对存储根本设备提出了奇特的要求。SAS/SATA接口依赖于专有的硅芯片、从机总线适配器(HBAs)和节制器架构,而这些并非专为满脚AI工做负载的高吞吐量、低延迟需求而设想。跟着AI使用的扩展,这些要素可能会带来复杂性和更多延迟,使得AI模子难以快速拜候海量数据集。

  通过研究将NVMe硬盘集成到存储架构中,希捷展现了新手艺若何降低AI存储成本,同时确保检测的及时响应。新手艺带来的增益包罗更快的AI驱动阐发、更高的精确性,以及更低的根本设备成本。

  希捷正正在开辟立异手艺,以鞭策下一代支撑人工智能的存储根本设备的成长,这取行业趋向以及超大规模和云计较的需求相契合。其线图包罗!

  希捷拥无数十年正在智能工场中摆设AI模子的经验,并正正在操纵这些经验来验证NVMe硬盘正在现实AI工做负载中的表示。

  通过将NVMe硬盘取SSD一路利用,企业将可以或许正在连结机能的同时优化成本,为勾当数据集预留SSD,并利用硬盘进行持久AI锻炼数据保留。

  此中一个最环节的劣势是通过DPU实现从GPU到存储的间接数据拜候,从而绕过CPU瓶颈。保守存储架构通过CPU驱动的管道传输数据,从而发生延迟问题。NVMe硬盘能够消弭这种低效,令AI模子可以或许以显著削减的延迟来提取和处置海量数据集。

  起首,虽然基于SSD的架构可以或许供给高机能,但对于AI锻炼工做负载所需的海量存储需求,其购买成本过于昂扬。对于大大都企业来讲,若是将大型数据集都存储正在SSD,从成本上看不切现实。

  通过此概念验证,希捷展现了NVMe硬盘若何正在无需全闪存架构的环境下,支撑世界上最严苛的AI工做负载。

  人工智能正正在改变着各行各业,然而很多企业却为数据办理的复杂性和不竭上升的存储成本而苦末路。可扩展且高效的存储对于鞭策人工智能立异至关主要。

  希捷将NVMe手艺引入大容量硬盘,开创了一种变化性的处理方案。通过将NVMe开辟为硬盘毗连的将来尺度和谈,希捷供给了一种替代方案,旨正在优化AI数据管道、削减存储瓶颈,同时连结硬盘的可承担性和密度劣势。

  该概念验证沉点展现了NVMe硬盘正在AI工做流程中的环节劣势,并证明它们能够正在大规模AI 存储中发生严沉影响!

  每TB所含碳脚印削减10倍,显著降低影响。每TB运转功耗降低4倍,从而降低人工智能数据核心的能源成本。每TB成本大幅降低,削减了大规模人工智能存储的总体具有成本(TCO)。

  取基于SAS/SATA的硬盘分歧,NVMe硬盘不需要从机总线适配器(HBA)、和谈桥和额外的SAS根本设备,从而使AI存储愈加精简。这些硬盘通过正在同一的NVMe架构中集成高密度硬盘存储取高速SSD缓存,答应AI工做负载无缝扩展。

  人工智能正正在为各行各业带来冲破,医疗诊断、财政建模、从动驾驶汽车和大规模从动化等都获得改革。然而,AI系统的日益复杂使得数据存储需求呈指数级增加,这为可扩展性、效率和成本等方面带来了挑和。