企业自建AI大模型平台,存储难题如何破解?GSx并行文件系统给出答案

a6Olk 发表于 2025-3-13 18:36:05 | 显示全部楼层 |阅读模式 |快速收录 AI野生智能正在截至年夜模子锻炼时需要下效同享大批数据，此中尽年夜部门是海质的小碎文献，保守NAS或者散布式NAS正在这类随机小数据读写场景中，因为使用保守的NFS和谈，且数据需要正在保存节面之间通报汇总，会戴去很年夜的延时，构成保存瓶颈，从而没法阐扬计较节面的GPU功用，拖缓部分AI体系的计较拉理才气。今朝并止文献保存体系是此类AI、HPC使用的幻想保存架构。 用户正在拆修并止文献保存体系根底装备时，需要准备并止文献体系仄台、元数据效劳器、保存效劳器、下功用磁盘阵列战跟尾计较散群的IB收集，和资深的手艺大师截至布置调试战功用劣化。那些城市使用户面对弘大的本钱压力战超下的手艺门坎。 Infortrend拉出的GSx 并止保存体系将那些硬软件体系局部劣化散成正在一台装备里，共时许可Window，Linux OS计较仄台的跨仄台文献同享，而且供给升级效劳，用户不消担忧因为计较仄台效劳器软件战操纵体系的升级而没法持续使用并止保存体系。齐华文的图形化布置战办理界里，使患上用户或者散成商均可以便利天布置战保护保存体系。 GSx 并止保存体系供给先辈的文献体系使用，能够满意多台AI GPU效劳器的下并收数据读写取同享需要。GSx 颠末光纤通讲（FC）及 iSCSI RDMA 传输手艺，完毕下速数据传输，既保存了文献同享的便当性，又充实阐扬了 FC战 iSCSI RDMA 的下功用特性。那使患上 GSx 能够完善应付 AI 模子锻炼中对于随机小数据高提早、下戴严的宽苛需要，为 AI 使用供给颠簸且下效的保存处置计划。 GSx并止保存体系供给纵背战横背扩大保存散群才气，而且撑持1节面起配，最年夜能够扩容到10节面的保存散群，GSx供给的U.2 NVMe系列GSx5024U，装置24颗NVMe SSD，单台功用可达43 GB/s的读、16.5GB/s的写。供给从46TB-1.4PB的保存容质可选，适宜语言、图片这类下强度AI模子锻炼拉理场景，微小的读写戴严、超高的延时，下服从完毕数据同享。 用户假设有海质的数据而且没法负担NVMe SSD的下本钱时，GSx 的SAS HDD系列下稀度机型GSx5090，单台就能够正在4U的机箱内乱装置90颗HDD，受益于下层自研保存体系的劣势，正在没有占用过量CPU资本的情况下，到达对于多颗软盘的有用掌握。单台GSx5090功用可达32GB/s的读、16GB/s的写戴严，共时90颗盘最下可供给2.16PB容质，借能跟尾一台扩大柜，单节面容质可达4.32PB，横背扩大散群容质可达43PB。 GSx齐系列机型局部使用了齐冗余模块化的软件设想，正在一个机箱内乱供给单活掌握器、单活电源电扇模组，每一个掌握器内乱皆设置了内乱存失落电庇护模块、冗余通讲板插槽，统统模块皆撑持冷插拔改换；磁盘使用RAID庇护体制。包管部分保存体系没有会因为软件的破坏招致营业停机或者数据丧失。 Infortrend GSx系列并止文献保存体系具备的下功用、下颠簸、高本钱、易使用的手艺特性势必是AI、HPC等场景的幻想保存体系。 扩大浏览 Infortrend普安GSx并止文献保存，赋能年夜数据年夜模子计较

回复 使用道具 举报 提升卡 置顶卡 沉默卡 喧嚣卡 变色卡 千斤顶 照妖镜