毫无疑问，大模型对算力、算法、数据的需求都在急速提高、�/p>

市场研究统计，过去五年，大模型参数增�?000倍，所需计算能力增加5万倍，对数据存储需求增�?0万倍，连带网络带宽需求增�?000倍、�/p>

大开大合大需求，需要大设施、大投入、�/p>

但是，如果从创新的视角来看，实际上无论是算法还是算力的提供，其难度都在下降或者说收敛、�/p>

在很多企业都头疼的算力上，虽然需要的量很大，但无非都来自于英伟达、昇腾等GPU硬件资源，是一件主要依赖成本投入的事。换句话说，只要有足够多的预算，算力资源就能供给上来、�/p>

在算法端，虽然各大厂商不断调优迭代，但总体上都在采用Transformer模型基础架构，基于Pytorch、TensorFlow、MindSpore等主流开发框架开发，是逐渐收敛的、�/p>

这时候，压力来到了数据这里、�/p>

随着大模型深入发展，在总量上，数据需求早已从TB级跃升到PB级，需要的“池子”越来越大；而同时，对数据类型的需求又极大丰富，单一文本的模态之外，图片、视频、语音等多模态数据爆发，数据需求越来越复杂，这些都考验着存储的承载力，以及如何在训练、应用过程中更好地与算力、算法协同工作、�/p>

这期间，诸多难题出现，等待存储攻克，主要包括９�/p>

小文件读取性能。大模型在数据需求上以图片文本等海量小文件为主，单台AI服务器每秒能够读�?万多张图片，这往往会导致数据加载效率低（类似于个人PC上的复制动作，同等空间下，内含大量小文件文件夹会比单一大文件要慢很多），影响大模型的训练效率。此时，海量小文件性能就成为瓶颈，万亿参数大模型的基础要求已经达到1000万IOPS、�/p>

CheckPoint断点续训。大模型训练过程中出于参数调优等各种需求，会在不特定时间点中断形成CheckPoint，后续再启动继续训练（需要时间，形成GPU资源利用的空档）。这是一种对长时间训练的模型非常友好的能力，但企业频繁参数调优往往会造成GPU利用率降低（目前业界通常平均每二天就会中断一次，GPU利用率只�?0%），需要存储具备很强的大文件读写性能，才能减少GPU等待时间、提升昂贵资源利用效率、�/p>

“AI幻觉”问题。大模型输出结果“胡编乱造”，与事实明显冲突的现象是业界十分头疼的问题，这种大模型自以为是的现象称作“AI幻觉”。看起来这是算法上的问题，但实际上，业界在探索中逐渐发现，它的解决需要的是在数据层面不断“求证”（主要是参考上下文信息），本质上要求存储能够提供一个类似于“百科词典”的知识体系，来作为大模型的“海马体”提供准确的行业知识、�/p>

可以看到，在创新层面，解决大模型在存储上面临的挑战，可能要优先于算力和算法、�/strong>