在AIGC应用海量爆发背后,正是各大科技厂商不断推出的AI大模型。在以OpenAI的GPT、Dall-E为代表的LLM出尽风头后,出于应战更出于商业生态所需,其他厂商陆续推出了各自的大模型、/p>
在谷歌率先推出Bard并与NVIDIA联合开发了参数量高?300亿的Megatron-Turing后,Meta发布了BlenderBot3、亚马逊推出了自有的大型语言模型泰坦(Titan),OpenAI前元老创立的Anthropic发布了Claude,Stability AI拥有Stable Diffusion并于近期推出了开源大语言模型StableLM、/p>
除了大型公司,美国还有LLM领域比较知名的初创企业,比如前谷歌研究人员创立的Character.AI、由前LinkedIn联合创始人、DeepMind联合创始人等联合创立的Inflection AI、来自谷歌AI团队成员创立的Cohere以及Adept.ai等,这些AI公司都有自研AI大模型、/p>
俄罗斯Yandex研发了大模型YaLM;英国DeepMind推出了Gopher超大型语言模型,前几天英国还宣布斥?亿英镑建立新的“基础模型工作组”(Foundation Model Taskforce),以开发能带来“全球竞争力”的 AI 方案;韩国Naver研发了HyperCLOVA;以色列A21 Labs推出了Jurassic-1 Jumbo、/p>
厂商们的AI大模型发布都集中在了4月,目前华为的盘古?60的智脑、商汤的日日新、阿里的通义千问、京东的言犀、腾讯的混元、中科院的紫东太初、科大讯飞的1+N认知、浪潮的?.0、昆仑万维的天工3.5、云从科技的行业精灵、知乎的“知海图AI”、第四范式的“式?.0”、科大讯飞的“星火认知”等大模型都已发布、/p>
除了各国多个组织发布的AI大模型,Stable Diffusion等开源大模型也是一股不可忽视的力量。越来越多的开源模型,正在以本地部署的形式进入更多企业成为其构建生成式AI应用的模型层、/p>
在大模型之外,像斯坦福发布的52k数据的Alpaca、AI风险投资公司Age of AI开发的FreedomGPT等中小模型,同样也是各大组织在安全及私有化部署层面关注的重点、/p>
AI大模型的快速发展,带来全球算力市场需求的高速上涨。随着AI技术的不断突破以及各种开源架构的推进,算法模型和数据反而成了最简单的,倒是算力不足成了大模型厂商遇到的最大的问题,或者说它已经成了影响AI大模型能力的主要因素、/p>
LLM对算力的需求到底有多大?以ChatGPT为例,GPT-3训练成本预计?00万美?次、/p>
为支持ChatGPT对于强大算力的需求,微软?019 年投?0亿美元建造了一台大型顶尖超级计算机,配备了数万个NVIDIA Ampere架构GPU,还?0多个数据中心总共部署了几十万个NVIDIA GPU进行辅助、/p>
一个杀手级AI应用ChatGPT,就需要这么大的算力支持。而OpenAI还有Dall-E等多个大模型,可见OpenAI这家公司对算力的需求有多大、/p>
不仅如此,模型参数的增长也会导致算力需求猛增。比如华为云盘古大模型的预训练参数规模达?000亿,而阿里达摩院的M6模型参数更是达到10万亿,这些大模型对算力的需求已然超过ChatGPT、/p>
OpenAI仅是一个大模型公司,上述谷歌等国外大型企业以及创业公司,还有国内已经超?0家推出大模型的组织,不管是自建数据中心还是将模型托管,想要大模型快速迭代与发展,都离不开庞大算力、/p>
所以,在解决了算法模型和数据集后,为了让自有大模型能够快速落地商用,全球大模型厂商都把心思放到了算力之上,千方百计增加自身算力、/p>
在算力打造方面,目前大模型厂商普遍采用的是GPU+CPU+NPU的异构方式。一般是以NVIDIA GPU为主,搭配自研或者其他厂商的小算力GPU、CPU及NPU。而想要在短期内获得并保证超大算力,NVIDIA是不二之选、/p>
与此同时,与NVIDIA合作打造定制化GPU集群,为模型训练提供高效稳定可用的基础算力系统,也成了大模型厂商的共同选择、/p>
为了满足OpenAI多模型的算力需求,微软基于NVIDIA最新旗舰芯片和NVIDIA Quantum-2 InfiniBand网络互连技术,推出Azure可大规模扩展的AI虚拟机系列以显著加速AI模型的开发、/p>
亚马逊云科技和NVIDIA合作,构建全球最具可扩展性且按需付费的人工智能(AI)基础设施,以训练日益复杂的大语言模型(LLM)和开发生成式AI应用程序、/p>
Meta与NVIDIA联合打造了RSC,这是全球最快的AI超级计算机之一、/p>
在国内,有信息透露,百度在年初紧急下?000?张芯片(2.4万枚GPU)的服务器,百度全年会有5万枚Hopper架构GPU的需求、/p>
阿里云预计在今年需?万枚左右,其?000枚也是该GPU、/p>
近期腾讯所发布的新一代高性能计算集群HCC,同样采用了国内首发的NVIDIA Hopper架构GPU、/p>
相关数据统计,国内对NVIDIA新一代Hopper架构GPU的需求,至少是数十万的级别、/p>
当前阶段的LLM大发展,算力源头最终都指向了NVIDIA。这意味着,NVIDIA所提供的算力已经无处不在、/p>
无处不在的NVIDIA算力
AI已经进入大模型时代,接下来所有领域所有行业都将进行一轮IT架构与应用程序的重大变革,所有组织都要引入大模型,所有AI应用都要建立在模型层之上、/p>
NVIDIA自诞生以来一直致力于加速运算,尤其?006年推出CUDA开发平台(通用并行计算架构)至今,所有行业早已认知到CUDA的价值,拥有CUDA支持的NVIDIA GPU也早已成为AI训练首选、/p>
现在,几乎每个厂商推出的大模型,都需要以NVIDIA GPU为主的算力解决方案做支撑。构建于这些大模型之上的生成式AI应用,将会在各个领域得到应用。从这个角度而言,NVIDIA的算力已经无处不在、/p>
而为了满足不同厂商的需求,NVIDIA也在不断求变、/p>
GTC23期间,NVIDIA发布了用于数据中心的 NVIDIA Hopper架构GPU、Grace Hopper和Grace,其中Hopper GPU NVL是一款带有双 GPU NVLink的GPU产品,用于支持像ChatGPT这样的大型语言模型推理、/p>
推出了搭?个NVIDIA Hopper GPU的新版本DGX ,可以连接成为一个巨大的GPU,将成为全球大模型厂商构建AI基础设施的蓝图、/p>
为了加速把DGX能力带给初创企业和其他各类企业,助力其快速打造新产品和制定AI战略,NVIDIA发布了用于AI云计算平台的NVIDIA DGX Cloud、/p>
在加速生成式AI技术应用方面,NVIDIA还发布了NVIDIA AI Foundations云服务系列,为需要构建、完善和运行自定义大型语言模型及生成式AI的客户提供服务、/p>
同时为帮助企业部署处于快速发展的生成式AI模型,NVIDIA发布了用于AI视频的NVIDIA L4 GPU、用于图像生成的NVIDIA L40 GPU、用于大型语言模型部署的NVIDIA H100 NVL 以及用于推荐模型的NVIDIA Grace Hopper、/p>
这些产品、平台和解决方案的发布,可以让NVIDIA的算力以更强劲的动力传输到更多领域、/p>
NVIDIA以算力助力多领域企业成长的案例已有太多,这里我们也来看几个GTC23展示的案例、/p>
比如在医药领域,三井物产株式会社正在与NVIDIA合作开展“Tokyo-1”项目。该项目旨在使用高分辨率分子动力学模拟和用于药物研发的生成式 AI 模型等技术,为日本制药行业的领导者提供强大动力、/p>
通过该项目,用户将能够访 NVIDIA DGX 节点,以支持其进行分子动力学模拟、大型语言模型训练、量子化学、为潜在药物创建新型分子结构的生成式 AI 模型等。Tokyo-1 用户还可以通过NVIDIA BioNeMo 药物研发软件和服务,利用大型语言模型来处理化学、蛋白质、DNA RNA 数据格式、/p>
在汽车领域,NVIDIA与新能源汽车(NEV)制造商比亚迪将拓宽 NVIDIA DRIVE Orin 中央计算平台的应用范围,将用于其更多新能源车型之中。DRIVE Orin的强大计算能力能够实时处理各种冗余传感器信息,且这项技术还能为汽车制造商提供充足的计算裕量,支持其在整个汽车生命周期内,开发和运行全新的软件驱动型服务、/p>
NVIDIA DRIVE Orin作为当前市面上性能最高的车规级处理器,自去年投产以来,已成为交通行业新一代新能源汽车、自动驾驶出租车和卡车的人工智能的首选引擎、/p>
在通讯领域,AT&T和NVIDIA宣布了一项新合作,AT&T将通过使用NVIDIA驱动的AI来处理数据、优化服务车队路线规划并创建用于员工支持与培训的数字虚拟形象,以持续转变运营方式和增强可持续性、/p>
AT&T是首个探索使用全套NVIDIA AI平台的电信运营商。这些产品包括使用NVIDIA AI Enterprise软件套件来提升其数据处理能力,这一套件包含NVIDIA RAPIDS Accelerator for Apache Spark;通过NVIDIA cuOpt,实现实时车辆路线规划和优化;通过NVIDIA Omniverse Avatar Cloud Engine和NVIDIA Tokkio,打造数字虚拟形象;以及通过NVIDIA Riva更好地利用对话式AI、/p>
随着更多领域的客户采用NVIDIA的算力解决方案,NVIDIA的算力也将跟随合作伙伴为用户提供的服务而遍及更多垂直细分领域、/p>
后记:市场需求造就算力模式演变
为了加速算力赋能千行百业,NVIDIA持续推出更多解决方案以满足更多客户的需求。而随着用户对于算力需求的变化,NVIDIA也在不断探索更加多元化的算力解决方案、/p>
从GTC23所发布的一系列产品、技术及解决方案来看,NVIDIA已经从硬件算力供应商发展成为能够提供软硬件一体解决方案及AI云计算的多元化算力供应商、/p>
这个改变一方面来自于NVIDIA对于全球客户对算力需求变化的时刻洞悉与及时响应,另一方面也来自于NVIDIA对算力如何更好助力人工智能发展的持续探索、/p>
当然,更主要的是AI大模型爆发式增长所带来的庞大的算力需求,真正造就了一个无比庞大的市场、/p>
在算力市场增速与规模方面,中国信息通信研究院数据,目前全球计算设备算力总规模达?15EFlops(Flops为算力单位,即每秒浮点运算次数),增速达?4%,预?030年全球算力规模达?6ZFlops,平均年增速达?5%、/p>
未来7年的算力供应,可以想象NVIDIA将会占据多大市场份额、/p>
不说国外,单是中国市场目前已推出的三十多个大模型,就能感受到广大组织对算力的巨大需求,更不用说今后全球要出现的更多大模型、/p>
不管是大模型、中模型还是小模型,只要组织构建或者引入大模型都离不开算力支持、/p>
现在,发布自有大模型或者中模型正在成为大型企业的标配,而使用大模型和生成式AI技术也即将成为企业运营标配、/p>
这两个标配的实施与落地的过程,便是NVIDIA算力走进更多组织的机会。并且,这个机会将会伴随着AGI(Artificial General Intelligence,通用人工智能)的一路发展而长期存在、/p>
两个标配需求,也将进一步促进以NVIDIA为首的厂商算力供应模式开始从硬件方式走向更多元的发展、/p>
市场需求,正在造就算力供应模式的演变、/p>
而在这个演变进程中,无论是技术创新、产品引领、方案打造还是在算力变革,NVIDIA都扮演了绝对的主角、/p>
黄仁勋在GTC23上表示,我们正处于AI 的iPhone时刻。AI大模型到来后,又何尝不是NVIDIA的iPhone时刻、/p>
全文宋/p>
【王吉伟频道,关注AIGC与IoT,专注数字化转型、业务流程自动化与RPA。欢迎关注与交流。【/p>