VMware（NYSE：VMW）和NVIDIA（NASDAQ：NVDA）于今日宣布擴(kuò)展雙方的戰(zhàn)略合作伙伴關(guān)系，幫助數(shù)十萬(wàn)家使用VMware云基礎(chǔ)架構(gòu)的企業(yè)做好準(zhǔn)備，迎接AI時(shí)代的到來(lái)。
(資料圖)
VMware Private AI Foundation with NVIDIA將使企業(yè)能夠自定義模型并運(yùn)行各種生成式AI應(yīng)用，如智能聊天機(jī)器人、助手、搜索和摘要等。該平臺(tái)將作為全集成式解決方案，采用NVIDIA提供的生成式AI軟件和加速計(jì)算，基于VMware Cloud Foundation構(gòu)建，并針對(duì)AI進(jìn)行了優(yōu)化。
VMware首席執(zhí)行官Raghu Raghuram表示：“生成式AI與多云可謂珠聯(lián)璧合?？蛻舻臄?shù)據(jù)無(wú)處不在，遍布其數(shù)據(jù)中心、邊緣、云等多處。我們將與NVIDIA一同助力企業(yè)放心地在數(shù)據(jù)附近運(yùn)行生成式AI工作負(fù)載，并解決其在企業(yè)數(shù)據(jù)隱私、安全和控制方面的問(wèn)題?！?/p>
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“世界各地的企業(yè)都在競(jìng)相將生成式AI整合到自身業(yè)務(wù)中。通過(guò)與VMware擴(kuò)大合作，我們將能夠?yàn)榻鹑诜?wù)、醫(yī)療、制造等領(lǐng)域的數(shù)十萬(wàn)家客戶提供其所需的全棧式軟件和計(jì)算，使其能夠使用基于自身數(shù)據(jù)定制的應(yīng)用，充分挖掘生成式AI的潛力?！?/p>
全棧式計(jì)算大幅提升生成式AI的性能
為更快實(shí)現(xiàn)業(yè)務(wù)效益，企業(yè)希望簡(jiǎn)化并提高生成式AI應(yīng)用的開(kāi)發(fā)、測(cè)試和部署效率。根據(jù)麥肯錫的預(yù)測(cè)，生成式AI每年可為全球經(jīng)濟(jì)帶來(lái)多達(dá)4.4萬(wàn)億美元的增長(zhǎng)(1)。
VMware Private AI Foundation with NVIDIA將助力企業(yè)充分利用這一能力，以定制大語(yǔ)言模型，創(chuàng)建供內(nèi)部使用的更加安全的私有模型，將生成式AI作為一項(xiàng)服務(wù)提供給用戶，并更加安全地大規(guī)模運(yùn)行推理工作負(fù)載。
該平臺(tái)計(jì)劃提供的各種集成式AI工具，將幫助企業(yè)經(jīng)濟(jì)高效地運(yùn)行使用其私有數(shù)據(jù)訓(xùn)練而成的成熟模型。這一建立在VMware Cloud Foundation和NVIDIA AI Enterprise軟件上的平臺(tái)預(yù)計(jì)能夠提供以下方面的優(yōu)勢(shì)：
●隱私：將通過(guò)能夠保護(hù)數(shù)據(jù)隱私并確保訪問(wèn)安全的架構(gòu)，使客戶能夠在任何數(shù)據(jù)所在地輕松運(yùn)行AI服務(wù)。
●選擇：從NVIDIA NeMo?到Llama 2等，企業(yè)在構(gòu)建和運(yùn)行其模型的位置上，將擁有廣泛的選擇空間，包括領(lǐng)先的OEM硬件配置以及未來(lái)的公有云和服務(wù)提供商解決方案。
●性能：近期的行業(yè)基準(zhǔn)測(cè)試表明，某些用例在NVIDIA加速基礎(chǔ)設(shè)施上運(yùn)行的性能與裸機(jī)性能相當(dāng)，甚至超過(guò)了裸機(jī)性能。
●數(shù)據(jù)中心規(guī)模：虛擬化環(huán)境中的GPU擴(kuò)展優(yōu)化使AI工作負(fù)載能夠在單個(gè)虛擬機(jī)和多個(gè)節(jié)點(diǎn)上擴(kuò)展到最多16顆vGPU/GPU，從而加快生成式AI模型的微調(diào)和部署速度。
●更低的成本：將最大程度地利用GPU、DPU和CPU的所有計(jì)算資源以降低總體成本，并創(chuàng)建可在各個(gè)團(tuán)隊(duì)間高效共享的池化資源環(huán)境。
●加速存儲(chǔ)：VMware vSAN Express Storage Architecture提供性能經(jīng)過(guò)優(yōu)化的NVMe存儲(chǔ)，并支持通過(guò)RDMA實(shí)現(xiàn)GPUDirect?存儲(chǔ)，從而無(wú)需CPU即可實(shí)現(xiàn)從存儲(chǔ)到GPU的直接I/O傳輸。
●加速網(wǎng)絡(luò)：vSphere與NVIDIA NVSwitch?技術(shù)之間的深度集成將進(jìn)一步確保多GPU模型的執(zhí)行不會(huì)出現(xiàn)GPU間瓶頸問(wèn)題。
●快速部署和價(jià)值實(shí)現(xiàn)時(shí)間：vSphere Deep Learning VM鏡像和鏡像庫(kù)將提供穩(wěn)定的統(tǒng)包解決方案鏡像，該鏡像預(yù)先安裝了各種框架和性能經(jīng)過(guò)優(yōu)化的庫(kù)，可實(shí)現(xiàn)快速原型開(kāi)發(fā)。
該平臺(tái)將采用的NVIDIANeMo是NVIDIA AI Enterprise（NVIDIA AI平臺(tái)的操作系統(tǒng)）中包含的端到端云原生框架，可助力企業(yè)在幾乎任何地點(diǎn)構(gòu)建、自定義和部署生成式AI模型。NeMo集自定義框架、護(hù)欄工具包、數(shù)據(jù)整理工具和預(yù)訓(xùn)練模型于一身，使企業(yè)能夠以一種簡(jiǎn)單、經(jīng)濟(jì)且快速的方式來(lái)采用生成式AI。
為將生成式AI部署到生產(chǎn)中，NeMo使用TensorRT for Large Language Models（TRT-LLM），以加速并優(yōu)化NVIDIA GPU上最新LLM的推理性能。通過(guò)NeMo，VMware Private AI Foundation with NVIDIA將使企業(yè)能夠?qū)胱约旱臄?shù)據(jù)，并在VMware混合云基礎(chǔ)架構(gòu)上構(gòu)建和運(yùn)行自定義生成式AI模型。
在VMware Explore 2023大會(huì)上，NVIDIA與VMware重點(diǎn)介紹了企業(yè)內(nèi)部的開(kāi)發(fā)人員如何使用全新NVIDIA AI Workbench提取社區(qū)模型（例如Hugging Face上提供的Llama 2），對(duì)這些模型進(jìn)行遠(yuǎn)程自定義并在VMware環(huán)境中部署生產(chǎn)級(jí)生成式AI。
生態(tài)圈對(duì)VMware Private AI Foundation With NVIDIA的廣泛支持
VMware Private AI Foundation with NVIDIA將得到戴爾、慧與和聯(lián)想的支持。這三家企業(yè)將率先提供搭載NVIDIA L40S GPU、NVIDIA BlueField?-3 DPU和NVIDIA ConnectX?-7智能網(wǎng)卡的系統(tǒng)，這些系統(tǒng)將加速企業(yè)LLM定制和推理工作負(fù)載。
相較于NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU可將生成式AI的推理性能和訓(xùn)練性能分別提高1.2倍和1.7倍。
NVIDIA BlueField-3 DPU可加速、卸載和隔離GPU或CPU上的巨大計(jì)算工作負(fù)載，其中包含虛擬化、網(wǎng)絡(luò)、存儲(chǔ)、安全，以及其他云原生AI服務(wù)。
NVIDIA ConnectX-7智能網(wǎng)卡可為數(shù)據(jù)中心基礎(chǔ)設(shè)施提供智能、加速網(wǎng)絡(luò)，以承載全球一些要求嚴(yán)苛的AI工作負(fù)載。
VMware Private AI Foundation with NVIDIA建立在兩家公司長(zhǎng)達(dá)十年的合作基礎(chǔ)之上。雙方的聯(lián)合研發(fā)成果優(yōu)化了VMware的云基礎(chǔ)架構(gòu)，使其能夠以媲美裸機(jī)的性能運(yùn)行NVIDIA AI Enterprise。VMware Cloud Foundation所提供的資源及基礎(chǔ)架構(gòu)管理與靈活性將進(jìn)一步惠及雙方共同的客戶。
關(guān)鍵詞：
