NVIDIAH100和(hé)L4GPU在(zài)最(zuì)新(xīn)的(de)MLPerf基準測試中(zhōng)将生(shēng)成(chéng)式AI和(hé)其(qí)它(tā)所(suǒ)有(yǒu)工作(zuò)負荷带(dài)到(dào)了(le)一(yī)个(gè)新(xīn)的(de)水平，JetsonAGXOrin在(zài)性(xìng)能(néng)和(hé)效率方(fāng)面(miàn)都有(yǒu)所(suǒ)提(tí)高(gāo)。

　　MLPerf作(zuò)为一(yī)个(gè)獨立的(de)第(dì)三(sān)方(fāng)基準測試，仍然是(shì)衡量(liàng)AI特(tè)性(xìng)的(de)權威标(biāo)準。自(zì)MLPerf誕生(shēng)以来(lái)，NVIDIAAI平台(tái)在(zài)訓练和(hé)推理(lǐ)方(fāng)面(miàn)一(yī)直(zhí)處(chù)于(yú)領先(xiān)地(dì)位(wèi)，包(bāo)括最(zuì)新(xīn)發(fà)布(bù)的(de)MLPerfInference3.0基準測試。

　　NVIDIA創始(shǐ)人(rén)兼首席(xí)執行官黃仁勳说(shuō)：“三(sān)年(nián)前(qián)我(wǒ)们(men)推出(chū)A100的(de)时(shí)候，AI世界是(shì)由(yóu)计算机视覺主(zhǔ)導的(de)。現(xiàn)在(zài)，生(shēng)成(chéng)AI已經(jīng)到(dào)来(lái)。

　　通(tòng)过(guò)Transformer引擎对GPT進(jìn)行了(le)優化(huà)，这(zhè)就(jiù)是(shì)我(wǒ)们(men)創建Hopper的(de)原因。最(zuì)新(xīn)的(de)MLPerf3.0凸显了(le)Hopper的(de)性(xìng)能(néng)是(shì)A100的(de)4倍。

　　“下(xià)一(yī)階(jiē)段(duàn)的(de)生(shēng)成(chéng)式AI需要(yào)一(yī)个(gè)高(gāo)能(néng)效的(de)新(xīn)型AI基礎設施来(lái)訓练大(dà)型語(yǔ)言模型。为了(le)構建由(yóu)數万(wàn)个(gè)通(tòng)过(guò)NVIDIANVLink和(hé)InfiniBand連(lián)接的(de)HopperGPU组成(chéng)的(de)AI基礎設施，客戶正(zhèng)大(dà)規模選擇Hopper。”

　　行業正(zhèng)在(zài)努力推动安(ān)全(quán)可(kě)靠的(de)生(shēng)成(chéng)式AI取(qǔ)得新(xīn)的(de)進(jìn)展(zhǎn)。而(ér)且(qiě)Hopper正(zhèng)在(zài)推动这(zhè)项重(zhòng)要(yào)工作(zuò)。

　　根(gēn)據(jù)最(zuì)新(xīn)的(de)MLPerf數據(jù)，NVIDIA将AI推理(lǐ)性(xìng)能(néng)和(hé)效率從雲(yún)向(xiàng)邊(biān)緣提(tí)升(shēng)到(dào)了(le)一(yī)个(gè)新(xīn)的(de)水平。

　　具體(tǐ)而(ér)言，NVIDIAH100TensorCoreGPU在(zài)DGXH100系(xì)統中(zhōng)運行，在(zài)每个(gè)AI推理(lǐ)測試(即在(zài)生(shēng)産中(zhōng)運行神經(jīng)网(wǎng)络)中(zhōng)都表(biǎo)現(xiàn)出(chū)最(zuì)高(gāo)的(de)性(xìng)能(néng)。得益于(yú)软(ruǎn)件(jiàn)優化(huà)，GPU在(zài)9月(yuè)份首次(cì)亮(liàng)相时(shí)實(shí)現(xiàn)了(le)54%的(de)性(xìng)能(néng)提(tí)升(shēng)。

　　对于(yú)醫疗領域，H100GPU在(zài)3D-UNet與(yǔ)9月(yuè)份相比，MLPerf醫學(xué)影像基準測試的(de)性(xìng)能(néng)提(tí)高(gāo)了(le)31%。

　　在(zài)Transformer引擎的(de)加持(chí)下(xià)，基于(yú)Hopper結構的(de)H100GPU在(zài)BERT方(fāng)面(miàn)的(de)表(biǎo)現(xiàn)非(fēi)常出(chū)色(sè)。BERT是(shì)一(yī)種(zhǒng)基于(yú)transformer的(de)大(dà)型語(yǔ)言模型，它(tā)为生(shēng)成(chéng)式AI奠定(dìng)了(le)基礎，目前(qián)已經(jīng)得到(dào)了(le)廣泛的(de)應(yìng)用(yòng)。

　　生(shēng)成(chéng)AI允许用(yòng)戶快(kuài)速建立文(wén)本(běn)、图(tú)像和(hé)3D模型。從創業公(gōng)司到(dào)雲(yún)服(fú)務(wù)提(tí)供商，企業为了(le)實(shí)現(xiàn)新(xīn)的(de)業務(wù)模式，加快(kuài)當前(qián)業務(wù)，正(zhèng)在(zài)迅速選擇这(zhè)種(zhǒng)能(néng)力。

　　为了(le)獲得即时(shí)響應(yìng)，數亿(yì)人(rén)現(xiàn)在(zài)正(zhèng)在(zài)使用(yòng)ChatGPT(同(tóng)樣(yàng)是(shì)transformer模型)等生(shēng)成(chéng)式AI工具。

　　在(zài)这(zhè)个(gè)AIiPhone时(shí)刻(kè)，推理(lǐ)性(xìng)能(néng)尤为重(zhòng)要(yào)。深度(dù)學(xué)習的(de)部(bù)署(shǔ)幾(jǐ)乎無處(chù)不(bù)在(zài)，这(zhè)促進(jìn)了(le)对推理(lǐ)特(tè)性(xìng)的(de)無盡需求，從工廠(chǎng)车間(jiān)到(dào)在(zài)線(xiàn)推薦系(xì)統。

　　精彩的(de)L4GPU亮(liàng)相

　　在(zài)这(zhè)次(cì)MLPerf測試中(zhōng)，NVIDIAL4TensorCoreGPU首次(cì)亮(liàng)相，其(qí)速度(dù)是(shì)上(shàng)一(yī)代(dài)T4GPU的(de)3倍以上(shàng)。这(zhè)種(zhǒng)加速器具有(yǒu)扁平的(de)形狀，可(kě)以在(zài)大(dà)多(duō)數服(fú)務(wù)器中(zhōng)提(tí)供高(gāo)吞吐量(liàng)和(hé)低(dī)延遲。

　　所(suǒ)有(yǒu)MLPerf工作(zuò)負荷都由(yóu)L4GPU運行。在(zài)对關(guān)鍵FP8格式的(de)支持(chí)下(xià)，它(tā)在(zài)对性(xìng)能(néng)要(yào)求很高(gāo)的(de)BERT模型方(fāng)面(miàn)取(qǔ)得了(le)驚人(rén)的(de)效果(guǒ)。

　　L4GPU的(de)图(tú)像解(jiě)碼速度(dù)除了(le)出(chū)色(sè)的(de)AI性(xìng)能(néng)外(wài)，快(kuài)10倍，视頻響應(yìng)速度(dù)快(kuài)3.2倍，图(tú)形和(hé)實(shí)时(shí)渲染性(xìng)能(néng)提(tí)高(gāo)4倍以上(shàng)。

　　两(liǎng)周前(qián)，这(zhè)些(xiē)加速器在(zài)GTC上(shàng)發(fà)布(bù)，並(bìng)由(yóu)各(gè)大(dà)系(xì)統制造商和(hé)雲(yún)服(fú)務(wù)提(tí)供商提(tí)供。在(zài)GTC上(shàng)發(fà)布(bù)的(de)AI推理(lǐ)平台(tái)産品组合中(zhōng)，L4GPU是(shì)NVIDIA的(de)最(zuì)新(xīn)成(chéng)員。

　　在(zài)系(xì)統測試中(zhōng)，软(ruǎn)件(jiàn)和(hé)网(wǎng)络大(dà)放(fàng)异(yì)彩

　　在(zài)一(yī)个(gè)全(quán)新(xīn)的(de)MLPerf測試中(zhōng)，NVIDIA全(quán)栈AI平台(tái)显示出(chū)其(qí)領先(xiān)優勢。

　　Network-division被稱为Network-division的(de)基準測試，将數據(jù)傳輸到(dào)遠(yuǎn)程推理(lǐ)服(fú)務(wù)器。这(zhè)反映了(le)企業客戶将數據(jù)存儲在(zài)企業防火(huǒ)牆(qiáng)後(hòu)面(miàn)，並(bìng)在(zài)雲(yún)上(shàng)運行AI工作(zuò)的(de)热(rè)門(mén)场(chǎng)景。

　　遠(yuǎn)程NVIDIADGXA100系(xì)統在(zài)BERT檢測中(zhōng)提(tí)供了(le)高(gāo)达(dá)96%的(de)最(zuì)大(dà)本(běn)地(dì)性(xìng)能(néng)，其(qí)性(xìng)能(néng)下(xià)降的(de)一(yī)个(gè)原因是(shì)它(tā)们(men)需要(yào)等待CPU来(lái)完成(chéng)一(yī)些(xiē)任務(wù)。它(tā)们(men)在(zài)ResNet-50计算机视覺測試中(zhōng)达(dá)到(dào)了(le)100%的(de)性(xìng)能(néng)，僅僅依靠GPU来(lái)處(chù)理(lǐ)。

　　由(yóu)于(yú)NVIDIAQuantumInfiniband网(wǎng)络、NVIDIAConnectXSmartNIC、NVIDIAGPUDirect等软(ruǎn)件(jiàn)，这(zhè)两(liǎng)个(gè)結果(guǒ)在(zài)一(yī)定(dìng)程度(dù)上(shàng)是(shì)有(yǒu)益的(de)。

　　邊(biān)緣的(de)Orin性(xìng)能(néng)提(tí)高(gāo)3.2倍

　　另(lìng)外(wài)，與(yǔ)一(yī)年(nián)前(qián)的(de)結果(guǒ)相比，NVIDIAJetsonAGXOrin模块(kuài)化(huà)系(xì)統的(de)能(néng)效率提(tí)高(gāo)了(le)63%，性(xìng)能(néng)提(tí)高(gāo)了(le)81%。JetsonAGXOrin可(kě)以在(zài)需要(yào)AI的(de)狭小空(kōng)間(jiān)中(zhōng)進(jìn)行低(dī)功率推理(lǐ)，包(bāo)括在(zài)電(diàn)池供電(diàn)系(xì)統中(zhōng)。

　　JetsonOrinNX16G是(shì)專門(mén)为需要(yào)更(gèng)小模块(kuài)和(hé)更(gèng)低(dī)功耗的(de)應(yìng)用(yòng)而(ér)開(kāi)發(fà)的(de)，它(tā)在(zài)这(zhè)次(cì)基準測試中(zhōng)首次(cì)亮(liàng)相。它(tā)的(de)性(xìng)能(néng)是(shì)上(shàng)一(yī)代(dài)JetsonXavierNX處(chù)理(lǐ)器的(de)3.2倍。

　　NVIDIAAI生(shēng)态系(xì)統廣泛

　　根(gēn)據(jù)MLPerf數據(jù)，NVIDIAAI得到(dào)了(le)業界最(zuì)常見(jiàn)的(de)机器學(xué)習生(shēng)态系(xì)統的(de)支持(chí)。

　　本(běn)轮測試中(zhōng)，華碩、戴尔科技、技嘉、新(xīn)華三(sān)、聯想(xiǎng)、甯暢、超微、超聚變(biàn)等系(xì)統制造商和(hé)微软(ruǎn)Azure雲(yún)服(fú)務(wù)等10家(jiā)企業在(zài)NVIDIA平台(tái)上(shàng)提(tí)交了(le)結果(guǒ)。

　　根(gēn)據(jù)他(tā)们(men)提(tí)交的(de)結果(guǒ)，客戶可(kě)以通(tòng)过(guò)NVIDIAAI獲得優异(yì)的(de)性(xìng)能(néng)，無論是(shì)雲(yún)端還(huán)是(shì)自(zì)己的(de)數據(jù)中(zhōng)心運行服(fú)務(wù)器。

　　NVIDIA的(de)许多(duō)合作(zuò)夥伴也(yě)參與(yǔ)了(le)MLPerf，因为他(tā)们(men)知道这(zhè)是(shì)一(yī)个(gè)非(fēi)常有(yǒu)價值的(de)工具，可(kě)以幫助客戶評估AI平台(tái)和(hé)制造商。根(gēn)據(jù)最(zuì)新(xīn)一(yī)轮的(de)結果(guǒ)，随着NVIDIA平台(tái)的(de)發(fà)展(zhǎn)，他(tā)们(men)今天(tiān)提(tí)供的(de)性(xìng)能(néng)将会(huì)不(bù)斷提(tí)高(gāo)。

　　顧客需要(yào)的(de)是(shì)“多(duō)面(miàn)手(shǒu)”

　　NVIDIAAI是(shì)唯一(yī)一(yī)个(gè)能(néng)夠在(zài)數據(jù)中(zhōng)心和(hé)邊(biān)緣计算中(zhōng)運行所(suǒ)有(yǒu)MLPerf推理(lǐ)工作(zuò)負载(zài)和(hé)场(chǎng)景的(de)平台(tái)。其(qí)全(quán)面(miàn)的(de)性(xìng)能(néng)和(hé)效率使用(yòng)戶能(néng)夠成(chéng)为真(zhēn)正(zhèng)的(de)赢家(jiā)。

　　许多(duō)不(bù)同(tóng)类型的(de)神經(jīng)网(wǎng)络通(tòng)常用(yòng)于(yú)客戶的(de)實(shí)際應(yìng)用(yòng)，这(zhè)些(xiē)网(wǎng)络通(tòng)常需要(yào)立即提(tí)供答(dá)案(àn)。

　　例如(rú)，AI應(yìng)用(yòng)程序可(kě)能(néng)首先(xiān)需要(yào)了(le)解(jiě)客戶的(de)語(yǔ)音(yīn)要(yào)求，对图(tú)像進(jìn)行分(fēn)类，提(tí)出(chū)建议，並(bìng)以聲音(yīn)为語(yǔ)音(yīn)回(huí)答(dá)客戶。每一(yī)步都需要(yào)使用(yòng)不(bù)同(tóng)类型的(de)AI模型。

　　MLPerf基準測試包(bāo)括这(zhè)些(xiē)和(hé)其(qí)他(tā)流行的(de)AI工作(zuò)負荷，因此(cǐ)这(zhè)些(xiē)測試可(kě)以保證IT決策者(zhě)能(néng)夠獲得可(kě)靠且(qiě)靈活的(de)性(xìng)能(néng)。

　　用(yòng)戶可(kě)以根(gēn)據(jù)MLPerf的(de)結果(guǒ)做出(chū)明(míng)智的(de)購買(mǎi)決定(dìng)，因为这(zhè)些(xiē)測試是(shì)透明(míng)和(hé)客觀的(de)。这(zhè)个(gè)基準測試已經(jīng)獲得了(le)Arm。、百(bǎi)度(dù)、FacebookAI、廣泛支持(chí)谷(gǔ)歌(gē)、哈佛大(dà)學(xué)、英特(tè)尔大(dà)學(xué)、微软(ruǎn)大(dà)學(xué)、斯坦福大(dà)學(xué)和(hé)多(duō)倫多(duō)大(dà)學(xué)。