圣克(kè)拉拉在(zài)加利福尼亞州–GTC–2023年(nián)3月(yuè)21日(rì)太平洋(yáng)时(shí)間(jiān)–NVIDIA今天(tiān)推出(chū)了(le)四个(gè)推理(lǐ)平台(tái)。这(zhè)些(xiē)平台(tái)優化(huà)了(le)各(gè)種(zhǒng)快(kuài)速興起(qǐ)的(de)生(shēng)成(chéng)AI應(yìng)用(yòng)，可(kě)以幫助開(kāi)發(fà)者(zhě)快(kuài)速構建AI驅动的(de)專業應(yìng)用(yòng)，提(tí)供新(xīn)的(de)服(fú)務(wù)和(hé)洞(dòng)察力。

　　NVIDIA的(de)全(quán)栈推理(lǐ)软(ruǎn)件(jiàn)和(hé)NVIDIA最(zuì)新(xīn)的(de)NVIDIAAda、包(bāo)括今天(tiān)推出(chū)的(de)NVIDIAL4TensorCoreGPU和(hé)NVIDIAH100NVLGPU在(zài)內(nèi)的(de)Hopper和(hé)GraceHopperCpu相結合。各(gè)平台(tái)優化(huà)了(le)AI视頻、图(tú)像生(shēng)成(chéng)、大(dà)型語(yǔ)言模型部(bù)署(shǔ)、推薦系(xì)統推理(lǐ)等需求激增的(de)工作(zuò)負载(zài)。

　　NVIDIA創始(shǐ)人(rén)兼首席(xí)執行官黃仁勳表(biǎo)示:“生(shēng)成(chéng)AI的(de)興起(qǐ)需要(yào)一(yī)个(gè)更(gèng)強(qiáng)大(dà)的(de)推理(lǐ)计算平台(tái)。生(shēng)成(chéng)AI應(yìng)用(yòng)的(de)總(zǒng)數是(shì)無限的(de)，它(tā)唯一(yī)的(de)限制就(jiù)是(shì)人(rén)类的(de)想(xiǎng)象(xiàng)力。为開(kāi)發(fà)者(zhě)提(tí)供最(zuì)強(qiáng)大(dà)、最(zuì)靈活的(de)推理(lǐ)计算平台(tái)，将加快(kuài)創造新(xīn)服(fú)務(wù)的(de)速度(dù)。这(zhè)些(xiē)新(xīn)服(fú)務(wù)将以前(qián)所(suǒ)未有(yǒu)的(de)方(fāng)式改善我(wǒ)们(men)的(de)生(shēng)活。”

　　加快(kuài)生(shēng)成(chéng)式AI的(de)各(gè)種(zhǒng)推理(lǐ)工作(zuò)負载(zài)集合

　　每一(yī)个(gè)平台(tái)都包(bāo)含一(yī)个(gè)NVIDIAGPU和(hé)一(yī)个(gè)專門(mén)用(yòng)于(yú)提(tí)高(gāo)特(tè)定(dìng)生(shēng)成(chéng)式AI推理(lǐ)工作(zuò)負载(zài)的(de)软(ruǎn)件(jiàn)：

　　NVIDIAL4适用(yòng)于(yú)AI视頻，可(kě)以提(tí)供比CPU高(gāo)120倍的(de)AI视頻性(xìng)能(néng)，同(tóng)时(shí)可(kě)以提(tí)高(gāo)99%的(de)能(néng)效。这(zhè)款通(tòng)用(yòng)GPU适用(yòng)于(yú)大(dà)多(duō)數工作(zuò)負载(zài)，提(tí)供更(gèng)強(qiáng)大(dà)的(de)视頻解(jiě)碼和(hé)轉(zhuǎn)碼能(néng)力，视頻流傳輸，增強(qiáng)現(xiàn)實(shí)，生(shēng)成(chéng)AI视頻等等。

　　NVIDIAL40适用(yòng)于(yú)图(tú)像生(shēng)成(chéng)和(hé)AI支持(chí)的(de)2DIAL40。、優化(huà)了(le)视頻和(hé)3D图(tú)像生(shēng)成(chéng)。L40平台(tái)是(shì)NVIDIAOmniverserser™與(yǔ)上(shàng)一(yī)代(dài)商品相比，StableDiffusion的(de)推理(lǐ)性(xìng)能(néng)提(tí)高(gāo)了(le)7倍，Omniverse性(xìng)能(néng)提(tí)高(gāo)了(le)12倍，这(zhè)是(shì)一(yī)个(gè)用(yòng)于(yú)在(zài)數據(jù)中(zhōng)心構建和(hé)運行元(yuán)宇宙應(yìng)用(yòng)的(de)平台(tái)。

　　NVIDIAH100NVL适用(yòng)于(yú)大(dà)型語(yǔ)言模型部(bù)署(shǔ)，它(tā)是(shì)一(yī)種(zhǒng)大(dà)型語(yǔ)言模型，如(rú)ChatGPT。(LLMs)一(yī)个(gè)理(lǐ)想(xiǎng)的(de)平台(tái)。这(zhè)个(gè)新(xīn)的(de)H100NVL拥有(yǒu)94GB內(nèi)存和(hé)Transformer引擎加速，與(yǔ)上(shàng)一(yī)代(dài)A100相比，數據(jù)中(zhōng)心規模更(gèng)快(kuài)，GPT-第(dì)三(sān)，推理(lǐ)性(xìng)能(néng)提(tí)高(gāo)了(le)12倍。

　　NVIDIAGraceHopper适用(yòng)于(yú)推薦模型，是(shì)图(tú)形推薦模型、矢量(liàng)數據(jù)庫和(hé)图(tú)形神經(jīng)网(wǎng)络的(de)理(lǐ)想(xiǎng)平台(tái)。GraceHopper的(de)傳輸數據(jù)和(hé)查詢速度(dù)比PCIe5.0快(kuài)7倍，通(tòng)过(guò)NVLink-C2C以900GB/s的(de)速度(dù)連(lián)接CPU和(hé)GPU。

　　这(zhè)类平台(tái)的(de)软(ruǎn)件(jiàn)层(céng)選擇NVIDIAAIEnterprise软(ruǎn)件(jiàn)套(tào)件(jiàn)，包(bāo)括NVIDIATensorRT，用(yòng)于(yú)高(gāo)性(xìng)能(néng)、深度(dù)學(xué)習和(hé)推理(lǐ)的(de)软(ruǎn)件(jiàn)開(kāi)發(fà)套(tào)件(jiàn)™，並(bìng)协助開(kāi)源推理(lǐ)服(fú)務(wù)软(ruǎn)件(jiàn)NVIDIATritonInferenceServerver實(shí)現(xiàn)模型部(bù)署(shǔ)規範化(huà)。™。

　　早(zǎo)期的(de)用(yòng)戶和(hé)支持(chí)

　　谷(gǔ)歌(gē)雲(yún)是(shì)NVIDIA推理(lǐ)平台(tái)的(de)重(zhòng)要(yào)雲(yún)合作(zuò)夥伴和(hé)初始(shǐ)客戶。該公(gōng)司是(shì)第(dì)一(yī)家(jiā)提(tí)供L4案(àn)例的(de)雲(yún)服(fú)務(wù)提(tí)供商，将L4平台(tái)整合到(dào)其(qí)机器學(xué)習平台(tái)VertexAI中(zhōng)，其(qí)G2虛拟机私人(rén)預覽版今天(tiān)已經(jīng)推出(chū)。

　　今天(tiān)，NVIDIA和(hé)谷(gǔ)歌(gē)宣布(bù)了(le)两(liǎng)个(gè)机構——Descript和(hé)谷(gǔ)歌(gē)雲(yún)中(zhōng)使用(yòng)L4的(de)第(dì)一(yī)批机構WOMBO，利用(yòng)生(shēng)成(chéng)式AI幫助創作(zuò)者(zhě)制作(zuò)视頻和(hé)播客，後(hòu)者(zhě)提(tí)供“Dream“这(zhè)个(gè)AI驅动的(de)文(wén)本(běn)–數字(zì)化(huà)藝術(shù)轉(zhuǎn)換應(yìng)用(yòng)程序。

　　另(lìng)一(yī)位(wèi)早(zǎo)期用(yòng)戶Aautorapper提(tí)供了(le)一(yī)个(gè)短(duǎn)视頻應(yìng)用(yòng)程序，利用(yòng)GPU解(jiě)碼傳輸的(de)實(shí)时(shí)流媒體(tǐ)视頻，捕捉關(guān)鍵幀，提(tí)高(gāo)音(yīn)頻和(hé)视頻。随後(hòu)，它(tā)使用(yòng)了(le)一(yī)个(gè)基于(yú)Transformer的(de)大(dà)型模型来(lái)理(lǐ)解(jiě)多(duō)模式內(nèi)容，從而(ér)增加了(le)全(quán)球數亿(yì)用(yòng)戶的(de)點(diǎn)擊量(liàng)。

　　Aautorapper高(gāo)級副總(zǒng)裁于(yú)越说(shuō):“Aautorapper推薦系(xì)統服(fú)務(wù)的(de)社區(qū)每天(tiān)有(yǒu)3.6亿(yì)多(duō)客戶，每天(tiān)有(yǒu)3000万(wàn)个(gè)UGC视頻。在(zài)相同(tóng)的(de)整體(tǐ)拥有(yǒu)成(chéng)本(běn)下(xià)，NVIDIAGPU将系(xì)統的(de)端到(dào)端吞吐量(liàng)提(tí)高(gāo)了(le)11倍，延遲将减少(shǎo)20%。”

　　D生(shēng)成(chéng)式AI技術(shù)平台(tái)領先(xiān)-ID，使用(yòng)NVIDIAL40GPU從文(wén)本(běn)中(zhōng)生(shēng)成(chéng)逼真(zhēn)的(de)數字(zì)人(rén)，支持(chí)任何內(nèi)容生(shēng)成(chéng)人(rén)臉，不(bù)僅幫助專業人(rén)士改進(jìn)视頻內(nèi)容，而(ér)且(qiě)减少(shǎo)了(le)大(dà)規模视頻制作(zuò)的(de)成(chéng)本(běn)和(hé)麻(má)煩。

　　D-“L40的(de)性(xìng)能(néng)非(fēi)常驚人(rén)，”IDR&D副總(zǒng)裁OrGorodissky说(shuō)。有(yǒu)了(le)它(tā)，我(wǒ)们(men)的(de)推理(lǐ)速度(dù)翻了(le)一(yī)番(fān)。D-ID很高(gāo)興把(bǎ)这(zhè)个(gè)新(xīn)硬(yìng)件(jiàn)作(zuò)为我(wǒ)们(men)産品的(de)一(yī)部(bù)分(fēn)，AI人(rén)實(shí)时(shí)傳輸了(le)前(qián)所(suǒ)未有(yǒu)的(de)性(xìng)能(néng)和(hé)分(fēn)辨率，降低(dī)了(le)我(wǒ)们(men)的(de)会(huì)计成(chéng)本(běn)。"

　　SeyhanLee是(shì)一(yī)家(jiā)領先(xiān)的(de)AI制作(zuò)工作(zuò)室(shì)，它(tā)使用(yòng)生(shēng)成(chéng)式AI来(lái)開(kāi)發(fà)電(diàn)影、廣播和(hé)娛乐(lè)産業的(de)互动體(tǐ)验(yàn)和(hé)迷人(rén)的(de)創意(yì)內(nèi)容。

　　SeyhanLee創始(shǐ)人(rén)PinarDemirdag说(shuō)：“L40GPU为我(wǒ)们(men)的(de)生(shēng)成(chéng)AI應(yìng)用(yòng)带(dài)来(lái)了(le)驚人(rén)的(de)性(xìng)能(néng)提(tí)升(shēng)。我(wǒ)们(men)可(kě)以以驚人(rén)的(de)速度(dù)和(hé)精确的(de)速度(dù)，以L40的(de)推理(lǐ)能(néng)力和(hé)內(nèi)存空(kōng)間(jiān)，为客戶提(tí)供創新(xīn)的(de)服(fú)務(wù)，安(ān)排非(fēi)常先(xiān)進(jìn)的(de)模型。

　　Cohere在(zài)語(yǔ)言AI領域運行的(de)先(xiān)锋平台(tái)，促使開(kāi)發(fà)者(zhě)在(zài)保护數據(jù)隐私和(hé)安(ān)全(quán)的(de)同(tóng)时(shí)，構建自(zì)然語(yǔ)言模型。

　　“憑借(jiè)NVIDIA全(quán)新(xīn)的(de)高(gāo)性(xìng)能(néng)H100推理(lǐ)平台(tái)，CohereCEOAidanGomez表(biǎo)示：“我(wǒ)们(men)可(kě)以使用(yòng)先(xiān)進(jìn)的(de)生(shēng)成(chéng)模型，为用(yòng)戶提(tí)供更(gèng)高(gāo)質(zhì)量(liàng)、更(gèng)高(gāo)效的(de)服(fú)務(wù)，推动对话AI、各(gè)種(zhǒng)NLP應(yìng)用(yòng)的(de)發(fà)展(zhǎn)，如(rú)多(duō)語(yǔ)言企業搜索、信(xìn)息提(tí)取(qǔ)等。