NVIDIA全(quán)新(xīn)MagnumIO該套(tào)件(jiàn)可(kě)以幫助數據(jù)科學(xué)家(jiā)和(hé)AI與(yǔ)之(zhī)前(qián)的(de)高(gāo)性(xìng)能(néng)计算研究理(lǐ)海(hǎi)量(liàng)數據(jù)的(de)速度(dù)比以前(qián)快(kuài)了(le)20倍。MagnumIO可(kě)以以任何理(lǐ)由(yóu)運行NVIDIA在(zài)提(tí)供支持(chí)的(de)系(xì)統上(shàng),包(bāo)括图(tú)上(shàng)所(suǒ)示的(de)系(xì)統DGXSuperPOD。
丹佛——SC19——2019年(nián)11月(yuè)18日(rì)——NVIDIA于(yú)今日(rì)發(fà)布(bù)NVIDIAMagnumIO软(ruǎn)件(jiàn)套(tào)件(jiàn)。該産品允许數據(jù)科學(xué)家(jiā)和(hé)數據(jù)科學(xué)家(jiā)AI而(ér)高(gāo)性(xìng)能(néng)计算研究人(rén)員可(kě)以在(zài)幾(jǐ)分(fēn)钟內(nèi)解(jiě)決过(guò)去(qù)需要(yào)幾(jǐ)个(gè)小时(shí)才能(néng)完成(chéng)的(de)海(hǎi)量(liàng)數據(jù)。
MagnumIO處(chù)理(lǐ)存儲和(hé)輸入(rù)/導出(chū)(I/O)遇到(dào)瓶(píng)頸的(de)問(wèn)题得到(dào)了(le)改善。升(shēng)級後(hòu),實(shí)施複雜的(de)财務(wù)分(fēn)析和(hé)气(qì)候建模,需要(yào)處(chù)理(lǐ)大(dà)量(liàng)數據(jù)集的(de)高(gāo)性(xìng)能(néng)计算工作(zuò)負载(zài),多(duō)服(fú)務(wù)器,多(duō)服(fú)務(wù)器GPU與(yǔ)之(zhī)前(qián)相比,计算节(jié)點(diǎn)的(de)數據(jù)響應(yìng)速度(dù)提(tí)高(gāo)了(le)20倍。
MagnumIO是(shì)NVIDIA包(bāo)括许多(duō)网(wǎng)络和(hé)存儲行業的(de)領導者(zhě)DataDirectNetworks,Excelero,IBM,Mellanox和(hé)WekaIO)密切(qiè)合作(zuò)的(de)結果(guǒ)。
NVIDIA創始(shǐ)人(rén)兼CEO黃仁勳说(shuō):“AI數據(jù)驅动科學(xué)的(de)核心是(shì)處(chù)理(lǐ)可(kě)以收(shōu)集或(huò)模拟的(de)大(dà)量(liàng)數據(jù)。然而(ér),随着數據(jù)的(de)規模和(hé)速度(dù)呈指數級增长(cháng),數據(jù)處(chù)理(lǐ)本(běn)身(shēn)已經(jīng)成(chéng)为數據(jù)中(zhōng)心面(miàn)臨的(de)最(zuì)大(dà)挑战和(hé)主(zhǔ)要(yào)成(chéng)本(běn)之(zhī)一(yī)。”
他(tā)還(huán)表(biǎo)示:“頂級计算需要(yào)頂級计算I/O。MagnumIO能(néng)夠为I/O具有(yǒu)革(gé)命性(xìng)的(de)存儲计算性(xìng)能(néng)NVIDIAGPU加快(kuài)。AI研究人(rén)員和(hé)數據(jù)科學(xué)家(jiā)可(kě)以在(zài)不(bù)等待數據(jù)的(de)情(qíng)況下(xià)集中(zhōng)精力完成(chéng)工作(zuò)。”
MagnumIO的(de)核心是(shì)GPUDirect。它(tā)为數據(jù)提(tí)供了(le)一(yī)的(de)數據(jù)提(tí)供了(le)一(yī)条(tiáo)路(lù)徑CPU,而(ér)在(zài)GPU,存儲和(hé)网(wǎng)络設備“開(kāi)放(fàng)式高(gāo)速公(gōng)路(lù)”上(shàng)傳。GPUDirect由(yóu)點(diǎn)对點(diǎn)和(hé)RDMA组件(jiàn)组成(chéng),兼容多(duō)種(zhǒng)通(tòng)信(xìn)互聯産品和(hé)API,包(bāo)含NVIDIANVLink™和(hé)NCCL以及(jí)OpenMPI和(hé)UCX。
其(qí)最(zuì)新(xīn)部(bù)件(jiàn)GPUDirectStorage在(zài)浏覽存儲时(shí),研究人(rén)員可(kě)以繞过(guò)它(tā)CPU,用(yòng)于(yú)模拟、分(fēn)析或(huò)可(kě)视化(huà)的(de)拟、分(fēn)析或(huò)可(kě)视化(huà)。
NVIDIAMagnumIO但是(shì)软(ruǎn)件(jiàn)已經(jīng)上(shàng)市(shì)GPUDirectStorage初始(shǐ)訪問(wèn)限制僅为部(bù)分(fēn)客戶提(tí)供。NVIDIA计劃(huà)在(zài)2020年(nián)上(shàng)半年(nián)向(xiàng)所(suǒ)有(yǒu)客戶提(tí)供服(fú)務(wù)GPUDirectStorage。
支持(chí)生(shēng)态夥伴
“最(zuì)新(xīn)的(de)HPC和(hé)AI研究依賴于(yú)海(hǎi)量(liàng)數據(jù),其(qí)數據(jù)規模通(tòng)常超过(guò)PB因此(cǐ),需要(yào)更(gèng)先(xiān)進(jìn)的(de)領先(xiān)技術(shù)来(lái)最(zuì)有(yǒu)效地(dì)應(yìng)对这(zhè)一(yī)挑战。DDN使用(yòng)NVIDIA的(de)MagnumIO软(ruǎn)件(jiàn)包(bāo)和(hé)我(wǒ)们(men)的(de)並(bìng)行EXA5存儲結構開(kāi)發(fà)新(xīn)的(de)直(zhí)接數據(jù)路(lù)徑,從而(ér)使GPU可(kě)以在(zài)高(gāo)带(dài)宽(kuān)下(xià)直(zhí)接訪問(wèn)PB級數據(jù)存儲。这(zhè)種(zhǒng)方(fāng)法(fǎ)以前(qián)是(shì)不(bù)可(kě)能(néng)實(shí)現(xiàn)的(de)。”
——DDN首席(xí)研究官,SvenOehme
“今天(tiān),頂尖的(de)HPC和(hé)AI研究人(rén)員需要(yào)浏覽的(de)數據(jù)量(liàng)繼續大(dà)幅增加,因此(cǐ),I/O这(zhè)已成(chéng)为许多(duō)研究人(rén)員迫切(qiè)需要(yào)解(jiě)決的(de)挑战。IBMSpectrumScale專为需要(yào)AI企業机構設计,加速運行數據(jù)密集型工作(zuò)負荷。同(tóng)时(shí)使用(yòng)。IBMSpectrumScale和(hé)NVIDIAGPU加速可(kě)以幫助客戶减少(shǎo)I/O瓶(píng)頸問(wèn)题,讓客戶能(néng)夠更(gèng)快(kuài)地(dì)從數據(jù)中(zhōng)獲取(qǔ)所(suǒ)需的(de)信(xìn)息。”
——IBM存儲産品管(guǎn)理(lǐ)副總(zǒng)裁,SamWerner
“頂尖的(de)HPC和(hé)AI研究人(rén)員選擇Mellanox为他(tā)们(men)提(tí)供最(zuì)先(xiān)進(jìn)的(de)技術(shù),以便他(tā)们(men)能(néng)夠盡可(kě)能(néng)高(gāo)效、快(kuài)速地(dì)傳輸和(hé)處(chù)理(lǐ)海(hǎi)量(liàng)數據(jù)。我(wǒ)们(men)一(yī)直(zhí)在(zài)和(hé)我(wǒ)们(men)打(dǎ)交道NVIDIA保持(chí)合作(zuò),保證MagnumIO與(yǔ)Mellanox最(zuì)新(xīn)的(de)InfiniBand實(shí)現(xiàn)與(yǔ)以太网(wǎng)互聯网(wǎng)解(jiě)決方(fāng)案(àn)的(de)無縫合作(zuò),幫助我(wǒ)们(men)共(gòng)同(tóng)的(de)客戶克(kè)服(fú)數據(jù)瓶(píng)頸,促進(jìn)客戶的(de)科學(xué)、研究和(hé)産品研發(fà)活动。”
