著名(míng)的(de)计算机科學(xué)家(jiā)BillDally他(tā)的(de)团(tuán)隊如(rú)何幫助他(tā)的(de)团(tuán)隊?AI性(xìng)能(néng)逐年(nián)翻倍
今天(tiān),NVIDIA首席(xí)科學(xué)家(jiā)BillDally在(zài)GTC中(zhōng)國(guó)网(wǎng)上(shàng)大(dà)会(huì)主(zhǔ)题演講说(shuō),NVIDIA研究人(rén)員致(zhì)力于(yú)以更(gèng)快(kuài)的(de)速度(dù)建造AI芯片,並(bìng)用(yòng)于(yú)带(dài)宽(kuān)較高(gāo)的(de)系(xì)統,以簡化(huà)編程。
他(tā)以三(sān)个(gè)项目为例,講述了(le)他(tā)領導的(de)200人(rén)研究团(tuán)隊是(shì)如(rú)何成(chéng)功實(shí)現(xiàn)的(de)“黃氏定(dìng)律(Huang’sLaw)”。这(zhè)則以NVIDIA黃仁勳首席(xí)執行官(JensenHuang)名(míng)稱命名(míng)定(dìng)律,預測GPU将推动AI性(xìng)能(néng)逐年(nián)翻倍。
Dally講述:“黃氏定(dìng)律是(shì)一(yī)个(gè)重(zhòng)要(yào)的(de)指标(biāo),如(rú)果(guǒ)我(wǒ)们(men)真(zhēn)的(de)想(xiǎng)提(tí)高(gāo)计算机性(xìng)能(néng),它(tā)将永遠(yuǎn)适用(yòng)于(yú)可(kě)預見(jiàn)的(de)未来(lái)。Dally曾負責NVIDIA在(zài)AI,關(guān)于(yú)光(guāng)線(xiàn)跟踪和(hé)高(gāo)速互連(lián)的(de)研究。”
NVIDIA助力AI推理(lǐ)性(xìng)能(néng)每年(nián)翻倍以上(shàng)
超高(gāo)能(néng)效加速器
为了(le)實(shí)現(xiàn)这(zhè)一(yī)突破,NVIDIA研究人(rén)員專門(mén)開(kāi)發(fà)了(le)一(yī)種(zhǒng)名(míng)稱MAGNet它(tā)生(shēng)成(chéng)的(de)工具AI在(zài)模拟測試中(zhōng),推理(lǐ)加速器可(kě)以达(dá)到(dào)每瓦(wǎ)100teraops與(yǔ)目前(qián)的(de)商用(yòng)芯片相比,推理(lǐ)能(néng)力高(gāo)出(chū)一(yī)个(gè)數量(liàng)級。
MAGNet一(yī)系(xì)列新(xīn)技術(shù)被用(yòng)来(lái)协調和(hé)控制通(tòng)过(guò)設備的(de)信(xìn)息流,最(zuì)大(dà)限度(dù)地(dì)减少(shǎo)數據(jù)傳輸,而(ér)數據(jù)傳輸是(shì)當今芯片中(zhōng)最(zuì)耗能(néng)的(de)环(huán)节(jié)。这(zhè)種(zhǒng)研究原型是(shì)模块(kuài)化(huà)的(de),因此(cǐ)可(kě)以靈活地(dì)擴展(zhǎn)。
此(cǐ)外(wài),研究小组還(huán)進(jìn)行了(le)一(yī)项研究,旨在(zài)用(yòng)更(gèng)快(kuài)的(de)光(guāng)鍊(liàn)路(lù)取(qǔ)代(dài)現(xiàn)有(yǒu)系(xì)統中(zhōng)的(de)電(diàn)气(qì)鍊(liàn)路(lù)。
利用(yòng)所(suǒ)有(yǒu)光(guāng)子的(de)潜力
BillDally2009年(nián)拥有(yǒu)120多(duō)项專利NVIDIA曾任斯坦福大(dà)學(xué)计算机科學(xué)系(xì)主(zhǔ)任。Dally表(biǎo)示:“我(wǒ)们(men)可(kě)以連(lián)接GPU的(de)NVLink速度(dù)翻倍,也(yě)许還(huán)会(huì)翻倍,但是(shì)電(diàn)子信(xìn)号(hào)最(zuì)終(zhōng)会(huì)耗盡。”
該团(tuán)隊正(zhèng)在(zài)與(yǔ)哥倫比亞大(dà)學(xué)的(de)研究人(rén)員密切(qiè)合作(zuò),讨論如(rú)何使用(yòng)電(diàn)信(xìn)供應(yìng)商在(zài)其(qí)核心网(wǎng)络中(zhōng)使用(yòng)的(de)技術(shù)通(tòng)过(guò)光(guāng)纖傳輸數十(shí)个(gè)信(xìn)号(hào)。
这(zhè)種(zhǒng)名(míng)为“密集波(bō)分(fēn)複用(yòng)”技術(shù)有(yǒu)望在(zài)只(zhī)有(yǒu)一(yī)毫(háo)米(mǐ)大(dà)小的(de)芯片上(shàng)實(shí)現(xiàn)Tb/s級數據(jù)的(de)傳輸,是(shì)目前(qián)互連(lián)密度(dù)的(de)十(shí)倍以上(shàng)。
光(guāng)鍊(liàn)路(lù)除了(le)吞吐量(liàng)較大(dà)外(wài),還(huán)有(yǒu)助于(yú)構建更(gèng)密集的(de)系(xì)統。Dally例子显示,未来(lái)将携带(dài)160多(duō)个(gè)GPU的(de)NVIDIADGX系(xì)統模型。
借(jiè)助光(guāng)环(huán),工程师(shī)可(kě)以在(zài)一(yī)个(gè)系(xì)統中(zhōng)携带(dài)160多(duō)个(gè)光(guāng)环(huán)GPU
软(ruǎn)件(jiàn)方(fāng)面(miàn),NVIDIA研究人(rén)員開(kāi)發(fà)了(le)新(xīn)的(de)編程系(xì)統原型Legate。開(kāi)發(fà)者(zhě)借(jiè)助Legate,也(yě)就(jiù)是(shì)说(shuō),在(zài)任何規模的(de)系(xì)統的(de)系(xì)統上(shàng)單獨運行GPU編写(xiě)程序-甚至(zhì)适用(yòng)于(yú)Selene等等幾(jǐ)千(qiān)个(gè)GPU巨型超級计算机。
Legate加速软(ruǎn)件(jiàn)庫和(hé)高(gāo)級運行时(shí)环(huán)境集成(chéng)了(le)一(yī)个(gè)新(xīn)的(de)編程速記(jì)Legion,目前(qián)正(zhèng)在(zài)美(měi)國(guó)國(guó)家(jiā)實(shí)验(yàn)室(shì)進(jìn)行測試。
描繪美(měi)好(hǎo)未来(lái)
除上(shàng)述三(sān)项研究外(wài),Dally我(wǒ)還(huán)在(zài)主(zhǔ)题演講中(zhōng)談到(dào)了(le)它(tā)NVIDIA特(tè)别針(zhēn)对醫疗、無人(rén)駕駛汽车、机器人(rén)等多(duō)个(gè)行業打(dǎ)造的(de)平台(tái)。與(yǔ)此(cǐ)同(tóng)时(shí),他(tā)還(huán)致(zhì)力于(yú)數據(jù)科學(xué),AI图(tú)形處(chù)理(lǐ)。
Dally表(biǎo)示:“經(jīng)过(guò)幾(jǐ)代(dài)人(rén)的(de)努力,NVIDIA該産品将通(tòng)过(guò)基于(yú)物(wù)理(lǐ)渲染的(de)路(lù)徑跟踪技術(shù)實(shí)时(shí)生(shēng)成(chéng)令人(rén)驚叹(tàn)的(de)图(tú)像,並(bìng)可(kě)以使用(yòng)它(tā)们(men)AI構建整个(gè)场(chǎng)景。”
此(cǐ)外(wài),他(tā)還(huán)首次(cì)公(gōng)開(kāi)展(zhǎn)示NVIDIA的(de)对话式AI框架Riva與(yǔ)GauGAN完美(měi)的(de)组合。GauGAN利用(yòng)生(shēng)成(chéng)对抗网(wǎng)络,只(zhī)需要(yào)簡單的(de)構图(tú),就(jiù)可(kě)以創造出(chū)美(měi)麗的(de)風(fēng)景。在(zài)演示中(zhōng),用(yòng)戶可(kě)以通(tòng)过(guò)語(yǔ)音(yīn)指令立即生(shēng)成(chéng)像照片一(yī)樣(yàng)栩栩如(rú)生(shēng)的(de)繪画。
借(jiè)助NVIDIARiva,用(yòng)戶可(kě)以使用(yòng)語(yǔ)音(yīn)命令GauGAN繪画創作(zuò)
在(zài)录(lù)制主(zhǔ)题演講视頻的(de)間(jiān)隙,Dally在(zài)接受采訪後(hòu),对研究团(tuán)隊在(zài)多(duō)个(gè)領域取(qǔ)得的(de)開(kāi)創性(xìng)進(jìn)展(zhǎn)深感(gǎn)自(zì)豪。
他(tā)说(shuō):“當前(qián),NVIDIA光(guāng)線(xiàn)跟踪領域的(de)進(jìn)展(zhǎn)始(shǐ)于(yú)光(guāng)線(xiàn)跟踪NVIDIA我(wǒ)们(men)的(de)産品团(tuán)隊对研究所(suǒ)創建的(de)原型非(fēi)常興奮。2011年(nián),我(wǒ)任命我(wǒ)。NVIDIA研究員BryanCatanzaro斯坦福大(dà)學(xué)教授AndrewNg共(gòng)同(tóng)合作(zuò)一(yī)个(gè)项目,然後(hòu)創建CuDNN软(ruǎn)件(jiàn),使深度(dù)學(xué)習領域的(de)大(dà)量(liàng)研究工作(zuò)成(chéng)为可(kě)能(néng)。”
基于(yú)网(wǎng)络領域
此(cǐ)外(wài),Dally還(huán)牽头(tóu)開(kāi)展(zhǎn)合作(zuò),建立NVLink和(hé)NVSwitch原始(shǐ)原型。NVLink和(hé)NVSwitch如(rú)今,在(zài)世界上(shàng)最(zuì)大(dà)的(de)超級计算机中(zhōng),它(tā)已經(jīng)實(shí)現(xiàn)了(le)內(nèi)部(bù)GPU的(de)互連(lián)。
他(tā)说(shuō):“産品团(tuán)隊總(zǒng)能(néng)快(kuài)速将研究工作(zuò)轉(zhuǎn)化(huà)为實(shí)際成(chéng)果(guǒ),这(zhè)也(yě)是(shì)NVIDIA現(xiàn)在(zài)能(néng)夠成(chéng)为全(quán)球公(gōng)認的(de)領先(xiān)网(wǎng)络公(gōng)司之(zhī)一(yī)的(de)原因。”
談到(dào)对科技的(de)热(rè)情(qíng),Dally说(shuō)你就(jiù)像一(yī)个(gè)沉浸在(zài)糖(táng)果(guǒ)故事(shì)中(zhōng)的(de)孩子。也(yě)许有(yǒu)一(yī)天(tiān),我(wǒ)還(huán)在(zài)幫助一(yī)个(gè)团(tuán)隊學(xué)習AI他(tā)会(huì)突然轉(zhuǎn)向(xiàng)加速器,幫助另(lìng)一(yī)个(gè)团(tuán)隊解(jiě)決机器人(rén)領域的(de)複雜問(wèn)题。
他(tā)说(shuō):“我(wǒ)現(xiàn)在(zài)所(suǒ)做的(de),是(shì)一(yī)个(gè)全(quán)世界,或(huò)者(zhě)至(zhì)少(shǎo)是(shì)整个(gè)公(gōng)司最(zuì)有(yǒu)趣的(de)工作(zuò),讓我(wǒ)有(yǒu)机会(huì)幫助塑造未来(lái)。”
除大(dà)会(huì)主(zhǔ)题演講外(wài),GTC中(zhōng)國(guó)在(zài)線(xiàn)会(huì)议還(huán)将提(tí)供220多(duō)个(gè)主(zhǔ)题演講和(hé)分(fēn)論壇,均可(kě)免費參加,且(qiě)絕大(dà)多(duō)數将使用(yòng)中(zhōng)文(wén)。
GTC中(zhōng)國(guó)在(zài)線(xiàn)会(huì)议峰(fēng)会(huì)論壇和(hé)初創企業展(zhǎn)示
主(zhǔ)题演講之(zhī)後(hòu),NVIDIA高(gāo)級專家(jiā)将聚集在(zài)峰(fēng)会(huì)論壇,介紹公(gōng)司AI,我(wǒ)國(guó)數據(jù)科學(xué)和(hé)醫疗衛生(shēng)領域的(de)突破性(xìng)技術(shù)。
此(cǐ)外(wài),面(miàn)向(xiàng)AI以及(jí)數據(jù)科學(xué)領域的(de)孵化(huà)项目NVIDIA初創加速计劃(huà)(NVIDIAInception)将邀请12家(jiā)領先(xiān)的(de)中(zhōng)國(guó)初創企業參加会(huì)议。
会(huì)议吸引了(le)包(bāo)括阿里(lǐ)巴巴在(zài)內(nèi)的(de)衆多(duō)行業龍头(tóu)企業和(hé)机構,AWS,中(zhōng)國(guó)電(diàn)信(xìn)、戴尔科技、滴滴、新(xīn)華三(sān)、浪潮(cháo)、快(kuài)手(shǒu)、聯想(xiǎng)、微软(ruǎn)、平安(ān)、騰訊、清(qīng)華大(dà)學(xué)和(hé)小米(mǐ)。
