中(zhōng)國(guó)苏州——GTCChina——2019年(nián)12月(yuè)18日(rì)——NVIDIA今天(tiān)發(fà)布(bù)了(le)一(yī)个(gè)突破性(xìng)的(de)推理(lǐ)软(ruǎn)件(jiàn)。有(yǒu)了(le)这(zhè)个(gè)软(ruǎn)件(jiàn)，世界各(gè)地(dì)的(de)開(kāi)發(fà)者(zhě)都可(kě)以實(shí)現(xiàn)会(huì)话AI應(yìng)用(yòng)，推理(lǐ)延遲大(dà)大(dà)降低(dī)。在(zài)此(cǐ)之(zhī)前(qián)，巨大(dà)的(de)推理(lǐ)延遲一(yī)直(zhí)是(shì)實(shí)現(xiàn)真(zhēn)實(shí)互动的(de)主(zhǔ)要(yào)障礙。

　　NVIDIATensorRT™7作(zuò)为NVIDIA为了(le)實(shí)現(xiàn)更(gèng)智能(néng)的(de)第(dì)七(qī)代(dài)推理(lǐ)软(ruǎn)件(jiàn)開(kāi)發(fà)套(tào)件(jiàn)AI人(rén)机交互打(dǎ)開(kāi)了(le)一(yī)扇(shàn)新(xīn)的(de)大(dà)門(mén)，從而(ér)實(shí)現(xiàn)了(le)與(yǔ)語(yǔ)音(yīn)代(dài)理(lǐ)、聊天(tiān)机器人(rén)和(hé)推薦引擎的(de)實(shí)时(shí)交互。

　　據(jù)JuniperResearch估计全(quán)世界有(yǒu)32个(gè).設備中(zhōng)使用(yòng)了(le)5亿(yì)个(gè)數字(zì)語(yǔ)音(yīn)助手(shǒu)。到(dào)2023年(nián)，这(zhè)一(yī)數字(zì)預计将达(dá)到(dào)80亿(yì)，超过(guò)當今世界總(zǒng)人(rén)口。

　　TensorRT7.內(nèi)置新(xīn)的(de)深度(dù)學(xué)習編譯器。編譯器可(kě)以自(zì)动優化(huà)和(hé)增加基于(yú)轉(zhuǎn)換器的(de)遞歸神經(jīng)网(wǎng)络和(hé)神經(jīng)网(wǎng)络。这(zhè)些(xiē)日(rì)益複雜的(de)神經(jīng)网(wǎng)络是(shì)AI語(yǔ)音(yīn)應(yìng)用(yòng)所(suǒ)必需的(de)。CPU與(yǔ)上(shàng)運行相比，会(huì)话式AI零(líng)件(jiàn)速率提(tí)高(gāo)了(le)10倍以上(shàng)，從而(ér)将延遲降低(dī)到(dào)實(shí)时(shí)交互所(suǒ)需的(de)300ms閥值以下(xià)。

　　NVIDIA創始(shǐ)人(rén)兼CEO黃仁勳在(zài)GTCChina主(zhǔ)题演講说(shuō)：“我(wǒ)们(men)已經(jīng)進(jìn)入(rù)了(le)一(yī)个(gè)机器，立即理(lǐ)解(jiě)人(rén)类語(yǔ)言AI新(xīn)时(shí)期。TensorRT这(zhè)使得它(tā)成(chéng)为可(kě)能(néng)，並(bìng)为世界各(gè)地(dì)的(de)開(kāi)發(fà)人(rén)員提(tí)供工具，使他(tā)们(men)能(néng)夠更(gèng)快(kuài)地(dì)構建和(hé)部(bù)署(shǔ)更(gèng)智能(néng)的(de)会(huì)话AI服(fú)務(wù)，從而(ér)實(shí)現(xiàn)更(gèng)自(zì)然的(de)服(fú)務(wù)AI人(rén)机交互。”

　　世界上(shàng)最(zuì)大(dà)和(hé)最(zuì)創新(xīn)的(de)公(gōng)司已經(jīng)被使用(yòng)NVIDIA的(de)会(huì)话式AI加速功能(néng)。第(dì)一(yī)批使用(yòng)NVIDIA会(huì)话式AI加速能(néng)力的(de)企業包(bāo)括阿里(lǐ)巴巴、百(bǎi)度(dù)、滴滴出(chū)行、美(měi)团(tuán)、快(kuài)手(shǒu)、安(ān)全(quán)、搜狗、騰訊、巨量(liàng)引擎等。

　　搜狗公(gōng)司为全(quán)球使用(yòng)頻率最(zuì)高(gāo)的(de)手(shǒu)机應(yìng)用(yòng)微信(xìn)提(tí)供搜索服(fú)務(wù)。搜狗首席(xí)技術(shù)官楊洪濤(tāo)表(biǎo)示：“每天(tiān)搜狗通(tòng)过(guò)輸入(rù)法(fǎ)，AI硬(yìng)件(jiàn)、搜索和(hé)其(qí)他(tā)産品为數亿(yì)客戶提(tí)供高(gāo)質(zhì)量(liàng)的(de)産品，如(rú)語(yǔ)音(yīn)、图(tú)像、翻譯、对话和(hé)問(wèn)答(dá)AI我(wǒ)们(men)使用(yòng)的(de)服(fú)務(wù)NVIDIATensorRT推理(lǐ)平台(tái)實(shí)現(xiàn)在(zài)線(xiàn)即时(shí)快(kuài)速服(fú)務(wù)響應(yìng)，領先(xiān)AI能(néng)力显著提(tí)升(shēng)了(le)我(wǒ)们(men)的(de)客戶體(tǐ)验(yàn)。”

　　美(měi)团(tuán)搜索與(yǔ)NLP部(bù)长(cháng)王仲遠(yuǎn)说(shuō)：“通(tòng)过(guò)我(wǒ)们(men)領先(xiān)的(de)生(shēng)活服(fú)務(wù)電(diàn)商平台(tái)，美(měi)团(tuán)依托餐飲、外(wài)賣(mài)、出(chū)租车、自(zì)行车共(gòng)享、酒(jiǔ)店(diàn)旅遊、電(diàn)影、娛乐(lè)休閑等生(shēng)活服(fú)務(wù)，每天(tiān)为數千(qiān)万(wàn)客戶提(tí)供生(shēng)活服(fú)務(wù)NVIDIA推理(lǐ)解(jiě)決方(fāng)案(àn)，我(wǒ)们(men)只(zhī)需要(yào)4个(gè)ms我(wǒ)们(men)可(kě)以很好(hǎo)地(dì)理(lǐ)解(jiě)客戶的(de)意(yì)图(tú)，通(tòng)过(guò)搜索、智能(néng)助手(shǒu)、智能(néng)客戶服(fú)務(wù)等系(xì)統，更(gèng)快(kuài)地(dì)滿足用(yòng)戶的(de)生(shēng)活服(fú)務(wù)需求，使用(yòng)最(zuì)先(xiān)進(jìn)的(de)会(huì)话AI技術(shù)带(dài)来(lái)了(le)更(gèng)好(hǎo)的(de)用(yòng)戶體(tǐ)验(yàn)。”

　　遞歸神經(jīng)网(wǎng)络變(biàn)得越来(lái)越重(zhòng)要(yào)

　　TensorRT7加快(kuài)了(le)AI領域擴展(zhǎn)模型。这(zhè)些(xiē)模型被用(yòng)来(lái)預測遞歸循环(huán)結構的(de)使用(yòng)(RNN)时(shí)間(jiān)序列，數據(jù)场(chǎng)景。除了(le)会(huì)话式AI在(zài)語(yǔ)音(yīn)网(wǎng)络之(zhī)外(wài)，RNN它(tā)還(huán)可(kě)以幫助規劃(huà)汽车或(huò)衛星(xīng)到(dào)达(dá)时(shí)間(jiān)，預測電(diàn)子病曆中(zhōng)的(de)异(yì)常現(xiàn)象(xiàng)，預測資産和(hé)識别欺詐。

　　RNN配置和(hé)功能(néng)组合的(de)爆炸性(xìng)增长(cháng)給(gěi)生(shēng)産代(dài)碼带(dài)来(lái)了(le)挑战，生(shēng)産代(dài)碼的(de)快(kuài)速部(bù)署(shǔ)可(kě)以滿足即时(shí)性(xìng)能(néng)标(biāo)準，这(zhè)促使開(kāi)發(fà)人(rén)員花(huā)費近(jìn)幾(jǐ)个(gè)月(yuè)的(de)时(shí)間(jiān)建立手(shǒu)写(xiě)代(dài)碼，從而(ér)使会(huì)话AI只(zhī)有(yǒu)少(shǎo)數企業拥有(yǒu)必要(yào)的(de)專業人(rén)才。

　　通(tòng)过(guò)TensorRT全(quán)球深度(dù)學(xué)習編譯器，来(lái)自(zì)世界各(gè)地(dì)的(de)開(kāi)發(fà)人(rén)員可(kě)以使用(yòng)这(zhè)些(xiē)网(wǎng)络(如(rú)定(dìng)制的(de)自(zì)动語(yǔ)音(yīn)識别网(wǎng)络和(hé)文(wén)本(běn)-語(yǔ)音(yīn)轉(zhuǎn)換WaveRNN和(hé)Tacotron2)實(shí)現(xiàn)自(zì)动化(huà)，實(shí)現(xiàn)最(zuì)佳性(xìng)能(néng)和(hé)最(zuì)低(dī)延遲。

　　新(xīn)的(de)編譯器也(yě)可(kě)以在(zài)基礎上(shàng)改進(jìn)transformer例如(rú)，用(yòng)于(yú)自(zì)然語(yǔ)言處(chù)理(lǐ)的(de)模型BERT等。

　　從邊(biān)緣到(dào)雲(yún)，加速推理(lǐ)

　　TensorRT7可(kě)以快(kuài)速優化(huà)、验(yàn)證和(hé)部(bù)署(shǔ)訓练有(yǒu)素的(de)神經(jīng)网(wǎng)络，这(zhè)是(shì)一(yī)个(gè)超大(dà)數據(jù)中(zhōng)心，嵌入(rù)式或(huò)汽车GPU平台(tái)提(tí)供推理(lǐ)能(néng)力。

　　NVIDIA包(bāo)括推理(lǐ)平台(tái)TensorRT以及(jí)多(duō)个(gè)NVIDIACUDA-XAI™庫和(hé)NVIDIAGPU，不(bù)只(zhī)是(shì)会(huì)话式AI提(tí)供低(dī)延遲和(hé)高(gāo)吞吐量(liàng)的(de)推理(lǐ)能(néng)力也(yě)可(kě)以为其(qí)他(tā)應(yìng)用(yòng)提(tí)供低(dī)延遲和(hé)高(gāo)吞吐量(liàng)的(de)推理(lǐ)能(néng)力，包(bāo)括图(tú)像分(fēn)类、欺詐識别、分(fēn)割、目标(biāo)檢測和(hé)推薦引擎。該平台(tái)的(de)能(néng)力已被包(bāo)括阿里(lǐ)巴巴和(hé)美(měi)國(guó)快(kuài)遞在(zài)內(nèi)的(de)一(yī)些(xiē)世界領先(xiān)企業和(hé)消費技術(shù)公(gōng)司廣泛使用(yòng)(AmericanExpress)，百(bǎi)度(dù)，PayPal，Pinterest，Snap，騰訊和(hé)Twitter。

　　供應(yìng)方(fāng)式

　　TensorRT7将在(zài)未来(lái)幾(jǐ)天(tiān)開(kāi)放(fàng)浏覽，用(yòng)于(yú)開(kāi)發(fà)和(hé)部(bù)署(shǔ)。NVIDIA開(kāi)發(fà)人(rén)員计劃(huà)成(chéng)員可(kě)以通(tòng)过(guò)TensorRT免費獲取(qǔ)网(wǎng)页(yè)TensorRT7。此(cǐ)外(wài)，新(xīn)版本(běn)的(de)插件(jiàn)、語(yǔ)法(fǎ)分(fēn)析器和(hé)樣(yàng)本(běn)也(yě)将通(tòng)过(guò)開(kāi)放(fàng)資源，通(tòng)过(guò)TensorRTGitHub庫提(tí)供。