加利福尼亞州圣克(kè)拉拉——GTC2021年(nián)11月(yuè)9日(rì)——NVIDIA今天(tiān)生(shēng)成(chéng)交互式的(de)今天(tiān)發(fà)布(bù)AI虛拟图(tú)像的(de)技術(shù)平台(tái)——NVIDIAOmniverseAvatar。
OmniverseAvatar可(kě)以連(lián)接NVIDIA在(zài)語(yǔ)音(yīn)AI,计算机视覺、自(zì)然語(yǔ)言理(lǐ)解(jiě)、推薦引擎和(hé)模拟技術(shù)。平台(tái)上(shàng)創建的(de)虛拟图(tú)像是(shì)光(guāng)線(xiàn)跟踪3D能(néng)夠看(kàn)到(dào)、说(shuō)话、讨論各(gè)種(zhǒng)主(zhǔ)题、合理(lǐ)理(lǐ)解(jiě)表(biǎo)达(dá)意(yì)图(tú)的(de)交互式角(jiǎo)色(sè)。
OmniverseAvatar为AI助手(shǒu)的(de)建立開(kāi)辟了(le)道路(lù),可(kě)根(gēn)據(jù)各(gè)行業的(de)需要(yào)輕(qīng)松定(dìng)制。AI助手(shǒu)可(kě)以幫助處(chù)理(lǐ)餐廳訂單、银行交易、个(gè)人(rén)預訂、預訂等數十(shí)亿(yì)次(cì)日(rì)常客戶服(fú)務(wù)互动,带(dài)来(lái)更(gèng)多(duō)商机,提(tí)高(gāo)客戶滿意(yì)度(dù)。
NVIDIA創始(shǐ)人(rén)兼CEO黃仁勳说(shuō):“智能(néng)虛拟助手(shǒu)的(de)前(qián)景是(shì)光(guāng)明(míng)的(de)。OmniverseAvatar模拟和(hé)模拟我(wǒ)们(men)的(de)基本(běn)图(tú)像AI結合技術(shù),創造出(chū)迄今为止最(zuì)複雜的(de)即时(shí)應(yìng)用(yòng)。合作(zuò)机器人(rén)和(hé)虛拟助手(shǒu)的(de)案(àn)例令人(rén)难以置信(xìn),影響深遠(yuǎn)。”
OmniverseAvatar是(shì)用(yòng)于(yú)3D虛拟世界模拟與(yǔ)工作(zuò)流程协作(zuò)平台(tái)——NVIDIAOmniverse™的(de)一(yī)部(bù)分(fēn),Omniverse目前(qián)公(gōng)測版客戶已超过(guò)7万(wàn)人(rén)。
在(zài)NVIDIAGTC在(zài)主(zhǔ)题演講中(zhōng),黃仁勳分(fēn)享了(le)使用(yòng)OmniverseAvatar包(bāo)括客戶支持(chí)的(de)多(duō)个(gè)示例ProjectTokkio,永久性(xìng)在(zài)線(xiàn)车载(zài)智能(néng)服(fú)務(wù)NVIDIADRIVEConcierge以及(jí)用(yòng)于(yú)视頻会(huì)议ProjectMaxine。
在(zài)第(dì)一(yī)个(gè)ProjectTokkio黃仁勳在(zài),黃仁勳展(zhǎn)示了(le)NVIDIA同(tóng)事(shì)们(men)與(yǔ)黃仁勳卡通(tòng)形象(xiàng)的(de)虛拟形象(xiàng)互动——对话生(shēng)物(wù)學(xué)和(hé)气(qì)候科學(xué)等话题。
在(zài)第(dì)二(èr)个(gè)ProjectTokkio在(zài)演示过(guò)程中(zhōng),黃仁勳重(zhòng)點(diǎn)介紹了(le)餐廳自(zì)助服(fú)務(wù)亭客戶服(fú)務(wù)的(de)虛拟形象(xiàng)。在(zài)演示过(guò)程中(zhōng),两(liǎng)位(wèi)顧客正(zhèng)在(zài)購買(mǎi)素食漢堡包(bāo)、薯条(tiáo)和(hé)飲料。虛拟图(tú)像看(kàn)到(dào)了(le)他(tā)们(men),與(yǔ)他(tā)们(men)交談並(bìng)理(lǐ)解(jiě)了(le)他(tā)们(men)。这(zhè)些(xiē)演示NVIDIAAI目前(qián)世界上(shàng)最(zuì)大(dà)的(de)可(kě)定(dìng)制語(yǔ)言模型和(hé)软(ruǎn)件(jiàn)——Megatron530B驅动。
在(zài)DRIVEConciergeAI在(zài)平台(tái)演示中(zhōng),中(zhōng)央儀表(biǎo)盤屏幕上(shàng)的(de)數字(zì)助手(shǒu)幫助駕駛員選擇最(zuì)佳性(xìng)能(néng)模式,以便按时(shí)到(dào)达(dá)目的(de)地(dì),然後(hòu)根(gēn)據(jù)駕駛員的(de)要(yào)求将提(tí)示設置为降低(dī)到(dào)100公(gōng)里(lǐ)以下(xià)的(de)车程。
此(cǐ)外(wài),黃仁勳還(huán)展(zhǎn)示了(le)ProjectMaxine如(rú)何为虛拟合作(zuò)和(hé)內(nèi)容創建應(yìng)用(yòng)程序添加最(zuì)先(xiān)進(jìn)的(de)视頻和(hé)音(yīn)頻功能(néng)。在(zài)演示中(zhōng),一(yī)个(gè)说(shuō)英語(yǔ)的(de)人(rén)在(zài)一(yī)个(gè)嘈雜的(de)咖啡館(guǎn)里(lǐ)進(jìn)行视頻聊天(tiān),但其(qí)他(tā)人(rén)可(kě)以清(qīng)楚地(dì)听(tīng)到(dào)她说(shuō)的(de)话,沒(méi)有(yǒu)背景噪音(yīn)。當她说(shuō)话时(shí),她的(de)话立即被轉(zhuǎn)录(lù)並(bìng)翻譯成(chéng)德語(yǔ)、法(fǎ)語(yǔ)和(hé)西(xī)班(bān)牙(yá)語(yǔ),她的(de)聲音(yīn)和(hé)語(yǔ)气(qì)與(yǔ)原来(lái)的(de)句(jù)子完全(quán)一(yī)致(zhì)。
OmniverseAvatar主(zhǔ)要(yào)部(bù)分(fēn)
OmniverseAvatar語(yǔ)音(yīn)AI,通(tòng)过(guò)以下(xià)技術(shù)實(shí)現(xiàn)计算机视覺、自(zì)然語(yǔ)言理(lǐ)解(jiě)、推薦引擎、面(miàn)部(bù)动画和(hé)图(tú)像元(yuán)素:
其(qí)語(yǔ)音(yīn)識别是(shì)NVIDIARiva。这(zhè)个(gè)软(ruǎn)件(jiàn)開(kāi)發(fà)工具包(bāo)可(kě)以識别多(duō)語(yǔ)種(zhǒng)語(yǔ)音(yīn)。Riva接近(jìn)真(zhēn)人(rén)的(de)語(yǔ)音(yīn)反饋也(yě)可(kě)以通(tòng)过(guò)文(wén)本(běn)語(yǔ)音(yīn)轉(zhuǎn)換功能(néng)生(shēng)成(chéng)。
它(tā)的(de)自(zì)然語(yǔ)言理(lǐ)解(jiě)是(shì)基于(yú)Megatron530B大(dà)型語(yǔ)言模型。这(zhè)種(zhǒng)模型可(kě)以識别、理(lǐ)解(jiě)和(hé)生(shēng)成(chéng)人(rén)类語(yǔ)言。Megatron530B这(zhè)是(shì)一(yī)个(gè)預訓练模型。它(tā)可(kě)以在(zài)很少(shǎo)或(huò)沒(méi)有(yǒu)訓练的(de)情(qíng)況下(xià)完成(chéng)句(jù)子,回(huí)答(dá)主(zhǔ)题廣泛的(de)問(wèn)题,總(zǒng)結长(cháng)而(ér)複雜的(de)故事(shì),将其(qí)翻譯成(chéng)其(qí)他(tā)語(yǔ)言,並(bìng)處(chù)理(lǐ)许多(duō)其(qí)他(tā)未經(jīng)訓练的(de)场(chǎng)景。
推薦引擎由(yóu)NVIDIAMerlin™提(tí)供。这(zhè)个(gè)框架使企業能(néng)夠建立一(yī)个(gè)深入(rù)的(de)學(xué)習推薦系(xì)統,可(kě)以處(chù)理(lǐ)大(dà)量(liàng)的(de)數據(jù),從而(ér)提(tí)出(chū)更(gèng)明(míng)智的(de)建议。
其(qí)感(gǎn)知功能(néng)来(lái)源于(yú)用(yòng)于(yú)视頻分(fēn)析的(de)计算机视覺框架——NVIDIAMetropolis。
其(qí)虛拟图(tú)像动画由(yóu)AI賦能(néng)的(de)2D和(hé)3D面(miàn)部(bù)动画和(hé)渲染技術(shù)——NVIDIAVideo2Face和(hé)Audio2Face™驅动。
这(zhè)些(xiē)技術(shù)集成(chéng)在(zài)一(yī)个(gè)應(yìng)用(yòng)程序中(zhōng)並(bìng)使用(yòng)NVIDIA實(shí)时(shí)處(chù)理(lǐ)的(de)統一(yī)计算框架。这(zhè)些(xiē)技術(shù)被打(dǎ)包(bāo)成(chéng)可(kě)擴展(zhǎn)的(de),可(kě)以通(tòng)过(guò)定(dìng)制微服(fú)務(wù)進(jìn)行包(bāo)裝(zhuāng)NVIDIAFleetCommand™在(zài)多(duō)个(gè)地(dì)方(fāng)安(ān)全(quán)部(bù)署(shǔ)、管(guǎn)理(lǐ)和(hé)协調。
