NVIDIA與(yǔ)SMI共(gòng)同(tóng)創造創新(xīn)渲染技術(shù),改進(jìn)VR画質(zhì)

 行業动态     |      2022-07-19 11:26:13    |      瀝拓


在(zài)你的(de)邊(biān)緣视覺中(zhōng),少(shǎo)即是(shì)多(duō)。

NVIDIA利用(yòng)研究人(rén)員SMI最(zuì)新(xīn)的(de)眼(yǎn)动跟踪技術(shù)開(kāi)發(fà)了(le)符合人(rén)眼(yǎn)生(shēng)理(lǐ)的(de)新(xīn)技術(shù),以提(tí)高(gāo)人(rén)眼(yǎn)生(shēng)理(lǐ)水平VR视覺保真(zhēn)度(dù)。

7月(yuè)24-28日(rì)在(zài)加州阿納海(hǎi)姆舉行SIGGRAPH在(zài)计算机图(tú)形年(nián)会(huì)上(shàng),我(wǒ)们(men)将播放(fàng)簡單的(de)演示內(nèi)容。戴上(shàng)一(yī)个(gè)集眼(yǎn)动跟踪技術(shù)于(yú)一(yī)體(tǐ)的(de)头(tóu)戴式显示器,用(yòng)黑(hēi)板和(hé)桌(zhuō)椅(yǐ)看(kàn)一(yī)看(kàn)虛拟教室(shì),看(kàn)起(qǐ)来(lái)不(bù)錯,对吧

現(xiàn)在(zài)盯着老师(shī)的(de)椅(yǐ)子,關(guān)掉眼(yǎn)动跟踪功能(néng),然後(hòu)轉(zhuǎn)头(tóu)再看(kàn)一(yī)遍(biàn)。此(cǐ)时(shí),椅(yǐ)子周围區(qū)域的(de)图(tú)片只(zhī)会(huì)被仔细(xì)渲染。在(zài)你的(de)邊(biān)緣视覺中(zhōng)呈現(xiàn)的(de)是(shì)一(yī)个(gè)不(bù)那麼(me)詳细(xì)的(de)图(tú)像質(zhì)量(liàng),但你無法(fǎ)區(qū)分(fēn)它(tā)。

这(zhè)種(zhǒng)基于(yú)感(gǎn)知的(de)全(quán)新(xīn)注视渲染技術(shù)不(bù)僅僅是(shì)一(yī)个(gè)吸引人(rén)的(de)把(bǎ)戲。它(tā)将在(zài)最(zuì)重(zhòng)要(yào)的(de)地(dì)方(fāng)使用(yòng)计算資源,然後(hòu)讓開(kāi)發(fà)人(rén)員創造一(yī)个(gè)更(gèng)加身(shēn)臨其(qí)境的(de)虛拟环(huán)境。

哪些(xiē)特(tè)點(diǎn)讓NVIDIA注视點(diǎn)渲染技術(shù)與(yǔ)衆不(bù)同(tóng)

人(rén)类视覺可(kě)以認为有(yǒu)两(liǎng)个(gè)部(bù)分(fēn):中(zhōng)央凹面(miàn)和(hé)邊(biān)緣视覺。视网(wǎng)膜上(shàng)的(de)一(yī)小块(kuài)叫做中(zhōng)央凹面(miàn)的(de)區(qū)域被感(gǎn)光(guāng)錐细(xì)胞密集覆蓋,以提(tí)供清(qīng)晰细(xì)致(zhì)的(de)视覺;邊(biān)緣视覺的(de)视覺範围很大(dà),但不(bù)是(shì)很敏銳。

NoFoveation

中(zhōng)央凹注效果(guǒ)模糊的(de)图(tú)像

这(zhè)種(zhǒng)敏感(gǎn)性(xìng)差异(yì)为视點(diǎn)渲染系(xì)統的(de)發(fà)展(zhǎn)带(dài)来(lái)了(le)靈感(gǎn)。該系(xì)統将跟踪客戶的(de)视點(diǎn),並(bìng)使用(yòng)較低(dī)的(de)图(tú)像質(zhì)量(liàng)来(lái)渲染邊(biān)緣场(chǎng)景,以提(tí)高(gāo)图(tú)形性(xìng)能(néng)。然而(ér),如(rú)果(guǒ)视點(diǎn)渲染过(guò)多(duō),将看(kàn)到(dào)明(míng)显的(de)人(rén)类痕迹,如(rú)閃爍、模糊或(huò)“视線(xiàn)狭小”感(gǎn)。

使用(yòng)他(tā)们(men)的(de)研究人(rén)員SMI眼(yǎn)动跟踪原型头(tóu)戴式显示器(HMD),仔细(xì)做一(yī)个(gè)感(gǎn)知研究,如(rú)果(guǒ)你想(xiǎng)了(le)解(jiě)每个(gè)人(rén)VR在(zài)环(huán)境的(de)邊(biān)緣视覺中(zhōng)会(huì)看(kàn)到(dào)什(shén)麼(me)。随後(hòu),研究人(rén)員利用(yòng)这(zhè)些(xiē)觀點(diǎn)設计了(le)一(yī)種(zhǒng)新(xīn)的(de)渲染算法(fǎ),可(kě)以达(dá)到(dào)更(gèng)好(hǎo)的(de)中(zhōng)央凹注效果(guǒ)或(huò)减少(shǎo)渲染工作(zuò),而(ér)不(bù)会(huì)显著降低(dī)视覺質(zhì)量(liàng)。

Foveatedimage

中(zhōng)央凹注效果(guǒ)模糊的(de)图(tú)像

由(yóu)AnjulPatney,JoohwanKim和(hé)MarcoSalvi带(dài)領的(de)NVIDIA研究团(tuán)隊發(fà)現(xiàn)了(le)當前(qián)的(de)注视點(diǎn)渲染技術(shù)

因此(cǐ),团(tuán)隊試图(tú)理(lǐ)解(jiě)人(rén)类在(zài)邊(biān)緣视覺中(zhōng)選擇了(le)哪些(xiē)细(xì)节(jié)(如(rú)顔色(sè)、对比度(dù)、邊(biān)緣和(hé)动作(zuò))。

例如(rú),他(tā)们(men)發(fà)現(xiàn),如(rú)果(guǒ)中(zhōng)央凹面(miàn)注视效果(guǒ)过(guò)于(yú)明(míng)显,傳統方(fāng)法(fǎ)用(yòng)于(yú)在(zài)邊(biān)緣视覺中(zhōng)渲染低(dī)分(fēn)辨率图(tú)像,会(huì)産生(shēng)分(fēn)心的(de)閃光(guāng)图(tú)像。他(tā)们(men)還(huán)發(fà)現(xiàn),僅僅在(zài)人(rén)眼(yǎn)周围區(qū)域選擇的(de)图(tú)像的(de)模糊效果(guǒ)会(huì)降低(dī)对比度(dù),導致(zhì)视野狭窄(zhǎi)。

Imagewithcontrastpreservingfoveation.

保留中(zhōng)央凹注效果(guǒ)图(tú)像的(de)对比度(dù)。

然而(ér),在(zài)結合模糊和(hé)保留对比度(dù)的(de)前(qián)提(tí)下(xià),他(tā)们(men)發(fà)現(xiàn),在(zài)看(kàn)到(dào)注视點(diǎn)和(hé)非(fēi)注视點(diǎn)图(tú)像之(zhī)間(jiān)的(de)差异(yì)之(zhī)前(qián),客戶对模糊的(de)容忍度(dù)将增加两(liǎng)倍。

Patney说(shuō):“这(zhè)是(shì)很重(zhòng)要(yào)的(de),因为VR在(zài)环(huán)境中(zhōng),所(suǒ)需的(de)幀率和(hé)分(fēn)辨率比过(guò)去(qù)更(gèng)快(kuài)、更(gèng)高(gāo)。”

眼(yǎn)动跟踪技術(shù)的(de)潜力

如(rú)果(guǒ)沒(méi)有(yǒu)德國(guó)计算机视覺應(yìng)用(yòng)程序開(kāi)發(fà)商SMI在(zài)我(wǒ)们(men)的(de)全(quán)力支持(chí)下(xià),我(wǒ)们(men)無法(fǎ)完成(chéng)这(zhè)个(gè)演示。企業的(de)技術(shù)原理(lǐ)是(shì)用(yòng)紅(hóng)外(wài)光(guāng)包(bāo)覆蓋每个(gè)头(tóu)戴式显示鏡(jìng)头(tóu)的(de)邊(biān)緣。再次(cì)匹(pǐ)配SMI软(ruǎn)件(jiàn),使计算机能(néng)夠以超快(kuài)的(de)速度(dù)準确檢測人(rén)眼(yǎn)的(de)方(fāng)向(xiàng)。

只(zhī)有(yǒu)注视點(diǎn)渲染技術(shù)SMI眼(yǎn)动跟踪VR技術(shù)應(yìng)用(yòng)项目之(zhī)一(yī)。該技術(shù)還(huán)可(kě)用(yòng)于(yú)个(gè)人(rén)显示屏矯正(zhèng)、無障礙自(zì)然互动、社会(huì)存在(zài)感(gǎn)和(hé)新(xīn)的(de)分(fēn)析見(jiàn)解(jiě)。