FBEC2023 | 七鑫易維 副總裁路偉成:XR眼球追蹤的幾大關(guān)鍵落地場(chǎng)景
來源:網(wǎng)絡(luò) 時(shí)間:2023-12-13 16:49 作者:hj 訪問量:596 我要投稿FBEC2023未來商業(yè)生態(tài)鏈接大會(huì)暨第八屆金陀螺獎(jiǎng)于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開,本次大會(huì)由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo),陀螺科技主辦,中國(guó)光谷、游戲陀螺、VR陀螺、陀螺財(cái)經(jīng)、陀螺電競(jìng)聯(lián)合主辦。
大會(huì)以“合力共生·韌者行遠(yuǎn)”為大會(huì)主題,以具有行業(yè)前瞻洞察的“航行者”為視角,破冰之旅為主線,關(guān)注AI、元宇宙、XR、游戲、電競(jìng)、數(shù)字經(jīng)濟(jì)等科技與互聯(lián)網(wǎng)前沿領(lǐng)域,全方位呈現(xiàn)科技前沿成果,聚焦時(shí)代與商業(yè)熱點(diǎn)議題,探討新科技、新商業(yè)、新模式的未來價(jià)值,與真正的勇者共赴劇變革新下的凜冬破冰之旅!
主會(huì)場(chǎng)C:元生未來,共鏈價(jià)值——2023全球元宇宙產(chǎn)業(yè)核心技術(shù)論壇,邀請(qǐng)到七鑫易維 副總裁路偉成帶來主題為“XR眼球追蹤的關(guān)鍵點(diǎn)”的精彩演講。路偉成認(rèn)為,XR眼球追蹤的幾大關(guān)鍵落地場(chǎng)景有:注視點(diǎn)渲染、瞳距(IPD)調(diào)節(jié)、表情追蹤(+反向透視)、交互、身份識(shí)別、眼動(dòng)數(shù)據(jù)分析以及虛實(shí)對(duì)齊與消除VAC。
以下為演講實(shí)錄:
大家,下午好!我是七鑫易維的路偉成,今天和大家分享的主題是XR眼球追蹤的幾個(gè)關(guān)鍵問題,集中闡述XR眼球追蹤的應(yīng)用場(chǎng)景。
XR眼球追蹤的時(shí)代已經(jīng)到來,全球領(lǐng)軍消費(fèi)電子公司蘋果,第一款XR產(chǎn)品Vision Pro就集成了眼球追蹤。而除了蘋果之外,主流的XR品牌幾乎全部推出了集成眼球追蹤的XR型號(hào),如Meta Quest Pro、PICO 4 Pro等。具體來看,XR眼球追蹤的落地場(chǎng)景有:
(1)注視點(diǎn)渲染。加了眼動(dòng)的VR,基本都會(huì)加注視點(diǎn)渲染。Vision Pro發(fā)布,VR、MR的分辨率都向蘋果看齊,超高分辨率意味著渲染壓力非常大,而注視點(diǎn)渲染則可以大幅度降低渲染壓力,如《Red Matter 2》登陸Quest Pro后,像素密度比之前提升了33%(等同于視覺中心的像素?cái)?shù)量增加了77%),文字清晰度、光影和色彩表現(xiàn)足夠優(yōu)秀,突破了Quest頭顯的圖形極限。再看PSVR2使用動(dòng)態(tài)照明和陰影等高要求的圖形質(zhì)量下,渲染和計(jì)算跟蹤的幀時(shí)間從33.2ms下降到14.3ms,運(yùn)行一個(gè)4K的飛船Demo演示時(shí),CPU線程性能和GPU幀時(shí)間分別快了32%和14%。最后總結(jié)下來就是注視點(diǎn)渲染提高GPU幀數(shù)達(dá)2.5倍,注視點(diǎn)渲染+眼球追蹤可提高3.6倍,由此注視點(diǎn)渲染是剛需。
(2)IPD調(diào)節(jié)。加了眼動(dòng)的VR基本都加了IPD,Vision Pro也加了,但是在發(fā)布會(huì)上并沒有提。用戶感知不到的東西,蘋果就不會(huì)提,感知不到的技術(shù)是最好的技術(shù),就像空氣一樣使用它就可以。七鑫易維早在2018跟歌爾合作的時(shí)候,就推出了自動(dòng)的IPD的調(diào)節(jié)。
(3)表情追蹤。目前的落地情況,只要加了眼動(dòng),肯定都能實(shí)現(xiàn)表情追蹤,Vision Pro還額外加了個(gè)反向透視。七鑫易維很早就實(shí)現(xiàn)了通過眼球追蹤進(jìn)行表情追蹤的功能,可以把人的表情,眼部表情都表現(xiàn)出來。這已經(jīng)是落地的場(chǎng)景,在VR的社交類應(yīng)用或者是遠(yuǎn)程會(huì)議等都用得到。
(4)身份識(shí)別和認(rèn)證。目前用得比較少,僅Vision Pro和HoloLens2用了,運(yùn)用虹膜識(shí)別作為身份識(shí)別的方式。虹膜識(shí)別和眼球追蹤實(shí)際上是可以統(tǒng)一到一起的,因?yàn)橛布捎玫氖且惶?。虹膜識(shí)別是我們認(rèn)為目前最合適XR身份認(rèn)證的方式。為什么會(huì)這么說?主要因?yàn)楹缒ぷR(shí)別已經(jīng)有眼球追蹤不需要額外加其他的套件。眼球追蹤是很好的活體識(shí)別方式,提升了虹膜識(shí)別的安全性,虹膜識(shí)別還能給眼球追蹤提供身份信息,當(dāng)切換用戶的時(shí)候可以自動(dòng)切換眼球追蹤的參數(shù)。這方面我們已與微信支付、創(chuàng)維XR推出了整體的虹膜識(shí)別和眼球追蹤的XR方案,預(yù)計(jì)年底或明年初可以實(shí)現(xiàn)量產(chǎn)。
(5)交互。幾年前我們就講,眼手口多模態(tài)自然交互是XR交互的未來,但在Vision Pro未發(fā)布前,大家都不相信。在蘋果看來,眼手口多模態(tài)自然交互,是繼鍵鼠交互、觸控交互之后的第三次交互范式大變革。眼睛除了用來做簡(jiǎn)單的選擇之外,還有很多場(chǎng)景是適合的,比如做信息顯示、自動(dòng)滾屏、自動(dòng)縮放、自動(dòng)隱藏等。有了眼動(dòng)數(shù)據(jù),可以展開很多想象,交互潛力會(huì)變得非常巨大。推薦一篇Meta的論文《基于眼動(dòng)追蹤的交互具有巨大潛力》
Leveling the Playing Field: A Comparative Reevaluation of Unmodified Eye Tracking as an Input and Interaction Modality for VR,感興趣的可以去看一看。
(5)眼動(dòng)數(shù)據(jù)分析。眼動(dòng)數(shù)據(jù)分析,可以挖掘用戶很多的心理信息、生理信息,可以用在廣告分析、用戶體驗(yàn)分析、用戶心理分析等。這可能是XR行業(yè)靠眼球追蹤掙錢最多的功能之一,只是在C端會(huì)慢一些,C端用眼動(dòng)分析不多。七鑫易維之前就做過VR看房的案例,用戶看到的是有顏色的,商家會(huì)看到用戶在什么地方看的注意力比較集中,什么地方?jīng)]有關(guān)注到,這對(duì)于商家來講可以挖掘的信息非常多。
除此之外,像虛實(shí)對(duì)齊被視為未來很快落地的場(chǎng)景,只是目前還沒有。但AR在這方面有很強(qiáng)的需求,AR常用的場(chǎng)景就是虛實(shí)融合,如導(dǎo)航,要在真實(shí)的路面上出現(xiàn)虛擬導(dǎo)航的軌跡,但是每一個(gè)人佩戴眼鏡的姿勢(shì)不確定,顯示的位置很可能就產(chǎn)生偏差,基本上很難100%的對(duì)齊,這就需要實(shí)時(shí)根據(jù)用戶眼睛的位置進(jìn)行調(diào)整,也就是需要眼球追蹤。其次就是消除VAC,這個(gè)依賴于變焦系統(tǒng)的成熟,現(xiàn)在變焦系統(tǒng)還沒有成熟,所以沒有落地的場(chǎng)景。但隨著變焦系統(tǒng)成熟,消除VAC就自然而然產(chǎn)生需求。
那么,Vision Pro的眼球追蹤和七鑫易維之前推的方案有什么不同呢?基本的路線是一樣唯一的不同是蘋果的堆料夠狠。當(dāng)然,也有代價(jià),就是高功耗、高算力、高成本。我們也有類似的方案,預(yù)計(jì)原型機(jī)今年底或明年初會(huì)出來。
大家也會(huì)疑惑單眼單攝不能用了嗎?仍然具備高可用性,關(guān)鍵是眼球追蹤可用性不僅僅和本身性能相關(guān),還和交互設(shè)計(jì)強(qiáng)相關(guān)。還有一個(gè)小問題,人眼數(shù)據(jù)是用戶生物特征數(shù)據(jù),所以人們對(duì)于用戶隱私安全越來越重視,這是很關(guān)鍵的事情。據(jù)我了解,所有用戶認(rèn)證用到生物信息,都不可以在海外建數(shù)據(jù)庫,這涉及到國(guó)家安全的問題。剛才也有嘉賓講過,高科技領(lǐng)域我們要防止卡脖子,七鑫易維,無論是在硬件算法,還是軟件上,全部做到了自主可控,所以不存在卡脖子的問題。
七鑫易維成立于2009年,歷經(jīng)14年發(fā)展,在國(guó)內(nèi)的眼球追蹤市場(chǎng)已經(jīng)遙遙領(lǐng)先,目前在全球申請(qǐng)的專利數(shù)量將近600項(xiàng),其中發(fā)明專利占到了2/3。
如上圖所示,這是七鑫易維已經(jīng)發(fā)布的一些產(chǎn)品,大家感興趣可以細(xì)聊。接下來,還會(huì)陸續(xù)有一些新的型號(hào)發(fā)布。
最后,總結(jié)一下:(1)注視點(diǎn)渲染、動(dòng)態(tài)超分和反畸變、瞳距調(diào)節(jié)將成為XR的基本功能;(2)表情追蹤作為社交強(qiáng)需求,將成為XR的基本功能;(3)虹膜識(shí)別將成為XR身份識(shí)別和認(rèn)證的最常用方式;(4)眼手口多模態(tài)自然交互將成為XR的交互趨勢(shì);(5)眼球追蹤在XR上已經(jīng)成熟,具備高可用性;(6)眼球追蹤將成為XR的標(biāo)配,如果大家想要加眼球追蹤,找七鑫易維,謝謝!
標(biāo)簽: 暫無
上一篇: FBEC2023 | 莫界科技 創(chuàng)始合伙人李竹:量產(chǎn)樹脂衍射光波導(dǎo)的前沿探索與應(yīng)用
下一篇: FBEC2023 | JBD首席運(yùn)營(yíng)官徐慧文:AR眼鏡將從輕量級(jí)向全天候演進(jìn)
微信掃一掃-禮包攻略通通到手
微信掃一掃關(guān)注琵琶網(wǎng)公眾號(hào):
1.掃描二維碼或搜索微信號(hào),關(guān)注“琵琶網(wǎng)手游”;
2.回復(fù)“您玩的游戲名稱”,即可查看該游戲的最新禮包和資訊;
還沒關(guān)注的小伙伴,趕緊掃一掃吧~
相關(guān)閱讀
新射雕群俠傳之鐵血丹心 874344人下載 進(jìn)入專區(qū)
明日之后 1174773人下載 進(jìn)入專區(qū)
王者榮耀 2434084人下載 進(jìn)入專區(qū)
航海王:燃燒意志 1084017人下載 進(jìn)入專區(qū)
第五人格 2715067人下載 進(jìn)入專區(qū)
率土之濱 1863635人下載 進(jìn)入專區(qū)
陰陽師手游 3260909人下載 進(jìn)入專區(qū)
大話西游手游 1353906人下載 進(jìn)入專區(qū)
倩女幽魂手游 1811997人下載 進(jìn)入專區(qū)
最新活動(dòng)
最新入庫
新門派桃花踏浪而來!《劍俠世界:起源》新資料片今日公測(cè)
揭秘冒險(xiǎn)疑云!《最終幻想14》國(guó)服7.2版本現(xiàn)已上線!
漫威終極逆轉(zhuǎn)S11第二周丨資源情報(bào)概覽 剪影公布?魔域口袋版新職業(yè)即將上線! 《開炮吧方舟》正式上線Steam售價(jià)54元,構(gòu)筑獨(dú)屬于你的方舟,體驗(yàn)不一樣的肉鴿之旅! 《模擬城市:我是市長(zhǎng)》陽春白雪精美建筑曝光 唯美武俠江湖!西山居《劍俠情緣·零》武俠風(fēng)景盤點(diǎn) 永恒之塔X羅森 聯(lián)動(dòng)主題店一日店長(zhǎng)現(xiàn)場(chǎng)打卡 點(diǎn)燃玩家線下熱情!
絲海尋古,域韻今風(fēng)! 跟隨《魔域口袋版》感受泉州文化魅力 《魔域口袋版》熱血狂歡活動(dòng)開獎(jiǎng)倒計(jì)時(shí)! 畢業(yè)頂配裝備免費(fèi)送?!《魔域口袋版》每天送魔石、裝備大獎(jiǎng)! 來《魔域口袋版》輕松種樹拿獎(jiǎng) 神陵武裝覺醒怎么過 覺醒任務(wù)攻略 消除者聯(lián)盟第83關(guān)怎么過 第83關(guān)通關(guān)攻略
揭秘冒險(xiǎn)疑云!《最終幻想14》國(guó)服7.2版本現(xiàn)已上線! 《冒險(xiǎn)島》V217大版本【下一站】今日上線!全職業(yè)專精核心完成! 《開炮吧方舟》正式上線Steam售價(jià)54元,構(gòu)筑獨(dú)屬于你的方舟,體驗(yàn)不一樣的肉鴿之旅! 《模擬城市:我是市長(zhǎng)》陽春白雪精美建筑曝光 歸鄉(xiāng)夢(mèng)里人 《幻塔》5.2全新版本今日上線 全新版本預(yù)約開啟!魔域口袋版預(yù)約福利
唯美武俠江湖!西山居《劍俠情緣·零》武俠風(fēng)景盤點(diǎn)《冒險(xiǎn)島》挑戰(zhàn)者世界6月25日開啟!首個(gè)賽季服燃情開戰(zhàn)! 彩虹島2025暑期新區(qū)-光明之城火熱開放!新職業(yè)輝耀劍神閃耀來襲! 《輻射:避難所Online》轉(zhuǎn)盤活動(dòng)開啟,周年福利再加碼! 永恒之塔X羅森 聯(lián)動(dòng)主題店一日店長(zhǎng)現(xiàn)場(chǎng)打卡 點(diǎn)燃玩家線下熱情! 《鵝鴨殺》虎牙粉絲節(jié)歡樂落幕,“鴨力”首測(cè)正式定檔6.26! 《誅仙2》手游聯(lián)手華為鴻蒙,AI超分超幀技術(shù)打造極致仙俠視界!
崩壞星穹鐵道流螢玄學(xué)抽卡地點(diǎn) 流螢玄學(xué)抽卡方法介紹 崩壞星穹鐵道云璃技能爆料 云璃技能介紹 崩壞星穹鐵道流螢配隊(duì)推薦 流螢最強(qiáng)配隊(duì) 原神艾梅莉埃技能爆料 艾梅莉埃技能一覽 斗破蒼穹巔峰對(duì)決兌換碼大全 公測(cè)最新禮包碼 崩壞星穹鐵道流螢突破材料 最新材料需求
原神克洛琳德突破材料匯總 內(nèi)含技能升級(jí)材料原神克洛琳德圣遺物推薦 圣遺物搭配攻略 超進(jìn)化物語2最強(qiáng)陣容2024 氪金推薦 眾神派對(duì)文月怎么樣 輝夜姬之力技能 眾神派對(duì)一輝技能介紹 月讀之力值得抽嗎 王者榮耀新賽季幾月幾號(hào)更新 S35賽季開始時(shí)間 崩壞星穹鐵道最強(qiáng)角色有哪些 星魂提升最大角色有哪些
《叫我大掌柜》評(píng)測(cè):原來你是這樣的掌柜 《榮耀新三國(guó)》評(píng)測(cè):高評(píng)測(cè)3D戰(zhàn)場(chǎng)SLG手游,更適合年輕人三國(guó)游戲! 《余燼風(fēng)暴》評(píng)測(cè):經(jīng)典魔幻MMORPG 身臨魔幻之境 《艾爾多戰(zhàn)記》評(píng)測(cè):克蘇魯風(fēng)放置手游, 畫風(fēng)魔性,玩法有趣! 《有殺氣童話2》評(píng)測(cè):格斗童話世界 顛覆傳統(tǒng)MMO童話劇情! 《少俠江湖志》評(píng)測(cè):江湖放置 暴走青春
《斗羅大陸:魂師對(duì)決》評(píng)測(cè):正版3D斗羅手游,熱血魂師對(duì)決《圣斗士星矢正義傳說》評(píng)測(cè):經(jīng)典動(dòng)漫IP,放置玩法更休閑娛樂,適合白嫖玩家! 《刀劍神域黑衣劍士:王牌》評(píng)測(cè):新一代的rpg手游 玩的就是情懷 《鬼泣·巔峰之戰(zhàn)》手游測(cè)評(píng):第二款戰(zhàn)雙,只適合短期玩容易膩 《機(jī)動(dòng)戰(zhàn)姬聚變》評(píng)測(cè):延續(xù)前作IP,回合制戰(zhàn)斗略顯老套! 《胡萊三國(guó)3》評(píng)測(cè):胡萊十載再續(xù)榮光,真沙盤模擬戰(zhàn)斗! 《我是大東家》評(píng)測(cè):模擬古代經(jīng)營(yíng),重現(xiàn)洛陽盛景!
斗羅大陸武魂覺醒火系最強(qiáng)陣容 火系最強(qiáng)魂師排行
王者榮耀孫悟空孫行者皮膚特效 孫悟空86西游記皮膚視頻
王者榮耀2021世冠總決賽視頻 重慶QG 4:2佛山GK第六次捧杯 王者榮耀諸葛亮?xí)r雨天司特效 諸葛亮牛年限定皮膚值得買嗎? 王者榮耀鎧絳天戰(zhàn)甲特效視頻 鎧傳說皮膚特效 王者榮耀羋月白晶晶視頻 羋月白晶晶技能特效 2020王者榮耀冬季冠軍杯總決賽南京Hero久競(jìng) 4:1 DYG 南京Hero成為四冠王 2020王者榮耀冬季冠軍杯1月17日南京Hero久競(jìng) 4:2 成都AG超玩會(huì) 南京Hero晉級(jí)總決賽
2020王者榮耀冬季冠軍1月16日 DYG 4:1MTG DYG晉級(jí)冬冠總決賽2020王者榮耀冬季冠軍杯1月14日成都AG超玩會(huì) 4:1 廣州TTG 成都AG晉級(jí)半決賽 2020王者榮耀冬季冠軍杯1月13日 DYG 4:1 杭州LGD大鵝 DYG晉級(jí)半決賽 2020冬季冠軍杯1月13日南京Hero久競(jìng) 4:2 RNGM 南京Hero久競(jìng)晉級(jí)半決賽 王者榮耀v8皮膚高清圖片 虞姬v8皮膚特效視頻 王者榮耀魯班七號(hào)電玩小子優(yōu)化視頻 新版電玩小子特效 王者榮耀元歌新皮膚視頻 s22戰(zhàn)令元歌云間偶戲特效展示
熱門游戲
1
夢(mèng)幻西游手游
角色扮演
5846063人下載過
2
3
王者榮耀
體育競(jìng)技
2434084人下載過
4
5
少年三國(guó)志
角色扮演
1382467人下載過
6
最新資訊
熱門專區(qū)
更多+最新標(biāo)簽
更多+玩家問答
更多+快捷導(dǎo)航
用戶評(píng)論
(已有0條評(píng)論)表情