琵琶網(wǎng)> 游戲資訊> 行業(yè)新聞> 正文

FBEC2023 | 普羅米修斯CEO張煜:數(shù)字生命——大模型可驅(qū)動(dòng)的體積視頻

來源:網(wǎng)絡(luò)     時(shí)間:2023-12-11 10:37      作者:hj     訪問量:366    我要投稿

  FBEC2023未來商業(yè)生態(tài)鏈接大會(huì)暨第八屆金陀螺獎(jiǎng)于2023年12月8日在深圳福田大中華喜來登酒店6樓盛大召開,本次大會(huì)由廣東省游戲產(chǎn)業(yè)協(xié)會(huì)、深圳市互聯(lián)網(wǎng)文化市場(chǎng)協(xié)會(huì)指導(dǎo),陀螺科技主辦,中國(guó)光谷、游戲陀螺、VR陀螺、陀螺財(cái)經(jīng)、陀螺電競(jìng)聯(lián)合主辦。

  大會(huì)以“合力共生·韌者行遠(yuǎn)”為大會(huì)主題,以具有行業(yè)前瞻洞察的“航行者”為視角,破冰之旅為主線,關(guān)注AI、元宇宙、XR、游戲、電競(jìng)、數(shù)字經(jīng)濟(jì)等科技與互聯(lián)網(wǎng)前沿領(lǐng)域,全方位呈現(xiàn)科技前沿成果,聚焦時(shí)代與商業(yè)熱點(diǎn)議題,探討新科技、新商業(yè)、新模式的未來價(jià)值,與真正的勇者共赴劇變革新下的凜冬破冰之旅!

  FBEC2023分會(huì)場(chǎng)A:全球3D技術(shù)應(yīng)用論壇邀請(qǐng)到普羅米修斯視覺CEO張煜帶來主題為“數(shù)字生命——大模型可驅(qū)動(dòng)的體積視頻”的精彩演講。張煜指出,普羅米修斯視覺在相機(jī)矩陣采集系統(tǒng)領(lǐng)域已深耕10年,全棧解決方案均為自研。

  以下為演講實(shí)錄:

  大家好,我是普羅米修斯的CEO張煜,我們公司主要做大模型可驅(qū)動(dòng)的體積視頻。首先介紹一下我們公司,普羅米修斯視覺是一家專注于研究體積視頻技術(shù)及應(yīng)用的高新技術(shù)企業(yè),核心技術(shù)團(tuán)隊(duì)由清華大學(xué)博士團(tuán)隊(duì)和香港科技大學(xué)博士團(tuán)隊(duì)等頂尖院校的高精尖人才組成,我們?cè)谙鄼C(jī)矩陣采集系統(tǒng)領(lǐng)域已深耕10年,是全國(guó)唯一一家全棧解決方案都是自研的企業(yè)。迄今為止擁有發(fā)明專利70多項(xiàng),目前估值不到10億,董事長(zhǎng)是北航軟件學(xué)院的創(chuàng)始院長(zhǎng)孫偉。

  現(xiàn)在我跟大家分享一下公司做了10年的比較成熟的解決方案,其中一個(gè)核心方向是專業(yè)相機(jī)矩陣的同步、標(biāo)定、采集+傳輸、存儲(chǔ)的全棧解決方案。它涵蓋以下四個(gè)特點(diǎn),亞毫秒級(jí)別的同步、亞像素級(jí)別標(biāo)定、萬(wàn)兆網(wǎng)絡(luò)的傳輸和采集,以及高速固態(tài)硬盤存儲(chǔ)。

  第一個(gè)特點(diǎn)是相機(jī)同步,整套系統(tǒng)支持從5fps到120fps的可自主調(diào)節(jié)采集,相機(jī)從幾臺(tái)、幾十臺(tái)到幾百臺(tái)都可以支持毫秒級(jí)別同步的采集方式。這是我們自研的一套同步系統(tǒng),它是一個(gè)波形發(fā)生器,精度可達(dá)到亞毫秒級(jí)別,最高支持120fps的曝光。而且算法會(huì)自動(dòng)糾正隨著時(shí)間帶來的累計(jì)誤差,保障長(zhǎng)時(shí)間采集拍攝過程中的穩(wěn)定同步。

  第二個(gè)特點(diǎn)是自動(dòng)標(biāo)定,行業(yè)人士都知道,幾百臺(tái)相機(jī)的標(biāo)定是很麻煩的問題,我們已經(jīng)自研超高精度標(biāo)定算法,所有相機(jī)全局收斂,全局誤差小于0.5個(gè)像素,而且整個(gè)過程全自動(dòng)化,10分鐘以內(nèi)就能完成幾百個(gè)相機(jī)的同步標(biāo)定。

  第三個(gè)特點(diǎn)是高速采集+傳輸,從相機(jī)輸出、傳輸網(wǎng)絡(luò)到存儲(chǔ)系統(tǒng)輸入都是萬(wàn)兆網(wǎng)架構(gòu),保證海量數(shù)據(jù)采集傳輸順暢無(wú)延時(shí),無(wú)卡頓。

  第四個(gè)特點(diǎn)是存儲(chǔ)系統(tǒng),在存儲(chǔ)上,我們采用了M.2高速固態(tài)硬盤采集系統(tǒng) + 企業(yè)級(jí)HHD硬盤陣列,既保證高速采集,又確保存儲(chǔ)可靠。

  這個(gè)產(chǎn)品主要有四大應(yīng)用場(chǎng)景,第一是無(wú)標(biāo)記點(diǎn)動(dòng)捕人體骨骼數(shù)據(jù)采集,第二是三維人體動(dòng)態(tài)模型重建數(shù)據(jù)采集,第三是三維人體動(dòng)態(tài)點(diǎn)云數(shù)據(jù)采集,第四是語(yǔ)音表情動(dòng)態(tài)數(shù)據(jù)采集。

  在可選相機(jī)里面,我們同時(shí)支持卷簾快門相機(jī)以及全局快門相機(jī)。有些應(yīng)用對(duì)深度有要求,因此我們還提供一個(gè)模組,這個(gè)模組由兩個(gè)IR相機(jī)、彩色相機(jī)和隨機(jī)散斑投射器的POD組成,可以完成非常準(zhǔn)確的深度采集。該模組適用于三維建模,點(diǎn)云采集,像流行的NeRF、NeuS等都可以通過這個(gè)方式采集數(shù)據(jù)。

  在可選軟件包里,首先講下IR雙目的stereo,這就是一個(gè)典型的IR相機(jī)拍出來的圖像,身上的散斑都是我們研發(fā)的一些非均勻散斑,通過這種散斑和自研的stereo的一些算法可以做到高精度的深度計(jì)算,之后再用基于神經(jīng)網(wǎng)絡(luò)的方式讓它變得更加精確。

  圖片上顯示的是一個(gè)骨骼檢測(cè)軟件包,可實(shí)現(xiàn)全身骨骼點(diǎn)檢測(cè)以及高精度的臉部掃描。在通過多相機(jī)的擬合和檢測(cè)后,骨骼點(diǎn)和臉部的表情點(diǎn)會(huì)非常準(zhǔn),這個(gè)軟件包比較適合一些動(dòng)捕人體骨骼數(shù)據(jù)采集的需求。

  除了關(guān)鍵點(diǎn)的采集,我們還支持比較典型的SMPL和SMPLX的一些參數(shù)人體模型的采集。關(guān)于臉部的關(guān)鍵參數(shù)模型等,整套系統(tǒng)也同樣支持。所以不管是全身還是臉部都可以采用這套相機(jī)矩陣,通過增減或者選不同的模塊去實(shí)現(xiàn)。

  接下來介紹一些成功案例,港科大有我們一套動(dòng)態(tài)的重建及應(yīng)用元實(shí)驗(yàn)室數(shù)字人重建拍攝系統(tǒng)。深圳第二高級(jí)技術(shù)學(xué)院、江西軟件職業(yè)技術(shù)大學(xué)、貴州盛華職業(yè)技術(shù)學(xué)院、北京容積視覺有限公司等,他們的整套方案也是我們提供的。

  最后總結(jié)一下,公司研發(fā)的這套相機(jī)矩陣采集系統(tǒng)的相機(jī)數(shù)量從幾臺(tái)到幾百臺(tái)可選,相機(jī)類型不僅可選2K、4K、卷簾快門、全局快門,紅外IR相機(jī)都是可選的,占地面積7米乘7米,可拍攝范圍是5米乘3米高的圓柱體。

  此外,我們產(chǎn)品有三大優(yōu)勢(shì),超過10年的產(chǎn)品研發(fā),迭代,大量客戶長(zhǎng)期使用,系統(tǒng)穩(wěn)定,好用,完整;清華,港科大博士團(tuán)隊(duì)從底層研發(fā),底層可控可定制,算法水平屬國(guó)際第一梯隊(duì);軟硬件全國(guó)產(chǎn),成本可控有優(yōu)勢(shì)。

標(biāo)簽: 暫無(wú)

分享到:

上一篇: FBEC2023 | KIRI Innovations 聯(lián)合創(chuàng)始人&CEO:在早期的3D內(nèi)容生成市場(chǎng),我們?nèi)绾螌?shí)現(xiàn)營(yíng)收和增長(zhǎng)

下一篇: FBEC2023 |景致三維董事長(zhǎng)兼首席執(zhí)行官謝一凡:空間計(jì)算催生全球萬(wàn)億級(jí)3D建模市場(chǎng)

  • 微信掃一掃-禮包攻略通通到手

    微信掃一掃關(guān)注琵琶網(wǎng)公眾號(hào):

    1.掃描二維碼或搜索微信號(hào),關(guān)注“琵琶網(wǎng)手游”;

    2.回復(fù)“您玩的游戲名稱”,即可查看該游戲的最新禮包和資訊;

    還沒關(guān)注的小伙伴,趕緊掃一掃吧~

相關(guān)閱讀

  • 熱門網(wǎng)游
  • 熱門單機(jī)

最新活動(dòng)

更多+

最新入庫(kù)

更多+

用戶評(píng)論

(已有0條評(píng)論)
最新評(píng)論
加載更多
  • 最新熱點(diǎn)
  • 新聞
  • 攻略
  • 評(píng)測(cè)
  • 視頻
  • 問答
  • 攻略推薦
  • 禮包推薦

熱門游戲

  • 網(wǎng)游
  • 單機(jī)

最新資訊

熱門專區(qū)

更多+

最新標(biāo)簽

更多+

玩家問答

更多+

快捷導(dǎo)航

返回頂部