本站9月2日消息,今日,騰訊混元官方宣布,HunyuanWorld-Voyager(簡(jiǎn)稱(chēng)混元Voyager)正式發(fā)布,這是業(yè)界首個(gè)支持原生3D重建的超長(zhǎng)漫游世界模型。
該模型在斯坦福大學(xué)李飛飛團(tuán)隊(duì)發(fā)布的世界模型基準(zhǔn)測(cè)試WorldScore上位居綜合能力首位,超越現(xiàn)有開(kāi)源方法,在視頻生成和3D重建任務(wù)中均表現(xiàn)出色。
在視頻生成和視頻3D重建兩個(gè)任務(wù)上,Voyager也均取得更好的結(jié)果。
據(jù)介紹,混元Voyager聚焦于A(yíng)I在空間智能領(lǐng)域的應(yīng)用擴(kuò)展,將為虛擬現(xiàn)實(shí)、物理仿真、游戲開(kāi)發(fā)等領(lǐng)域提供高保真的3D場(chǎng)景漫游能力。
模型突破傳統(tǒng)視頻生成在空間一致性和探索范圍上的局限,能夠生成長(zhǎng)距離、世界一致的漫游場(chǎng)景,支持將視頻直接導(dǎo)出為3D格式。
據(jù)了解,混元Voyager 3D輸入-3D輸出的特性,與此前已開(kāi)源的混元世界模型1.0高度適配,可進(jìn)一步擴(kuò)展1.0模型漫游范圍,提升復(fù)雜場(chǎng)景的生成質(zhì)量,并可對(duì)生成的場(chǎng)景做風(fēng)格化控制和編輯。
此外,該模型可支持視頻場(chǎng)景重建、3D物體紋理生成、視頻風(fēng)格定制化生成、視頻深度估計(jì)等多種3D理解與生成應(yīng)用。
官方表示,混元Voyager首次通過(guò)空間與特征結(jié)合的方式,支持原生的3D記憶和場(chǎng)景重建,避免了傳統(tǒng)后處理帶來(lái)的延遲和精度損失。
同時(shí),在輸入端加入3D條件保證畫(huà)面視角精準(zhǔn),輸出端直接生成3D點(diǎn)云,適配多種應(yīng)用場(chǎng)景。
額外的深度信息還能支持視頻場(chǎng)景重建、3D物體紋理生成、風(fēng)格化編輯和深度估計(jì)等功能。
鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除,多謝。