本報(bào)訊 (記者梁傲男)10月27日,美團(tuán)LongCat團(tuán)隊(duì)發(fā)布并開源LongCat-Video視頻生成模型,以統(tǒng)一模型在文生、圖生視頻基礎(chǔ)任務(wù)上達(dá)到開源SOTA(最先進(jìn)水平),并依托原生視頻續(xù)寫任務(wù)預(yù)訓(xùn)練,實(shí)現(xiàn)分鐘級長視頻連貫生成,保障跨幀時(shí)序一致性與物理運(yùn)動(dòng)合理性,在長視頻生成領(lǐng)域具備顯著優(yōu)勢。
近年來,“世界模型”因讓人工智能真正理解、預(yù)測甚至重構(gòu)真實(shí)世界,被業(yè)界視作通往下一代智能的核心引擎。作為能夠建模物理規(guī)律、時(shí)空演化與場景邏輯的智能系統(tǒng),“世界模型”賦予人工智能“看見”世界運(yùn)行本質(zhì)的能力。而視頻生成模型有望成為構(gòu)建世界模型的關(guān)鍵路徑——通過視頻生成任務(wù)壓縮幾何、語義、物理等多種形式的知識,人工智能得以在數(shù)字空間中模擬、推演乃至預(yù)演真實(shí)世界的運(yùn)行。
正因如此,美團(tuán)LongCat團(tuán)隊(duì)認(rèn)為,此次發(fā)布的視頻生成模型,是為探索“世界模型”邁出的第一步。未來,憑借精準(zhǔn)重構(gòu)真實(shí)世界運(yùn)行狀態(tài)的能力,LongCat模型也會(huì)融入公司近年來持續(xù)投入的自動(dòng)駕駛、具身智能等深度交互業(yè)務(wù)場景中,成為公司更好連接“比特世界”和“原子世界”的技術(shù)基礎(chǔ)。
此次開源模型的技術(shù)報(bào)告顯示,作為基于Diffusion Transformer架構(gòu)的多功能統(tǒng)一視頻生成基座,LongCat-Video創(chuàng)新通過“條件幀數(shù)量”實(shí)現(xiàn)任務(wù)區(qū)分,原生支持三大核心任務(wù):文生視頻無需條件幀、圖生視頻輸入1幀參考圖、視頻續(xù)寫依托多幀前序內(nèi)容,且無需額外模型適配,形成“文生/圖生/視頻續(xù)寫”完整任務(wù)閉環(huán)。
此外,依托視頻續(xù)寫任務(wù)預(yù)訓(xùn)練,新模型可穩(wěn)定輸出5分鐘級別的長視頻,且無質(zhì)量損失,達(dá)到行業(yè)頂尖水平。同時(shí),從根源規(guī)避色彩漂移、畫質(zhì)降解、動(dòng)作斷裂等行業(yè)痛點(diǎn),保障跨幀時(shí)序一致性與物理運(yùn)動(dòng)合理性,適配數(shù)字人、具身智能、世界模型等需要長時(shí)序動(dòng)態(tài)模擬的場景需求。模型還結(jié)合塊稀疏注意力(BSA)與條件token緩存機(jī)制,大幅降低長視頻推理冗余——即便處理93幀及以上長序列,仍能兼顧效率與生成質(zhì)量穩(wěn)定,打破長視頻生成“時(shí)長與質(zhì)量不可兼得”的瓶頸。
針對高分辨率、高幀率視頻生成的計(jì)算瓶頸,LongCat-Video通過“二階段粗到精生成(C2F)+塊稀疏注意力(BSA)+模型蒸餾”三重優(yōu)化,視頻推理速度提升至10.1倍,實(shí)現(xiàn)效率與質(zhì)量的最優(yōu)平衡。
技術(shù)報(bào)告還稱,LongCat-Video的模型評估圍繞內(nèi)部基準(zhǔn)測試和公開基準(zhǔn)測試展開,覆蓋Text-to-Video(文本生成視頻)、Image-to-Video(圖像生成視頻)兩大核心任務(wù),從多維度(文本對齊、圖像對齊、視覺質(zhì)量、運(yùn)動(dòng)質(zhì)量、整體質(zhì)量)驗(yàn)證模型性能:136億參數(shù)的視頻生成基座模型,在文生視頻、圖生視頻兩大核心任務(wù)中,綜合性能均達(dá)到當(dāng)前開源領(lǐng)域SOTA級別;通過文本-視頻對齊、視覺質(zhì)量、運(yùn)動(dòng)質(zhì)量、整體質(zhì)量四大維度評估,其性能在文本對齊度、運(yùn)動(dòng)連貫性等關(guān)鍵指標(biāo)上展現(xiàn)顯著優(yōu)勢;在VBench等公開基準(zhǔn)測試中,LongCat-Video在參評模型中整體表現(xiàn)優(yōu)異。
(編輯 郭之宸)
衛(wèi)星通信萬億賽道起飛,手機(jī)直連時(shí)代開啟
衛(wèi)星通信管理制度及政策法規(guī)進(jìn)一步完善……[詳情]
版權(quán)所有《證券日報(bào)》社有限責(zé)任公司
互聯(lián)網(wǎng)新聞信息服務(wù)許可證 10120240020增值電信業(yè)務(wù)經(jīng)營許可證 京B2-20250455
京公網(wǎng)安備 11010602201377號京ICP備19002521號
證券日報(bào)網(wǎng)所載文章、數(shù)據(jù)僅供參考,使用前務(wù)請仔細(xì)閱讀法律申明,風(fēng)險(xiǎn)自負(fù)。
證券日報(bào)社電話:010-83251700網(wǎng)站電話:010-83251800 網(wǎng)站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關(guān)注
掃一掃,加關(guān)注