本報訊 (記者李喬宇)4月21日,昆侖萬維科技股份有限公司(以下簡稱“昆侖萬維”)SkyReels團隊正式發(fā)布并開源SkyReels-V2——全球首個使用擴散強迫(Diffusion-forcing)框架的無限時長電影生成模型,其通過結(jié)合多模態(tài)大語言模型(MLLM)、多階段預(yù)訓(xùn)練(Multi-stage Pretraining)、強化學(xué)習(xí)(ReinforcementLearning)和擴散強迫(Diffusion-forcing)框架實現(xiàn)協(xié)同優(yōu)化。
SkyReels-V2不僅在技術(shù)上實現(xiàn)了突破,還提供了多種有用的應(yīng)用場景,包括故事生成、圖生視頻、運鏡專家和多主體一致性視頻生成(SkyReels-A2)。
SkyReels-V2現(xiàn)已支持生成30秒、40秒的視頻,且具備生成高運動質(zhì)量、高一致性、高保真視頻的能力。
SkyReels-V2不僅在技術(shù)上實現(xiàn)了突破,還為多個實際應(yīng)用場景提供了強大的支持。第一,SkyReels-V2能夠生成理論上無限時長的視頻,通過滑動窗口方法,模型在生成新幀時會參考之前生成的幀和文本提示。這種方法不僅支持時間上的擴展,還能生成具有連貫敘事的長鏡頭視頻;第二,SkyReels-V2提供了兩種圖像到視頻(I2V)的生成方法;第三,SkyReels-V2在標注攝像機運動方面表現(xiàn)出色;第四,基于SkyReels-V2基座模型,昆侖萬維研發(fā)了SkyReels-A2方案,并提出了一種新的多元素到視頻(E2V)任務(wù),能夠?qū)⑷我庖曈X元素(如人物、物體和背景)組合成由文本提示引導(dǎo)的連貫視頻,同時確保對每個元素的參考圖像的高保真度。這一功能適合短劇、音樂視頻和虛擬電商內(nèi)容創(chuàng)作等應(yīng)用。
作為首個商業(yè)級E2V開源模型,SkyReels-A2在E2V評估Benchmark A2-Bench中的結(jié)果表明,其一致性和質(zhì)量維度上評估與閉源模型相當。未來,昆侖萬維計劃擴展框架以支持更多輸入模態(tài),如音頻和動作,旨在構(gòu)建一個統(tǒng)一的視頻生成系統(tǒng),以支持更廣泛的應(yīng)用。
(編輯 張明富)
5年后再啟航 全面實施自貿(mào)區(qū)提升戰(zhàn)略
自貿(mào)試驗區(qū)作為我國對外開放的重要窗口……[詳情]
11:05 | 突發(fā)利好!“牛市旗手”強勢延續(xù)! |
11:03 | 安徽建工發(fā)行15億元科創(chuàng)債 |
10:04 | 積極拓展海外市場 公元股份斥資706... |
09:13 | 小紅書電商6月份上線“友好市集” ... |
09:13 | 加碼算力服務(wù)賽道 電光科技擬550萬... |
09:13 | 晶豐明源收購易沖科技100%股權(quán)事項... |
09:12 | 全球首臺Rokid Glasses在藍思科技... |
09:09 | 科創(chuàng)板第五套標準重啟后首單:禾元... |
09:09 | 即將上會!科創(chuàng)板第五套標準重啟后... |
00:14 | 港交所重奪IPO融資額全球冠軍背后... |
00:14 | 低空物流產(chǎn)業(yè)鏈正加速形成 |
00:14 | 六部門印發(fā)《關(guān)于金融支持提振和擴... |
版權(quán)所有《證券日報》社有限責(zé)任公司
互聯(lián)網(wǎng)新聞信息服務(wù)許可證 10120240020增值電信業(yè)務(wù)經(jīng)營許可證 京B2-20250455
京公網(wǎng)安備 11010602201377號京ICP備19002521號
證券日報網(wǎng)所載文章、數(shù)據(jù)僅供參考,使用前務(wù)請仔細閱讀法律申明,風(fēng)險自負。
證券日報社電話:010-83251700網(wǎng)站電話:010-83251800 網(wǎng)站傳真:010-83251801電子郵件:xmtzx@zqrb.net
安卓
IOS
掃一掃,加關(guān)注
掃一掃,加關(guān)注