本報(bào)訊 （記者桂小筍）6月11日至6月15日，2025國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR2025）召開。北京值得買科技股份有限公司（以下簡(jiǎn)稱“值得買”）與中國人民大學(xué)高瓴人工智能學(xué)院在多模態(tài)領(lǐng)域的最新聯(lián)合研究成果《圖像轉(zhuǎn)有聲視頻》（《Animate and Sound an Image》）成功入選。

    該成果首次提出了一種從靜態(tài)圖像直接生成同步音視頻內(nèi)容的生成框架JointDiT（Joint Diffusion Transformer），實(shí)現(xiàn)了從圖像到“動(dòng)態(tài)視頻+聲音”的高質(zhì)量聯(lián)合生成。這不僅展現(xiàn)了雙方在AIGC領(lǐng)域的技術(shù)創(chuàng)新突破，也為AI多模態(tài)的高質(zhì)量發(fā)展提供了新的思路與啟發(fā)。

    據(jù)介紹，《圖像轉(zhuǎn)有聲視頻》首次提出并系統(tǒng)定義了圖像到有聲視頻生成（Image-to-Sounding-Video，I2SV）這一新任務(wù)：讓靜態(tài)圖像“動(dòng)”起來的同時(shí)，生成與之語義匹配、時(shí)間同步的音頻內(nèi)容。同時(shí)還提出了一種新穎的內(nèi)容生成框架JointDiT（Joint Diffusion Transformer），并具體闡述了如何利用兩個(gè)強(qiáng)大的單模態(tài)預(yù)訓(xùn)練擴(kuò)散模型（一個(gè)視頻生成器，一個(gè)音頻生成器），構(gòu)建統(tǒng)一的聯(lián)合生成框架，實(shí)現(xiàn)多模態(tài)協(xié)同生成。

    人大高瓴人工智能學(xué)院長(zhǎng)聘副教授宋睿華表示：“接下來，研究團(tuán)隊(duì)計(jì)劃將JointDiT擴(kuò)展至圖像、文本、音頻、視頻四模態(tài)的聯(lián)合建模，為構(gòu)建更通用、更智能的多模態(tài)生成系統(tǒng)奠定基礎(chǔ)。”

（編輯 何成浩 郭之宸）