當?shù)貢r間12月10日-15日，全球AI頂級會議NeurIPS（神經(jīng)信息處理系統(tǒng)大會）在加拿大溫哥華舉辦，這一頂會涵蓋了機器學習、深度學習、神經(jīng)網(wǎng)絡等多個研究方向。

    官方數(shù)據(jù)顯示，NeurIPS 2024共收到15671篇有效論文投稿。投稿量創(chuàng)下新高，論文錄取率為25.8%，相比去年略有下降，來自中國的被收錄的論文則很可觀。公開數(shù)據(jù)顯示，中國人民大學、字節(jié)跳動、螞蟻集團、騰訊等中國高校和互聯(lián)網(wǎng)企業(yè)均分別有數(shù)十篇論文被NeurIPS 2024收錄。

    螞蟻集團被NeurIPS2024收錄了20篇論文，其中有一篇為Spotlight（特別關(guān)注）。按往年數(shù)據(jù)估算，NeurIPS的Spotlight論文錄取率約為3%。

    被Spotlight的論文《MKGL：掌握一門三元組構(gòu)成的語言》，引入一個叫KGL的新知識圖譜語言，以探究大語言模型（LLM）和知識圖譜（KG）的融合。KGL這一新語言能夠讓一個句子精確地由一個實體名詞開始、一個關(guān)系動詞連接，再以另一個實體名詞結(jié)尾。實驗結(jié)果顯示，LLM通過利用實時知識圖譜上下文檢索和文本嵌入增強，高效提升其對KGL詞匯的理解，已經(jīng)做到能夠熟練掌握KGL，在知識圖譜補全等任務上相較于傳統(tǒng)方法有顯著提升。

    根據(jù)論文摘要顯示，螞蟻集團20篇論文的研究領域主要集中在提升AI的經(jīng)濟性、可信性和效率上，這也是該企業(yè)重投AI的重點攻堅方向。

    比如論文《重新審視顯存和通信成本對大語言模型高效數(shù)據(jù)并行訓練的影響》針對大語言模型（LLM）分布式訓練的速度與效率問題，提出了一組新的基礎策略，一個名為PaRO的部分冗余優(yōu)化器，通過更精細的分片策略以適配不同的訓練場景，加速LLM的訓練。實驗結(jié)果表明，PaRO在LLM的一些訓練場景下速度比ZeRO-3最快提高到266%。此外，PaRO-CC也可以單獨使用在模型并行策略中，且獲得了17%的訓練速度提升。

    在NeurIPS 2024上，螞蟻集團還受邀舉辦一場研討會，圍繞“強化學習優(yōu)化、可信模型構(gòu)建及視覺語言模型應用探索”等議題，深入研討知識增強的大語言模型在行業(yè)垂直領域的前沿技術(shù)與發(fā)展趨勢。來自清華大學、香港浸會大學、墨爾本大學、螞蟻技術(shù)研究院的學者和研究員將在研討會上進行主題報告分享。

    據(jù)了解，加速AI在行業(yè)垂直領域的落地應用，亦是螞蟻集團重投AI的重點攻堅方向，或者說，聚焦提升AI的經(jīng)濟性、可信性和效率，就是為了加速AI在行業(yè)垂直領域，尤其在金融、醫(yī)療、遙感等嚴謹產(chǎn)業(yè)中的落地應用。

    2024•Inclusion外灘大會發(fā)布的《AI產(chǎn)業(yè)實踐六大趨勢》指出，大模型在醫(yī)療、金融等專業(yè)領域應用涌現(xiàn)，能促進垂直行業(yè)生產(chǎn)力提升、數(shù)據(jù)價值釋放，同時也成為大模型技術(shù)加速發(fā)展的“探照燈”。

    值得注意的是，在NeurIPS這一級別的國際頂級學術(shù)會議上，來自國內(nèi)高校、科技企業(yè)、互聯(lián)網(wǎng)公司的論文不但在數(shù)量上持續(xù)突破，在質(zhì)量上也有飛躍式進展，被收錄為Spotlight、Oral、Highlight、Best Paper提名的論文越來越多。期待中國的產(chǎn)學界繼續(xù)發(fā)力與合力，勇登這波AI浪潮之巔。

    （CIS）