近日，第32屆ACM國際多媒體會(huì)議在澳大利亞墨爾本圓滿落幕。由中國科學(xué)技術(shù)大學(xué)自動(dòng)化系於俊老師帶隊(duì)的中國科學(xué)技術(shù)大學(xué)與云知聲共同組建的USTC-IAT-United團(tuán)隊(duì)在不同挑戰(zhàn)賽道上累計(jì)榮獲5項(xiàng)冠軍、2項(xiàng)亞軍，技術(shù)實(shí)力再獲國際頂會(huì)認(rèn)可。

ACM MM（ACM International Conference on Multimedia）作為計(jì)算機(jī)圖形學(xué)與多媒體領(lǐng)域的頂級國際會(huì)議，不僅被中國計(jì)算機(jī)學(xué)會(huì)（CCF）評定為A類國際學(xué)術(shù)會(huì)議，更以其卓越的學(xué)術(shù)影響力和社會(huì)認(rèn)可度而聞名。該會(huì)議攜手全球領(lǐng)先的學(xué)術(shù)機(jī)構(gòu)和知名企業(yè)，舉辦了一系列挑戰(zhàn)性賽事，成功吸引了全球眾多科研團(tuán)隊(duì)和創(chuàng)新型企業(yè)的踴躍參與。

在這場全球頂尖智慧團(tuán)隊(duì)間的激烈角逐中，聯(lián)合團(tuán)隊(duì)表現(xiàn)出色，在多個(gè)挑戰(zhàn)賽道上奪得5項(xiàng)冠軍、2項(xiàng)亞軍，其研究成果廣泛涉及微動(dòng)作分析、微表情檢測與分析、人機(jī)交互與對話、多模態(tài)群體行為分析以及視覺空間關(guān)系描述和深度偽造檢測等前沿領(lǐng)域。具體獲獎(jiǎng)情況如下：

1微動(dòng)作分析挑戰(zhàn)

微動(dòng)作相比于普通動(dòng)作，更能展現(xiàn)人物在日常交流中的心理情緒，帶來更豐富的語義信息，對這些微動(dòng)作進(jìn)行精準(zhǔn)檢測對于多模態(tài)理解至關(guān)重要。然而，微動(dòng)作通常持續(xù)時(shí)間短，且多種微動(dòng)作可能同時(shí)出現(xiàn)，因而檢測需要更多畫面幀的輸入來實(shí)現(xiàn)精細(xì)捕捉，這將導(dǎo)致巨大的顯存負(fù)擔(dān)和訓(xùn)練代價(jià)。

為應(yīng)對這些挑戰(zhàn)，團(tuán)隊(duì)提出了3D-SENet Adapter，其能夠高效聚合時(shí)空信息，實(shí)現(xiàn)端到端的在線視頻特征學(xué)習(xí)。此外，團(tuán)隊(duì)發(fā)現(xiàn)結(jié)合背景信息可顯著提升對小尺度微動(dòng)作的檢測效果，為此，團(tuán)隊(duì)開發(fā)了交叉注意力聚合檢測頭，該模塊集成特征金字塔中的多尺度特征，顯著提升視頻幀中微動(dòng)作的檢測精度。該方法相比基線模型極大提升了檢測精度，并在兩個(gè)賽道上分別取得了冠軍與亞軍的成績，并且以論文形式在 ACM MM 會(huì)議上發(fā)表了研究成果。

2微表情挑戰(zhàn)

微表情作為一種面部表情，與宏表情相對應(yīng)，通常持續(xù)時(shí)間短，強(qiáng)度較低。同時(shí)微表情在現(xiàn)實(shí)中有著廣泛的應(yīng)用，如醫(yī)療、刑事偵察等。MEGC挑戰(zhàn)賽的CCS (Cross-Cultural Spotting)賽道致力于選拔出通用性廣泛、穩(wěn)定性強(qiáng)的微表情識(shí)別方法，以推動(dòng)該領(lǐng)域技術(shù)的發(fā)展與應(yīng)用。

面對CCS賽道提出的挑戰(zhàn)，團(tuán)隊(duì)選擇使用基于光流的方法進(jìn)行微表情識(shí)別，對每個(gè)視頻抽取其光流特征，進(jìn)而通過光流特征定位微表情發(fā)生的起始時(shí)間和結(jié)束時(shí)間。在生成微表情區(qū)間之后，采用邊界校準(zhǔn)方案，通過判斷評估邊界的變化程度來決定壓縮或延展邊界，使得產(chǎn)生的微表情區(qū)間邊界更加準(zhǔn)確。此外，團(tuán)隊(duì)采用特定的特征增強(qiáng)方案，主要通過LANet增強(qiáng)特征的表達(dá)能力和魯棒性。最終團(tuán)隊(duì)在排行榜上取得了冠軍，研究成果也以論文形式于 ACM MM 會(huì)議上發(fā)表。

3微表情挑戰(zhàn)

在以往微表情研究中，檢測和識(shí)別任務(wù)相對分離，存在很大的局限性。因此MEGC挑戰(zhàn)賽的STR (Spot-then-Recognize)賽道提出了 “先檢測后識(shí)別”的任務(wù)來整合兩個(gè)環(huán)節(jié)，進(jìn)而提升微表情分析的準(zhǔn)確性和實(shí)用性。

針對STR賽道提出的挑戰(zhàn)，團(tuán)隊(duì)整合VideoMAE V2框架、時(shí)間信息適配器(TIA)及多尺度特征融合檢測頭，以提升微表情定位與識(shí)別性能。主要采用 VideoMAE V2作為特征提取骨干網(wǎng)絡(luò)，結(jié)合TIA增強(qiáng)視頻特征提取能力，尤其是在處理微表情任務(wù)時(shí)。TIA通過引入時(shí)間深度卷積層，捕捉相鄰幀的局部時(shí)間上下文，豐富當(dāng)前時(shí)間步的表示。同時(shí)，構(gòu)建多尺度圖像金字塔，通過分類和回歸分支組成的檢測頭，融合不同尺度的特征，使得模型能夠同時(shí)捕捉從寬泛動(dòng)作到細(xì)微變化的全范圍動(dòng)態(tài)，進(jìn)而顯著提高微表情識(shí)別的準(zhǔn)確性。

團(tuán)隊(duì)方案在 STRS（Overall）評分中達(dá)到SOTA 的結(jié)果，并獲得冠軍，研究成果在ACM MM會(huì)議上進(jìn)行發(fā)表。這一成果不僅驗(yàn)證了團(tuán)隊(duì)方法的有效性，也為微表情識(shí)別技術(shù)的進(jìn)一步發(fā)展提供了方向。

4多模態(tài)群體行為分析挑戰(zhàn)

在多人對話和人機(jī)交互領(lǐng)域，對人類的參與程度的評估至關(guān)重要。MultiMediate挑戰(zhàn)賽中的Multi-domain engagment estimation賽道中旨在解決當(dāng)前人工調(diào)解者的能力受限于行為感知和分析方面的進(jìn)展不足，進(jìn)而推動(dòng)和衡量在多領(lǐng)域參與度估計(jì)這一關(guān)鍵社會(huì)行為感知與分析任務(wù)上的進(jìn)展。

為應(yīng)對這些挑戰(zhàn)，團(tuán)隊(duì)深入探索Seq2seq模型在不同時(shí)間窗口下的潛力，并提出了一種雙流AI-BiLSTM模型，該模型能夠?qū)R并交互對話者特征，以實(shí)現(xiàn)更準(zhǔn)確的參與度估計(jì)。通過從視覺(CLIP)、文本(XLM-RoBERTa)和語音(w2v-bert-2.0)中提取特征，能夠更全面地理解和預(yù)測對話者的參與度。在建模過程中，團(tuán)隊(duì)參考了ALbef和VL-BERT的設(shè)計(jì)，最終選擇了基于AI-BiLSTM的建模方法。在推理時(shí)，AI-BiLSTM在多人對話場景中的Concordance Correlation Coefficient (CCC)提升了8%，相較于第二名領(lǐng)先了10%，方案在ACM MM競賽中得到了驗(yàn)證，并以明顯的優(yōu)勢奪得了冠軍。不僅展示了團(tuán)隊(duì)在人工智能領(lǐng)域的技術(shù)實(shí)力，也為未來的人機(jī)交互和對話系統(tǒng)的發(fā)展提供了新的可能性。

5深度偽造檢測挑戰(zhàn)

Deepfakes挑戰(zhàn)賽通過視聽級檢測任務(wù)，幫助區(qū)分真實(shí)視頻和深度偽造視頻，阻止深度偽造視頻在網(wǎng)絡(luò)上的傳播，保護(hù)信息的真實(shí)性和可靠性。在Deepfakes任務(wù)中，細(xì)粒度感知和跨模態(tài)交互能力的提升至關(guān)重要。

為解決Deepfakes提出的挑戰(zhàn)，團(tuán)隊(duì)提出了一種創(chuàng)新的局部全局交互模塊（AV-LG模塊），顯著增強(qiáng)了模型的檢測性能。該模塊由局部區(qū)域內(nèi)自我注意、全局區(qū)域間自我注意和局部全局交互組成。為了消除視頻偽造檢測中傾向于將真實(shí)樣本預(yù)測為假樣本的偏差，團(tuán)隊(duì)適當(dāng)增加了真實(shí)樣本的誤差權(quán)重。此外，團(tuán)隊(duì)發(fā)現(xiàn)理解視頻語義對于視頻偽造檢測并非必要，因此通過傅里葉變換將采樣幀轉(zhuǎn)換為頻域，進(jìn)一步提高了模型性能。通過這些技術(shù)的應(yīng)用，不僅展示了團(tuán)隊(duì)在視頻偽造檢測領(lǐng)域的技術(shù)實(shí)力，也為未來的Deepfakes檢測技術(shù)提供了新的可能性。最終獲得本賽道冠軍，研究成果通過論文的形式在 ACM MM 會(huì)議上呈現(xiàn)。

6視覺空間關(guān)系描述挑戰(zhàn)

Visual Spatial Description（VSD）挑戰(zhàn)旨在解決視覺空間語義理解領(lǐng)域的相關(guān)問題，即通過讓模型和系統(tǒng)生成準(zhǔn)確的文本描述句子，來描述輸入圖像中兩個(gè)給定目標(biāo)對象之間的空間關(guān)系，進(jìn)而推動(dòng)計(jì)算機(jī)視覺和自然語言處理領(lǐng)域在空間關(guān)系理解與描述方面的研究進(jìn)展。這有助于人機(jī)交互場景下智能設(shè)備理解用戶意圖，提升用戶體驗(yàn)。

針對VSD提出的挑戰(zhàn)，團(tuán)隊(duì)?wèi)?yīng)用 Retrieval Augmented Generation (RAG)技術(shù)來指導(dǎo)多模態(tài)大型語言模型 (MLLM)完成 VSD 任務(wù)，并利用正負(fù)樣本解決幻覺問題，進(jìn)一步微調(diào)MLLM以增強(qiáng)語義理解和整體模型效能。該方案在VSD任務(wù)中的空間關(guān)系分類和視覺語言描述任務(wù)中都表現(xiàn)出更高的準(zhǔn)確性和更少的幻覺錯(cuò)誤，取得了令人滿意的結(jié)果。同時(shí)，團(tuán)隊(duì)深入研究VSD與VSRC數(shù)據(jù)樣本不平衡問題，運(yùn)用樣本級加權(quán)損失和重采樣等策略，提高模型對低頻對象關(guān)系的學(xué)習(xí)能力，確保了其在復(fù)雜數(shù)據(jù)環(huán)境下能夠高效處理。這些策略為更高級的視覺空間描述任務(wù)鋪平了道路，為計(jì)算機(jī)視覺和自然語言處理領(lǐng)域的未來研究和實(shí)際實(shí)現(xiàn)提供了有價(jià)值的見解。團(tuán)隊(duì)以論文形式在 ACM MM會(huì)議上發(fā)表了研究成果并取得了亞軍。

此次斬獲5冠2亞，既是云知聲與中國科學(xué)技術(shù)大學(xué)緊密合作、持續(xù)探索人工智能賽道的成果，同時(shí)也是云知聲AGI技術(shù)架構(gòu)實(shí)力的有力證明。

作為國內(nèi)AGI技術(shù)產(chǎn)業(yè)化的先行者，云知聲依托其全棧AGI技術(shù)與產(chǎn)業(yè)布局，持續(xù)推動(dòng)千行百業(yè)的智慧化升級。2023年5月，云知聲發(fā)布山海大模型（UniGPT）以來，持續(xù)保持高速迭代，在 OpenCompass、SuperCLUE、MedBench、SuperBench、MMMU 等多項(xiàng)通用、醫(yī)療及多模態(tài)大模型權(quán)威評測中屢創(chuàng)佳績，通用能力穩(wěn)居國內(nèi)大模型第一梯隊(duì)，醫(yī)療大模型能力持續(xù)保持領(lǐng)先優(yōu)勢。以通用大模型為基座，云知聲構(gòu)建起一個(gè)覆蓋醫(yī)療、交通、座艙等多場景在內(nèi)的智能體矩陣，并逐步完成 “助手→同事→專家” 的自我演進(jìn)，為智慧生活、智慧醫(yī)療、智慧交通等業(yè)務(wù)提供高效的產(chǎn)品化支撐，推動(dòng)“U+X”戰(zhàn)略落實(shí)，持續(xù)踐行 “以通用人工智能(AGI)，創(chuàng)建互聯(lián)直覺的世界”的使命。

與中國科技大學(xué)的多模態(tài)技術(shù)合作，是云知聲多模態(tài)智能體演進(jìn)的重要組成部分。今年8月，云知聲推出山海多模態(tài)大模型，通過整合跨模態(tài)信息，實(shí)現(xiàn)實(shí)時(shí)多模態(tài)擬人交互體驗(yàn)，進(jìn)一步夯實(shí)了云知聲AGI技術(shù)底座，推動(dòng)山海大模型在各領(lǐng)域的廣泛應(yīng)用。

展望未來，云知聲將繼續(xù)攜手中國科學(xué)技術(shù)大學(xué)等頂尖高校，共同加強(qiáng)人工智能基礎(chǔ)理論探索與關(guān)鍵技術(shù)突破。我們將積極擴(kuò)展AGI技術(shù)的應(yīng)用場景，為智慧物聯(lián)、智慧醫(yī)療等關(guān)鍵領(lǐng)域提供更為全面和深入的人工智能解決方案，致力通過人工智能技術(shù)，為各行各業(yè)帶來革命性進(jìn)步，實(shí)現(xiàn)以AGI賦能千行百業(yè)的宏偉藍(lán)圖。