編者按：在剛剛過去的2022北京冬奧會上，商湯科技在科技部“科技冬奧”專項支持下，參與了多項課題項目，為科技冬奧貢獻力量。從超現(xiàn)實的觀賽體驗到沉浸式AR導航，商湯冬奧團隊都實現(xiàn)了哪些技術(shù)創(chuàng)新?又在過程中解決了哪些新的挑戰(zhàn)?在這里，將為您揭開商湯賦能科技冬奧背后的一些故事。

盡管2022年北京冬奧會已經(jīng)結(jié)束，但是很多驚艷世界的創(chuàng)新技術(shù)，依然持續(xù)傳遞著“科技冬奧”精神。

“冰壺運動軌跡捕捉和再現(xiàn)”技術(shù)就是其中之一。

冰壺比賽是北京冬奧賽程最長的項目，從開幕前兩天的2月2日開賽，一直持續(xù)至2月20日閉幕當天，來自全球不同國家和地區(qū)的三十支參賽隊進行了混雙、男子團體、女子團體共147場比賽。

作為一種策略游戲，冰壺有著“冰上象棋”美譽。矗立在冰壺比賽現(xiàn)場的一座170㎡的巨幕大屏，則在每一場比賽中都準確無誤地描繪出冰壺的運動軌跡曲線，同時以垂直視角實時呈現(xiàn)大本營的無形變畫面，幫助場上運動員分析研判對戰(zhàn)形勢、適時調(diào)整投壺技戰(zhàn)術(shù)。

線上觀賽的觀眾，也能夠通過“咪咕視頻”APP選擇“咪咕&商湯AI技戰(zhàn)術(shù)分析”直播窗口一覽冰壺軌跡和賽事信息，更好了解和感受冰壺運動的精髓。

“雖然只是捕捉一個小小冰壺的軌跡，但背后卻涉及諸多的技術(shù)挑戰(zhàn)。四年一屆的冬奧會機會難得，我們希望盡最大努力，將更高質(zhì)量的觀賽體驗帶給觀眾?！必撠煷舜雾椖康纳虦萍?a href="http://www.brongaenegriffin.com/v/tag/2562/" target="_blank">算法技術(shù)負責人王權(quán)、產(chǎn)品負責人王磊與項目經(jīng)理鄭少林等人，歷時十個的時間，克服多種技術(shù)難題和突發(fā)性挑戰(zhàn)，基于商湯SenseMARS火星混合現(xiàn)實平臺，成功實現(xiàn)這項技術(shù)在全世界的首次應(yīng)用。

在巨大“冰立方”中捕捉微小的冰壺

2020年10月，科技部完成“科技冬奧”重點專項2020年度指南項目立項批復。憑借在人工智能深度學習、虛實融合、AR智能化觀賽等領(lǐng)域的技術(shù)能力優(yōu)勢和豐富實踐經(jīng)驗，商湯科技有幸參與并負責了由國家游泳中心牽頭的“冰壺賽況的智能感知與虛實融合技術(shù)和平臺研究”課題項目，為科技冬奧貢獻力量。

“冰立方”是冬奧會歷史上體量最大的冰壺場館，在兩年前“水冰轉(zhuǎn)換”過程中，其冰壺場地改造工程總面積約5萬平方米。冰壺比賽每條賽道長40多米，在比賽過程中，每條賽道內(nèi)通常會有16個冰壺，并有2支隊伍8名運動員來回走動。

在一名隊員擲球時，兩名本方隊員會在冰壺滑行前方左右兩側(cè)快速擦刷冰面。要在如此多人員頻繁移動、多個目標密集分布、互相遮擋的情況下，從超大的場館中準確捕捉到直徑約30厘米的小冰壺，給硬件方案和算法設(shè)計都提出巨大難題。

針對這一挑戰(zhàn)，商湯團隊進行重點攻堅，經(jīng)過考察和反復研究，確定了通過在場館不同位置安裝42個高清攝像頭從不同角度捕捉賽道上運動冰壺的硬件方案，同時原創(chuàng)開發(fā)了“多視角實時動態(tài)捕捉技術(shù)”、“多相機感知融合技術(shù)”、“多目標定位追蹤技術(shù)”，對不同攝像頭拍攝的圖像進行智能合成，計算出冰壺的運動參數(shù)。

最終，商湯團隊成功實現(xiàn)了超大空間范圍內(nèi)，遠距離精準檢測識別定位跟蹤可能被遮擋的運動冰壺?！皬膶Ρ鶋剡\動的實時捕捉，到對冰壺坐標參數(shù)的快速計算，再到運行軌跡的合成和渲染，我們通過軟硬件的緊密協(xié)同，實現(xiàn)了全流程的自動化處理，整個流程只需不到1秒，并且將位置精確度保證在10厘米以內(nèi)”，鄭少林表示。

賽事期間的任務(wù)同樣艱巨。每天早中晚的三個時段，四個賽道會分別舉辦一場冰壺比賽，相當于一天就有12場比賽。為保證“冰壺運動軌跡捕捉和再現(xiàn)”技術(shù)在每場比賽的順利運行，商湯專門在閉環(huán)內(nèi)外設(shè)立了9人保障團隊。

閉環(huán)外安排2名固定工作人員，4名輪換工作人員，閉環(huán)外人員需要在每場比賽開始的半個小時之前，確保冰壺運動軌跡捕捉系統(tǒng)和可視化分析平臺以及近20臺服務(wù)器的正常啟用，從早上8點半左右一直工作到晚上10點半左右。

閉環(huán)內(nèi)的3名工作人員則負責比賽期間可視化平臺的賽事創(chuàng)建、賽程、隊員和軌跡管理工作，智慧觀賽系統(tǒng)和線上AI直播系統(tǒng)的服務(wù)啟停、監(jiān)測、功能優(yōu)化和故障修復等工作。

由于冰壺混雙、女子團體、男子團體等不同比賽的規(guī)則不盡相同，而每局比賽中還會經(jīng)常出現(xiàn)投壺隊員順序臨時變更，裁判判罰投壺無效需要重新投壺等情況，這些因素都會對投壺情況的后臺統(tǒng)計分析和前端呈現(xiàn)產(chǎn)生影響。因此需要3名工作人員時刻緊盯比賽進程，對賽況進行分析和判斷，實時切換比賽的開始/結(jié)束狀態(tài)，監(jiān)測智能大屏系統(tǒng)和線上AI直播系統(tǒng)的穩(wěn)定性，同時根據(jù)賽場運動員的賽前介紹和投壺順序更新運動員、冰壺序號等信息，確保準確無誤地記錄和統(tǒng)計每場比賽的投壺情況。

從精準的軌跡捕捉，到完善的運維保障，看似一切工作準備就緒，然而還是遇到了一些“小插曲”。

就在北京冬奧會冰壺比賽正式開賽前一天，團隊進場做最后的設(shè)備檢查和測試工作時，突然發(fā)現(xiàn)用于固定拍攝大本營畫面攝像頭的桁架，會受到國外媒體攝像機轉(zhuǎn)動的影響而產(chǎn)生晃動，造成現(xiàn)場大屏上大本營畫面的輕微晃動。雖然幅度很小，次數(shù)也不多，但為了呈現(xiàn)最佳的顯示效果，商湯團隊在和國家游泳中心基礎(chǔ)設(shè)施保障團隊快速溝通后毅然決定調(diào)整方案。

在國家游泳中心大力支持下，加急采購新的桁架，并調(diào)度閉環(huán)內(nèi)外各個資源方的工作人員，從夜里零點開始，用了不到五個小時的時間，完成了桁架的運輸、攝像頭的拆卸和二次安裝等工作。

不僅如此，團隊還通過在軟件層面增加攝像頭拍攝位置和角度可調(diào)整的功能，不斷調(diào)教大本營畫面，以確保大本營整體畫面位置的準確呈現(xiàn)。最終，在正式比賽開賽前，問題順利得到解決，確保了大屏畫面全程穩(wěn)定的輸出。

整個賽事期間，商湯團隊不僅要確保冰壺運動軌跡在現(xiàn)場大屏畫面中的準確顯示，還要保證在“咪咕視頻”APP中的精準呈現(xiàn)。

在比賽首日，聚集在大本營周邊的人員越來越多，導致部分軌跡在手機屏幕上觀看會有明顯抖動現(xiàn)象。團隊隨即第一時間進行了算法迭代，通過對軌跡進行平滑處理等優(yōu)化工作，最終實現(xiàn)了非常完美的效果?！拔覀兯龅牟粌H僅只是現(xiàn)場的保障，而是在不斷發(fā)現(xiàn)問題、解決問題，依靠我們豐富的算法經(jīng)驗，進行持續(xù)迭代和優(yōu)化，盡可能打造更好的賽事直播和觀看體驗”，王權(quán)表示。

智慧觀賽技術(shù)與巨幕大屏相結(jié)合，起到了非常好的輔助觀賽、科技助力效果，獲得現(xiàn)場觀眾、媒體、運動員、教練和技術(shù)官員的認可。在整個比賽過程中，運動員在比賽中“回頭看大屏”的現(xiàn)象已成常態(tài)。

事實上，早在去年10月，“冰壺運動軌跡捕捉技術(shù)”已經(jīng)在輪椅冰壺世錦賽上提前亮相并應(yīng)用，當時還得到了世界冰壺聯(lián)合會主席凱特·凱斯尼斯等多方好評。在即將到來的北京冬殘奧會冰壺輪椅比賽期間，這項技術(shù)將繼續(xù)應(yīng)用。

咪咕解說嘉賓也對這項技術(shù)的應(yīng)用予以高度評價：看比賽，光看得清還不夠，還要看得懂。對于許多人來說，有不少冰雪項目規(guī)則復雜，往往會看得一頭霧水。直播觀賽時如果有專業(yè)分析，那可真是“雪中送炭”。

以直播和分析解說的形式，直觀呈現(xiàn)比賽過程中冰壺的運動軌跡曲線，讓不少資深體育迷直呼過癮，也獲得冰雪“小白”的大力點贊。

對運動員和教練來說，“冰壺運動軌跡捕捉”這項技術(shù)可以運用到他們的日常訓練中，幫助提高訓練和比賽水平。而對普羅大眾來說，這項跨越虛實的技術(shù)，可以讓觀眾更全面地了解冰壺運動的精髓。

雖然冰壺起源于16世紀的蘇格蘭，但中國直到2000年才成立第一支冰壺隊，這使很多大眾對冰壺比較陌生，也很少接觸這項運動。在商湯團隊與國家游泳中心共同規(guī)劃這項課題時，便一致希望通過創(chuàng)新技術(shù)的應(yīng)用，激發(fā)更多人對冰壺運動的興趣，甚至由此助力冰壺運動在中國的發(fā)展和進步。

AI破解大面積冰雪場景AR導航難題

除了“冰壺運動軌跡捕捉”技術(shù)外，商湯團隊還在科技部科技冬奧專項支持下，負責了“基于3D的實時精準定位技術(shù)、虛擬與現(xiàn)實結(jié)合的3D高精度識別的智慧AR導航系統(tǒng)研究”課題。憑借原創(chuàng)的SenseMARS火星混合現(xiàn)實平臺的強大能力，商湯創(chuàng)新地通過GPS與視覺融合的數(shù)據(jù)關(guān)聯(lián)方法和參數(shù)分塊優(yōu)化方法在短時間內(nèi)，將超現(xiàn)實體驗帶向了張家口冬奧村。

經(jīng)過幾個月的研發(fā)攻關(guān)，商湯實現(xiàn)了大尺度場景下厘米級的3D空間構(gòu)建和部署，并解決了動態(tài)復雜場景下實現(xiàn)精準定位跟蹤等難題。

在項目過程中，團隊還克服很多其他AR導航場景很少遇到的難題，包括冬奧村內(nèi)建筑群風格比較統(tǒng)一導致存在的大面積相似紋理，冰雪覆蓋造成場景視覺變化多等挑戰(zhàn)。

測試過程中，商湯團隊還發(fā)現(xiàn)整個冬奧村是一個斜面，存在數(shù)米落差，最終通過重新建模，將導航地圖動態(tài)的規(guī)劃在一個水平面上予以解決，讓AR導航箭頭在不同坡度的地面上都可以準確與地面貼合，實現(xiàn)實時、精準的6自由度空間定位。

最終，商湯團隊實現(xiàn)了在張家口冬奧村近30萬平方米區(qū)域內(nèi)的任意地點，都能保證精準定位。該應(yīng)用無需獨立APP，僅借助web瀏覽器即可輕松體驗。

無論是“冰壺運動軌跡捕捉”，還是冬奧村AR導航，都成功助力了“科技冬奧”從愿景走進現(xiàn)實，同時也為這些技術(shù)在更多領(lǐng)域的規(guī)模化應(yīng)用，起到推動作用。比如，冰壺捕捉背后“在大空間內(nèi)捕捉小物體”的感知技術(shù)，還可以用于城市、工業(yè)等場景，輔助車輛和設(shè)備的智慧管理。

“科技冬奧”理念不僅僅是展現(xiàn)技術(shù)的創(chuàng)新成果，商湯更希望借此機遇，增進大眾對創(chuàng)新科技的認知，更好推動AI技術(shù)的創(chuàng)新和應(yīng)用，最終惠及到城市管理、產(chǎn)業(yè)發(fā)展和個人生活當中，普惠大眾，改變生活。

原文標題：從30厘米冰壺到30萬平米冬奧村，揭秘冰雪盛會中的商湯“黑科技”

文章出處：【微信公眾號：商湯科技SenseTime】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯：湯梓紅