編者按：智能汽車(chē)正在從傳統(tǒng)的“制造”到“制造+服務(wù)”模式轉(zhuǎn)變。它將連接城市和個(gè)人，在個(gè)人消費(fèi)、城市管理和企業(yè)服務(wù)方面，都有著非常大的想象空間。

近日，在2021世界智能汽車(chē)大會(huì)上，商湯科技聯(lián)合創(chuàng)始人、移動(dòng)智能事業(yè)群總裁王曉剛教授發(fā)表主題演講《通用智能拓展智能汽車(chē)邊界》。

他指出，通用智能不僅可以解決大量的長(zhǎng)尾問(wèn)題，還能夠不斷豐富智能汽車(chē)的應(yīng)用場(chǎng)景。商湯致力打造的SenseCore商湯AI大裝置，正通過(guò)超級(jí)算力和超大模型，為智能汽車(chē)構(gòu)建通用智能的能力，推動(dòng)智能汽車(chē)與各個(gè)產(chǎn)業(yè)相互融合，不斷創(chuàng)新駕乘體驗(yàn)。

以下為王曉剛教授演講內(nèi)容，商湯君整理分享給大家： 非常榮幸今天能有機(jī)會(huì)與大家分享未來(lái)人工智能發(fā)展的一個(gè)重要趨勢(shì)——通用智能如何打破智能汽車(chē)的邊界。 智能汽車(chē)正在從傳統(tǒng)的“制造”到“制造+服務(wù)”模式轉(zhuǎn)變。它將連接城市和個(gè)人，因此在個(gè)人消費(fèi)、城市管理和企業(yè)服務(wù)方面，都有著非常大的想象空間。

我們知道，人工智能有三大要素：算力、算法和數(shù)據(jù)。 從算力的角度看，智能汽車(chē)的算力是智慧城市視覺(jué)感知終端算力的百倍，是智能手機(jī)的幾十倍。

由于汽車(chē)處于移動(dòng)狀態(tài)，其產(chǎn)生的感知數(shù)據(jù)無(wú)論在數(shù)據(jù)體量還是數(shù)據(jù)質(zhì)量方面，都遠(yuǎn)高于其他領(lǐng)域。智能汽車(chē)就是一個(gè)巨大的、移動(dòng)的數(shù)據(jù)生產(chǎn)源，關(guān)鍵是如何通過(guò)人工智能算法去挖掘這些數(shù)據(jù)背后的價(jià)值，我們認(rèn)為有四類(lèi)人工智能的模型： 第一類(lèi)是智能感知模型。車(chē)載會(huì)產(chǎn)生大量的視頻、圖像，還有3D的非結(jié)構(gòu)化數(shù)據(jù)，需要通過(guò)智能的感知將這些數(shù)據(jù)高效地進(jìn)行結(jié)構(gòu)化。 第二類(lèi)是決策智能。數(shù)據(jù)結(jié)構(gòu)化之后，需要更好地去做決策，包括更好地完成人機(jī)交互。 第三類(lèi)是智能內(nèi)容生成。人工智能、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)技術(shù)的發(fā)展為我們的物理世界打造了一個(gè)平行的虛擬世界。智能內(nèi)容生成能夠?yàn)樘摂M世界高效地生成大量?jī)?nèi)容，讓虛擬世界更加精彩。

第四類(lèi)是智能內(nèi)容增強(qiáng)。在高速運(yùn)動(dòng)、極暗等各種極端情況下，仍能得到高質(zhì)量的圖像和視頻，也是人工智能模型能給數(shù)據(jù)帶來(lái)的價(jià)值。

通用智能拓展智能汽車(chē)邊界

通過(guò)人工智能拓展智能汽車(chē)的邊界，需要解決兩方面的問(wèn)題：

第一，需要解決大量的長(zhǎng)尾問(wèn)題。比如在智能駕駛的過(guò)程中，有很多場(chǎng)景出現(xiàn)的頻次很低，也沒(méi)有大數(shù)據(jù)的支撐去做訓(xùn)練，但是一旦出現(xiàn)其產(chǎn)生的后果會(huì)非常嚴(yán)重。未來(lái)，不同汽車(chē)智能駕駛功能的差異化，就在于誰(shuí)能夠去解決更多的長(zhǎng)尾問(wèn)題，滿足消費(fèi)者更好的體驗(yàn)。

第二，要不斷豐富智能汽車(chē)的應(yīng)用場(chǎng)景。比如智能駕駛中，從高速路自動(dòng)巡航，到普通城區(qū)中的自動(dòng)駕駛，從有高精地圖到?jīng)]有高精地圖覆蓋的廣大區(qū)域;在智能車(chē)艙中，從駕駛員感知到對(duì)老人、兒童、寵物的關(guān)愛(ài)，再到智慧健康功能的應(yīng)用;又如智能汽車(chē)和城市的元宇宙、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)應(yīng)用的融合;再如多模交互，通過(guò)基于視覺(jué)的姿態(tài)、表情、唇語(yǔ)的識(shí)別和語(yǔ)音以及自然語(yǔ)言理解相結(jié)合，帶來(lái)更好的人機(jī)交互新體驗(yàn)。

隨著智能汽車(chē)對(duì)人工智能的功能和需求不斷提高，場(chǎng)景不斷豐富，也就對(duì)通用人工智能提出了要求。 不同于以往的單一智能，單個(gè)AI模型輸入的數(shù)據(jù)類(lèi)型是單一的，只能完成單一任務(wù)、適應(yīng)單一場(chǎng)景，利用通用人工智能技術(shù)，一個(gè)模型能夠輸入語(yǔ)音、圖像、文字，還有激光雷達(dá)的3D點(diǎn)云等多種類(lèi)型的數(shù)據(jù)，并完成各種各樣的任務(wù)。

通用模型的出現(xiàn)，能夠幫助我們實(shí)現(xiàn)不同行業(yè)之間的融合，實(shí)現(xiàn)產(chǎn)品和場(chǎng)景應(yīng)用的創(chuàng)新。

商湯致力于打造的人工智能基礎(chǔ)設(shè)施SenseCore AI大裝置，同時(shí)支撐四個(gè)領(lǐng)域的眾多行業(yè)，包括智慧商業(yè)、智慧城市、智慧生活和智能汽車(chē)。在這些領(lǐng)域中，結(jié)合數(shù)據(jù)和大量行業(yè)反饋，又能夠助推我們打造通用智能的研發(fā)平臺(tái)和模型。

當(dāng)AI大裝置不斷迭代，探索下一代研發(fā)體系時(shí)，就能夠同時(shí)推動(dòng)各行業(yè)研發(fā)體系的升級(jí)和飛躍，這將成為推動(dòng)社會(huì)生產(chǎn)力發(fā)展非常有效的迭代方式。

基于AI大裝置，商湯以“一橫一縱”的方式打造了智能汽車(chē)的創(chuàng)新底座，推出了智能汽車(chē)解決方案的獨(dú)立品牌——SenseAuto商湯絕影智能汽車(chē)平臺(tái)。

“一縱”是指能夠提供智能駕駛和智能車(chē)艙的全棧解決方案，“一橫”是指將基礎(chǔ)的軟硬件設(shè)施提供給車(chē)廠和合作伙伴，賦能不同的主機(jī)廠。商湯也建立起路云感知平臺(tái)，將車(chē)載數(shù)據(jù)、路端感知數(shù)據(jù)和其他行業(yè)的數(shù)據(jù)匯集起來(lái)，不斷拓展智能汽車(chē)的應(yīng)用場(chǎng)景。

商湯絕影的戰(zhàn)略定位有三個(gè)： 第一，幫助商湯的生態(tài)合作伙伴和客戶深度挖掘汽車(chē)感知數(shù)據(jù)的價(jià)值。 第二，連接智能汽車(chē)和商湯智慧產(chǎn)業(yè)生態(tài)，實(shí)現(xiàn)服務(wù)輸出。

第三，實(shí)現(xiàn)商湯與汽車(chē)產(chǎn)業(yè)和生態(tài)的共生共贏。 從2016年開(kāi)始商湯進(jìn)入智能汽車(chē)行業(yè)，截至今年上半年已有30+車(chē)企客戶、50+個(gè)合作伙伴，覆蓋50+種車(chē)型，在未來(lái)數(shù)年內(nèi)將向2000多萬(wàn)輛汽車(chē)提供絕影產(chǎn)品。

新一代通用視覺(jué)技術(shù)體系“書(shū)生” 不久前，我們聯(lián)合上海人工智能實(shí)驗(yàn)室、香港中文大學(xué)、上海交通大學(xué)，共同發(fā)布新一代通用視覺(jué)技術(shù)體系“書(shū)生”(INTERN)。 書(shū)生訓(xùn)練一個(gè)通用視覺(jué)模型分幾個(gè)階段：首先匯集行業(yè)中的數(shù)據(jù)，共同打造一個(gè)通用的“通才模型”，不單會(huì)寫(xiě)文章，還琴棋書(shū)畫(huà)樣樣精通，實(shí)現(xiàn)更強(qiáng)的適應(yīng)性。

在此基礎(chǔ)上，結(jié)合各個(gè)專(zhuān)業(yè)領(lǐng)域，各個(gè)場(chǎng)景中少量的數(shù)據(jù)，打造某個(gè)專(zhuān)業(yè)的“專(zhuān)才模型”，如針對(duì)智慧城市、自動(dòng)駕駛、文化旅游等不同領(lǐng)域的專(zhuān)才模型。經(jīng)過(guò)這幾個(gè)階段，可以讓模型的通用性變得非常強(qiáng)。 我們也和世界上最頂級(jí)的研究成果進(jìn)行了對(duì)比，相較于OpenAI的CLIP，“書(shū)生”在只有10%的數(shù)據(jù)的情況下，就能實(shí)現(xiàn)超過(guò)CLIP基于完整下游數(shù)據(jù)的準(zhǔn)確度。

在商湯兩個(gè)階段的模型生產(chǎn)方法中，首先是訓(xùn)練世界目前最大的300億參數(shù)的視覺(jué)模型。基于這一超大模型，可以衍生出超過(guò)2萬(wàn)多個(gè)商用模型。

這一過(guò)程需要非常強(qiáng)的算力支持。我們?cè)谂R港新建的商湯智算中心AIDC，擁有每秒3.74百億億次浮點(diǎn)運(yùn)算的總算力、全套的自動(dòng)數(shù)據(jù)標(biāo)注、隱私保護(hù)和數(shù)據(jù)安全能力，同時(shí)還能夠形成數(shù)據(jù)閉環(huán)。并可選擇需要哪些數(shù)據(jù)進(jìn)行回流，回流之后進(jìn)行自動(dòng)標(biāo)注和模型更新。所有這些都基于AIDC和超大模型。 商湯也把智能汽車(chē)和多個(gè)行業(yè)緊密地結(jié)合在一起。舉一些例子： 在今年世界人工智能大會(huì)上，商湯發(fā)布世界上第一款自動(dòng)駕駛AR小巴。

我們將上海的一個(gè)城區(qū)進(jìn)行了三維數(shù)字化，借助車(chē)載大屏和車(chē)外視覺(jué)感知設(shè)備，就可以形成虛擬世界和物理世界的融合。乘客坐在車(chē)?yán)锟梢泽w驗(yàn)到城市的發(fā)展、經(jīng)濟(jì)文化的創(chuàng)新，就像坐在穿梭的博物館中。

此外，數(shù)字人已經(jīng)應(yīng)用于各行各業(yè)，商湯也把它引入到了智能車(chē)艙中，根據(jù)消費(fèi)者的喜好，實(shí)現(xiàn)千人千面。 商湯還把智慧健康引入到車(chē)艙當(dāng)中，讓乘員在車(chē)艙中即可檢測(cè)心率、呼吸頻率、血壓等情況，通過(guò)視覺(jué)手段，給消費(fèi)者帶來(lái)關(guān)愛(ài)和長(zhǎng)期關(guān)懷。

人工智能正在快速?gòu)膯我恢悄芟蛲ㄓ弥悄馨l(fā)展。商湯也致力于打造人工智能基礎(chǔ)設(shè)施，促進(jìn)產(chǎn)業(yè)融合，不斷拓展智能汽車(chē)的應(yīng)用邊界和場(chǎng)景，與合作伙伴一起迎接智能汽車(chē)的新未來(lái)。

相關(guān)閱讀，戳這里

《車(chē)艙里就能健康檢測(cè)，商湯絕影：謝邀!》 《商湯絕影智能汽車(chē)平臺(tái)將賦能一汽南京，加速新一代智能汽車(chē)量產(chǎn)》

原文標(biāo)題：商湯科技聯(lián)合創(chuàng)始人王曉剛教授：通用智能拓展智能汽車(chē)邊界

文章出處：【微信公眾號(hào)：商湯科技SenseTime】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
審核編輯：湯梓紅