“市面上現(xiàn)有的AI大模型雖然頭腦逐漸發(fā)達(dá)，卻無法與物理世界產(chǎn)生交互?！闭赜^電子創(chuàng)始人馮歆鵬告訴高工移動機器人，要真正實現(xiàn)交互，還有大量的問題沒有被解決，當(dāng)前AI只能解決1%不到的問題，還有99%的問題亟待空間智能解決。

空間智能：讓機器理解世界

“人類智能可以簡要歸納為兩大智能，‘語言智能’和‘空間智能’。雖然語言智能備受關(guān)注，但空間智能將對 AI 產(chǎn)生巨大影響?！盇I教母李飛飛曾在演講中提到：世界是3D 的，空間智能是視覺智能的發(fā)展方向。

她認(rèn)為，人工智能正處于一個激動人心的階段，而空間智能技術(shù)使機器能夠與人，以及真實或想象中的三維世界進(jìn)行互動。

英偉達(dá)高級計算機科學(xué)家 Jim Fan 也稱，空間智能，是計算機視覺和實體智能體的下一個前沿。

2024年4月份，李飛飛被曝創(chuàng)業(yè)——投身純視覺的“空間智能”。

直到2024年12月，其初創(chuàng)公司 World Labs 終于官宣了空間智能模型：僅用一張簡單的圖片就能生成一個3D世界。

值得注意的是，里面所有場景都能在瀏覽器中實時渲染，還能實現(xiàn)可控的相機效果、可調(diào)節(jié)的模擬景深。

這讓很多人看到了空間智能的希望——能顯著提升游戲、教育等行業(yè)的效率和體驗。然而，空間智能的未來遠(yuǎn)不止此。

空間智能到底是什么?

按照World Labs 聯(lián)合創(chuàng)始人賈斯汀的說法，空間智能是指機器在三維空間和時間中感知、推理和行動的能力。也就是讓機器理解物體和事件在三維空間和時間中的位置，以及世界中的交互如何影響這些三維位置，從而完成感知、推理、生成、交互等任務(wù)，真正將機器從大型機或數(shù)據(jù)中心中解放出來，讓它進(jìn)入現(xiàn)實世界，并理解這個豐富多彩的三維、四維世界。

簡單來說，就是讓機器能像人類一樣，能夠理解世界，擁有復(fù)雜的視覺感知推理能力。

這很難，僅靠純視覺+AI 真的能完成嗎?

肇觀電子：成為端側(cè)英偉達(dá)

肇觀電子創(chuàng)始人馮歆鵬給出了答案：要讓智能設(shè)備看得懂世界，首先得看得見世界和看得清楚世界。

對于智能設(shè)備來說，世界反饋的信息是爆炸式的，要理解一張圖片或者一段視頻，背后的算力需求極其龐大，因此芯片異常重要。

作為前AMD芯片研發(fā)總監(jiān)，馮歆鵬主導(dǎo)和參與設(shè)計了50余款數(shù)千萬量級的頂尖CPU和GPU芯片。他清楚傳統(tǒng)的CPU、GPU芯片面對海量的像素信息無法高效滿足實時處理需求，因此，選擇了研發(fā)VPU芯片，即視覺處理器。

它區(qū)別于傳統(tǒng)芯片，可以實時處理端側(cè)數(shù)據(jù)、聚焦光子到比特的問題，從大量信息中提取有價值的少量信息，專門解決像素爆炸的痛點。

讓智能設(shè)備通過“光電轉(zhuǎn)換的Sensor+VPU” 的硅基系統(tǒng)看世界，就像人通過“視網(wǎng)膜+大腦的視神經(jīng)皮層” 的碳基系統(tǒng)看世界一樣，智能設(shè)備也能理解物理世界中的關(guān)鍵信息。

“AI 其實是模擬人的代碼。人的大腦分為兩部分思維方式，一部分是想象，即從少量信息生成多量信息這個過程，在AI里對應(yīng)GPU;另一部分是從大量信息中抽取少量信息，這部分對應(yīng)VPU。也就是說，VPU+GPU共同構(gòu)成AI。”

馮歆鵬接著說道，目前做GPU的企業(yè)像英偉達(dá)已經(jīng)跑出了近4萬億美金的市值，而視覺作為智能的基礎(chǔ)，重要性更高，可以說，解決視覺問題就是解決一半的人工智能問題。

“將來VPU市場一定會誕生萬億美元的公司，這是一條值得耕耘百年甚至更久的賽道?！瘪T歆鵬表示，肇觀電子的目標(biāo)，是成為“端側(cè)的英偉達(dá)”。

五大技術(shù)助力空間智能實現(xiàn)

肇觀電子成立于2016年，專注于人工智能計算機視覺處理芯片設(shè)計和終端應(yīng)用，是空間智能的核心供應(yīng)商。

“市面上現(xiàn)有的AI大模型雖然頭腦逐漸發(fā)達(dá)，卻無法與物理世界產(chǎn)生交互。”馮歆鵬告訴高工移動機器人，要真正實現(xiàn)交互，還有大量的問題沒有被解決，當(dāng)前 AI 只能解決1%不到的問題，還有99%的問題亟待空間智能解決。

在不斷助力空間智能實現(xiàn)的路上，肇觀電子已有所成就。

針對像素處理的效率問題、算力帶來的能源問題、低延時的必要性以及VPU和GPU的互補性等，肇觀電子堅持給每一代產(chǎn)品應(yīng)用五大底層技術(shù)——成像、3D、AI、VSLAM加速以及SoC，幫助智能設(shè)備感知真實世界。

成像

芯片自帶ISP圖像處理，可以解決強光、弱光和逆光等各種特殊光照條件下的成像問題，HDR與極暗光照成像效果業(yè)界領(lǐng)先;并且精調(diào)80多種sensor，適配性強。

3D

3D幾何計算引擎設(shè)計領(lǐng)先，利用空間和時間相關(guān)性信息計算輸出高精度深度圖，反過來推算出自身在空間環(huán)境中的位置，和其他物體進(jìn)行互動。

AI

支持包括Transformer在內(nèi)的各類神經(jīng)網(wǎng)絡(luò)模型，支持INT8并同時支持 FP16 ，硬件引擎利用率業(yè)界領(lǐng)先。

VSLAM

VSLAM-lib可實現(xiàn)視覺實時三維重建加速，和定位及構(gòu)圖硬件加速，使得設(shè)備能夠在三維空間中精準(zhǔn)定位和空間建模。

SoC

采用SoC單芯片方案，高度集成上述多種能力，單顆芯片集成了30個小芯片，具備性能高、功耗低、成本低、系統(tǒng)復(fù)雜度低的特點。并且接口豐富，軟件完全自主可控，支持客戶靈活開發(fā)。

基于這五大底層技術(shù)，肇觀電子目前已成功發(fā)布具備先進(jìn)視覺處理能力的V系列、D系列、N系列芯片及模組，廣泛應(yīng)用于輔助駕駛、工業(yè)和機器人等領(lǐng)域。

在泛機器人領(lǐng)域，肇觀電子的產(chǎn)品廣泛應(yīng)用于工業(yè)機器人、服務(wù)機器人、割草機器人、無人機以及人形機器人，是多家移動機器人頭部企業(yè)的合作商。

其代表產(chǎn)品費曼系列相機，基于自主研發(fā)的NE-D163A 主控SoC人工智能視覺芯片，籍由NE-D163A 強大的ISP、DSP、CNN 和 Depth 處理能力，能夠提供主動雙目立體視覺感知能力，在室內(nèi)外各種場景，均能生成高幀率和高精度的深度圖，同時支持端側(cè)實時智能AI算法的部署。

下圖為費曼相機的真實成像，馮歆鵬介紹道，跟Intel RealSense 相比，費曼相機生成的深度圖噪點更少，而且擁有AI加持。

目前，費曼系列相機已經(jīng)被廣泛使用在AGV/AMR、機械臂、各類移動機器人、無人機、工業(yè)檢測等生產(chǎn)的各個場景，累計出貨5萬套以上并快速增長。

最后

雖然目前離李飛飛所言的空間智能還有一定距離，但其基本技術(shù)——純視覺的落地應(yīng)用已有廣泛布局。

像特斯拉就是純視覺堅定的支持者;近年來大興的人形機器人因著數(shù)據(jù)收集及學(xué)習(xí)的需要，應(yīng)用的技術(shù)也大多是純視覺;多家移動機器人及汽車廠商也應(yīng)用了純視覺技術(shù)。

高工機器人產(chǎn)業(yè)研究所(GGII)數(shù)據(jù)顯示，2023年中國機器視覺市場規(guī)模185.12億元(該數(shù)據(jù)未包含自動化集成設(shè)備規(guī)模)，同比增長8.49%。

相信未來技術(shù)成熟之時，空間智能定能如馮歆鵬預(yù)測那般，成長為萬億美元市場。

—END—