電子發(fā)燒友網(wǎng)報道（文/李彎彎）日前，在火山引擎2025春季FORCE原動力大會上，星宸科技股份有限公司董事副總經(jīng)理陳立敬談到，在人工智能技術(shù)飛速發(fā)展的時代，多模態(tài)感知與大模型的融合成為推動各行業(yè)變革的關(guān)鍵力量。星宸科技與豆包大模型的合作，將這一技術(shù)趨勢落實到實際應(yīng)用場景中，在智能家居、可穿戴設(shè)備以及連鎖店等領(lǐng)域引發(fā)了深刻變革。

智能家居升級

陳立敬指出：“智能家居2.0需要大模型大腦”。在智能家居領(lǐng)域，多模態(tài)感知與豆包大模型的結(jié)合實現(xiàn)了從基礎(chǔ)連接控制到智能理解決策的跨越升級。傳統(tǒng)的智能家居1.0時代，設(shè)備僅能實現(xiàn)簡單的連接與控制功能，而如今智能家居2.0時代，星宸科技借助多模態(tài)感知技術(shù)，為設(shè)備賦予了“感知”能力。以SSC305DE產(chǎn)品為例，其具備1TOPs + 2*CA32 + CM4的計算能力，支持多模態(tài)感知且功耗較低，能接入雙攝像頭，搭配豆包大模型，構(gòu)建起全面的智能看護體系。

在居家跌倒監(jiān)測場景中，端側(cè)設(shè)備通過視覺和語音等多模態(tài)信息初步識別，將有效幀、有效信息發(fā)送至云端豆包大模型進行確認。豆包大模型憑借強大的視覺理解和語音交互能力，不僅提高了事件識別率，避免誤報、漏報，還能在確認跌倒后主動交互，及時通知家人和物業(yè)，保障老人安全。

此外，智能家居還接入豆包大模型實現(xiàn)問醫(yī)問藥、情感陪伴等功能。用戶在家中就能通過設(shè)備獲取專業(yè)醫(yī)療建議，與設(shè)備進行自然流暢的情感交流，滿足情感陪伴需求。同時，通過在板端搭建RAG應(yīng)用，結(jié)合云端大模型，打造智能管家和私人知識庫，實現(xiàn)對個人私有數(shù)據(jù)的高效管理與智能問答。

大模型如何改變可穿戴場景

可穿戴設(shè)備領(lǐng)域同樣因多模態(tài)感知與豆包大模型的結(jié)合而煥然一新。星宸科技的SSC309QL 小型化、低功耗產(chǎn)品，擁有15TOPs算力，適用于智能眼鏡、智能胸牌等設(shè)備，為多模態(tài)交互提供了硬件基礎(chǔ)。

智能眼鏡成為個人豆包智能助理的最佳載體，在多個場景發(fā)揮重要作用。在學(xué)習(xí)場景中，智能眼鏡通過多模態(tài)感知獲取學(xué)習(xí)資料、學(xué)生的學(xué)習(xí)狀態(tài)等信息，結(jié)合豆包大模型的知識儲備，為用戶提供學(xué)習(xí)輔導(dǎo)和翻譯服務(wù)；在工作場景中，可輔助會議記錄、商務(wù)溝通和客戶管理，成為高效的工作助理；在日常生活中，能實現(xiàn)快速拍照、錄像、直播等功能，還可根據(jù)用戶定義的感興趣區(qū)域或物體，智能判斷場景并截取精彩瞬間，生成集錦。在運動和旅游場景中，用戶無需動手操作手機，智能眼鏡就能實時感知環(huán)境，結(jié)合豆包大模型提供導(dǎo)航、景點介紹等服務(wù)，真正實現(xiàn)解放雙手，提升用戶體驗。

大模型應(yīng)用之連鎖店提效

在連鎖店領(lǐng)域，多模態(tài)感知與豆包大模型的應(yīng)用助力企業(yè)實現(xiàn)高效運營和精準管理。星宸科技的SSC388G多模態(tài)大算力產(chǎn)品，支持3路sensor輸入，具備強大的多模態(tài)分析能力，配合豆包大模型，為連鎖店帶來全方位的提效方案。

在安防合規(guī)監(jiān)測方面，通過實時行為監(jiān)測與分析，能快速識別違法違規(guī)及可疑行為，并聯(lián)動安防系統(tǒng)發(fā)出警報，保障店鋪安全；在客流分析優(yōu)化上，利用多模態(tài)數(shù)據(jù)進行客流預(yù)測，根據(jù)員工經(jīng)驗和能力合理排班，減少人力浪費，同時通過追蹤客戶移動路徑，識別高流量區(qū)域，優(yōu)化貨架布局，提升排隊及結(jié)算效率；在運營管理方面，可識別貨架空置率，自動觸發(fā)補貨工單，還能判斷價簽與促銷是否合規(guī)；在員工效率提升方面，實現(xiàn)動作標(biāo)準化檢測及工時統(tǒng)計。

以沃爾瑪為例，通過應(yīng)用相關(guān)技術(shù)，利用AI攝像頭將盜竊損失減少35%，借助多模態(tài)分析根據(jù)攝像頭數(shù)據(jù)生成決策建議，利用熱力圖調(diào)整陳列，使高價值區(qū)域轉(zhuǎn)化率提升18%；其他便利店也通過視覺補貨系統(tǒng)降低缺貨率27%，充分展現(xiàn)了該技術(shù)在連鎖店運營中的巨大價值。

寫在最后

多模態(tài)感知與豆包大模型的結(jié)合，為智能家居、可穿戴設(shè)備和連鎖店等行業(yè)帶來了顯著的升級與變革。隨著技術(shù)的不斷發(fā)展和完善，這一技術(shù)組合有望在更多領(lǐng)域得到應(yīng)用，持續(xù)推動各行業(yè)向智能化、高效化方向邁進，為人們的生活和生產(chǎn)方式帶來更大的改變。