簡(jiǎn)介：ShiMetaPi Hybrid Vision SDK 由 hybrid_vision_toolkit 和 hybrid_vision_algo 兩個(gè)獨(dú)立的SDK組成，分別實(shí)現(xiàn)視覺(jué)融合相機(jī)的接口控制和算法處理。

一、shimetapi_Hybrid_vision_algo (算法層 SDK)

定位： 這是 SDK 的核心算法處理層，位于架構(gòu)的中間層（黃色部分）。
核心功能： 專(zhuān)注于處理來(lái)自事件相機(jī)的原始數(shù)據(jù)流，執(zhí)行高級(jí)的計(jì)算機(jī)視覺(jué)算法，以提升數(shù)據(jù)質(zhì)量、提取有用信息或進(jìn)行三維理解。
包含的模塊：

降噪 (Denoise): 去除事件流中的噪聲，提高信號(hào)質(zhì)量。

插值 (Interpolation): 用于在事件之間生成中間數(shù)據(jù)點(diǎn)，或與標(biāo)準(zhǔn)幀圖像進(jìn)行時(shí)空對(duì)齊/融合。

修復(fù) (Restoration): 用于處理數(shù)據(jù)缺失或異常。

計(jì)算機(jī)視覺(jué)/三維視覺(jué) (CV/CV3D): 包含實(shí)現(xiàn)事件相機(jī)特定或融合應(yīng)用的算法，如目標(biāo)檢測(cè)、跟蹤、三維重建、姿態(tài)估計(jì)等。

樣本與數(shù)據(jù) (Samples/data): 提供示例代碼、模型或必要的數(shù)據(jù)集。

外部依賴 (external): 通過(guò)集成第三方庫(kù)給用戶提供更多設(shè)備的選擇,例如：shimetapi Hybrid vision toolkit`，OpenEb(通過(guò)命令安裝)等 。

作用： 它為上層應(yīng)用 (APP) 提供了經(jīng)過(guò)處理、增強(qiáng)或理解的事件數(shù)據(jù)信息。應(yīng)用開(kāi)發(fā)者主要調(diào)用這一層的接口來(lái)實(shí)現(xiàn)事件相機(jī)的高級(jí)功能（如播放、錄制、分析）。

二、shimetapi_Hybrid_vision_toolkit (HAL層工具包)

定位：這是 SDK 的 硬件抽象層 (HAL) 和基礎(chǔ)工具層 ，位于算法層之下（深藍(lán)色部分）。
核心功能：提供與硬件交互和數(shù)據(jù)流基礎(chǔ)操作的功能。它負(fù)責(zé)從物理接口讀取原始數(shù)據(jù)，進(jìn)行初步處理（如編解碼），并將數(shù)據(jù)傳遞給上層算法層，同時(shí)也接收上層指令控制硬件。
包含的關(guān)鍵模塊/功能：

讀取 (Read): 從硬件接口（如 USB）獲取原始事件數(shù)據(jù)流。

寫(xiě)入 (Write): 用于將處理后的數(shù)據(jù)或控制指令發(fā)送回硬件（如果支持）。

設(shè)置 (Setting): 配置相機(jī)參數(shù)（如分辨率、靈敏度等）。

解碼器 (Decoder): 如果事件數(shù)據(jù)以特定格式編碼傳輸，負(fù)責(zé)將其解碼為可處理的格式。

編碼器 (Encoder): 用于將處理后的數(shù)據(jù)或錄制的流編碼為特定格式。

作用： 它抽象了底層硬件的細(xì)節(jié)，為上層算法層 (shimetapi_Hybrid_vision_algo) 提供了一個(gè)統(tǒng)一的、相對(duì)硬件無(wú)關(guān)的接口來(lái)訪問(wèn)和控制事件相機(jī)數(shù)據(jù)流。它處理底層的通信協(xié)議、數(shù)據(jù)搬運(yùn)和基礎(chǔ)格式轉(zhuǎn)換。

三、總結(jié)兩者的關(guān)系與協(xié)作

shimetapi_Hybrid_vision_toolkit (工具包/HAL層):

直接與硬件和底層系統(tǒng)SDK 打交道。

負(fù)責(zé)獲取原始數(shù)據(jù) (Read)，進(jìn)行基礎(chǔ)格式轉(zhuǎn)換 (Decoder)，控制硬件(Setting)，并輸出數(shù)據(jù)(Write, Encoder)等。

向上層 (algo 層) 提供 標(biāo)準(zhǔn)化的數(shù)據(jù)訪問(wèn)接口 。

shimetapi_Hybrid_vision_algo (算法層):

構(gòu)建在 toolkit 層之上。

接收來(lái)自 toolkit 層的 標(biāo)準(zhǔn)化事件數(shù)據(jù)流 。

利用其包含的高級(jí)算法模塊 (Denoise, Interpolation, CV/CV3D 等) 對(duì)數(shù)據(jù)進(jìn)行 處理、增強(qiáng)、分析和理解 。

將處理后的、更有價(jià)值的信息提供給最上層的應(yīng)用程序 (APP)使用（如顯示 UI、Player 播放、Recorder 錄制、Analyzer 分析）。

兼容不同廠商接口（目前支持ShiMetaPi HV Toolkit和Openeb）。

開(kāi)源地址鏈接[github]
https://github.com/ShiMetaPi/shimetapi_hybrid_vision_algo
https://github.com/ShiMetaPi/shimetapi_hybrid_vision_toolkit

[gitee]
https://gitee.com/ShiMetaPi_0/shimetapi_hybrid_vision_algo
https://gitee.com/ShiMetaPi_0/shimetapi_hybrid_vision_toolkit

審核編輯 黃宇