生成式及多模態(tài)人工智能 (AI) 工作負(fù)載的廣泛增長，推動(dòng)了對計(jì)算機(jī)視覺 (CV) 技術(shù)日益高漲的需求。此類技術(shù)能夠解釋并分析源自現(xiàn)實(shí)世界的視覺信息，并可應(yīng)用于人臉識別、照片分類、濾鏡處理及增強(qiáng)現(xiàn)實(shí)等多種應(yīng)用中。然而，這些計(jì)算機(jī)視覺應(yīng)用可能很難實(shí)現(xiàn)最優(yōu)化的延遲性能和處理速度，特別是在內(nèi)存大小、電池容量和處理能力有限的移動(dòng)設(shè)備上難度更高。

而 Arm KleidiCV 便能在其中大顯身手。該開源庫利用了最新 Arm CPU 中的高性能圖像處理功能，可被集成至各類計(jì)算機(jī)視覺框架中，從而簡化并加速計(jì)算機(jī)視覺工作負(fù)載的性能優(yōu)化，而無需開發(fā)者執(zhí)行額外操作。這一點(diǎn)對于移動(dòng)設(shè)備來說至關(guān)重要。加速圖像處理是為多樣的 AI 用例打造更輕量化、更準(zhǔn)確且性能更強(qiáng)大的模型的第一步，也是關(guān)鍵一步。此外，也可為用戶維持電池壽命的同時(shí)，使計(jì)算機(jī)視覺功能運(yùn)行得更加快速。

KleidiCV 通過與全球最大的開源計(jì)算機(jī)視覺庫 OpenCV 實(shí)現(xiàn)新的集成，使得全球數(shù)百萬計(jì)算機(jī)視覺開發(fā)者都可以利用其進(jìn)行性能加速。該集成現(xiàn)已上線，安卓用戶可通過 OpenCV 4.11 默認(rèn)獲取，這為安卓移動(dòng)市場中 Arm 架構(gòu)設(shè)備上的計(jì)算機(jī)視覺應(yīng)用提供了前所未有的性能增強(qiáng)。

KleidiCV 與 OpenCV 集成的性能優(yōu)勢

OpenCV 是全球計(jì)算機(jī)視覺開發(fā)者的首選平臺，OpenCV Python 包的日均下載量超過 30 萬次。KleidiCV 與 OpenCV 的集成（由 Maven 代碼倉庫訪問）通過直接映射到能夠?yàn)橛?jì)算機(jī)視覺工作負(fù)載提供一系列加速功能的底層 Arm 架構(gòu)和特性（如 Neon 和 SVE2），從而為計(jì)算機(jī)視覺開發(fā)者實(shí)現(xiàn)自動(dòng)的性能增強(qiáng)。

去年，Arm 同步推出了 KleidiAI 和 KleidiCV。KleidiAI 庫為集成至 AI 框架提供目標(biāo)內(nèi)核，并在 Arm CPU 上無縫加速傳統(tǒng)機(jī)器學(xué)習(xí)和生成式 AI 模型。發(fā)布時(shí)的初始基準(zhǔn)測試顯示，OpenCV 上的各類圖像處理任務(wù)的典型性能提升了 75%。

通過將 KleidiCV 集成到 OpenCV 4.11，我們觀察到性能提升了高達(dá)四倍，進(jìn)而能夠?yàn)閷ο髾z測和識別以及圖像分割中使用的關(guān)鍵圖像處理任務(wù)加速計(jì)算機(jī)視覺計(jì)算，并實(shí)現(xiàn)更快的響應(yīng)時(shí)間。這些任務(wù)包括：

模糊處理：通過減少高頻細(xì)節(jié)來增強(qiáng)圖像以進(jìn)行對象檢測；

濾鏡：用于銳化和平滑圖像；

旋轉(zhuǎn)：對齊圖像以進(jìn)行對象識別；

調(diào)整大小：降低處理大尺寸圖像時(shí)的計(jì)算負(fù)載。

KleidiCV 的主要特性和優(yōu)勢

KleidiCV 通過自動(dòng)檢測運(yùn)行它的硬件并相應(yīng)地選擇最佳實(shí)現(xiàn)來簡化開發(fā)過程。這意味著開發(fā)者無需手動(dòng)優(yōu)化其代碼即可實(shí)現(xiàn)更高性能。KleidiCV 的其他主要特性和優(yōu)勢包括：

多線程：該特性可加速處理，并實(shí)現(xiàn)更卓越的性能。

廣泛的適用性：KleidiCV 支持包括圖像處理和調(diào)整大小等在內(nèi)的各種工作負(fù)載，使其與汽車、消費(fèi)類技術(shù)和基礎(chǔ)設(shè)施市場中的廣泛應(yīng)用均息息相關(guān)。

內(nèi)置安全性：Arm 的 Security Development Lifecycle（安全性開發(fā)生命周期）已被嵌入至 KleidiCV 的功能中。

OpenCV 4.11 的增強(qiáng)功能和更新

OpenCV 4.11 更新為其計(jì)算機(jī)視覺工作負(fù)載工具和功能套件帶來了多項(xiàng)增強(qiáng)功能，這些增強(qiáng)功能與 KleidiCV 集成相輔相成。其中包括：

改進(jìn)的 DNN 模塊：通過 InferenceEngine 后端為 3D 卷積網(wǎng)絡(luò)和異步推理提供初始支持。

增強(qiáng)的 Calib3d 模塊：用于 solvePNP 和姿態(tài)優(yōu)化例程的新 IPPE 算法。

優(yōu)化的通用內(nèi)部函數(shù)：提供 AVX-512 實(shí)現(xiàn)和其他優(yōu)化以實(shí)現(xiàn)更加出色的性能。

這些更新與 KleidiCV 的優(yōu)化相結(jié)合，顯著增強(qiáng)了 OpenCV 的功能，使其成為開發(fā)者的強(qiáng)大工具。

塑造計(jì)算機(jī)視覺工作負(fù)載的未來

KleidiCV 的首次集成現(xiàn)已完成，我們不斷彰顯軟件優(yōu)化如何在移動(dòng)端的 Arm CPU 上充分釋放新的計(jì)算機(jī)視覺性能和功能。這不僅為移動(dòng)端，更是為其他多樣化的市場（例如機(jī)器人、汽車和醫(yī)療應(yīng)用等）的計(jì)算機(jī)視覺工作負(fù)載加速和模型鋪平了道路。

通過利用 Arm CPU 的強(qiáng)大性能和 OpenCV 的廣大開發(fā)者用戶，OpenCV 4.11 與 KleidiCV 的集成能夠?yàn)楦黝愑?jì)算機(jī)視覺應(yīng)用帶來顯著的性能增強(qiáng)。借助 KleidiCV 和 Arm 領(lǐng)先的計(jì)算平臺，Arm 正在塑造計(jì)算機(jī)視覺在移動(dòng)端及更廣泛領(lǐng)域的未來。