相機(jī)系統(tǒng)設(shè)計(jì)比較復(fù)雜。它要求根據(jù)不同的應(yīng)用場(chǎng)景，選擇合適的鏡頭和圖像傳感器組合，并對(duì)圖像信號(hào)處理器 (ISP) 進(jìn)行校準(zhǔn)和調(diào)整。該流程涉及在各種光照條件下捕捉數(shù)百?gòu)垖?zhuān)門(mén)針對(duì)目標(biāo)對(duì)象的圖片。然后，利用調(diào)諧工具對(duì)這些RAW圖像進(jìn)行處理，得到基線ISP校準(zhǔn)值，并在此基礎(chǔ)上開(kāi)始精細(xì) (讀?。褐饔^) 調(diào)整。

目標(biāo)圖像的白色是否有點(diǎn)偏藍(lán)？或者黑色看起來(lái)更接近深灰色？需要調(diào)整伽馬校正、白平衡，還是兩者都要調(diào)整才能解決這個(gè)問(wèn)題？經(jīng)驗(yàn)豐富的圖像工程師可以回答這些問(wèn)題，還能夠解決其他問(wèn)題。

集成ISP的優(yōu)勢(shì)

與獨(dú)立ISP相比，集成ISP具有幾個(gè)顯著的優(yōu)勢(shì)。當(dāng)接收RAW格式的圖像數(shù)據(jù)時(shí)，我們可以在全色RGB或YUV方面節(jié)省帶寬。4K圖像 (3840 x 2160)，在i.MX 8M Plus應(yīng)用處理器上使用8位RAW格式可以實(shí)現(xiàn)每秒60幀 (FPS)。如果在系統(tǒng)設(shè)計(jì)中使用獨(dú)立ISP，并且輸出使用RGB888格式，則i.MX 8M Plus處理器的帶寬限制為30 FPS。而使用RAW格式，系統(tǒng)設(shè)計(jì)人員可以使用更少的MIPI通道，或適應(yīng)更大的幀大小或幀速率。

除此之外，獨(dú)立ISP會(huì)增加成本。獨(dú)立ISP的價(jià)格在6-12美元 (USD) 之間，基于FPGA的解決方案的價(jià)格可能高達(dá)20美元 (USD)。另外，PCB面積更大，電源需求也更高——這兩項(xiàng)都不是免費(fèi)的。另外，i.MX 8M Plus處理器還有兩個(gè)集成ISP。

i.MX 8M Plus處理器上集成ISP的另一個(gè)優(yōu)勢(shì)是可以納入恩智浦產(chǎn)品長(zhǎng)期供貨計(jì)劃。該計(jì)劃中的部件 (包括i.MX 8M Plus處理器) 可保證生產(chǎn)15年。例如，2021年推出的i.MX 8M Plus處理器能夠保證持續(xù)供貨至少到2036年。根據(jù)該計(jì)劃，恩智浦工程師將在部件生命周期內(nèi)提供支持。

NXP合作伙伴助力成功實(shí)現(xiàn)設(shè)計(jì)

恩智浦的眾多合作伙伴實(shí)力強(qiáng)大，值得信賴(lài)，支持客戶將設(shè)計(jì)創(chuàng)意變成現(xiàn)實(shí)。以下是恩智浦目前的合作伙伴名單，他們?cè)跀?shù)字圖像系統(tǒng)設(shè)計(jì)和i.MX 8M Plus處理器的ISP校準(zhǔn)方面都有豐富的經(jīng)驗(yàn)和成果。

FRAMOS可以幫助解決這些復(fù)雜的ISP和IQ問(wèn)題。恩智浦與FRAMOS合作，為其提供了深入的技術(shù)支持，幫助其掌握?qǐng)D像傳感器的特殊功能。FRAMOS的工程師和開(kāi)發(fā)人員因此能夠使用一些非“標(biāo)準(zhǔn)”或只適用于特定場(chǎng)景的創(chuàng)新傳感器功能。FRAMOS擁有合適的工具和專(zhuān)業(yè)知識(shí)，能夠通過(guò)圖像信號(hào)處理器獲得卓越的圖像質(zhì)量。

InnoWave擁有豐富的視覺(jué)專(zhuān)業(yè)知識(shí)，深耕視頻處理和嵌入式系統(tǒng)固件開(kāi)發(fā)領(lǐng)域。他們提供完整的解決方案，包括軟件驅(qū)動(dòng)程序、3A庫(kù)(自動(dòng)曝光、自動(dòng)白平衡和自動(dòng)對(duì)焦)、校準(zhǔn)和調(diào)整工具。還開(kāi)發(fā)和移植自定義成像算法，并為各種用例提供合適的解決方案。相機(jī)特性(陰影、失真)和內(nèi)外參數(shù)的校準(zhǔn)，以及針對(duì)各種相機(jī)參數(shù)(如色彩和白平衡、精度、清晰度、噪聲、色調(diào)響應(yīng)、動(dòng)態(tài)范圍、光學(xué)失真等)的SPI調(diào)整。

作為Arrow的子公司，eInfochips是全球領(lǐng)先的產(chǎn)品工程和半導(dǎo)體設(shè)計(jì)服務(wù)提供商。eInfochips開(kāi)發(fā)了500多種產(chǎn)品，在140個(gè)國(guó)家/地區(qū)部署了4000萬(wàn)次，不斷推動(dòng)多個(gè)垂直領(lǐng)域的技術(shù)創(chuàng)新。它幫助各企業(yè)利用恩智浦平臺(tái)開(kāi)發(fā)定制的評(píng)估套件、參考設(shè)計(jì)和下一代全功能產(chǎn)品。eInfochips的核心優(yōu)勢(shì)在于恩智浦技術(shù)。他們創(chuàng)建的社區(qū)板適用于嵌入式機(jī)器學(xué)習(xí)、HMI、工業(yè)、汽車(chē)、健康監(jiān)測(cè)、智能門(mén)禁、行車(chē)記錄儀和智能家居等領(lǐng)域。eInfochips還提供自定義硬件固件、BSP、硬件加速、算法、視頻優(yōu)化、端到端產(chǎn)品設(shè)計(jì)和制造等服務(wù)。

Basler (巴斯勒)為i.MX 8M Plus處理器的推出打造了4K BCON相機(jī)。他們是面向計(jì)算機(jī)視覺(jué)應(yīng)用的高質(zhì)量成像組件的國(guó)際領(lǐng)先制造商。除了經(jīng)典的區(qū)域掃描和線掃描相機(jī)、鏡頭、幀抓取器、光模塊、3D產(chǎn)品和軟件外，該公司還為i.MX 8M Plus處理器提供嵌入式視覺(jué)解決方案，包括咨詢(xún)服務(wù)、客戶特定的軟件開(kāi)發(fā)和定制產(chǎn)品。巴斯勒的產(chǎn)品應(yīng)用于多種市場(chǎng)和應(yīng)用，如工廠自動(dòng)化、醫(yī)療、物流、零售和機(jī)器人。它們具有可靠性高、性?xún)r(jià)比高和供貨期長(zhǎng)的優(yōu)勢(shì)。

IMDT是領(lǐng)先的設(shè)計(jì)和制造企業(yè)，打造了多款基于i.MX應(yīng)用處理器的系統(tǒng)模塊(SOM)。IMDT的SOM解決方案適用于高性?xún)r(jià)比、低功耗、高性能的嵌入式產(chǎn)品。IMDT提供專(zhuān)用于SOM產(chǎn)品以及定制板的硬件和軟件設(shè)計(jì)服務(wù)。IMDT的所有產(chǎn)品都是在經(jīng)ISO9001:2015認(rèn)證的設(shè)施中制造和測(cè)試的。產(chǎn)品經(jīng)過(guò)了CE認(rèn)證，符合RoHS標(biāo)準(zhǔn)。

Leopard Imaging是提供高清嵌入式攝像頭和AI成像解決方案的全球領(lǐng)導(dǎo)者。他們致力于提升汽車(chē)、航空航天飛行器、無(wú)人機(jī)、物聯(lián)網(wǎng)和機(jī)器人圖像處理的核心技術(shù)。Leopard Imaging與成熟的傳感器和AI平臺(tái)公司密切合作，為全球客戶打造先進(jìn)的攝像頭解決方案。憑借原始設(shè)備制造商 (OEM) 和原始設(shè)計(jì)制造商 (ODM) 服務(wù)，Leopard Imaging為客戶提供攝像頭設(shè)計(jì)、制造、校準(zhǔn)、成像調(diào)整、驅(qū)動(dòng)程序開(kāi)發(fā)、系統(tǒng)集成和相關(guān)服務(wù)的一站式定制解決方案。

PHYTEC提供的產(chǎn)品和服務(wù)能夠快速方便地集成嵌入式視覺(jué)系統(tǒng)。Phytec為客戶的系列產(chǎn)品提供匹配的組件，如板級(jí)攝像頭、控制器模塊、單板計(jì)算機(jī)和定制硬件。提供嵌入式視覺(jué)套件，用于評(píng)估目的。Phytec還提供全定制嵌入式視覺(jué)系統(tǒng)的設(shè)計(jì)服務(wù)和批量生產(chǎn)服務(wù)。phyCORE System on Modules的Linux BSP包括phyCAM工業(yè)級(jí)板級(jí)攝像頭的軟件驅(qū)動(dòng)程序。此外，BSP已經(jīng)包含OpenCV、Gstreamer和Halcon等成像中間件，以及選定Phytec攝像頭的ISP預(yù)校準(zhǔn)。為基于Phytec產(chǎn)品的客戶項(xiàng)目提供單獨(dú)的ISP校準(zhǔn)。

Yosun Imaging Solution Center (又稱(chēng)ISC)成立于2018年，致力于CMOS圖像傳感器解決方案的研究、開(kāi)發(fā)、集成和推廣，這些解決方案適用于汽車(chē)、AIoT、安全、消費(fèi)電子、計(jì)算、移動(dòng)設(shè)備、工業(yè)和機(jī)器視覺(jué)的許多不同應(yīng)用。他們攜手ISP和SoC平臺(tái)以及軟件算法合作伙伴，根據(jù)市場(chǎng)需求開(kāi)發(fā)有利于展示圖像質(zhì)量和特性的參考設(shè)計(jì)，從而簡(jiǎn)化客戶的開(kāi)發(fā)和設(shè)計(jì)流程。ISC在中國(guó)上海、深圳和臺(tái)北設(shè)有成像實(shí)驗(yàn)室，在圖像質(zhì)量調(diào)優(yōu)方面擁有豐富的專(zhuān)業(yè)經(jīng)驗(yàn)。他們對(duì)CMOS圖像傳感器技術(shù)有著深刻的掌握，擅長(zhǎng)優(yōu)化自動(dòng)白平衡、自動(dòng)曝光和自動(dòng)對(duì)焦等參數(shù)，通過(guò)精確校準(zhǔn)、降噪和色彩精度實(shí)現(xiàn)較高的圖像保真度。

Image Quality Labs在多個(gè)現(xiàn)有和新興市場(chǎng)中選擇、集成、評(píng)估、調(diào)整和優(yōu)化相機(jī)模塊方面擁有20多年的運(yùn)營(yíng)經(jīng)驗(yàn)。Image Quality Labs為企業(yè)提供端到端解決成像方案。他們提供相機(jī)設(shè)備驅(qū)動(dòng)程序和應(yīng)用的軟件開(kāi)發(fā)、自定義成像硬件設(shè)計(jì)、圖像質(zhì)量測(cè)試以及圖像質(zhì)量調(diào)整和優(yōu)化。

TechNexion是恩智浦的金牌合作伙伴，在恩智浦i.MX應(yīng)用處理器方面擁有數(shù)十年的豐富經(jīng)驗(yàn)。他們提供了一整套完全校準(zhǔn)的、1MP至20MP的MIPI CSI-2攝像頭傳感器、滾動(dòng)快門(mén)和全局快門(mén)，以及多種鏡頭選項(xiàng)，帶有電纜和適配器，可直接連接恩智浦官方評(píng)估套件(EVK). 這些產(chǎn)品幫助恩智浦i.MX處理器客戶快速進(jìn)行原型制作，并簡(jiǎn)化了集成嵌入式視覺(jué)和機(jī)器學(xué)習(xí)。TechNexion MIPI CSI-2攝像頭傳感器附帶的軟件支持恩智浦i.MX 8M、i.MX 8M Mini、i.MX8M Nano和i.MX8M Plus處理器評(píng)估板以及最新的i.MX93處理器EVK。他們的VizionViewer和VizionSDK允許對(duì)其嵌入式攝像頭模塊參數(shù)進(jìn)行桌面調(diào)整，以便于在校準(zhǔn)后進(jìn)行調(diào)優(yōu)和調(diào)整。

本文作者

John Phillippe，恩智浦機(jī)器學(xué)習(xí)、AI與視覺(jué)、安全互聯(lián)邊緣合作伙伴與生態(tài)合作體系經(jīng)理。John擁有20多年的半導(dǎo)體經(jīng)驗(yàn)，涵蓋了從模擬電路設(shè)計(jì)到系統(tǒng)封裝架構(gòu)，再到軟件和IP集成與調(diào)試的各個(gè)方面。他目前專(zhuān)注于恩智浦的各種硬件和軟件IP，以支持計(jì)算機(jī)視覺(jué)和人工智能。他畢業(yè)于德克薩斯大學(xué)奧斯汀分校，獲得了BSEE學(xué)位。

NXP客棧