5月15日消息，據(jù)外媒報道，索尼公司宣布即將發(fā)布兩款智能視覺傳感器，即世界首款配備了AI處理功能的圖像傳感器。圖像傳感器本身包括AI處理功能，可實(shí)現(xiàn)高速邊緣AI處理和僅提取必要的數(shù)據(jù)，在使用云服務(wù)時可減少數(shù)據(jù)傳輸延遲，最大程度地減少隱私問題，并降低功耗和通信成本。

　　這些產(chǎn)品擴(kuò)大了開發(fā)配備人工智能攝像頭的機(jī)會，使零售和工業(yè)設(shè)備行業(yè)的各種應(yīng)用成為可能，并有助于構(gòu)建與云連接的最佳系統(tǒng)。

　　當(dāng)前，物聯(lián)網(wǎng)的普及導(dǎo)致所有類型的設(shè)備都連接到云上，使得信息處理系統(tǒng)的使用變得司空見慣，從這些設(shè)備獲得的信息通過云上的AI進(jìn)行處理。但是，云中處理的信息量不斷增加，帶來了各種問題：數(shù)據(jù)傳輸延遲增加，阻礙了實(shí)時信息處理；與在云中存儲個人可識別數(shù)據(jù)相關(guān)的用戶的安全問題；以及云服務(wù)帶來的其他問題，如電力消耗和通信成本的增加。

　　新的智能視覺傳感器具有一個由像素芯片和邏輯芯片組成的堆疊結(jié)構(gòu)，他們是世界首款在邏輯芯片上配備AI圖像分析和處理功能的圖像傳感器。像素芯片采集的信號通過傳感器上的AI進(jìn)行處理，消除了對高性能處理器或外部存儲器的需求，使邊緣AI系統(tǒng)得以發(fā)展。傳感器輸出元數(shù)據(jù)（屬于圖像數(shù)據(jù)的語義信息）而不是圖像信息，從而減少了數(shù)據(jù)量并最小化了任何隱私問題。此外，AI的能力使得能夠?yàn)槎嘤猛緫?yīng)用程序提供多種功能，例如使用高速AI處理的實(shí)時目標(biāo)跟蹤，也可以根據(jù)用戶需求或系統(tǒng)使用位置的條件，通過重寫內(nèi)部存儲器來選擇不同的AI模型。

　　該智能視覺傳感器具有以下特點(diǎn)：

　　首先，是首款配備了AI處理功能的圖像傳感器。該像素芯片是背光的，具有大約12.3款有效的百萬像素，可在廣角范圍內(nèi)捕捉信息。除了傳統(tǒng)的圖像傳感器操作電路外，該邏輯芯片還配備了索尼原裝的專用于AI信號處理的數(shù)字信號處理器（DSP），以及AI模型的存儲器。這種配置消除了對高性能處理器或外部存儲器的需求，使其成為邊緣AI系統(tǒng)的理想選擇。

　　其次，可進(jìn)行元數(shù)據(jù)輸出。像素芯片采集的信號通過ISP（圖像信號處理器）進(jìn)行處理，在邏輯芯片的處理階段進(jìn)行AI處理，提取的信息作為元數(shù)據(jù)輸出，減少了處理的數(shù)據(jù)量，確保圖像信息不被輸出有助于降低安全風(fēng)險和最小化任何隱私問題。除了傳統(tǒng)圖像傳感器記錄的圖像外，用戶還可以根據(jù)自己的需要和用途選擇數(shù)據(jù)輸出格式，包括ISP格式輸出圖像（YUV/RGB）和ROI（感興趣區(qū)域）特定區(qū)域提取圖像。

　　第三，具有高速AI處理功能。當(dāng)使用傳統(tǒng)圖像傳感器記錄視頻時，有必要為AI處理的每個單獨(dú)輸出圖像幀發(fā)送數(shù)據(jù)，從而增加數(shù)據(jù)傳輸并使其難以提供實(shí)時性能。索尼的新傳感器產(chǎn)品執(zhí)行ISP處理和高速AI處理（3.1款MobileNet V1*2）在邏輯芯片上的毫秒處理，在單個視頻幀中完成整個處理。這種設(shè)計使得在錄制視頻的同時提供高精度、實(shí)時的目標(biāo)跟蹤成為可能。

　　最后，可任意選擇AI模型。用戶可以將自己選擇的AI模型寫入到嵌入式存儲器中，并可以根據(jù)其要求或系統(tǒng)使用位置的條件對其進(jìn)行重寫和更新。例如，當(dāng)使用本產(chǎn)品的多個攝像頭安裝在零售位置時，一種類型的攝像頭可以跨不同的位置、環(huán)境、時間或目的使用。當(dāng)安裝在設(shè)施入口時，它可以用來計算進(jìn)入設(shè)施的訪客數(shù)量；當(dāng)安裝在商店的貨架上時，它可以用來檢測庫存短缺；當(dāng)安裝在天花板上時，它可以用于熱圖商店訪客（檢測許多人聚集的位置）等。此外，給定相機(jī)中的AI模型可以從用于檢測熱圖的模型重寫為用于識別消費(fèi)者行為的模型。