chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于像素處理器陣列(PPA)器件的最先進的智能相機系統(tǒng)

MEMS ? 來源:麥姆斯咨詢 ? 作者:麥姆斯咨詢 ? 2022-07-11 14:27 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

用于敏捷自主機器人的視覺處理需要在有限的功耗和空間預(yù)算內(nèi)完成低延時計算。這對傳統(tǒng)計算硬件來說是一項挑戰(zhàn)。并行處理器陣列(Parallel processor arrays)是一種新型視覺傳感器架構(gòu),該陣列利用半導(dǎo)體技術(shù)的進步,在圖像傳感器陣列的每個像素中嵌入了處理器。感測到的像素數(shù)據(jù)可以直接在焦平面上進行處理,因此只有少量的相關(guān)信息從視覺傳感器傳輸出去。這種在大規(guī)模并行計算架構(gòu)中的傳感、處理和存儲的緊密融合造就了機器視覺系統(tǒng)在高性能、低延時、低功耗、低成本與多功能性之間的有趣權(quán)衡。

據(jù)麥姆斯咨詢報道,近日,英國曼徹斯特大學(xué)(The University of Manchester)與英國布里斯托大學(xué)(University of Bristol)的研究者共同合作在Science Robotics發(fā)表了以“Sensor-level computer vision with pixel processor arrays for agile robots”為主題的綜述論文。該論文通訊作者為曼徹斯特大學(xué)電氣工程與電子系的Piotr Dudek。

這項研究首先從像素內(nèi)計算的角度回顧了圖像傳感器和處理硬件的歷史;然后,通過對SCAMP-5系統(tǒng)的描述,概述了基于像素處理器陣列(PPA)器件的最先進的智能相機系統(tǒng)的關(guān)鍵特征;隨后,描述了多種關(guān)于敏捷地面和空中飛行器的機器人應(yīng)用,證實了PPA的傳感功能,這些應(yīng)用包括高速里程計、目標跟蹤、障礙物探測和避讓。最后在結(jié)論中,該研究對PPA器件的未來發(fā)展提供了一些見解和展望,包括其在敏捷、穩(wěn)固、強適應(yīng)性和輕量級機器人中的應(yīng)用及優(yōu)勢。

63831154-00bf-11ed-ba43-dac502259ad0.jpg

典型視覺系統(tǒng)方法的比較

在傳統(tǒng)的視覺系統(tǒng)(如上圖A所示)中,通常利用相機中的圖像傳感器來獲取視覺信息、生成視頻幀并發(fā)送至處理硬件。盡管在提升此類硬件的速度和效率方面的相關(guān)研究不斷取得進展,但其發(fā)展的根本限制來自于“傳感器-處理器”的瓶頸。在此過程中,大量的視覺數(shù)據(jù)被采集、數(shù)字化,然后從相機端發(fā)送至處理器,然后在整個處理系統(tǒng)中完成運算。這樣會大幅限制系統(tǒng)延時和功耗降低。

為了克服這種限制,需要將數(shù)據(jù)處理轉(zhuǎn)移到更靠近傳感器的位置(如上圖B所示)。這樣視覺傳感器的作用不僅僅是獲取視覺信號,而是還要對信號進行處理、產(chǎn)生有意義且高度壓縮的信息,來替代原來的視頻幀。由此產(chǎn)生的傳感器級別的數(shù)據(jù)縮減,不僅加快了數(shù)據(jù)傳輸速度,而且降低了對下游計算硬件的要求。為了實現(xiàn)該目標,近傳感器處理硬件需要提供高計算性能和低功耗的組合。處理電路通常是并行數(shù)字信號處理單元或更專業(yè)的硬件。將感知和處理保持在近距離,可以實現(xiàn)更大的“傳感器-處理器”帶寬,并降低與遠距離信號通信相關(guān)的功率。這顯然是有利的,但將單獨的傳感器和處理器電路放在一個器件上的好處僅僅在于可以實現(xiàn)傳統(tǒng)視覺傳感器的小型化;從根本上講,“傳感器-處理器”的瓶頸仍然存在。而如今的微電子技術(shù)可以通過重新設(shè)計像素級傳感器電路來徹底消除這種瓶頸。本研究中使用的方法已超越了圖像傳感器和處理器的共置:它將計算硬件放在圖像信息獲取的位置,進入了圖像傳感器像素本身(如上圖D所示)。

63986892-00bf-11ed-ba43-dac502259ad0.jpg

圖像傳感器中的像素級電路

像素內(nèi)處理的概念可以更進一步,通過在圖像傳感器中每個像素內(nèi)集成完整的可編程處理器核心,可顯著提升器件的復(fù)雜度和靈活性,這類器件被稱為像素處理器陣列(PPA),如下圖所示。

63aa3194-00bf-11ed-ba43-dac502259ad0.jpg

像素處理器陣列(PPA)

研究中的SCAMP-5系統(tǒng)如下圖所示。其中的核心PPA功能是由定制型集成電路提供,但SCAMP-5視覺芯片、大多數(shù)外圍組件(如微控制器、FPGA器件、ADCDAC等)均使用組裝在印刷電路板上的現(xiàn)成電子器件來實現(xiàn)。這將大幅增加整個相機系統(tǒng)的尺寸和功耗,可能會限制部分實際應(yīng)用,但提供了易于使用的研究原型。

63b5a092-00bf-11ed-ba43-dac502259ad0.jpg

SCAMP-5智能相機系統(tǒng)

該SCAMP-5陣列的顯著特點是其全局和基于事件的讀取模式。雖然圖像處理的結(jié)果讀取為二進制或灰度圖像幀,這通常在程序開發(fā)/調(diào)試階段完成,但PPA最強大的特點在于可以在像素內(nèi)部完成處理圖像,只有計算的結(jié)果才會從傳感器器件輸出。下圖列舉了SCAMP-5系統(tǒng)執(zhí)行的幾種基本算法及其執(zhí)行時間,如卷積濾波器、角提取和光流計算等基本的像素并行操作在PPA中很容易實現(xiàn)。

63c38df6-00bf-11ed-ba43-dac502259ad0.jpg

在SCAMP-5 PPA上執(zhí)行的多種圖像處理算法

這項研究還介紹了完全可編程PPA器件在敏捷機器人系統(tǒng)中的應(yīng)用。常見應(yīng)用主要有:敏捷目標跟蹤和探測(Agile object tracking and detection)、傳感器視覺里程計(On-sensor visual odometry,VO)、繪圖測繪和定位(Pictorial mapping and localization)。

PPA方法的關(guān)鍵是在像素級完成信息提取和數(shù)據(jù)壓縮,從而實現(xiàn)了從傳感器器件到系統(tǒng)其余部分的高效、高速信息傳輸。傳感器生成的稀疏數(shù)據(jù)類型需要針對每種應(yīng)用進行優(yōu)化。對此有希望的解決方案是優(yōu)化從傳感策略到主機級處理的整個流程。同時,PPA器件不僅能處理圖像數(shù)據(jù),還能影響光傳感本身(例如每個像素中的可編程曝光級別)。

除了前文提到的三大應(yīng)用外,另一方面的應(yīng)用是人機交互,在低延時注視跟蹤和手勢識別方面有潛在的應(yīng)用。PPA器件的應(yīng)用已超越了機器人系統(tǒng),可擴展到更通用的計算機視覺應(yīng)用領(lǐng)域,隨著微電子芯片集成和封裝技術(shù)的改進,該領(lǐng)域有望繼續(xù)取得進展。PPA還可以在發(fā)展更好的隱私感知系統(tǒng)中找到機遇,這類系統(tǒng)可以智能地關(guān)注從PPA輸出的數(shù)據(jù)。因此,可以預(yù)測,基于PPA的視覺傳感器能夠以高時間分辨率、低延時和低功耗來產(chǎn)生高信息量的稀疏數(shù)據(jù),將越來越多地應(yīng)用于各種未來的機器人系統(tǒng)。

這項研究工作獲得英國工程和物理科學(xué)研究委員會(Engineering and Physical Sciences Research Council,EP/M019284/1(P.D.)和EP/M019454/1 (W.M. and T.R.))的資金支持。

論文鏈接:
https://www.science.org/doi/10.1126/scirobotics.abl7755

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 處理器
    +關(guān)注

    關(guān)注

    68

    文章

    20069

    瀏覽量

    242867
  • 像素
    +關(guān)注

    關(guān)注

    1

    文章

    206

    瀏覽量

    19131
  • 智能相機
    +關(guān)注

    關(guān)注

    0

    文章

    82

    瀏覽量

    12948

原文標題:基于像素處理器陣列的視覺傳感器,賦能敏捷機器人和人機交互應(yīng)用

文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    TDA4VL-Q1處理器技術(shù)文檔總結(jié)

    TDA4VE TDA4AL TDA4VL 處理器系列基于進化的 Jacinto? 7 架構(gòu),面向智能視覺相機應(yīng)用,并建立在 TI 十多年來在視覺處理器市場領(lǐng)導(dǎo)地位積累的廣泛市場知識之上
    的頭像 發(fā)表于 10-10 09:47 ?662次閱讀
    TDA4VL-Q1<b class='flag-5'>處理器</b>技術(shù)文檔總結(jié)

    TDA4AL-Q1處理器的技術(shù)文檔摘要

    TDA4VE TDA4AL TDA4VL 處理器系列基于進化的 Jacinto? 7 架構(gòu),面向智能視覺相機應(yīng)用,并建立在 TI 十多年來在視覺處理器市場領(lǐng)導(dǎo)地位積累的廣泛市場知識之上
    的頭像 發(fā)表于 10-10 09:40 ?507次閱讀
    TDA4AL-Q1<b class='flag-5'>處理器</b>的技術(shù)文檔摘要

    AM67x處理器技術(shù)文檔總結(jié)

    AM67x 可擴展處理器系列基于進化的 Jacinto? 7 架構(gòu),面向智能視覺相機和通用計算應(yīng)用,并建立在 TI 十多年來在視覺處理器市場領(lǐng)導(dǎo)地位積累的廣泛市場知識之上。AM67x
    的頭像 發(fā)表于 09-29 10:48 ?1036次閱讀
    AM67x<b class='flag-5'>處理器</b>技術(shù)文檔總結(jié)

    德州儀器TDA4VE/TDA4AL/TDA4VL Jacinto?處理器技術(shù)解析

    Texas Instruments TDA4VE-Q1/TDA4AL-Q1/TDA4VL-Q1 SoC處理器采用先進的Jacinto? 7架構(gòu),面向智能視覺相機應(yīng)用。這些
    的頭像 發(fā)表于 08-21 15:00 ?660次閱讀
    德州儀器TDA4VE/TDA4AL/TDA4VL Jacinto?<b class='flag-5'>處理器</b>技術(shù)解析

    關(guān)于人工智能處理器的11個誤解

    本文轉(zhuǎn)自:TechSugar編譯自ElectronicDesign人工智能浪潮已然席卷全球,將人工智能加速處理器整合到各類應(yīng)用中也變得愈發(fā)普遍。然而,圍繞它們是什么、如何運作、能如
    的頭像 發(fā)表于 08-07 13:21 ?750次閱讀
    關(guān)于人工<b class='flag-5'>智能</b><b class='flag-5'>處理器</b>的11個誤解

    時識科技推出百萬像素工業(yè)級事件相機

    時識科技(SynSense)發(fā)布百萬像素高分辨率、高成像質(zhì)量、高動態(tài)范圍的工業(yè)級事件相機——Syn-Shining HD(閃靈系列工業(yè)相機)。
    的頭像 發(fā)表于 07-31 11:29 ?675次閱讀

    DS5003安全微處理器芯片技術(shù)手冊

    DS5003安全微處理器集成了最先進的加密功能,包括一套專門設(shè)計的安全機構(gòu),能夠抵御各種級別的威脅,包括監(jiān)測、分析和物理攻擊。這樣,想要獲得任何有關(guān)存儲內(nèi)容的信息,都需付出極大努力。而且
    的頭像 發(fā)表于 05-15 09:29 ?579次閱讀
    DS5003安全微<b class='flag-5'>處理器</b>芯片技術(shù)手冊

    VirtualLab Fusion應(yīng)用:微透鏡陣列CMOS傳感分析

    摘要 近幾十年來,CMOS傳感像素尺寸已經(jīng)從10μm縮小到2μm,甚至更小。通過減小像素尺寸,可以獲得更高的空間分辨率。同時,這也給每個像素上微透鏡的功能帶來了問題。在本例中,我
    發(fā)表于 04-07 08:56

    端側(cè) AI 音頻處理器:集成音頻處理與 AI 計算能力的創(chuàng)新芯片

    電子發(fā)燒友網(wǎng)綜合報道:端側(cè) AI 音頻處理器是專為智能物聯(lián)網(wǎng)(AIoT)端側(cè)設(shè)備設(shè)計,集成了人工智能(AI)加速系統(tǒng)級音頻
    的頭像 發(fā)表于 02-16 00:13 ?2719次閱讀

    處理器超頻技巧與注意事項

    ,包括最大超頻潛力、電壓要求等。 散熱系統(tǒng) :超頻會增加處理器的熱量產(chǎn)生,因此需要一個高效的散熱系統(tǒng),如高質(zhì)量的散熱和風(fēng)扇。 電源供應(yīng) :穩(wěn)定的電源對于超頻至關(guān)重要,確保電源供應(yīng)
    的頭像 發(fā)表于 02-07 09:16 ?1584次閱讀

    低功耗處理器的優(yōu)勢分析

    就考慮到能耗問題,通過優(yōu)化架構(gòu)、工藝和軟件來降低功耗的處理器。它們通常采用先進的制造工藝,如FinFET或GAAFET技術(shù),以及高效的電源管理技術(shù),以實現(xiàn)在保持性能的同時減少能耗。 低功耗處理器的優(yōu)勢 1. 節(jié)能和環(huán)保 減少能源
    的頭像 發(fā)表于 02-07 09:14 ?1523次閱讀

    量子處理器是什么_量子處理器原理

    量子處理器(QPU)是量子計算機的核心部件,它利用量子力學(xué)原理進行高速數(shù)學(xué)和邏輯運算、存儲及處理量子信息。以下是對量子處理器的詳細介紹:
    的頭像 發(fā)表于 01-27 11:53 ?1450次閱讀

    EE-236:將混合信號前端器件與Blackfin處理器結(jié)合使用的實時解決方案

    電子發(fā)燒友網(wǎng)站提供《EE-236:將混合信號前端器件與Blackfin處理器結(jié)合使用的實時解決方案.pdf》資料免費下載
    發(fā)表于 01-07 13:51 ?0次下載
    EE-236:將混合信號前端<b class='flag-5'>器件</b>與Blackfin<b class='flag-5'>處理器</b>結(jié)合使用的實時解決方案

    EE-305: 基于SHARC處理器系統(tǒng)設(shè)計與調(diào)試

    電子發(fā)燒友網(wǎng)站提供《EE-305: 基于SHARC處理器系統(tǒng)設(shè)計與調(diào)試.pdf》資料免費下載
    發(fā)表于 01-05 09:23 ?0次下載
    EE-305: 基于SHARC<b class='flag-5'>處理器</b>的<b class='flag-5'>系統(tǒng)</b>設(shè)計與調(diào)試

    EE-324:Blackfin處理器系統(tǒng)優(yōu)化技術(shù)

    電子發(fā)燒友網(wǎng)站提供《EE-324:Blackfin處理器系統(tǒng)優(yōu)化技術(shù).pdf》資料免費下載
    發(fā)表于 01-03 15:00 ?0次下載
    EE-324:Blackfin<b class='flag-5'>處理器</b>的<b class='flag-5'>系統(tǒng)</b>優(yōu)化技術(shù)