解決方案旨在幫助零售商增強客戶滿意度并減少盜竊

MulticoreWare 公司開發(fā)了一款先進(jìn)的 AI 驅(qū)動智能結(jié)算解決方案 RetailSentry AI，用于由 AMD 銳龍（ Ryzen ）嵌入式 8000 系列處理器提供支持的零售應(yīng)用。這款智能 POS 系統(tǒng)利用多個 AI 模型，在處理器集成的 CPU、GPU 和 AMD XDNA神經(jīng)網(wǎng)絡(luò)處理單元（ NPU ）架構(gòu)上同時運行。當(dāng)產(chǎn)品展示時，系統(tǒng)會捕捉其圖像、掃描其條形碼，并使用基于計算機(jī)視覺的目標(biāo)檢測對比商店的數(shù)據(jù)庫驗證產(chǎn)品，然后將其添加至顧客購物車。根據(jù)顧客的購買情況，系統(tǒng)還能推薦顧客可能感興趣的補充產(chǎn)品，從而增加商店收入。該解決方案的獨特之處在于其集成的入店行竊檢測能力，該功能使用 AI 算法持續(xù)監(jiān)控顧客行為，發(fā)現(xiàn)可疑活動。一旦檢測到潛在的盜竊行為，系統(tǒng)會生成即時由大型語言模型驅(qū)動的警報，以實時通知附近的店員。

項目挑戰(zhàn)

傳統(tǒng)的結(jié)算系統(tǒng)在用戶遇到困難時通常需要工作人員進(jìn)行大量干預(yù)。由于系統(tǒng)效率低下或設(shè)計不佳，零售商還可能面臨高盜竊率，并錯失通過數(shù)據(jù)分析推薦補充產(chǎn)品的機(jī)會。

MulticoreWare 業(yè)務(wù)開發(fā)總監(jiān) Manish Rawat 表示：“我們想構(gòu)建一款解決方案，解決零售自助結(jié)算通道和外賣食品站的三個常見問題。我們需要系統(tǒng)能夠了解正在結(jié)算的產(chǎn)品，確保視覺識別與條形碼相匹配，同時還要檢測盜竊，并能實時提醒店員?！?/p>

在自助結(jié)賬過程中，掃描的產(chǎn)品名稱和圖像會通過采用目標(biāo)檢測的攝像頭收集，并與產(chǎn)品條形碼上的信息進(jìn)行對比。Rawat 說道：“我們需要一款能夠執(zhí)行我們的多感知方法的處理器，將視覺傳感與條形碼數(shù)據(jù)相結(jié)合，并允許我們在多個 AI 模型上進(jìn)行推理?！?/p>

為了實現(xiàn)這一目標(biāo)，MCW 選擇了 AMD 銳龍嵌入式處理器，該處理器能夠在集成 CPU、GPU 和 NPU 的單個芯片上執(zhí)行所有這些任務(wù)，無需采用其他供應(yīng)商的多個芯片。

解決方案

MulticoreWare 的結(jié)算解決方案在基于計算機(jī)視覺的目標(biāo)檢測以及與條形碼驗證相似度匹配的基礎(chǔ)上進(jìn)行構(gòu)建。產(chǎn)品識別是通過計算所檢測到的產(chǎn)品與數(shù)據(jù)庫中參考圖像之間的相似度來進(jìn)行的。條碼掃描器會讀取產(chǎn)品條形碼，以便快速準(zhǔn)確地結(jié)算，而 AI 目標(biāo)檢測則會交叉驗證掃描產(chǎn)品，以檢測不匹配或不正確的掃描。如果一個條碼被換到一個價格更低的產(chǎn)品上，攝像頭會檢測到差異并觸發(fā)警報。對于欺詐和異常檢測，系統(tǒng)使用 Al 來識別可疑行為，如漏掃、條碼篡改或產(chǎn)品交換。結(jié)賬系統(tǒng)涉及的組件包括一個基于 Yolo 算法的目標(biāo)檢測模型，該模型在定制數(shù)據(jù)上訓(xùn)練以檢測產(chǎn)品；一個相似度檢查模塊，通過使用基于 ResNet 的模型提取特征來對比檢測到的產(chǎn)品與數(shù)據(jù)庫；一個異常/入店行竊檢測模塊，該模塊使用基于 CNN-LSTM 的模型監(jiān)控商店內(nèi)可疑活動；以及一個使用 LLM 模塊，該模塊使用 LLAMA2 大語言模型生成響應(yīng)。

為了與這些模塊進(jìn)行交互，系統(tǒng)擁有一個集中的圖形用戶界面（ GUI ），用于監(jiān)控、管理和分析實時和歷史產(chǎn)品及監(jiān)控數(shù)據(jù)。控制面板包括產(chǎn)品掃描區(qū)域的實時攝像頭傳輸；實時產(chǎn)品條碼掃描系統(tǒng)，顯示每款產(chǎn)品全面信息（包括名稱、價格、描述、品牌以及其它重要屬性）；以及允許用戶添加或刪除產(chǎn)品并顯示實時總數(shù)的購物車詳細(xì)信息。這一控制面板視圖還包含重要的性能指標(biāo)，包括 CPU 及內(nèi)存利用率。該系統(tǒng)還包括一個實時攝像頭視圖，可即時顯示標(biāo)記的入店行竊事件，以及一個異常檔案，可以系統(tǒng)地對所有檢測到的事件進(jìn)行編目和存儲以供審查。

設(shè)計成效

管理密集且多樣化的 AI 工作負(fù)載并確保通過交互式圖形界面進(jìn)行沉浸式實時響應(yīng)，這對嵌入式器件是一項嚴(yán)峻挑戰(zhàn)。AMD 銳龍嵌入式 8000 系列處理器提供了強大的 x86 CPU 算力，具備至多 8 個“Zen 4”內(nèi)核（ 16 線程），并包含集成的 AMD Radeon顯卡，可優(yōu)化視覺處理和多媒體性能。此外，AMD 銳龍嵌入式 8845HS 處理器提供了至多 20 個 PCle Gen4 通道，為處理信息提供了充足的 I/O 靈活性。

目標(biāo)檢測使用基于 Yolo 算法的模型進(jìn)行，其搭載在經(jīng)過定制數(shù)據(jù)訓(xùn)練的 AMD 處理器上，用于檢測掃描的產(chǎn)品。檢測到的產(chǎn)品的圖像被裁剪并保存以進(jìn)行相似度檢查。相似度檢查使用基于 ResNet 架構(gòu)的模型從檢測到的產(chǎn)品圖像中提取特性 embeddings（嵌入）。將這些嵌入與存儲在數(shù)據(jù)庫中的參考 embeddings 進(jìn)行比較，找出它們之間的相似度。

檢測店鋪攝像頭鏡頭中的可疑活動涉及使用基于 CNN-LSTM 的分類模型來分析視頻幀并識別異常行為。這也是由 AMD 銳龍嵌入式處理器及其板載 XDNA架構(gòu)執(zhí)行的，這是銳龍嵌入式 x86 解決方案的新功能，可為各類 AI 模型在工業(yè)邊緣端實現(xiàn)快速流暢的 AI 推理與決策。

該系統(tǒng)會處理視頻流，根據(jù)預(yù)先定義的類別將活動歸類為正?；蚩梢?。當(dāng)發(fā)現(xiàn)可疑活動時，系統(tǒng)會觸發(fā)一個流程來保存特定片段以供審查?；?Transformer 的架構(gòu)充當(dāng)圖像編碼器，從而生成 embeddings，與描述性文本標(biāo)簽生成的 embeddings 進(jìn)行對比。這一比較通過余弦相似度完成，其可測量圖像 embeddings 與文本 embeddings 在特征空間中的接近程度。

LLAMA2 大語言模型用于在系統(tǒng)中生成情境通知。該模型用于兩項關(guān)鍵任務(wù)：創(chuàng)建異常檢測警報和顯示購物車中所添加產(chǎn)品的實情，從而增強用戶體驗。

Rawat 表示：“AMD 銳龍嵌入式處理器助力我們部署最新的 AI 技術(shù)，通過實現(xiàn)快速準(zhǔn)確的產(chǎn)品掃描與驗證，提供無縫、無憂的購物體驗，同時幫助零售商減少欺詐和盜竊情況。我們相信，這項核心技術(shù)可為未來打造更具變革性和互動性的面對面購物體驗奠定基礎(chǔ)。”