解決方案旨在幫助零售商增強客戶滿意度并減少盜竊

MulticoreWare 公司開發(fā)了一款先進的 AI 驅動智能結算解決方案 RetailSentry AI，用于由 AMD 銳龍（ Ryzen ）嵌入式 8000 系列處理器提供支持的零售應用。這款智能 POS 系統(tǒng)利用多個 AI 模型，在處理器集成的 CPU、GPU 和 AMD XDNA神經網絡處理單元（ NPU ）架構上同時運行。當產品展示時，系統(tǒng)會捕捉其圖像、掃描其條形碼，并使用基于計算機視覺的目標檢測對比商店的數(shù)據(jù)庫驗證產品，然后將其添加至顧客購物車。根據(jù)顧客的購買情況，系統(tǒng)還能推薦顧客可能感興趣的補充產品，從而增加商店收入。該解決方案的獨特之處在于其集成的入店行竊檢測能力，該功能使用 AI 算法持續(xù)監(jiān)控顧客行為，發(fā)現(xiàn)可疑活動。一旦檢測到潛在的盜竊行為，系統(tǒng)會生成即時由大型語言模型驅動的警報，以實時通知附近的店員。

項目挑戰(zhàn)

傳統(tǒng)的結算系統(tǒng)在用戶遇到困難時通常需要工作人員進行大量干預。由于系統(tǒng)效率低下或設計不佳，零售商還可能面臨高盜竊率，并錯失通過數(shù)據(jù)分析推薦補充產品的機會。

MulticoreWare 業(yè)務開發(fā)總監(jiān) Manish Rawat 表示：“我們想構建一款解決方案，解決零售自助結算通道和外賣食品站的三個常見問題。我們需要系統(tǒng)能夠了解正在結算的產品，確保視覺識別與條形碼相匹配，同時還要檢測盜竊，并能實時提醒店員?！?/p>

在自助結賬過程中，掃描的產品名稱和圖像會通過采用目標檢測的攝像頭收集，并與產品條形碼上的信息進行對比。Rawat 說道：“我們需要一款能夠執(zhí)行我們的多感知方法的處理器，將視覺傳感與條形碼數(shù)據(jù)相結合，并允許我們在多個 AI 模型上進行推理?！?/p>

為了實現(xiàn)這一目標，MCW 選擇了 AMD 銳龍嵌入式處理器，該處理器能夠在集成 CPU、GPU 和 NPU 的單個芯片上執(zhí)行所有這些任務，無需采用其他供應商的多個芯片。

解決方案

MulticoreWare 的結算解決方案在基于計算機視覺的目標檢測以及與條形碼驗證相似度匹配的基礎上進行構建。產品識別是通過計算所檢測到的產品與數(shù)據(jù)庫中參考圖像之間的相似度來進行的。條碼掃描器會讀取產品條形碼，以便快速準確地結算，而 AI 目標檢測則會交叉驗證掃描產品，以檢測不匹配或不正確的掃描。如果一個條碼被換到一個價格更低的產品上，攝像頭會檢測到差異并觸發(fā)警報。對于欺詐和異常檢測，系統(tǒng)使用 Al 來識別可疑行為，如漏掃、條碼篡改或產品交換。結賬系統(tǒng)涉及的組件包括一個基于 Yolo 算法的目標檢測模型，該模型在定制數(shù)據(jù)上訓練以檢測產品；一個相似度檢查模塊，通過使用基于 ResNet 的模型提取特征來對比檢測到的產品與數(shù)據(jù)庫；一個異常/入店行竊檢測模塊，該模塊使用基于 CNN-LSTM 的模型監(jiān)控商店內可疑活動；以及一個使用 LLM 模塊，該模塊使用 LLAMA2 大語言模型生成響應。

為了與這些模塊進行交互，系統(tǒng)擁有一個集中的圖形用戶界面（ GUI ），用于監(jiān)控、管理和分析實時和歷史產品及監(jiān)控數(shù)據(jù)。控制面板包括產品掃描區(qū)域的實時攝像頭傳輸；實時產品條碼掃描系統(tǒng)，顯示每款產品全面信息（包括名稱、價格、描述、品牌以及其它重要屬性）；以及允許用戶添加或刪除產品并顯示實時總數(shù)的購物車詳細信息。這一控制面板視圖還包含重要的性能指標，包括 CPU 及內存利用率。該系統(tǒng)還包括一個實時攝像頭視圖，可即時顯示標記的入店行竊事件，以及一個異常檔案，可以系統(tǒng)地對所有檢測到的事件進行編目和存儲以供審查。

設計成效

管理密集且多樣化的 AI 工作負載并確保通過交互式圖形界面進行沉浸式實時響應，這對嵌入式器件是一項嚴峻挑戰(zhàn)。AMD 銳龍嵌入式 8000 系列處理器提供了強大的 x86 CPU 算力，具備至多 8 個“Zen 4”內核（ 16 線程），并包含集成的 AMD Radeon顯卡，可優(yōu)化視覺處理和多媒體性能。此外，AMD 銳龍嵌入式 8845HS 處理器提供了至多 20 個 PCle Gen4 通道，為處理信息提供了充足的 I/O 靈活性。

目標檢測使用基于 Yolo 算法的模型進行，其搭載在經過定制數(shù)據(jù)訓練的 AMD 處理器上，用于檢測掃描的產品。檢測到的產品的圖像被裁剪并保存以進行相似度檢查。相似度檢查使用基于 ResNet 架構的模型從檢測到的產品圖像中提取特性 embeddings（嵌入）。將這些嵌入與存儲在數(shù)據(jù)庫中的參考 embeddings 進行比較，找出它們之間的相似度。

檢測店鋪攝像頭鏡頭中的可疑活動涉及使用基于 CNN-LSTM 的分類模型來分析視頻幀并識別異常行為。這也是由 AMD 銳龍嵌入式處理器及其板載 XDNA架構執(zhí)行的，這是銳龍嵌入式 x86 解決方案的新功能，可為各類 AI 模型在工業(yè)邊緣端實現(xiàn)快速流暢的 AI 推理與決策。

該系統(tǒng)會處理視頻流，根據(jù)預先定義的類別將活動歸類為正?；蚩梢?。當發(fā)現(xiàn)可疑活動時，系統(tǒng)會觸發(fā)一個流程來保存特定片段以供審查。基于 Transformer 的架構充當圖像編碼器，從而生成 embeddings，與描述性文本標簽生成的 embeddings 進行對比。這一比較通過余弦相似度完成，其可測量圖像 embeddings 與文本 embeddings 在特征空間中的接近程度。

LLAMA2 大語言模型用于在系統(tǒng)中生成情境通知。該模型用于兩項關鍵任務：創(chuàng)建異常檢測警報和顯示購物車中所添加產品的實情，從而增強用戶體驗。

Rawat 表示：“AMD 銳龍嵌入式處理器助力我們部署最新的 AI 技術，通過實現(xiàn)快速準確的產品掃描與驗證，提供無縫、無憂的購物體驗，同時幫助零售商減少欺詐和盜竊情況。我們相信，這項核心技術可為未來打造更具變革性和互動性的面對面購物體驗奠定基礎?！?/p>