總部位于東京的初創(chuàng)企業(yè) Telexistence 宣布將在日本數(shù)百家全家（FamilyMart）便利店部署NVIDIA AI驅(qū)動的智能機(jī)器人來為貨架補(bǔ)貨。

全日本共有 56000 家便利店，密度居全球第三。其中約 16000 家由全家經(jīng)營。Telexistence 希望為這些商店節(jié)省時間，將重復(fù)性的工作（如為貨架補(bǔ)充飲料）交給機(jī)器人，使店員能夠處理與顧客互動等更復(fù)雜的任務(wù)。

這只是 Telexistence 機(jī)器人的功能之一，這些機(jī)器人在NVIDIA Jetson 邊緣 AI 和機(jī)器人平臺上運(yùn)行。該公司還在開發(fā)能夠使用機(jī)器人分揀包裹的 AI 倉儲物流系統(tǒng)。

Telexistence 首席執(zhí)行官 Jin Tomioka 表示：“我們希望將機(jī)器人部署到各個支持人們?nèi)粘Ｉ畹男袠I(yè)，首先就是便利店這個我們在日常生活中離不開，但卻面臨著勞動力短缺問題的行業(yè)，尤其是在便利店星羅密布的日本。”

這家成立于 2017 年的公司下一步準(zhǔn)備擴(kuò)張到美國的便利店。美國的零售業(yè)同樣受到勞動力短缺的困擾，該國目前有 15 萬家便利店，超過一半的消費(fèi)者表示他們每月至少去一次便利店。

Telexistence將在全家便利店

部署補(bǔ)貨機(jī)器人

Telexistence 將于 8 月開始在 300 家全家便利店部署名為 TX SCARA 的補(bǔ)貨機(jī)器人，并計劃在未來幾年將這種自主機(jī)器人部署到更多的全家便利店以及其他主要的連鎖便利店。

Tomioka 表示：“為了給貨架補(bǔ)貨，便利店店員在里屋耗費(fèi)了大量本該在外面與顧客打交道的時間。機(jī)器人服務(wù)可以讓店員有更多的時間與顧客接觸?！?/p>

TX SCARA 一邊在軌道上運(yùn)行，一邊通過多個攝像頭掃描每個貨架并使用 AI 識別數(shù)量過少的飲料，然后規(guī)劃補(bǔ)貨路線。這套 AI 系統(tǒng)為飲料自動補(bǔ)貨的成功率達(dá)到 98% 以上。

即便在極少數(shù)情況下，該機(jī)器人對飲料的擺放位置判斷失誤或者飲料翻倒，店員也不需要放下手中的工作來讓機(jī)器人重新運(yùn)轉(zhuǎn)。待命的 Telexistence 遠(yuǎn)程操作人員會通過使用 NVIDIA GPU 進(jìn)行視頻流傳輸?shù)奶摂M現(xiàn)實(shí)（VR）系統(tǒng)進(jìn)行手動控制，為便利店迅速解決問題。

Telexistence 估計，一家繁忙的便利店每天需要補(bǔ)充 1000 多份飲料。TX SCARA 的云系統(tǒng)會根據(jù)機(jī)器人在運(yùn)行過程中的補(bǔ)貨名稱、日期、時間和數(shù)量來維護(hù)一個產(chǎn)品銷售數(shù)據(jù)庫，使 AI 能夠根據(jù)過去的銷售數(shù)據(jù)考慮哪些商品需要優(yōu)先補(bǔ)貨。

使用 NVIDIA Jetson 進(jìn)行邊緣 AI 處理

TX SCARA 內(nèi)置多個 AI 模型。物體檢測模型可以識別商店里的飲料類型，確定哪種飲料屬于哪個貨架，并且與另一個模型一起幫助檢測機(jī)器人手臂的運(yùn)動，使機(jī)器人可以拿起飲料并準(zhǔn)確地將其放在貨架上的產(chǎn)品之間。第三個模型負(fù)責(zé)異常檢測，即識別飲料是否掉落或離開貨架。還有一個模型負(fù)責(zé)檢測每個貨架區(qū)域中哪些飲料的數(shù)量不足。

Telexistence 團(tuán)隊將自定義的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)模型，通過添加合成和注釋的真實(shí)世界數(shù)據(jù)來微調(diào)應(yīng)用的神經(jīng)網(wǎng)絡(luò)。該團(tuán)隊使用一個模擬環(huán)境創(chuàng)建了 8 萬多張合成圖像用于增強(qiáng)他們的數(shù)據(jù)集，使機(jī)器人能夠?qū)W會檢測任何顏色、圖案、照明環(huán)境中的飲料。

該團(tuán)隊依靠NVIDIA DGX Station來訓(xùn)練 AI 模型。機(jī)器人本身使用兩個 NVIDIA Jetson 嵌入式模塊：用于邊緣 AI 處理的NVIDIA Jetson AGX Xavier以及用于傳輸視頻串流數(shù)據(jù)的NVIDIA Jetson TX2模塊。

在軟件方面，該團(tuán)隊使用用于邊緣 AI 的NVIDIA JetPack SDK和用于高性能推理的NVIDIA TensorRT SDK。

Telexistence 首席機(jī)器人自動化官 Pavel Savkin 表示：“如果沒有 TensorRT，我們的模型就無法快速運(yùn)行，也就無法高效地檢測店里的商品。”

Telexistence 使用半精度浮點(diǎn)格式（FP16）來進(jìn)一步優(yōu)化其 AI 模型，而非單精度浮點(diǎn)格式（FP32）。