作者 / 高級(jí)開(kāi)發(fā)者關(guān)系工程師 Kateryna Semenova 和高級(jí)產(chǎn)品經(jīng)理 Mark Sherwood

在 "AI on Android Spotlight Week" 期間，我們深入探討了如何將自己的 AI 模型引入 Android 設(shè)備，如手機(jī)、平板電腦等。通過(guò)利用 Google 和其他來(lái)源的工具與技術(shù)，您可以直接在這些設(shè)備上運(yùn)行復(fù)雜的 AI 模型，以實(shí)現(xiàn)更出色的性能、更好的隱私性和更高的可用性，創(chuàng)造激動(dòng)人心的可能性。

了解設(shè)備端 AI

設(shè)備端 AI 不依賴基于云服務(wù)器，而是直接在硬件設(shè)備上部署和運(yùn)行機(jī)器學(xué)習(xí)或生成式 AI 模型。此方法具有幾項(xiàng)優(yōu)勢(shì)，例如降低延遲、強(qiáng)化隱私、節(jié)約成本，以及減少了對(duì)互聯(lián)網(wǎng)連接的依賴。

對(duì)于生成文本用例，請(qǐng)?zhí)剿?Gemini Nano;用戶現(xiàn)在可以通過(guò) Gemini Nano 的 SDK 進(jìn)行實(shí)驗(yàn)性訪問(wèn)。對(duì)于許多設(shè)備端 AI 用例，您可能想要在應(yīng)用中打包自己的模型。我們將在本文介紹如何在 Android 上實(shí)現(xiàn)此操作。

設(shè)備端 AI 的核心資源

Google AI Edge 平臺(tái)為在邊緣設(shè)備上構(gòu)建和部署 AI 模型提供了一個(gè)全面的生態(tài)系統(tǒng)。此平臺(tái)支持各種框架和工具，能讓開(kāi)發(fā)者將 AI 功能無(wú)縫集成到應(yīng)用中。Google AI Edge 平臺(tái)包括:

MediaPipe Tasks - 跨平臺(tái)低代碼 API，用于處理常見(jiàn)的生成式 AI、視覺(jué)、文本和音頻任務(wù)

LiteRT (前身為 TensorFlow Lite) - 用于在 Android 上部署自定義機(jī)器學(xué)習(xí)模型的輕量級(jí)運(yùn)行時(shí)

MediaPipe Framework - 用于將多個(gè)機(jī)器學(xué)習(xí)模型與預(yù)處理和后處理邏輯高效鏈接在一起的流水線框架

Model Explorer - 轉(zhuǎn)換、性能和調(diào)試可視化工具

如何在 Android 上構(gòu)建

自定義 AI 功能

1. 定義您的用例: 在深入研究技術(shù)細(xì)節(jié)之前，明確定義您希望 AI 功能實(shí)現(xiàn)的目標(biāo)非常重要。無(wú)論您致力于開(kāi)發(fā)圖像分類、自然語(yǔ)言處理還是其他應(yīng)用，擁有明確的目標(biāo)將為您的開(kāi)發(fā)進(jìn)程指明方向。

2. 選擇合適的工具和框架: 根據(jù)您的用例，您或許可以使用開(kāi)箱即用的解決方案，也可能需要?jiǎng)?chuàng)建或獲取自己的模型。通過(guò) MediaPipe Tasks 查看常見(jiàn)的解決方案，如手勢(shì)識(shí)別、圖像分割或面部特征點(diǎn)檢測(cè)。如果您找到符合需求的解決方案，可以直接進(jìn)入測(cè)試和部署步驟。

如果您需要為用例創(chuàng)建或獲取自定義模型，則需要一個(gè)設(shè)備端機(jī)器學(xué)習(xí)框架，例如 LiteRT (前身為 TensorFlow Lite)。LiteRT 專為移動(dòng)和邊緣設(shè)備設(shè)計(jì)，為部署機(jī)器學(xué)習(xí)模型提供了輕量級(jí)運(yùn)行時(shí)。只需按照以下子步驟操作:

開(kāi)發(fā)和訓(xùn)練模型: 使用您選擇的框架開(kāi)發(fā) AI 模型。訓(xùn)練可以在功能強(qiáng)大的機(jī)器或云環(huán)境中執(zhí)行，但模型應(yīng)針對(duì)設(shè)備上的部署進(jìn)行優(yōu)化。量化和剪枝等技術(shù)可以幫助縮小模型尺寸并提高推理速度。Model Explorer 可以幫助您在使用模型的同時(shí)理解和探索該模型。

轉(zhuǎn)換和優(yōu)化模型: 當(dāng)您的模型訓(xùn)練好后，就可以將其轉(zhuǎn)換為適合設(shè)備端部署的格式。例如，LiteRT 需要將其轉(zhuǎn)換為特定格式。優(yōu)化工具可以幫助減少模型的占用空間并提升其性能。AI Edge Torch 允許您使用 Google AI Edge LiteRT 和 MediaPipe Tasks 庫(kù)來(lái)轉(zhuǎn)換 PyTorch 模型，使其能在 Android 和其他平臺(tái)上本地運(yùn)行。

加速模型: 您可以使用 GPU 和 NPU，為 Android 上的模型推理加速。借助 LiteRT 的 GPU 代理，您可以立即在 GPU 上運(yùn)行您的模型。我們正在努力構(gòu)建下一代 GPU 和 NPU 代理，使您的模型運(yùn)行得更快，并支持更多模型在 GPU 和 NPU 上運(yùn)行。我們誠(chéng)邀您參與我們的搶先體驗(yàn)計(jì)劃，以試用這一新的 GPU 和 NPU 基礎(chǔ)設(shè)施。我們將會(huì)陸續(xù)邀請(qǐng)參與者搶先體驗(yàn)，即刻聯(lián)系我們參與體驗(yàn)吧!

3. 測(cè)試和部署: 為了確保您的模型在各種設(shè)備上都能實(shí)現(xiàn)預(yù)期的性能，嚴(yán)格的測(cè)試至關(guān)重要。完成測(cè)試后，即可向用戶部署您的應(yīng)用，為他們提供無(wú)縫且高效的 AI 體驗(yàn)。我們正在努力讓 Google Play 和 Android App Bundle 發(fā)揮其優(yōu)勢(shì)，以便更好地為設(shè)備端 AI 功能提供自定義機(jī)器學(xué)習(xí)模型。Play for On-device AI 簡(jiǎn)化了啟動(dòng)、定位、版本控制、下載和更新設(shè)備端模型的復(fù)雜程度，從而為用戶提供更好的使用體驗(yàn)，同時(shí)不會(huì)影響應(yīng)用的大小，也不會(huì)增加成本。如有興趣加入 Play for On-device AI 搶先體驗(yàn)計(jì)劃，您可以填寫(xiě)表格。

通過(guò)隱私性和透明度

建立對(duì) AI 的信任

隨著 AI 在日常生活中發(fā)揮的作用日益增強(qiáng)，確保模型在設(shè)備上按預(yù)期運(yùn)行至關(guān)重要。我們強(qiáng)調(diào) "零信任" 方法，為開(kāi)發(fā)者提供工具來(lái)驗(yàn)證設(shè)備完整性和用戶對(duì)其數(shù)據(jù)的控制。在零信任方法中，開(kāi)發(fā)者需要能夠?qū)υO(shè)備的可信度做出明智決策。

我們推薦開(kāi)發(fā)者使用 Play Integrity API，來(lái)驗(yàn)證應(yīng)用、服務(wù)器請(qǐng)求和設(shè)備環(huán)境。您可以在應(yīng)用后端決定下載并運(yùn)行模型之前的重要時(shí)刻調(diào)用 API。還可以考慮啟用在安裝應(yīng)用時(shí)進(jìn)行完整性檢查，以減少應(yīng)用被分發(fā)到未知和不受信任的環(huán)境中。

Play Integrity API 利用 Android 平臺(tái)密鑰認(rèn)證來(lái)驗(yàn)證硬件組件，并在整個(gè)設(shè)備群中生成完整性判定，從而使大多數(shù)開(kāi)發(fā)者不再需要直接集成不同的認(rèn)證工具，降低了設(shè)備生態(tài)系統(tǒng)的復(fù)雜性。在決定是否信任設(shè)備運(yùn)行 AI 模型之前，開(kāi)發(fā)者可以使用其中一個(gè)或兩個(gè)工具來(lái)評(píng)估設(shè)備安全性和軟件完整性。

結(jié)論

將您的 AI 模型引入設(shè)備涉及多個(gè)步驟，包括定義用例、部署和測(cè)試模型等。借助 Google AI Edge 等資源，開(kāi)發(fā)者可以使用強(qiáng)大的工具和洞察，使過(guò)程更順暢、更高效。隨著設(shè)備端 AI 的不斷發(fā)展，您將能夠利用這些資源，創(chuàng)建先進(jìn)的應(yīng)用，提供更好的性能、隱私性和用戶體驗(yàn)。我們目前正在尋找搶先體驗(yàn)的合作伙伴，在 Google AI Edge 中試用我們的一些最新工具和 API。填寫(xiě)表格聯(lián)系我們，即刻了解我們?cè)撊绾喂餐?，以?shí)現(xiàn)您的愿景。