作者 / 開發(fā)者關系工程師 Terence Zhang 和產(chǎn)品經(jīng)理 Kristi Bradford

Google Pixel 的 Recorder 應用允許用戶錄制、轉(zhuǎn)錄、保存和共享音頻。為了讓用戶更輕松地管理和回顧自己的錄音，Recorder 的開發(fā)者將目光鎖定在功能強大的設備端大語言模型 (LLM) Gemini Nano 上。這一集成引入了 AI 驅(qū)動的音頻摘要功能，幫助用戶更輕松地找到所需的錄音并快速掌握內(nèi)容要點。

近期，隨著引入新的多模態(tài)模型，Gemini Nano 實力大增。Recorder 應用已經(jīng)在利用此升級來提煉更長的錄音，并提升了對語法和細節(jié)的處理能力。

使用設備端 AI 滿足用戶需求

Recorder 的開發(fā)者最初嘗試了基于云端的解決方案，在性能和質(zhì)量方面取得了卓越的成果。然而，為了優(yōu)先考慮用戶的無障礙和隱私需求，他們轉(zhuǎn)而尋求一種設備端解決方案。Gemini Nano 提供了一個絕佳機會，可以提供用戶所需的簡潔音頻摘要，與此同時還能保持在設備端進行數(shù)據(jù)處理。

Gemini Nano 是 Google 為設備端任務打造的最高效的模型。Pixel essential 應用產(chǎn)品經(jīng)理 Kristi Bradford 表示: "在設備端集成 LLM 對用戶有很多好處，能為用戶提供更高隱私性、更低延遲，而且由于不需要網(wǎng)絡，用戶在任何地方都能使用。"

為了取得更好的效果，Recorder 還使用與其用例相匹配的數(shù)據(jù)對模型進行了微調(diào)。開發(fā)者采用低秩適應 (LoRA) 技術(shù)進行微調(diào)，從而讓 Gemini Nano 能夠穩(wěn)定地輸出包含相關發(fā)言人姓名、內(nèi)容要點和主題在內(nèi)的三點描述。

AICore 是一種 Android 系統(tǒng)服務，可集中管理 LLM 的運行時、交付和關鍵安全組件，大幅簡化了 Recorder 對 Gemini Nano 的使用。借助用于運行 GenAI 工作負載的開發(fā)者 SDK，開發(fā)團隊僅依靠四名開發(fā)者，在短短四個月內(nèi)便開發(fā)了轉(zhuǎn)錄摘要功能。而這樣的效率，正是由于無需維護內(nèi)部模型所實現(xiàn)的。

自 Recorder 發(fā)布以來，用戶平均每天使用 2 到 5 次新的 AI 摘要功能，保存的錄音總數(shù)增加了 24%。這一功能顯著提高了應用的總體參與度和用戶留存率。Recorder 團隊還指出，用戶對新功能給予了正面反饋，許多用戶表示新的 AI 摘要功能為他們節(jié)省了大量時間。

下一項重大進展:

多模態(tài) Gemini Nano

Recorder 的開發(fā)者還采用了最新的 Gemini Nano 模型，即多模態(tài) Gemini Nano，以進一步改進該應用在 Pixel 9 設備上的摘要功能。新模型比 Pixel 8 設備上的舊模型大很多，而且功能更強大、結(jié)果更準確、擴展能力更出色。新模型還擴展了令牌 (token) 支持，讓 Recorder 可以提煉比以前更長的轉(zhuǎn)錄文本。

將 Gemini Nano 與多模態(tài)集成需要再進行一輪微調(diào)。不過，Recorder 的開發(fā)者得以利用原始 Gemini Nano 模型的微調(diào)數(shù)據(jù)集作為基礎，從而簡化了開發(fā)過程。

為了充分發(fā)揮新模型的功能，Recorder 開發(fā)者擴大了數(shù)據(jù)集，支持更長的錄音，實施了完善的評估方法，并建立了側(cè)重于語法和細節(jié)的發(fā)布標準指標。將語法作為評估推理質(zhì)量的新指標，完全得益于多模態(tài) Gemini Nano 的增強功能。

使用設備上的 AI 實現(xiàn)更多功能

Kristi 表示："生成式 AI 是一項新的功能，整個團隊都在學習使用它的過程中收獲了樂趣?，F(xiàn)在，我們有能力在滿足用戶新需求和把握新機遇的同時，突破極限。生成式 AI 確實為解決問題和開展實驗帶來了全新的創(chuàng)造力。我們已經(jīng)演示了至少兩項生成式 AI 功能，它們可以幫助人們在公司內(nèi)部節(jié)省時間，以獲得早期反饋。我們很期待看到未來的更多可能性。"