作者 / Smule 工程團(tuán)隊(duì): David Gayle、Chris Manchester、Mark Gills、Trayko Traykov、Randal Leistikow、Mariya Ivanova。

Smule 采用 Oboe 音頻庫(kù)提升錄制率

作為目前下載量排名前列的唱歌類應(yīng)用，Smule Inc. 一直致力于投入大量資源來(lái)提升其應(yīng)用的 Android 體驗(yàn)，以提高整體音頻質(zhì)量。具體而言就是減少延遲時(shí)間，讓歌手在表演時(shí)能夠通過(guò)耳機(jī)聽(tīng)到自己的聲音。擅長(zhǎng)音頻和視頻技術(shù)的團(tuán)隊(duì)在 2021 年很大一部分時(shí)間都忙于必需的提升工作，將逾千萬(wàn) Android 用戶使用的 Smule 應(yīng)用從使用 OpenSL 音頻 API 轉(zhuǎn)換為使用 Oboe 音頻庫(kù)，從而使錄制完成率提高了約 10% 以上。

簡(jiǎn)介

Smule Inc. 是卡拉 OK 應(yīng)用的潮流企業(yè)，旗下的應(yīng)用每天幫助數(shù)百萬(wàn)用戶演唱最愛(ài)的歌曲，并分享表演。Smule 應(yīng)用超越了傳統(tǒng)的卡拉 OK，專注于共同創(chuàng)作，為用戶創(chuàng)造了獨(dú)一無(wú)二的機(jī)會(huì)，可以與朋友、平臺(tái)上的其他歌手及其最喜歡的音樂(lè)人分享音樂(lè)和合作。而音頻質(zhì)量至關(guān)重要，Smule 團(tuán)隊(duì)在 2020 年看到了在 Android 平臺(tái)提升體驗(yàn)的潛力。

Smule 使用的舊版 OpenSL 雖然支持全球市場(chǎng)的各種設(shè)備，但不太適合利用新設(shè)備的高速硬件。Smule 開(kāi)發(fā)團(tuán)隊(duì)認(rèn)為，升級(jí)音頻系統(tǒng)是必要且合乎邏輯的改進(jìn)。

Oboe 發(fā)布策略

Smule 曾面對(duì)兩種可行的改進(jìn)途徑，第一種是針對(duì) AAudio 進(jìn)行改進(jìn)，這是 Android O 中引入的高性能 Android C 音頻 API，專為需要低延遲的應(yīng)用而設(shè)計(jì)。第二種是采用在內(nèi)部同時(shí)封裝了 AAudio 和 OpenSL 的 Oboe。經(jīng)過(guò)細(xì)致評(píng)估，Smule 開(kāi)發(fā)團(tuán)隊(duì)選擇了 Oboe，此方案具有易用的代碼庫(kù)、廣泛的設(shè)備兼容性和強(qiáng)大的社區(qū)支持，可最大限度減少延遲時(shí)間，并充分利用可用的原生音頻。

改用 Oboe 意味著在應(yīng)用架構(gòu)和技術(shù)上將發(fā)生重大的變化。因此，Smule 在更新過(guò)程中采取了謹(jǐn)慎的做法，有計(jì)劃地逐步發(fā)布，首先面向少數(shù)的特定設(shè)備型號(hào)以驗(yàn)證質(zhì)量;然后逐漸地面向更多設(shè)備 (將少數(shù)使用 Oboe 時(shí)出現(xiàn)問(wèn)題的設(shè)備恢復(fù)到 OpenSL)。這種循序漸進(jìn)、有條不紊的方法可以最大限度地降低風(fēng)險(xiǎn)，并讓開(kāi)發(fā)團(tuán)隊(duì)能夠在出現(xiàn)設(shè)備特定問(wèn)題時(shí)及時(shí)處理。

改善音頻質(zhì)量體驗(yàn)

Smule 改用 Oboe 來(lái)幫助改善應(yīng)用體驗(yàn)。他們希望大幅降低音頻播放崩潰率，消除錄制時(shí)的回響和噼啪聲等問(wèn)題，以及減少音頻延遲。在之前的推文《關(guān)于 Android 音頻延遲的最新動(dòng)態(tài)》中曾介紹過(guò)，二十種最熱門的設(shè)備使用 Oboe 后，平均延遲時(shí)間從 2017 年的 109 毫秒減少到現(xiàn)在的 39 毫秒。109 毫秒的監(jiān)聽(tīng)延遲會(huì)聽(tīng)到干擾現(xiàn)場(chǎng)演唱的明顯回響，而延遲 39 毫秒則低于實(shí)時(shí)應(yīng)用可接受的閾值。當(dāng)下高端設(shè)備的延遲時(shí)間都在 22 毫秒以內(nèi)，這種一致性是一大優(yōu)勢(shì)。

Smule 使用 Oboe 后，或許是因?yàn)檠舆t時(shí)間更短，歌手借助 Smule 首屈一指的音頻效果演唱時(shí)能通過(guò)耳機(jī)聽(tīng)到自己的聲音，同時(shí)又沒(méi)有回響，錄制完成率因此得以提升。

利用 Oboe 專用的高效協(xié)作式 GitHub 門戶，Google 團(tuán)隊(duì)發(fā)揮了重要作用，不但幫助 Smule 實(shí)現(xiàn) Oboe 集成，還為其提供重要的數(shù)據(jù)洞察和支持。兩家團(tuán)隊(duì)通力合作，完成了迄今最大的 Oboe 部署，數(shù)百萬(wàn)活躍用戶受益匪淺。Smule 團(tuán)隊(duì)解決了某些 Oboe 代碼問(wèn)題，而 Google 團(tuán)隊(duì)與部分移動(dòng)設(shè)備制造商一起進(jìn)一步增強(qiáng)了 Oboe 的兼容性。

對(duì)于歌手社區(qū)而言，音頻質(zhì)量至關(guān)重要，我們一起致力于幫助 Smule 提供最佳體驗(yàn)，并助力音樂(lè)創(chuàng)作，我們?yōu)榇松罡行牢俊?/p>

Smule 首席技術(shù)官 Eric Dumas

既然是大規(guī)模部署，自然會(huì)面臨設(shè)備特定問(wèn)題。例如，操作系統(tǒng)內(nèi)置功能會(huì)導(dǎo)致原始音頻流中出現(xiàn)回響聲效，造成 Smule 不能正常應(yīng)用自己的專利 DSP 算法和音頻濾波器。Google 團(tuán)隊(duì)立即施以援手，迅速為開(kāi)發(fā)庫(kù)提供更新和補(bǔ)丁。Oboe 問(wèn)題反饋的流程簡(jiǎn)單，描述明確，便于 Google 團(tuán)隊(duì)及時(shí)解決。

Smule 還克服了其他設(shè)備特定障礙，其中包括特定芯片組錯(cuò)誤。比如，Oboe 需要單聲道麥克風(fēng)輸入時(shí)，一些設(shè)備提供的是引入一個(gè)模擬單聲道麥克風(fēng)輸入的立體聲輸入。Smule 在 Oboe 的 GitHub 中創(chuàng)建工單，以提供示例并使用 Oboe 測(cè)試應(yīng)用重現(xiàn)此問(wèn)題。

Google 開(kāi)發(fā)的 Oboe 測(cè)試器應(yīng)用工具可幫助用戶在實(shí)現(xiàn)過(guò)程中解決和標(biāo)識(shí)問(wèn)題。事實(shí)證明，此工具在測(cè)試 Oboe、AAudio 和 OpenSL ES 的許多功能、測(cè)試 Android 設(shè)備，以及衡量延遲時(shí)間和故障等方面特別有用。此應(yīng)用可提供大量有助于模擬絕大部分音頻設(shè)置的功能。Oboe 測(cè)試器還可用于自動(dòng)化測(cè)試，方法是使用 Android Intent 從 Shell 腳本啟動(dòng)。由于集成涉及大量設(shè)備，Smule 非常依賴自動(dòng)化測(cè)試。

在 Smule 確信已解決設(shè)備特定問(wèn)題，并且 Oboe 音頻相當(dāng)穩(wěn)定后，Smule 改用大范圍的對(duì)比測(cè)試發(fā)布方式。短短幾周內(nèi)，Smule 將使用 Oboe 的人群從目標(biāo)設(shè)備的 10% 增加到 100%，這得益于 Oboe 在發(fā)布期間不斷收到積極反饋和綠色 KPI 指標(biāo)。

結(jié)果不言而喻，使用 Oboe 的 Smule 用戶會(huì)唱更多歌，就這么簡(jiǎn)單。不重復(fù)的卡拉 OK 錄制量以及合唱 (或二重奏) 增加了高達(dá) 8.07%，不重復(fù)的上傳量增加了 3.84%，而演唱完成率則增加了 4.10% 以上。Smule 觀察到，在 2021 年第三季度和第四季度，錄制完成率增加了 10% 以上。

使用 Google 提供的 Firebase Crashlytics 工具，Smule 發(fā)現(xiàn)自 Oboe 全面應(yīng)用以來(lái)，與音頻相關(guān)的崩潰減少，應(yīng)用更穩(wěn)定，即便使用低端設(shè)備也如此。Smule 敬業(yè)的客服團(tuán)隊(duì)發(fā)現(xiàn)，與音頻相關(guān)的投訴減少了 33%，其中包括 (非預(yù)期的) 機(jī)器人音效和回響等問(wèn)題的投訴。

改用 Oboe 的決策已頗有成效。此應(yīng)用不同以往，更穩(wěn)定更出類拔萃，Smule 完全能夠采用更新技術(shù)，進(jìn)一步提升音頻和硬件質(zhì)量。最重要的是，Smule 用戶可以更得心應(yīng)手地制作音樂(lè)，這才是我們的使命。

審核編輯：湯梓紅