在 WWDC 2023 開發(fā)者大會(huì)上，蘋果公司展示了其機(jī)器學(xué)習(xí)和視覺生態(tài)系統(tǒng)的許多擴(kuò)展和更新，包括對(duì) Core ML 框架的更新，Create ML 建模工具的新功能，以及用于圖像分割、動(dòng)物體態(tài)檢測(cè)和 3D 人體體態(tài)的新的視覺 API。

蘋果工程師 Ben Levine 解釋說(shuō)，第一個(gè)有關(guān) Core ML（運(yùn)行在 iOS 設(shè)備上的機(jī)器學(xué)習(xí)框架）的改進(jìn)是更快的推理引擎，不需要重新編譯模型或修改任何相關(guān)代碼就可以獲得這種提速。Levine 沒(méi)有提供與速度提升相關(guān)的數(shù)據(jù)，他說(shuō)具體將取決于實(shí)際的模型和硬件。

Core ML 還擴(kuò)展了其支持異步工作流的能力，新增了 Async Prediction API。以前，Core ML 支持批量預(yù)測(cè)，適用于已知工作量并且可以預(yù)先計(jì)算所有組件批次輸入的情況。有了新的 Async Prediction API，你現(xiàn)在可以將預(yù)測(cè)分派到后臺(tái)線程，這意味著你可以同時(shí)運(yùn)行多個(gè)預(yù)測(cè)。此外，API 還可能支持取消預(yù)測(cè)請(qǐng)求，這在某些情況下可以進(jìn)一步提高響應(yīng)性。

例如，Levine 演示了一款使用 Core ML 對(duì)一系列圖像進(jìn)行著色的應(yīng)用程序，并展示了新的 Async Prediction API 如何通過(guò)將推理時(shí)間減少大約一半來(lái)改善滾動(dòng)體驗(yàn)。然而，并發(fā)推理也有需要注意的地方。具體來(lái)說(shuō)，Levine 提到了由于在內(nèi)存中加載多個(gè)輸入和輸出而增加的內(nèi)存需求，這個(gè)問(wèn)題必須得到解決，例如可以通過(guò)限制應(yīng)用程序執(zhí)行的并發(fā)操作數(shù)量。

除了 Core ML 推理能力外，蘋果還通過(guò)新版的 Core ML Tools（這個(gè)工具可以幫助開發(fā)人員優(yōu)化機(jī)器學(xué)習(xí)模型的大小和性能）改進(jìn)了模型轉(zhuǎn)換選項(xiàng)。蘋果公司表示，隨著應(yīng)用程序開始集成越來(lái)越多、越來(lái)越大的 ML 模型，這一點(diǎn)至關(guān)重要。該工具現(xiàn)在支持幾種技術(shù)，包括權(quán)重修剪、量化和調(diào)色板化，在訓(xùn)練新模型時(shí)都可以使用它。

在建模方面，蘋果對(duì) Create ML 進(jìn)行了擴(kuò)展，支持多語(yǔ)言 BERT 嵌入和多標(biāo)簽圖像分類。

今年，我們?cè)O(shè)計(jì)了一個(gè)新的嵌入模型，并在數(shù)十億個(gè)標(biāo)記文本示例上進(jìn)行了訓(xùn)練。它是一個(gè)雙向編碼器表示變換器模型，簡(jiǎn)稱 BERT。

據(jù)蘋果公司稱，新的 BERT 模型也可以提高單語(yǔ)文本分類器的準(zhǔn)確性。

最后，新的 Augmentation API 可以在只有有限訓(xùn)練數(shù)據(jù)的情況下提高模型質(zhì)量。數(shù)據(jù)增強(qiáng)是一種使用變換從現(xiàn)有示例生成新訓(xùn)練示例的技術(shù)。Augmentation API 將使開發(fā)人員能夠通過(guò)組合不同的轉(zhuǎn)換步驟來(lái)構(gòu)建自己的增強(qiáng)管道。蘋果公司表示，Augmentation API 使用了結(jié)果構(gòu)建器，并為使用過(guò) SwiftUI 的開發(fā)人員提供他們熟悉的結(jié)果。

最后要注意的是，蘋果公司為其 VisionKit 框架增加了新功能，包括：檢測(cè)動(dòng)物體態(tài)并實(shí)時(shí)跟蹤它們的關(guān)節(jié)；將主體從圖像中提取出來(lái)并將其與背景分離；使用新的 Segmentation API 區(qū)分同一圖像中的多個(gè)個(gè)體。

如果你有興趣深入了解即將發(fā)布的 iOS 17 中所有新的 ML 和視覺功能，請(qǐng)查看 WWDC 2023 大會(huì)錄制清單。