在 WWDC 2023 開發(fā)者大會上,蘋果公司展示了其機(jī)器學(xué)習(xí)和視覺生態(tài)系統(tǒng)的許多擴(kuò)展和更新,包括對 Core ML 框架的更新,Create ML 建模工具的新功能,以及用于圖像分割、動物體態(tài)檢測和 3D 人體體態(tài)的新的視覺 API。
蘋果工程師 Ben Levine 解釋說,第一個有關(guān) Core ML(運(yùn)行在 iOS 設(shè)備上的機(jī)器學(xué)習(xí)框架)的改進(jìn)是更快的推理引擎,不需要重新編譯模型或修改任何相關(guān)代碼就可以獲得這種提速。Levine 沒有提供與速度提升相關(guān)的數(shù)據(jù),他說具體將取決于實際的模型和硬件。
Core ML 還擴(kuò)展了其支持異步工作流的能力,新增了 Async Prediction API。以前,Core ML 支持批量預(yù)測,適用于已知工作量并且可以預(yù)先計算所有組件批次輸入的情況。有了新的 Async Prediction API,你現(xiàn)在可以將預(yù)測分派到后臺線程,這意味著你可以同時運(yùn)行多個預(yù)測。此外,API 還可能支持取消預(yù)測請求,這在某些情況下可以進(jìn)一步提高響應(yīng)性。
例如,Levine 演示了一款使用 Core ML 對一系列圖像進(jìn)行著色的應(yīng)用程序,并展示了新的 Async Prediction API 如何通過將推理時間減少大約一半來改善滾動體驗。然而,并發(fā)推理也有需要注意的地方。具體來說,Levine 提到了由于在內(nèi)存中加載多個輸入和輸出而增加的內(nèi)存需求,這個問題必須得到解決,例如可以通過限制應(yīng)用程序執(zhí)行的并發(fā)操作數(shù)量。
除了 Core ML 推理能力外,蘋果還通過新版的 Core ML Tools(這個工具可以幫助開發(fā)人員優(yōu)化機(jī)器學(xué)習(xí)模型的大小和性能)改進(jìn)了模型轉(zhuǎn)換選項。蘋果公司表示,隨著應(yīng)用程序開始集成越來越多、越來越大的 ML 模型,這一點(diǎn)至關(guān)重要。該工具現(xiàn)在支持幾種技術(shù),包括權(quán)重修剪、量化和調(diào)色板化,在訓(xùn)練新模型時都可以使用它。
在建模方面,蘋果對 Create ML 進(jìn)行了擴(kuò)展,支持多語言 BERT 嵌入和多標(biāo)簽圖像分類。
今年,我們設(shè)計了一個新的嵌入模型,并在數(shù)十億個標(biāo)記文本示例上進(jìn)行了訓(xùn)練。它是一個雙向編碼器表示變換器模型,簡稱 BERT。
據(jù)蘋果公司稱,新的 BERT 模型也可以提高單語文本分類器的準(zhǔn)確性。
最后,新的 Augmentation API 可以在只有有限訓(xùn)練數(shù)據(jù)的情況下提高模型質(zhì)量。數(shù)據(jù)增強(qiáng)是一種使用變換從現(xiàn)有示例生成新訓(xùn)練示例的技術(shù)。Augmentation API 將使開發(fā)人員能夠通過組合不同的轉(zhuǎn)換步驟來構(gòu)建自己的增強(qiáng)管道。蘋果公司表示,Augmentation API 使用了結(jié)果構(gòu)建器,并為使用過 SwiftUI 的開發(fā)人員提供他們熟悉的結(jié)果。
最后要注意的是,蘋果公司為其 VisionKit 框架增加了新功能,包括:檢測動物體態(tài)并實時跟蹤它們的關(guān)節(jié);將主體從圖像中提取出來并將其與背景分離;使用新的 Segmentation API 區(qū)分同一圖像中的多個個體。
如果你有興趣深入了解即將發(fā)布的 iOS 17 中所有新的 ML 和視覺功能,請查看 WWDC 2023 大會錄制清單。
-
編碼器
+關(guān)注
關(guān)注
45文章
3808瀏覽量
138065 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8503瀏覽量
134630 -
生態(tài)系統(tǒng)
+關(guān)注
關(guān)注
0文章
707瀏覽量
21065
原文標(biāo)題:Apple 機(jī)器學(xué)習(xí)和視覺生態(tài)系統(tǒng)更新:Core ML、Create ML 和 VisionKit
文章出處:【微信號:AI前線,微信公眾號:AI前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
Microchip打造日本汽車市場首個ASA-ML攝像頭開發(fā)生態(tài)系統(tǒng)
NanoEdge AI Studio 面向STM32開發(fā)人員機(jī)器學(xué)習(xí)(ML)技術(shù)

Raspberry Pi Pico 2 上實現(xiàn):實時機(jī)器學(xué)習(xí)(ML)音頻噪音抑制功能

如何在光子學(xué)中利用電子生態(tài)系統(tǒng)

安森美PRISM生態(tài)系統(tǒng)助力相機(jī)開發(fā)

英監(jiān)管機(jī)構(gòu)或優(yōu)先調(diào)查蘋果谷歌移動生態(tài)系統(tǒng)
英國CMA將對蘋果谷歌移動生態(tài)系統(tǒng)展開調(diào)查
SPEC ML基準(zhǔn)測試新增模算效率指標(biāo)
笙泉完善的MCU生態(tài)系統(tǒng)(ECO System),賦能高效開發(fā)、提升競爭優(yōu)勢
Silicon Labs攜手Eta Compute簡化邊緣ML開發(fā)
對三星而言開放生態(tài)系統(tǒng)是什么
英特爾和AMD組建x86生態(tài)系統(tǒng)咨詢小組
為AI、ML和數(shù)字孿生模型建立可信數(shù)據(jù)
AI引擎機(jī)器學(xué)習(xí)陣列指南

評論