2017年9月，Uber 在技術(shù)社區(qū)發(fā)表了一篇文章向大家介紹了 Uber 的機器學習平臺 —— Michelangelo。隨著平臺的日漸成熟，Uber 的業(yè)務數(shù)量與能力也隨之增長和提升，機器學習在整個公司的應用范圍越來越廣。在本篇文章中，我們將為大家總結(jié) Michelangelo 在過去一年的時間里取得的成果，回顧Michelangelo的發(fā)展歷程，并深入探討 Uber 機器學習平臺當前的發(fā)展方向和未來目標。

三年時間，從零到一百

2015年，機器學習在 Uber 的應用并不廣。但隨著公司的規(guī)模擴大，業(yè)務需要也越來越復雜，需要用到機器學習的地方越來越多。如何在公司范圍內(nèi)部署機器學習迅速成為 Uber 的戰(zhàn)略重點。

Michelangelo 最初的重點是實現(xiàn)大規(guī)模批量訓練，并進行批量預測。隨著時間的推移，Uber加入了集中式特征存儲、模型性能報告、低延遲實時預測服務、深度學習工作流以及許多其他的組件與集成環(huán)境。在短短三年內(nèi)，Uber 已經(jīng)擁有技術(shù)先進的機器學習工具和基礎平臺，以及上百個機器學習案例。

Uber 的機器學習用例

Uber 將機器學習用在了各種各樣的業(yè)務中。在這一部分，我們將為大家介紹在過去三年的時間里幾個 Michelangelo的典型用例，它們體現(xiàn)了機器學習在 Uber業(yè)務中的多樣性和影響力：

▌Uber Eats

Uber Eats 使用基于 Michelangelo 的多個模型來做預測，以便食客每次打開 APP 都可以有更好的體驗。基于機器學習的排名模型會根據(jù)歷史數(shù)據(jù)和用戶當前的進程信息，來推薦合適的餐館和菜品?；?Michelangelo，優(yōu)食也會根據(jù)預測到達時間、歷史數(shù)據(jù)以及餐館的實時信息，來估算餐食的送達時間。

▌市場預測

Uber的市場團隊利用了各種時空預測模型，這些模型能夠預測未來各個地點和時間乘坐者的需求，以及司機是否有空。根據(jù)所預測的供需不平衡情況，Uber 系統(tǒng)可以提醒司機提前去往最有機會接客的地點。

▌客戶支持

在 Uber平臺，每天約有 1500 萬次出行記錄。人們經(jīng)常把錢包或手機遺忘在車內(nèi)，或通過Uber的幫助系統(tǒng)提交各種問題。這些問題單將被提交至客服代表?；?Michelangelo 的機器學習模型被應用于此，使問題的解決過程更加自動化，并大大提升了速度。

▌乘車檢查

自 2010 年的第一條 Uber 乘坐記錄以來，每次出行時地圖都會使用 GPS 數(shù)據(jù)。所以我們知道自己何時處于何地，以及是誰在駕駛。但Uber 希望可以做得更多。利用 GPS 的力量和司機的智能手機中的其他傳感器，Uber的技術(shù)可以檢測到可能發(fā)生的車禍。例如，如果在一次旅程中出現(xiàn)長時間的意外停車，乘客和司機都會收到一條提醒，可提供交通事件援助。

▌預計到達時間（ETAs）

對公司來說，最重要的指標之一就是各種預估時間。精確的預估時間對好的用戶體驗至關重要，這些指標被輸入無數(shù)其他的內(nèi)部系統(tǒng)中，來協(xié)助判定價格和路線。

Uber 的地圖服務團隊開發(fā)了一個復雜的分段路線系統(tǒng)，用來計算基本的預估時間值。這些基本的預估時間具有相同類型的錯誤。地圖服務團隊發(fā)現(xiàn)他們可以使用機器學習模型來預測這些錯誤，并用預測的錯誤來進行修正。由于這個模型正逐個應用在各個城市，Uber 團隊發(fā)現(xiàn)預估到達時間的準確性大幅提升，在某些情況下，平均預估到達時間的誤差減小了 50% 以上。

▌一鍵聊天

一鍵聊天的功能基于自然語言處理模型，模型可以預測并展示最有可能的回復，使乘客與司機之間的交流更加高效。司機只需按一下按鈕，即可回復乘客的消息，從而避免分心。

▌自動駕駛車輛

Uber 的自動駕駛汽車系統(tǒng)使用深度學習模型來實現(xiàn)各種功能，包括物體檢測和路線規(guī)劃。建模人員用 Michelangelo 的 Horovod 在大量 GPU 機器上進行高效的分布式訓練。

Uber如何一步步拓展機器學習的應用場景

作為一支平臺團隊，Uber 團隊的使命是充分利用機器學習的價值，并加速其在公司各個方面的應用。對于數(shù)據(jù)科學家，Uber的工具簡化了機器學習系統(tǒng)構(gòu)建與部署過程中的生產(chǎn)和運行。對于工程師，Uber 的機器學習工具簡化了這些系統(tǒng)背后的數(shù)據(jù)科學（如特征工程、建模、評估等），使他們無需數(shù)據(jù)科學家的幫助，就可以輕松訓練出質(zhì)量足夠高的模型。最后，對于在建立機器學習系統(tǒng)方面經(jīng)驗豐富的工程團隊，Uber還提供 Michelangelo 的機器學習基礎組件，以實現(xiàn)自定義的配置和工作流。

能夠在 Uber 這樣的公司成功擴展機器學習，需要的不僅僅是技術(shù)實力，還有組織與設計流程方面的因素。接下來我們就為大家分析一下Uber 成功的三個關鍵因素：組織、流程和技術(shù)。

Michelangelo 機器學習平臺的核心戰(zhàn)略支柱

▌組織

對于構(gòu)建高質(zhì)量的解決方案并將其成功部署來說，讓對的人解決對的問題顯得尤為重要。例如，如果一個新項目需要計算機視覺方面的知識，那么什么樣的組織結(jié)構(gòu)有利于 Uber 高效地分配專家資源，從而保證合適的優(yōu)先級呢？

經(jīng)過幾次迭代，Uber 目前具備以下幾種主要角色和職責：

Uber 機器學習系統(tǒng)中的組織關聯(lián)

1.產(chǎn)品團隊

團隊發(fā)現(xiàn)，如果產(chǎn)品工程團隊具有自己在生產(chǎn)中構(gòu)建和部署的模型，效果是最好的。例如，Uber的地圖服務團隊就擁有預測 Uber 預計到達時間（ETA）的模型。產(chǎn)品團隊經(jīng)常配備使用 Uber 機器學習平臺來構(gòu)建與部署模型的全套技能。當他們需要額外的技術(shù)時，可以從研究或?qū)＜覉F那隊得到幫助。

2.專家團隊

當產(chǎn)品工程團隊遇到超出能力范圍的機器學習問題時，他們可以向內(nèi)部專家團隊求助。Uber 有各個領域的專家，如自然語言處理、計算機視覺、推薦系統(tǒng)、預測，來與產(chǎn)品團隊協(xié)同構(gòu)建量身定制的解決方案。例如在COTA 項目中專家團隊攜手產(chǎn)品團隊，為 Uber業(yè)務和用戶創(chuàng)造了巨大的影響力。

3.研究團隊

專家和產(chǎn)品工程團隊經(jīng)常與 Uber 的 AI 研究小組（AI Labs）合作，協(xié)同解決問題，并為未來的研究指明方向。一般來說，研究團隊不用寫用于生產(chǎn)的代碼，但他們在實際問題上與其他團隊的合作非常緊密。當研究員們開發(fā)了新的技術(shù)和工具時，平臺工程團隊就會將其集成到公司的平臺上，以便新技術(shù)可以為全公司所使用。

4.機器學習平臺團隊

Michelangelo 平臺團隊創(chuàng)建并執(zhí)行了通用的機器學習工作流和工具箱，產(chǎn)品工程團隊可以直接用來構(gòu)建、部署以及運用機器學習解決方案。

Uber 的系統(tǒng)越來越高端，需要解決的問題也越來越復雜，隨著日漸增長的靈活性、可擴展性，以及特定領域的機器學習開發(fā)經(jīng)驗，需求也增長了起來。Uber 也正在開發(fā)一些其他的更面向特定領域的平臺，來實現(xiàn)一些不適用于 Michelangelo 工作流的特定用例。

▌流程

Uber 的機器學習服務日漸成熟，許多流程對團隊的生產(chǎn)力和效率都起到了作用。分享最佳的機器學習實踐經(jīng)驗和建立更加結(jié)構(gòu)化的流程，對指明團隊方向和避免重復錯誤都是至關重要的。

▌技術(shù)

任何機器學習系統(tǒng)在技術(shù)方面都存在無數(shù)細節(jié)。在 Uber的系統(tǒng)中有以下幾個尤為重要的高級領域：

端到端的工作流：機器學習不僅僅是訓練模型，你需要支持整個機器學習工作流：管理數(shù)據(jù)、評估模型、部署模型、作出預測、以及監(jiān)控預測。

把機器學習當作軟件工程：團隊把機器學習的開發(fā)與軟件開發(fā)做類比，然后將軟件開發(fā)的模式和方法用到機器學習中。

模型開發(fā)速度：機器學習模型的開發(fā)是一個迭代的過程，具有創(chuàng)新性且高質(zhì)量的模型來自大量的重復試驗。因此，模型的開發(fā)與迭代速度至關重要。

模塊化與層次化的架構(gòu)：在處理大多數(shù)普通的機器學習用例時，提供端到端的工作流非常重要，但在處理不太常見且更專業(yè)的用例時，有可以進行自定義組裝的原始組件就變得尤為關鍵。

1.端到端的工作流程

早期 Uber 就認識到，要在公司內(nèi)成功開展機器學習需要的不僅僅是訓練好模型，更需要對整個工作流提供穩(wěn)定且可擴展的支持。另外團隊還發(fā)現(xiàn)，同樣的工作流可以應用到多個場景中，包括傳統(tǒng)機器學習和深度學習，有監(jiān)督、無監(jiān)督以及半監(jiān)督學習，批量、在線和移動部署，時間序列預測。讓一個工具做多種工作并不是重點，但擁有一套可以解決工作流中所有步驟的集成工具是非常重要的。

2.把機器學習看作軟件工程

Michelangelo 團隊的一個重要原則是，把機器學習看作軟件工程。實際的開發(fā)和運行機器學習應該和軟件工程一樣，是一個迭代、嚴格、經(jīng)過測試的、且有方法支持的過程。例如，一旦團隊認識到一個模型就像編譯的軟件庫，便會在一個嚴格且可控制版本的系統(tǒng)中，跟蹤模型的訓練配置，就像控制庫源代碼的版本一樣。跟蹤配置這一操作非常重要，因為之后可以將其重復利用，創(chuàng)建新的模型。

3.模型開發(fā)速度

創(chuàng)建可靠的機器學習系統(tǒng)是一門學問，需要進行多次迭代才能達到好的效果。迭代速度影響著機器學習在整個組織的擴展，以及一個團隊面對問題的解決效率。Michelangelo 團隊的首要任務是讓數(shù)據(jù)科學團隊提高速度。團隊的速度越快，試驗的次數(shù)越多，也就能測試更多的猜想，從而得到更好的結(jié)果。

下圖展示了Uber 所考慮的標準機器學習開發(fā)流程的思路，以及不同的反饋循環(huán)。團隊始終在考慮這一流程，并收縮這些循環(huán)，使數(shù)據(jù)科學中的迭代變得更加容易快捷。

機器學習項目的工作流程

4.模塊化且層次化的產(chǎn)品

團隊在開發(fā) Michelangelo 時遇到的問題之一是：在為常見的機器學習工作流提供端到端支持的同時，還要使那些不常見的工作流保持靈活性。

最初，這個平臺和基礎組件組成了一個單獨的系統(tǒng)。當系統(tǒng)變得更加復雜時，需要解決的問題也變得更加多樣且復雜。一些團隊希望將 Michelangelo 的部分組件與他們自己的組件相結(jié)合，構(gòu)成新的工作流。其他團隊需要專門的開發(fā)工具來處理他們的用例，但從頭開始構(gòu)建這些工具很顯然是不合理的。因此，團隊對 Michelangelo 的架構(gòu)進行了一些重大修改，盡可能地利用現(xiàn)有系統(tǒng)。

現(xiàn)在，團隊正在將 Michelangelo 的架構(gòu)分解成明確的基礎架構(gòu)層，讓團隊可以利用它們來構(gòu)建更復雜的平臺，例如自然語言處理或視覺應用。一旦完成這些工作，就將擁有兩個用戶群：使用 Michelangelo 平臺構(gòu)建和部署模型的模型構(gòu)建者，和使用 Michelangelo 基礎組件構(gòu)建定制解決方案或復雜平臺的機器學習系統(tǒng)構(gòu)建者。

主要經(jīng)驗教訓

在過去的三年里，通過構(gòu)建 Michelangelo 并將機器學習在整個 Uber 進行拓展，整個團隊從成功與失敗中獲得了許多經(jīng)驗教訓。在一些案例中，有時候第一次就把事情做對了，但更多的時候團隊需要經(jīng)過反復多次的嘗試，才能找到最適合的方法?？梢院推髽I(yè)、技術(shù)團隊負責人，每一個開發(fā)人員分享的經(jīng)驗有以下幾點：

讓開發(fā)人員使用他們偏好的工具。

數(shù)據(jù)是機器學習中最難的部分，同時也是最重要的部分。

要使開源和商業(yè)組件實現(xiàn)大規(guī)模運行，需要付出很多努力。

考慮長期的愿景，根據(jù)用戶的反饋進行多次開發(fā)。

實時的機器學習服務很難做到完美。

旅程才剛剛開始，仍有許多工作在等著Uber。這也是一個不斷發(fā)展的領域，會有更多的東西需要大家學習。