盡管圍繞機器學(xué)習(xí)和人工智能（AI）進行了大肆宣傳，但企業(yè)中的大多數(shù)努力仍處于試驗階段。 造成這種現(xiàn)象的部分原因是與機器學(xué)習(xí)項目相關(guān)的自然實驗，但也有一個與機器學(xué)習(xí)體系結(jié)構(gòu)缺乏成熟度有關(guān)的重要因素。 該問題在企業(yè)環(huán)境中尤其明顯，在企業(yè)環(huán)境中，現(xiàn)代機器學(xué)習(xí)解決方案的新應(yīng)用程序生命周期管理實踐與公司實踐和法規(guī)要求相沖突。 在采用機器學(xué)習(xí)解決方案時，組織應(yīng)放置哪些關(guān)鍵體系結(jié)構(gòu)構(gòu)建塊？ 答案不是很簡單，但是最近我們已經(jīng)看到研究實驗室和AI數(shù)據(jù)科學(xué)的一些努力，這些努力開始為大規(guī)模機器學(xué)習(xí)解決方案的參考體系結(jié)構(gòu)鋪平道路。

建立用于大規(guī)模機器學(xué)習(xí)解決方案的參考體系結(jié)構(gòu)的挑戰(zhàn)主要由兩個主要因素來強調(diào)：

1）機器學(xué)習(xí)框架和基礎(chǔ)設(shè)施的發(fā)展比主流環(huán)境中采用這些技術(shù)的發(fā)展速度要快得多。

2）機器學(xué)習(xí)解決方案的生命周期與其他軟件學(xué)科根本不同。

為了解釋第一點，請考慮構(gòu)成機器學(xué)習(xí)生態(tài)系統(tǒng)的四個主要領(lǐng)域：研究，開發(fā)框架，基礎(chǔ)架構(gòu)和應(yīng)用程序架構(gòu)。 在過去的幾年中，前三個領(lǐng)域的發(fā)展速度比第四領(lǐng)域快得多，這說明在主流環(huán)境中采用新的機器學(xué)習(xí)體系結(jié)構(gòu)存在很大的摩擦。

第二點也不是很明顯，除非您在實際應(yīng)用中遇到了這一挑戰(zhàn)。 機器學(xué)習(xí)程序的生命周期與傳統(tǒng)軟件應(yīng)用程序根本不同。 結(jié)果，當(dāng)應(yīng)用于機器學(xué)習(xí)解決方案時，大多數(shù)已建立的應(yīng)用程序開發(fā)方法（例如，敏捷或瀑布式開發(fā)以及連續(xù)的集成/交付工具和流程）均不完善。

盡管這些挑戰(zhàn)當(dāng)然是相關(guān)的，但我們開始看到第一波架構(gòu)，這些架構(gòu)為機器學(xué)習(xí)解決方案提供了可行的工作流程。 矛盾的是，與流行的機器學(xué)習(xí)框架（如TensorFlow或PyTorch）或機器學(xué)習(xí)平臺（如AWS SageMaker或Azure ML）相比，這些解決方案中的大多數(shù)都沒有受到機器學(xué)習(xí)社區(qū)的太多關(guān)注。

您需要了解的五個機器學(xué)習(xí)框架

下面，我列出了一些我最喜歡的框架和參考體系結(jié)構(gòu)，這些框架和參考體系結(jié)構(gòu)簡化了現(xiàn)實世界中機器學(xué)習(xí)解決方案的實現(xiàn)。 我計劃在以后的文章中深入研究這些堆棧中的每個堆棧。

斯坦福的DAWN

DAWN是由斯坦福大學(xué)（Stanford University）創(chuàng)立的一項計劃，并得到了英特爾，谷歌或微軟等行業(yè)巨頭的支持。 去年發(fā)表的研究論文中概述了DAWN背后的原理，該論文實質(zhì)上提出了一系列工具，框架和體系結(jié)構(gòu)參考，以簡化機器學(xué)習(xí)工作流程。 當(dāng)前的DAWN堆棧包括解決機器學(xué)習(xí)解決方案生命周期不同方面的項目，例如培訓(xùn)（Snorkel），連續(xù)分析（MacroBase）或數(shù)據(jù)計算（Weld）。

》 Source： https://dawn.cs.stanford.edu/

優(yōu)步的米開朗基羅

Uber的米開朗基羅（Michelangelo）是該領(lǐng)域最著名的工作之一，它的運行時為Uber的數(shù)百種機器學(xué)習(xí)工作流提供了動力。 從實驗到模型服務(wù)，米開朗基羅結(jié)合了主流技術(shù)以自動化機器學(xué)習(xí)應(yīng)用程序的生命周期。 Uber出色地完成了Michelangelo與其他專有機器學(xué)習(xí)技術(shù)（例如Horovod，PyML或Pyro）的互補工作。

》 Source： https://eng.uber.com/michelangelo-machine-learning-platform/

DataBricks的MLflow

MLflow是一個開源平臺，用于自動化機器學(xué)習(xí)解決方案的生命周期。 該項目專注于機器學(xué)習(xí)工作流程的三個關(guān)鍵領(lǐng)域：培訓(xùn)，項目包裝和模型服務(wù)。 Mlflow與許多主流開發(fā)框架以及運行時基礎(chǔ)結(jié)構(gòu)集成在一起，這使其成為各種機器學(xué)習(xí)場景的可行選擇。

》 Source： https://www.mlflow.org/

Facebook的FBLearner Flow

FBLearner Flow是Facebook機器學(xué)習(xí)應(yīng)用程序的骨干。 該平臺可自動執(zhí)行機器學(xué)習(xí)工作流程的不同元素，例如特征提取，訓(xùn)練，模型評估和推理。 FBLearner Flow與Facebook自己的Caffe2，PyTorch和ONNX等多種機器學(xué)習(xí)框架和工具集成在一起。

》 Source： https://engineering.fb.com/ml-applications/introducing-fblearner-flow-facebook-s-ai-backbo

Google的TFX

Google還創(chuàng)建了自己的運行時來執(zhí)行機器學(xué)習(xí)工作流。 TFX基于最近發(fā)表的研究論文，該論文提出了用于簡化TensorFlow程序可操作性的架構(gòu)。 TFX包含TensorFlow架構(gòu)的幾個關(guān)鍵組件，例如用于基于訓(xùn)練數(shù)據(jù)生成模型的學(xué)習(xí)器，用于分析和驗證數(shù)據(jù)以及模型的模塊以及用于在生產(chǎn)中服務(wù)模型的基礎(chǔ)架構(gòu)。

》 Source： https://www.kdd.org/kdd2017/papers/view/tfx-a-tensorflow-based-production-scale-machine-le

這些是一些新的，即將到來的項目，旨在簡化現(xiàn)實世界中機器學(xué)習(xí)應(yīng)用程序的實現(xiàn)。 隨著機器學(xué)習(xí)的發(fā)展，我們應(yīng)該看到越來越多的參考架構(gòu)和框架已成為全球企業(yè)軟件堆棧中不可或缺的一部分。