一個(gè)機(jī)器學(xué)習(xí)項(xiàng)目中，從單一的模型訓(xùn)練中獲得良好的結(jié)果是一回事，但是保持所有的機(jī)器學(xué)習(xí)實(shí)驗(yàn)僅僅有條，并且有一個(gè)流程能讓你從中得出有效的結(jié)論又是另一回事。

近日，數(shù)據(jù)科學(xué)家Pawe Kijko在一篇博文中介紹了15個(gè)跟蹤機(jī)器學(xué)習(xí)實(shí)驗(yàn)的最佳工具，并且解釋了作為數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師，為什么需要一個(gè)工具來(lái)跟蹤機(jī)器學(xué)習(xí)實(shí)驗(yàn)，以及可使用的最佳軟件是什么。

原文如下：

跟蹤機(jī)器學(xué)習(xí)實(shí)驗(yàn)的工具——誰(shuí)需要它們，為什么？

數(shù)據(jù)科學(xué)家

在許多組織中，機(jī)器學(xué)習(xí)工程師和數(shù)據(jù)科學(xué)家傾向于單獨(dú)工作。這使得一些人認(rèn)為，只要他們能夠交付最后一個(gè)模型，跟蹤他們的實(shí)驗(yàn)過程并不是那么重要。

在某種程度上這是正確的，但是當(dāng)您想回到某個(gè)想法，重新運(yùn)行幾個(gè)月前的模型，或者簡(jiǎn)單地比較和可視化運(yùn)行之間的差異時(shí)，用于跟蹤ML實(shí)驗(yàn)的系統(tǒng)或工具的需求就顯現(xiàn)出來(lái)了。

數(shù)據(jù)科學(xué)家團(tuán)隊(duì)

跟蹤ML實(shí)驗(yàn)的專門工具對(duì)整個(gè)數(shù)據(jù)科學(xué)家團(tuán)隊(duì)很有效。它允許數(shù)據(jù)科學(xué)家們能夠看到其他人在做什么、分享想法和見解、存儲(chǔ)實(shí)驗(yàn)元數(shù)據(jù)，在需要的時(shí)候檢索和分析它們。

它使團(tuán)隊(duì)合作更加高效，避免了幾個(gè)人一起做同一項(xiàng)任務(wù)的情況，并使新成員更容易融入團(tuán)體。

管理者/業(yè)務(wù)人員

跟蹤軟件提供了一個(gè)讓其他成員，如經(jīng)理或業(yè)務(wù)利益相關(guān)者參與機(jī)器學(xué)習(xí)項(xiàng)目的機(jī)會(huì)。

由于可以準(zhǔn)備可視化效果、添加注釋和共享工作，因此，管理者及其同事可以輕松地跟蹤進(jìn)度并與機(jī)器學(xué)習(xí)團(tuán)隊(duì)合作。

1. Neptune

Neptune是市場(chǎng)上最輕量級(jí)的實(shí)驗(yàn)管理工具。對(duì)于任何數(shù)據(jù)科學(xué)家來(lái)說，這都是一個(gè)出色的跟蹤平臺(tái)。

該軟件可以輕松地與工作流程集成，并提供廣泛的跟蹤功能。人們可以使用它來(lái)跟蹤、檢索和分析實(shí)驗(yàn)，也可以與團(tuán)隊(duì)和管理者共享實(shí)驗(yàn)結(jié)果。

此外，Neptune非常靈活，可以與許多其他框架一起使用，并且由于其穩(wěn)定的用戶界面，它具有出色的可伸縮性（可運(yùn)行數(shù)百萬(wàn)次）。

主要優(yōu)點(diǎn)：

可以存儲(chǔ)，檢索和分析大量數(shù)據(jù)

高效團(tuán)隊(duì)協(xié)作和項(xiàng)目監(jiān)督的工具

隨附Jupyter筆記本追蹤

2. Weights & Biases

Weights & Biases針對(duì)最先進(jìn)的深度學(xué)習(xí)團(tuán)隊(duì)。使他們能夠記錄實(shí)驗(yàn)并可視化每個(gè)研究部分。Weight＆Biases的創(chuàng)建是為了促進(jìn)數(shù)據(jù)科學(xué)家之間的協(xié)作，并在此問題上提供了許多有用的功能，所有這些都是精心設(shè)計(jì)的。

主要優(yōu)點(diǎn)：

專為深度學(xué)習(xí)實(shí)驗(yàn)跟蹤而創(chuàng)建

易于集成整個(gè)過程

可定制的可視化和報(bào)告工具

3. Comet

與先前描述的工具類似，Comet的構(gòu)建是為了跟蹤機(jī)器學(xué)習(xí)項(xiàng)目。該軟件的設(shè)計(jì)團(tuán)隊(duì)的任務(wù)是幫助數(shù)據(jù)科學(xué)家更好地組織和管理實(shí)驗(yàn)。Comet提供了輕松比較實(shí)驗(yàn)并保留收集的數(shù)據(jù)記錄以及與其他團(tuán)隊(duì)成員進(jìn)行協(xié)作的可能性。

主要優(yōu)點(diǎn)：

能夠快速適應(yīng)任何機(jī)器

能夠很好地與現(xiàn)有的ML庫(kù)兼容

保障知識(shí)產(chǎn)權(quán)

4. Sacred + Omniboard

“每個(gè)實(shí)驗(yàn)都是神圣的……”就像他們?cè)谏袷サ墓ぞ呙枋鲋姓f的那樣。

Sacred是開源軟件，它允許機(jī)器學(xué)習(xí)工程師配置、組織、記錄和復(fù)制實(shí)驗(yàn)。Sacred沒有合適的用戶界面，但是可以連接到一些儀表盤工具，比如Omniboard， Sacredboard或者Neptune。

此外，它沒有以前的工具的可伸縮性，也沒有適應(yīng)團(tuán)隊(duì)協(xié)作，但是，在個(gè)人研究方面，它具有巨大的潛力。

主要優(yōu)點(diǎn)：

開源工具

廣泛的實(shí)驗(yàn)參數(shù)定制選項(xiàng)

易于集成

5. MLflow

MLflow是一個(gè)開源平臺(tái)，可幫助管理整個(gè)機(jī)器學(xué)習(xí)生命周期。這包括實(shí)驗(yàn)，還包括可重復(fù)性和部署。這三個(gè)元素分別由一個(gè)MLflow組件表示：跟蹤，項(xiàng)目和模型。

這意味著使用MLflow的數(shù)據(jù)科學(xué)家能夠跟蹤實(shí)驗(yàn)，組織實(shí)驗(yàn)，為其他ML工程師描述實(shí)驗(yàn)并將其打包到機(jī)器學(xué)習(xí)模型中。

它旨在實(shí)現(xiàn)從一個(gè)人到大型組織的可擴(kuò)展性，但是，它最適合單個(gè)用戶。

主要優(yōu)點(diǎn)：

專注于機(jī)器學(xué)習(xí)過程的整個(gè)生命周期

與許多其他工具和平臺(tái)兼容

與任何ML庫(kù)或語(yǔ)言集成的開放界面

6. TensorBoard

TensorBoard是另一個(gè)實(shí)驗(yàn)跟蹤工具。它是開源的，提供了一套工具，用于可視化和調(diào)試機(jī)器學(xué)習(xí)模型。

TensorBoard是市場(chǎng)上最受歡迎的解決方案，因此已與許多其他工具和應(yīng)用程序廣泛集成。而且，它擁有很多工程師用戶，他們使用該軟件并分享經(jīng)驗(yàn)和想法。

這使得一個(gè)強(qiáng)大的社區(qū)準(zhǔn)備好解決任何問題。然而，軟件本身最適合個(gè)人用戶。

主要優(yōu)點(diǎn)：

大型的預(yù)建跟蹤工具庫(kù)

與許多其他工具和應(yīng)用程序集成

有充分準(zhǔn)備去解決問題的用戶和社區(qū)

7. guild.ai

guild.ai的開發(fā)人員指出：“你應(yīng)用實(shí)驗(yàn)越快越有效，你就能越早完成你的工作?！睘榱烁玫亟M織這個(gè)過程，他們開發(fā)了這個(gè)開源實(shí)驗(yàn)跟蹤軟件，這個(gè)軟件最適合于單個(gè)項(xiàng)目。

它是輕量級(jí)的，并配備了許多有用的特性，使它更容易運(yùn)行、分析、優(yōu)化和重新創(chuàng)建機(jī)器學(xué)習(xí)實(shí)驗(yàn)。此外，guild.ai包含各種分析工具，使實(shí)驗(yàn)比較過程更加容易。

主要優(yōu)點(diǎn)：

自動(dòng)化機(jī)器學(xué)習(xí)過程

與任何語(yǔ)言和庫(kù)集成

遠(yuǎn)程訓(xùn)練和備份的可能性

8. Polyaxon

Polyaxon是一個(gè)專注于機(jī)器學(xué)習(xí)項(xiàng)目的整個(gè)生命周期管理以及促進(jìn)ML團(tuán)隊(duì)協(xié)作的平臺(tái)。

它包括從跟蹤和優(yōu)化實(shí)驗(yàn)到模型管理和法規(guī)遵從的廣泛特性。其開發(fā)人員的主要目標(biāo)是在節(jié)省成本的同時(shí)最大化結(jié)果和生產(chǎn)力。

但是，值得注意的是，在準(zhǔn)備使用之前，需要將Polyaxon集成到您的infra/cloud中。

主要優(yōu)點(diǎn)：

與最流行的深度學(xué)習(xí)框架和ML庫(kù)集成

旨在服務(wù)于不同的利益群體，包括數(shù)據(jù)科學(xué)家，團(tuán)隊(duì)領(lǐng)導(dǎo)和架構(gòu)師

提供了團(tuán)隊(duì)協(xié)作的可能性

9. Trains

如其創(chuàng)建者所述，Trains的建立是為了跟蹤“訓(xùn)練生產(chǎn)級(jí)深度學(xué)習(xí)模型的過程”。該軟件的主要重點(diǎn)是輕松高效地跟蹤機(jī)器學(xué)習(xí)和深度學(xué)習(xí)實(shí)驗(yàn)。Trains是一個(gè)仍處于測(cè)試階段的開源平臺(tái)，但它在不斷開發(fā)和升級(jí)。

主要優(yōu)點(diǎn)：

快速簡(jiǎn)便的實(shí)施過程

促進(jìn)團(tuán)隊(duì)合作的可能性

用于跟蹤實(shí)驗(yàn)過程并將數(shù)據(jù)保存到一臺(tái)集中式服務(wù)器

10. Valohai

Valohai在設(shè)計(jì)時(shí)考慮到了數(shù)據(jù)科學(xué)家的想法，它的主要好處是使模型構(gòu)建過程更快。

它可以實(shí)現(xiàn)大規(guī)模自動(dòng)化，但首先需要與基礎(chǔ)設(shè)施/私有云集成。

Valohai兼容任何語(yǔ)言或框架，以及許多不同的工具和應(yīng)用程序。該軟件也是面向團(tuán)隊(duì)的，并具有許多便于團(tuán)隊(duì)協(xié)作的特性。

主要優(yōu)點(diǎn)：

大大加快了模型構(gòu)建過程

協(xié)助客戶服務(wù)和每月檢查

專注于機(jī)器學(xué)習(xí)的整個(gè)生命周期

11. Pachyderm

Pachyderm是一種工具，它使用戶可以控制端到端的機(jī)器學(xué)習(xí)周期。從數(shù)據(jù)沿襲到構(gòu)建和跟蹤實(shí)驗(yàn)，再到可擴(kuò)展性選項(xiàng)——Pachyderm涵蓋了所有內(nèi)容。

該軟件提供三種不同版本：Community Edition（開源，可以在任何地方使用），Enterprise Edition（完整的版本控制平臺(tái)）和Hub Edition（仍為beta版，結(jié)合了先前兩個(gè)版本的特性） 。

它需要與您的基礎(chǔ)架構(gòu)/私有云集成，因此，不像前面提到的其他工具那樣輕量級(jí)。

主要優(yōu)點(diǎn)：

可以根據(jù)自己的需要調(diào)整軟件版本

端到端流程支持

由強(qiáng)大的專家社區(qū)建立和支持

12. Kubeflow

Kubeflow是一款軟件，其主要目標(biāo)是運(yùn)行流程并簡(jiǎn)化機(jī)器學(xué)習(xí)工作流程的部署。

它被稱為Kubernetes的機(jī)器學(xué)習(xí)工具包，旨在利用Kubernetes的潛力來(lái)促進(jìn)機(jī)器學(xué)習(xí)模型的擴(kuò)展。

Kubeflow背后的團(tuán)隊(duì)正在不斷開發(fā)其功能，并盡最大努力使數(shù)據(jù)科學(xué)家的生活更輕松。它作為補(bǔ)充工具能夠與列表上的其他工具一起使用，

主要優(yōu)點(diǎn)：

Multi-framework集成

非常適合Kubernetes用戶

Open-source character

13. Verta.ai

Verta的主要特性可以概括為四個(gè)詞：跟蹤、協(xié)作、部署和監(jiān)視。

正如你所看到的，創(chuàng)建此軟件是為了方便管理整個(gè)機(jī)器學(xué)習(xí)生命周期。它配備了必要的工具，以協(xié)助ML團(tuán)隊(duì)在過程的每個(gè)階段。然而，各種各樣的特性使得平臺(tái)更加復(fù)雜，因此不像我們提到的其他工具那樣輕量級(jí)。

主要優(yōu)點(diǎn)：

與其他ML框架的兼容性

在端到端機(jī)器學(xué)習(xí)過程中的輔助

人性化設(shè)計(jì)

14. SageMaker Studio

SageMaker Studio是一種Amazon工具，它使數(shù)據(jù)科學(xué)家可以管理整個(gè)機(jī)器學(xué)習(xí)生命周期。從構(gòu)建、訓(xùn)練到部署ML模型。該軟件的設(shè)計(jì)初衷是使開發(fā)高質(zhì)量實(shí)驗(yàn)的過程變得更輕松、更省時(shí)。它是一個(gè)基于web的工具，并附帶了整個(gè)工具集，旨在幫助數(shù)據(jù)科學(xué)家提高他們的性能。

主要優(yōu)點(diǎn)：

跟蹤數(shù)千個(gè)實(shí)驗(yàn)的可能性

與大量與ML相關(guān)任務(wù)的Amazon工具集成

全面管理

15. DVC

最后一個(gè)項(xiàng)目是專門為機(jī)器學(xué)習(xí)項(xiàng)目創(chuàng)建的開源版本控制系統(tǒng)。其目的是使數(shù)據(jù)科學(xué)家能夠共享ML模型，并使它們具有可重復(fù)性。

DVC用戶界面可以處理大量數(shù)據(jù)的版本管理和組織，并以組織良好、可訪問的方式存儲(chǔ)它們。它關(guān)注于數(shù)據(jù)和管道版本控制和管理，但有一些（有限的）實(shí)驗(yàn)跟蹤功能。它可以很容易地與此列表中的其他工具作為補(bǔ)充工具一起使用。

主要優(yōu)點(diǎn)：

適應(yīng)任何語(yǔ)言和框架

收集大量數(shù)據(jù)的可能性

Open-source character

后記

跟蹤機(jī)器學(xué)習(xí)實(shí)驗(yàn)一直是ML開發(fā)過程中的重要一環(huán)，但在過去，它需要數(shù)據(jù)科學(xué)家付出大量的努力。跟蹤工具是有限的，因此該過程是手動(dòng)且耗時(shí)的。

由于這個(gè)原因，數(shù)據(jù)科學(xué)家和工程師經(jīng)常忽視機(jī)器學(xué)習(xí)生命周期的這一部分，或者創(chuàng)建自己的解決方案，這種情況不應(yīng)該再發(fā)生了。

在過去的幾年里，跟蹤機(jī)器學(xué)習(xí)實(shí)驗(yàn)的工具已經(jīng)成熟了很多，且易于訪問和使用。今天列出的應(yīng)用和平臺(tái)就是最好的例子，希望對(duì)數(shù)據(jù)科學(xué)家們有所助益。