數(shù)據(jù)科學(xué)能力是否能夠靠培訓(xùn)課程培養(yǎng)？這一話題正在近期被火熱討論。

資深數(shù)據(jù)從業(yè)者、Taxify(一家歐洲打車軟件公司)數(shù)據(jù)科學(xué)家Maksim Butsenko就這一問題采訪了數(shù)百人，并得到一個結(jié)論，即使是那些具有強(qiáng)大技術(shù)背景的人，也往往缺乏一些基本技能。

在本文中，我們將討論，那些你在機(jī)器學(xué)習(xí)課程中學(xué)不到的東西。

定義數(shù)據(jù)科學(xué)家的角色

科技行業(yè)已經(jīng)或多或少懂得如何讓工程師和業(yè)務(wù)人員一起工作。我們有多種產(chǎn)品開發(fā)方法可供選擇——你的團(tuán)隊自行設(shè)置Scrum（敏捷軟件開發(fā)的框架），Kanban（看板管理）或XP（極限編程）工作流程。

人們知道如何將這些方法融入組織中，你也可以找到許多關(guān)于如何高效應(yīng)用這些方法的建議。然而，大多數(shù)人沒能理解數(shù)據(jù)科學(xué)家應(yīng)如何融入這一場景。他們算是那一部分-技術(shù)人員還是業(yè)務(wù)人員？你是放手讓他們發(fā)現(xiàn)未知的見解？還是要求他們回答一個非常具體的問題或者改善你業(yè)務(wù)中的一個具體領(lǐng)域？

Asko Seeba非常清楚地解釋了企業(yè)如何看待數(shù)據(jù)科學(xué)項目的過程，并認(rèn)為它主要就是一個研究項目?？紤]到即使是業(yè)內(nèi)人士仍然試圖理解如何以最高效的方式利用數(shù)據(jù)科學(xué)家的專業(yè)知識，那么新加入者怎么知道他們應(yīng)該關(guān)注哪些技能？

建立團(tuán)隊

一年前，我們開始在Taxify建立一個頂級數(shù)據(jù)科學(xué)團(tuán)隊。考慮到我們的快速增長（去年Taxify乘客數(shù)量增長了十倍，我們?yōu)槿虺^1500萬名乘客和500,000名駕駛員提供服務(wù)）以及運(yùn)輸領(lǐng)域數(shù)據(jù)相關(guān)的挑戰(zhàn)數(shù)量，只雇用少數(shù)優(yōu)秀的數(shù)據(jù)科學(xué)家是不夠的。我們正在考慮在明年為我們的團(tuán)隊增加幾十位數(shù)據(jù)科學(xué)家。

但我們究竟要找誰？數(shù)據(jù)科學(xué)中嚴(yán)格意義上的學(xué)位課程剛剛興起，行業(yè)本身尚未完全確定如何定義數(shù)據(jù)科學(xué)家的完美簡歷。

事實上，數(shù)據(jù)科學(xué)家?guī)炷壳坝删哂胁煌尘暗膫€人組成。我們的團(tuán)隊中有人擁有計算機(jī)科學(xué)和人工智能的背景，但也有來自信號處理，計量經(jīng)濟(jì)學(xué)，化學(xué)，復(fù)雜系統(tǒng)，社會學(xué)等領(lǐng)域的人。

我們的共同點(diǎn)是通常對科學(xué)方法和實驗設(shè)計的良好理解。獲得技術(shù)技能要簡單得多。但是，由于我們來自各個領(lǐng)域，因此我們對提供基于數(shù)據(jù)的產(chǎn)品的流程的理解可能會有所不同。需要花費(fèi)一些精力來整合所有這些經(jīng)驗并提供強(qiáng)大的團(tuán)隊成果，這就是我們?nèi)绾翁幚磉@個問題的辦法。

數(shù)據(jù)科學(xué)卓越計劃

我們啟動了一項內(nèi)部計劃，旨在為團(tuán)隊發(fā)布專注于直接產(chǎn)品影響的自動預(yù)測鋪平道路。我們稱之為“數(shù)據(jù)科學(xué)卓越計劃”，它的目的是收集我們已經(jīng)建立的團(tuán)隊和我們正在努力實現(xiàn)的最佳實踐并應(yīng)用之。

它有助于新團(tuán)隊成員簡化模型開發(fā)過程并避免常見陷阱，這樣我們就可以更快地前進(jìn)。在我們能夠產(chǎn)生有價值的東西之前，不必檢查本指南中的每一條，但是大多數(shù)要點(diǎn)都是為了確保結(jié)果的質(zhì)量，并避免代價高昂的錯誤。

我在這里談?wù)撐覀兊臄?shù)據(jù)科學(xué)卓越指南的原因是：它給出了對發(fā)布數(shù)據(jù)產(chǎn)品的要領(lǐng)的深刻理解。雖然大部分內(nèi)容對于經(jīng)驗豐富的數(shù)據(jù)科學(xué)家來說都是不言而喻的，但你無法從機(jī)器學(xué)習(xí)（ML）課程或書籍中了解它，因此這對于任何剛畢業(yè)或從其他領(lǐng)域轉(zhuǎn)移到數(shù)據(jù)科學(xué)的人都很有用。

通過進(jìn)行面試和審查測試任務(wù)，我們經(jīng)?？吹皆S多具有很強(qiáng)的技術(shù)技能和對ML充分了解的初學(xué)者沒能提出正確的問題或者也不知道如何在現(xiàn)場測試他們的模型。這時候我們的數(shù)據(jù)科學(xué)卓越指南就可以為他們提供幫助。

問題陳述

首先定義你要解決的問題。

如果可能的話用數(shù)學(xué)符號描述它（不需要太嚴(yán)格，但有助于確保定義是正確的）。通過定義問題，我們可以開始概述解決方案的可能方法。這是一個迭代過程，回到問題陳述并驗證——我們問了自己正確的問題嗎？我們可以對市場上已有且可重用的解決方案進(jìn)行文獻(xiàn)探討和研究，重點(diǎn)在于它們對我們的問題的作用。

目標(biāo)和指標(biāo)

根據(jù)項目的目標(biāo)，提出可以標(biāo)示目標(biāo)達(dá)到的指標(biāo)。

在開始研究原型之前，先問問自己：

你的模型對于產(chǎn)品和其使用人員有多少實際價值？

有什么影響？它會影響10％的用戶群還是40％？

你如何計劃在產(chǎn)品級別上衡量模型的效率？

收集和衡量你可以想到的所有KPI和指標(biāo)是一種很好的做法。主要目標(biāo)的積極影響可能會對其他領(lǐng)域產(chǎn)生負(fù)面影響。

時間規(guī)劃

探索數(shù)據(jù)，嘗試不同的特征工程和構(gòu)建模型的方法是一項持久戰(zhàn)?；ㄙM(fèi)大量時間在這上面也可能會讓你在Kaggle比賽中獲得巨大的勝利。然而，在快速發(fā)展的公司中仍有許多與數(shù)據(jù)相關(guān)的挑戰(zhàn)等待解決。

例如，預(yù)測駕駛員到達(dá)乘客打車地點(diǎn)的時間（預(yù)計到達(dá)時間- ETA）是我們服務(wù)的關(guān)鍵要素。我們發(fā)布了成功的預(yù)測模型，與現(xiàn)有解決方案相比，平均絕對預(yù)測誤差得到了顯著改善，在這之后我們還得問自己繼續(xù)努力將誤差進(jìn)一步減少或者多次迭代是否還值得。我們知道這將需要大量的工作，并且無法預(yù)先估計可能的改進(jìn)量。

考慮到這一點(diǎn)，無論是在進(jìn)行探索性分析還是優(yōu)化現(xiàn)有模型方面，我們都致力于為我們的工作限定時間。我們?yōu)樘囟ㄈ蝿?wù)設(shè)置了有限的時間，并嘗試在此時間段內(nèi)提供結(jié)果，即使這意味著放棄最可用的模型或省略一些有趣的功能設(shè)計創(chuàng)意。時間限定在構(gòu)思階段也很有用，例如，為了評估可能的工作區(qū)域，我們每天對一個想法以快速雙人編程馬拉松的模式來弄明白其可能的結(jié)果，我們能夠多快生成可部署的模型以及它對項目最初基線的改善程度。

工具

只有當(dāng)數(shù)據(jù)科學(xué)家獨(dú)自工作時才不需要考慮代碼的可重用性。你可以以最快最喜歡的方式得到想要的結(jié)果。但團(tuán)隊合作需要考慮到如何使整個團(tuán)隊前進(jìn)的更快一點(diǎn)，即便這意味著增加了個人的工作量。

例如，將包含地理信息的熱圖進(jìn)行比較的方法可能在他人的分析中也用得上，那么花一些時間對函數(shù)進(jìn)行整理概括并將其作為內(nèi)部數(shù)據(jù)堆棧庫的一部分就是有意義的，這有助于提升團(tuán)隊整體的速度。并且以可讀且易于重用的方式所構(gòu)建的代碼或使用手冊將有益于所有人。

總的來說，我們的目標(biāo)是為數(shù)據(jù)科學(xué)家和工程師提供最好的工具。構(gòu)建必需的核心部分，其他的能買則買。

代碼檢查

代碼檢查是軟件開發(fā)標(biāo)準(zhǔn)流程的基礎(chǔ)環(huán)節(jié)。但對于許多數(shù)據(jù)科學(xué)家來說就不那么受用了，部分原因在于他們中的許多人并沒有計算機(jī)科學(xué)的相關(guān)學(xué)位，并且不太理解軟件的最佳規(guī)范。這就是為什么檢查機(jī)器學(xué)習(xí)代碼如此重要，尤其是將要轉(zhuǎn)化為產(chǎn)品的代碼。同時需要注意的是，檢查為建立模型而做出的假設(shè)也是不可或缺的一個環(huán)節(jié)。

例如，在與我們的領(lǐng)域相關(guān)的任務(wù)中，你可能想要討論諸如“如何定義客戶需求？”、“為什么缺失的乘車價格字段被平均價格代替？”等問題。這意味著軟件開發(fā)人員沒有充分了解數(shù)據(jù)科學(xué)的過程，就無法評估代碼的整體功能，也不會留意到（數(shù)據(jù)模型相關(guān)的）假設(shè)的錯誤。

因此，需要將代碼檢查分為兩個階段（軟件/模型）或者啟用同時具備兩個領(lǐng)域相關(guān)知識的人才。代碼審查也是提升團(tuán)隊內(nèi)部知識共享的一種有效方法，特別是當(dāng)團(tuán)隊成員分散在各自的項目上時。

AB檢驗

當(dāng)模型準(zhǔn)備好了，并且誤差在合理范圍內(nèi)，經(jīng)過代碼審查并準(zhǔn)備就緒，你希望它能夠?qū)I(yè)務(wù)產(chǎn)生積極影響。那么你怎樣實際驗證模型是否具有預(yù)期的作用呢？實際上的數(shù)據(jù)的模糊性和不確定性，成為我們工作中的難點(diǎn)之一。我們是全世界發(fā)展最快的行業(yè)，同時也擁有最復(fù)雜的市場和眾多競爭對手。我們獲得的數(shù)據(jù)不僅取決于自身，還受到城市社會活動和競爭對手的促銷等因素的影響。

考慮到這一點(diǎn)，AB檢驗則是可以可靠地（如果使用得當(dāng)）測量特征影響的工具。在這里，AB檢驗意為實驗設(shè)置隨機(jī)分配到對照組和實驗組。然而，有些實驗立刻會對整個城市產(chǎn)生影響，（例如改進(jìn)調(diào)度算法），此時AB檢驗便不能有效進(jìn)行。對于這類情況，我們的模擬引擎能夠很好地掌控。同時運(yùn)行多個實驗則是另一個要考慮的復(fù)雜因素。

解決方案是構(gòu)建一個復(fù)雜的AB檢驗引擎來跟蹤所有實驗，處理實驗和對照組中的隨機(jī)分配，收集觀察統(tǒng)計數(shù)據(jù)，并計算出相應(yīng)的p值。然而，即使是最復(fù)雜的引擎也無法解決在實際測試設(shè)置中產(chǎn)生的誤差。因此，必須在公司內(nèi)部共享最佳規(guī)范。

可見度和團(tuán)隊溝通

團(tuán)隊越壯大，越要保證所有事情都得到溝通，各方的意見都要照顧到，所有的成員都知道別人在做什么。

基于各種原因，溝通可見性十分重要：

每個人都應(yīng)該清楚團(tuán)隊里的其他人在做什么，并且知道該找誰尋求建議或合作

多人做同一個任務(wù)時要減少“重復(fù)工作”的可能性

共享你知道的信息（對于非技術(shù)領(lǐng)域相關(guān)的模型尤為重要，運(yùn)營團(tuán)隊可能會有更多專業(yè)知識）

雖然聽起來有些反直覺，但溝通的可見性減少了對相同事件的重復(fù)解釋及溝通誤解。

持續(xù)的跟蹤和多渠道分享進(jìn)度也是非常重要的，因此我們明確定義了分享工作成果的一些好方法：

Slack：項目狀態(tài)在相應(yīng)渠道的定期更新。

每周和每月例會：與團(tuán)隊和干系人討論并確定工作優(yōu)先級。時時刻刻地進(jìn)行優(yōu)先級再評估，因為每周一次太慢了。

研究筆記：數(shù)據(jù)科學(xué)家跟蹤項目狀態(tài)主要是為了自己，比如重大發(fā)現(xiàn)和計劃。 研究筆記是收集主要發(fā)現(xiàn)的好方法，以便日后通過其他途徑，幻燈片或會議來分享。

當(dāng)談到團(tuán)隊的溝通時，少絕對不比多好。 過度分享通常不是一個大問題，但是分享不足會嚴(yán)重阻礙團(tuán)隊的進(jìn)步。

講故事的能力

講故事的能力對于在團(tuán)隊中工作的數(shù)據(jù)科學(xué)家來說，和掌握過度擬合，或者知道應(yīng)該選擇卡方檢驗還是t檢驗一樣重要。這包含了向負(fù)責(zé)人表達(dá)和展示成果的能力。你不應(yīng)該花五分鐘來解釋圖表上的內(nèi)容及其重要性。

你想說的大部分內(nèi)容應(yīng)該很直白地展現(xiàn)在圖表里，并通過選擇圖形，顏色，圖例，軸標(biāo)簽來傳達(dá)信息。

總結(jié)

一個影響深遠(yuǎn)的數(shù)據(jù)科學(xué)項目遠(yuǎn)遠(yuǎn)不止一個工作模型那么簡單。特別是當(dāng)我們要構(gòu)建一個影響全球幾百萬人日常生活的的產(chǎn)品時，需要一支具備各行業(yè)專業(yè)知識的團(tuán)隊。

在Taxify，我們通過創(chuàng)建數(shù)據(jù)科學(xué)卓越計劃，使這一過程更加透明，統(tǒng)一和高效-它有助于我們圍繞最佳規(guī)范開展工作。同時，與新加入的數(shù)據(jù)科學(xué)團(tuán)隊成員分享最佳規(guī)范對公司和新人都是有益的。 最后，我們希望這些規(guī)范能夠幫助任何人開始他們的數(shù)據(jù)科學(xué)之旅。

關(guān)于作者

Maksim Butsenko是Taxify的數(shù)據(jù)科學(xué)家。 他的主要職責(zé)包括構(gòu)建數(shù)據(jù)和機(jī)器學(xué)習(xí)產(chǎn)品，以確保公司的可持續(xù)發(fā)展，并且?guī)椭占屯茝V團(tuán)隊和公司內(nèi)部的最佳數(shù)據(jù)科學(xué)規(guī)范。Maksim是從學(xué)術(shù)界轉(zhuǎn)行過來的，他有統(tǒng)計信號處理的研究背景。