很長一段時間以來，科學(xué)家一直都需要這樣一款工具。

在一個視頻片段中，一只嚙齒目動物伸出一只爪子抓住了一小塊食物，你會看到它的指關(guān)節(jié)位置處都自動閃現(xiàn)出彩色的小圓點(diǎn)。而在另一片段中，一匹賽馬正沿著賽道急速馳騁，彩色小圓點(diǎn)在不斷地跟隨它的動作閃爍，追蹤其身體各部位的位置。在第三個視頻片段中，兩位人類舞者正圍繞著彼此做轉(zhuǎn)圈的動作，他們肢體的動作時而流暢，時而停頓，而同樣的這些彩色小點(diǎn)卻不間斷地跟隨著他們的肢體移動。

這些片段來自于一種可以自動追蹤并標(biāo)記移動生物身體部位的工具—DeepLabCut 的展示視頻之中。這一工具是在今年由一對神經(jīng)科學(xué)家夫婦 Mackenzie Mathis 和 Alexander Mathis 共同研發(fā)而出，以其簡單、易操作性而見長。任何研究人員都可以從網(wǎng)絡(luò)上下載任何視頻，并在幾十幀素材對其中特定的身體部位進(jìn)行數(shù)字標(biāo)記。然后，這一工具就會自動學(xué)習(xí)如何在視頻的其余部分挑選出相同或者類似的功能。并且，這一工具適用于不同的物種，既可以用于蒼蠅和老鼠這些實(shí)驗(yàn)室的“常客”，也適用于一些更不尋常的動物物種，接下來就是這樣的一個例子。

一部拍攝于哥斯達(dá)黎加的視頻展示了一種被稱為地衣螽斯的昆蟲，這種昆蟲的外觀形態(tài)可以與它的生存環(huán)境-白色地衣完美的融為一體，通過這種方式來偽裝自己。但是，DeepLabCut 卻能夠透過地衣螽斯的偽裝形態(tài)，成功地對它的腳、關(guān)節(jié)和觸角進(jìn)行標(biāo)記。來自哈佛大學(xué)神經(jīng)科學(xué)研究團(tuán)隊(duì) MurthyLab 的領(lǐng)頭人 Venkatesh Murthy（也是 Mathis 夫婦的同時）說道：“我認(rèn)為這種方法將徹底改變行為科學(xué)，包括神經(jīng)科學(xué)和心理學(xué)?！?/p>

行為科學(xué)領(lǐng)域的許多研究都取決于能否理解人類和動物的行為，而這往往是通過解析錄制下來的動作來進(jìn)行。例如，來自法國國家科學(xué)研究中心的 James Bonaiuto 就對持有工具的人的肢體運(yùn)動是如何與他們大腦中的神經(jīng)活動模式相關(guān)聯(lián)這一問題進(jìn)行了研究。他表示：“許多研究都需要一批研究生的配合來進(jìn)行，因?yàn)樾枰麄円粠粠?、煞費(fèi)苦心地去編碼行為視頻?！倍?DeepLabCut 能夠讓這項(xiàng)原本繁重的工作自動化進(jìn)行，因而此類的研究也可以更加快速、更加準(zhǔn)確的推進(jìn)。

來自哥倫比亞大學(xué) Zuckerman 大腦行為研究機(jī)構(gòu)的研究人員 Andres Bendesky 正在使用這一算法來研究斗魚的戰(zhàn)斗行為，他補(bǔ)充道：“我用過很多商業(yè)和學(xué)術(shù)視頻追蹤軟件，甚至自己也編寫過一款，DeepLabCut 相比它們來說好了不是一點(diǎn)半點(diǎn)。很長一段時間以來，人們一直都需要這樣一款軟件，我希望至少在一段時間之內(nèi)它能成為該領(lǐng)域的標(biāo)準(zhǔn)?！?/p>

來自以色列本·古里安大學(xué)（Ben Gurion University of the Negev）的神經(jīng)科學(xué)家 Ilana Nisky 博士正在使用 DeepLabCut 來分析外科醫(yī)生如何使用他們的手術(shù)針這一問題，以更好地編程可以協(xié)助手術(shù)的機(jī)器人。她說道：“DeepLabCut 效果非常好，即便在試驗(yàn)過程中面向攝像頭的一側(cè)位置發(fā)生變化，它也可以幫助我們很好地追蹤手術(shù)針的針頭以及針尾部位。”

DeepLabCut 的出現(xiàn)非常必要。當(dāng)時 Alexander Mathis 正試圖通過觀察老鼠對氣味痕跡的追蹤行為來探索嗅覺方面的神經(jīng)科學(xué)。要做到這一點(diǎn)，他需要有一種簡單的方法可以在視頻中對老鼠的鼻頭這一位置進(jìn)行標(biāo)記。但據(jù)他表示：“神經(jīng)科學(xué)家所用過的那些經(jīng)典方法在這里都以失敗告終?！崩?，研究人員經(jīng)常會在需要觀察的身體部位上點(diǎn)涂或粘上反光點(diǎn)，但是對于像老鼠鼻子這種又小、又敏感的部位來說，這種方法顯然不可行。Alexander 說道：“多年來，我們嘗試了多款商業(yè)軟件，也嘗試了很多其他的解決方案，但都行不通。于是我們決定從當(dāng)下的實(shí)驗(yàn)中暫時后退一步，用一年的時間來嘗試解決這一問題。”

從本質(zhì)上來看，DeepLabCut 其實(shí)是 DeeperCut 的修改版本，DeeperCut 是由其他研究人員創(chuàng)建的一個神經(jīng)網(wǎng)絡(luò)，用于檢測和標(biāo)記視頻中的人體姿態(tài)。這種神經(jīng)網(wǎng)絡(luò)在這方面非常擅長，但是前提是你必須先向它們展示成千上萬幀的手工標(biāo)記素材來訓(xùn)練它們。并且，如果你想讓它們對有著不同運(yùn)動方式的不同物種進(jìn)行標(biāo)記，那你需要重新對它們進(jìn)行訓(xùn)練。

Mathises 夫婦首先在一個龐大的在線圖像數(shù)據(jù)庫—ImageNet 上對他們的網(wǎng)絡(luò)進(jìn)行前期培訓(xùn)，從而解決了這一繁瑣的操作步驟。這一步也有效地教會了神經(jīng)網(wǎng)絡(luò)如何去看待這個世界，并為其提供了一個基礎(chǔ)視覺系統(tǒng)。這樣一來，這一神經(jīng)網(wǎng)絡(luò)就能知道怎樣區(qū)分草莓與飛機(jī)或者是貓與狗。

在這之后，再教會網(wǎng)絡(luò)去識別一些例如老鼠的爪子、斗魚的鰭或者是螽斯的腿這樣更為具體的東西也就更為容易了，不需要再手動去對上千上萬幀素材進(jìn)行標(biāo)記，只要幾百幀甚至幾十幀就能達(dá)到培訓(xùn)效果。Mackenzie 說道：“這就像是我們對它說，‘你可以看到這個世界，現(xiàn)在我們希望你能找到這些身體部位，我們會先給你幾幀素材?！Y(jié)果是它真的可以做到?！?/p>

將多功能性與可靠性兩點(diǎn)整合到一起，這可以說是非常獨(dú)特的成果。在過去的研究中，來自哥倫比亞大學(xué)的 Avner Wallach 曾依靠一種復(fù)雜的算法，這種算法專門用于追蹤單只嚙齒動物胡須的位置，除此之外別無它用。盡管如此，其中仍然出現(xiàn)了很多的錯誤，幾名學(xué)生不得不定期對追蹤結(jié)果進(jìn)行核查。Wallach 現(xiàn)在正在使用 DeepLabCut 來追蹤彼氏錐頜象鼻魚（分布于非洲尼日爾及剛果河流域，通過自身發(fā)出的微弱電流來感知周圍的環(huán)境）的運(yùn)動，他說道：“這樣一種多功能并且具有普適性的算法絕對可以為世界各地的實(shí)驗(yàn)場所省去大量的工作?！?/p>

現(xiàn)在世界各地的研究人員都可以免費(fèi)使用 DeepLabCut，并且他們也都在充分利用這一工具，其中有許多是通過 Mathises 夫婦二人都無法預(yù)料的方式。Alexander 補(bǔ)充道：“有一家公司聯(lián)系了我們，他們想要利用這一工具來預(yù)測某一匹馬是否能夠成為一匹優(yōu)秀的賽馬?！?/p>

Mackenzie 說道：“我還收到過許多陌生人的電子郵件，有在實(shí)驗(yàn)中用 DeepLabCut 工具來追蹤視頻中靈長類動作的自由行動軌跡的，也有在狩獵過程中用來追蹤斑馬的，還有人用它研究像章魚和電鰻等復(fù)雜的生物或者是用來研發(fā)手術(shù)機(jī)器人等等。體育界人士對用它來追蹤棒球遠(yuǎn)動員的投球表現(xiàn)非常感興趣?；蛘吣阋部梢阅蒙夏愕?iPhone 手機(jī)，拍攝孩子玩耍的視頻，回家之后用 DeepLabCut 分析他們的一舉一動?！?/p>