AI Lab在一個公司應當是什么樣的角色？字節(jié)跳動副總裁、人工智能實驗室主任馬維英表示：AI Lab不僅是公司內(nèi)部的AI研究所，也是AI技術提供商與服務商，應當注重與高校和政府的合作，并強調(diào)人才培養(yǎng)的重要性。

AI Lab應當是公司的“廠牌”。

字節(jié)跳動實現(xiàn)建設全球創(chuàng)作與交流平臺的愿景，以及取得當前全球化進展，都離不開人工智能技術提供的關鍵支撐。字節(jié)跳動一向重視人工智能技術的發(fā)展，而其AI Lab，最開始是因NLP領域科學家李磊的加入而出名，隨后馬維英、李航等大佬也陸續(xù)入伙。

與此同時，今日頭條母公司字節(jié)跳動，推出抖音、火山小視頻等一些列風靡全球的產(chǎn)品，估值上升、用戶增長。

而這一切背后提供支撐的人工智能實驗室卻鮮少露面，這一年來字節(jié)跳動的AI Lab究竟都做了什么呢？作為亞研院前常務副院長的馬維英，所帶隊的字節(jié)跳動AI Lab又有何不同呢？

11月11日，字節(jié)跳動舉辦了2018 AI OPENDAY沙龍?；顒诱故玖俗止?jié)跳動AI Lab在計算機視覺、自然語言處理、語音和視頻處理、機器學習等領域中取得的一些列成果。

而后字節(jié)跳動副總裁、人工智能實驗室主任馬維英，針對此次沙龍活動做了主題演講，慢慢揭開了字節(jié)跳動AI Lab神秘的面紗。

馬維英談AI Lab吸引優(yōu)秀人才的秘籍：五大AI戰(zhàn)略資源是關鍵

相似于人才培養(yǎng)：給予自由，讓興趣成為自驅(qū)的動力

馬維英表示，之前在微軟亞洲研究院時特別欣賞其培養(yǎng)人才的一個方式，就是當新人剛?cè)肼殨r，不會立刻讓他們選擇具體研究方向，而是會給予他們足夠多的自由和空間，激勵他們尋求自己最為感興趣的一個領域。

在這個方面，字節(jié)跳動也是如此的。馬維英很感謝微軟給他的成長空間，因此到了字節(jié)跳動之后，他也在新的團隊延續(xù)了這樣的氛圍。字節(jié)跳動AI lab特別喜歡自己有想法、能夠自驅(qū)、愿意不斷去學習且更加無所畏懼的研究人員；而不是害怕失敗，著重于眼前利益的人。

區(qū)別于數(shù)據(jù)與場景：微軟研究院專注于技術轉(zhuǎn)移，字節(jié)跳動AI Lab鼓勵研究員直接參與到產(chǎn)品研發(fā)，利用豐富的應用場景、大量的數(shù)據(jù)和用戶反饋推進科研和技術創(chuàng)新

除了基礎研究這方面，微軟做的更多的是技術轉(zhuǎn)移。與微軟不同的是，字節(jié)跳動擁有豐富的應用場景。大量的數(shù)據(jù)和反饋對AI Lab的工作是有幫助的。就像在象牙塔里搞研究，有時反而解決不了問題。只有解決真實的應用場景問題，才是所謂的Real Impact。

正如最近一位UC Berkeley的教授所述，要做“Use Inspired”的研究。而在字節(jié)跳動，非常幸運一點就是，人類所有的數(shù)據(jù)都在信息和內(nèi)容里。

再具體一點可總結(jié)為一句話：字節(jié)跳動擁有做AI最重要的五個戰(zhàn)略資源。

大數(shù)據(jù)：最好這家公司能夠擁有全世界最大的數(shù)據(jù)資源，擁有數(shù)據(jù)才是“王道”；

應用場景：在字節(jié)跳動，研究人員每天都能夠從公司的應場景中找到問題，并想要去解決；

算力：而字節(jié)跳動的Internet Data Center在國內(nèi)也是比較出眾的；

AI需閉環(huán)：其實很多用戶交互相當于遞給了你一份大數(shù)據(jù)的，提供了更為細粒度的標注數(shù)據(jù)，而字節(jié)跳動每日全球活躍用戶所提供的數(shù)據(jù)之海量，堪稱一筆財富；

人才：最頂尖聰明的人才是非常關鍵的一點。不僅公司內(nèi)部要有這樣的人才，最好與之相關的學術界、產(chǎn)業(yè)界、社區(qū)都是頂級的人才。

在基礎研究方面，字節(jié)跳動的AI Lab研究領域包括計算機視覺、自然語言處理、機器學習、語音&音頻處理、數(shù)據(jù)&知識挖掘、計算機圖像學、系統(tǒng)&網(wǎng)絡、信息安全以及工程&產(chǎn)品。

馬維英表示，字節(jié)跳動會在每個領域中，都會招聘最優(yōu)秀的人才，而在招聘后不會立即確定他們的方向，而是會讓他們摸索自己感興趣的方向，而后再做出選擇。

除了基礎研究，字節(jié)跳動AI Lab也非常重視工程落地的能力，因此也倍加關注對這方面的人才招聘。將工程團隊與科研研究人員混搭在一起，做更好的創(chuàng)新，并輸出核心技術，孵化產(chǎn)品，做到真正的AI應用落地。

正因如此，字節(jié)跳動吸引了一大批優(yōu)秀的“新鮮血液”。例如，來自字節(jié)跳動AI Lab的一位90后研究人員，不僅論文被Transition of ACL收錄，還被邀請去了墨爾本做現(xiàn)場演講。

該論文中所提出的模型在中英，德英和英法三個標準數(shù)據(jù)集上可以顯著地提高基線系統(tǒng)的性能，相比于老一輩的「覆蓋率模型」擁有更好的翻譯質(zhì)量和對齊質(zhì)量。

該研究也已成功的應用到了字節(jié)跳動旗下多款國際產(chǎn)品中（如TopBuzz、Tik Tok等等），為全球上億的用戶們提供著內(nèi)容翻譯服務。

馬維英談招聘標準——三個關鍵字：

馬維英老師還透露了他在招聘人才時的標準，總結(jié)為三個關鍵字：

數(shù)學功底：能夠知曉問題的本質(zhì)，對模型能夠有透徹的了解，而不是把它當一個黑箱或者工具，簡單的調(diào)調(diào)參數(shù)；

編程能力：有很好的想法，但是無法實現(xiàn)也是不行的；

態(tài)度：人際溝通、表達，對工作的態(tài)度也是非常重要的。

另外，馬維英老師也非常注重眼神的交流，“大概溝通十分鐘，我就能看出一個人特質(zhì)?！瘪R維英老師笑言，這可能是他在招聘中獨有的一種天賦。

字節(jié)跳動AI Lab定位：公司內(nèi)部的研究所和技術服務商

國內(nèi)外各大巨頭與初創(chuàng)企業(yè)紛紛成立人工智能實驗室，而各家企業(yè)人工智能實驗室所關注與努力的側(cè)重有所不同。

字節(jié)跳動人工智能實驗室成立于2016年，依托字節(jié)跳動的海量數(shù)據(jù)，專注于人工智能領域的前沿技術研究，并將研究成果應用于字節(jié)跳動的產(chǎn)品中，利用人工智能幫助內(nèi)容的創(chuàng)作、分發(fā)、互動、管理。將人工智能最早大規(guī)模應用于信息分發(fā)便是字節(jié)跳動早期發(fā)展的核心。

AI時代下的4種管道連接人和信息，促進交流和創(chuàng)作

這4種主要的方式分別是推薦、搜索、助理與社區(qū)/社交。推薦和助理都屬于比較被動的方式，會根據(jù)用戶的所好進行內(nèi)容的分發(fā)；搜索在今天也仍然重要，它是一種主動獲取行為；新一代的語音助理能夠讓用戶更加自然地與計算機進行交互，從而達到幫助用戶的目的；最后，類似轉(zhuǎn)發(fā)“朋友圈”這種社交式的信息傳播也是非常重要的。

新一代AI驅(qū)動信息平臺，使得交流與創(chuàng)作方式更加智能

人工智能基礎設施、平臺與服務，基于大數(shù)據(jù)、人工智能學習數(shù)據(jù)流的語義表示，對信息進行分析、處理、挖掘、理解和組織，使得內(nèi)容能夠在分發(fā)、搜索、互動、過濾和運營方面變得更加智能，做到人工智能輔助消費與生產(chǎn)。

所以，人工智能實驗室所肩負的使命是艱巨而又重要的。

AI Lab賦能產(chǎn)品、服務人類

短視頻已然成為一個內(nèi)容形態(tài)的爆發(fā)點。特別是計算機視覺、智能語音賦予了每位用戶更強的創(chuàng)作能力。

抖音是字節(jié)跳動風靡全球的產(chǎn)品。這個產(chǎn)品背后有非常多的 AI 技術。比如，抖音是一個開放共享的平臺，內(nèi)容審核方面的挑戰(zhàn)是非常大的。字節(jié)跳動一直用人工智能輔助審核，過濾理解這些視頻內(nèi)容，進行版權識別。

目前平臺上，每天有龐大數(shù)量的短視頻內(nèi)容被創(chuàng)作出來。而機器學習模型上線之后，也在持續(xù)不斷迭代完善。

在視頻內(nèi)容領域也希望能夠做出更好的搜索。視頻的搜索需要對視頻的內(nèi)容有更好的理解，包括動作的理解、物體的檢測跟蹤，還有視頻里的環(huán)境識別。也希望針對每一個視頻，AI都能理解它的情感和情緒。

連接人跟信息是一個人類社會的基礎設施。在這個設施的運作過程中，能夠利用大數(shù)據(jù)、豐富應用的場景、大量的活躍用戶，去不斷完善和迭代，進一步賦能。而技術的進步最終是服務于人類的。

截至2018年10月24日，頭條尋人共彈窗52824尋人啟事，找到7401

字節(jié)跳動將人工智能結(jié)合產(chǎn)品功能積極服務于公益，兩年半時間成功尋回7254名走失者的“頭條尋人”，這是一個典型的運用人工智能促進信息效率，進而服務公益的產(chǎn)品機制：結(jié)合智能推薦和地理推送技術，以走失者走失地為圓心，根據(jù)走失者行走速度等信息進行數(shù)據(jù)分析和計算，預估出可能的走失范圍，在此范圍內(nèi)推送尋人信息，實現(xiàn)每條尋人信息的精準地理范圍覆蓋和人群觸達，從而大大提高尋人成功率。

9月底上線、目前已成功尋回30名走失者的“抖音尋人”和“頭條尋人”工作原理一致，只是推送的尋人信息變成了短視頻形式，運用自動生成視頻技術，一條文字版的尋人信息，不到10秒鐘，即可自動生成為一條抖音尋人視頻。

馬維英對字節(jié)跳動AI Lab的定義為：公司內(nèi)部的AI技術提供商和服務商，于未來將成為公司對外輸出AI能力的重要部門。

AI實力全方位展示：問鼎CVPR、NIPS、NAACL等頂會，榮獲吳文俊人工智能科學技術獎

一個人工智能實驗室的成功，少不了頂尖“智腦”的相聚與思想的碰撞。而字節(jié)跳動AI Lab可謂是群賢畢至，包括大家熟知的馬維英、李航、李磊等。

除了擁有大量優(yōu)秀的科學領軍人物之外，2018年字節(jié)跳動AI Lab團隊建設和成長方面也是收獲頗豐。AI Lab團隊總?cè)藬?shù)由去年的65人增長至150人，計算機視覺、自然語言、機器學習、系統(tǒng)&網(wǎng)絡的團隊人數(shù)比去年增加一倍之多，而語音&音頻、安全以及美國AI Lab的團隊人數(shù)更是飛速增長。

不僅在團隊建設，字節(jié)跳動AI Lab在學術和項目成果方面也可謂是碩果累累。

11月11日，在字節(jié)跳動舉辦的2018 AI OPENDAY沙龍活動中，展出了AI Lab許多優(yōu)秀的項目與研究。

Deep Understanding of Live Soccer Matches

已被CVPR 2018接收

項目介紹：基于計算機視覺技術，系統(tǒng)可以對足球比賽視頻進行深度理解和信息挖掘，豐富球迷的觀賽體驗。該系統(tǒng)在2018世界杯期間介入今日頭條客戶端直播間，實時提供精彩時刻剪輯動畫、雙方進攻防守統(tǒng)計、足球運動熱力圖等多種信息；并于賽后為自動寫作機器人Xiaoming Bot提供圖像素材，豐富文章內(nèi)容。

目標檢測

軌跡跟蹤

生成鳥瞰視角

捕捉精彩瞬間

相關技術：

檢測&語義分割：基于SSD的目標檢測，逐幀輸出球員和足球的位置；基于DeepSORT的多目標跟蹤，使用Kalman Filter對球員和足球的運動進行建模使用度量學習對球員外觀建模。

相機估計&語義分割：檢測球場上的關鍵點，計算單應性變換參數(shù)，以此來估計相機的拍攝角度。

號碼識別&球員聚類：使用半監(jiān)督的空間變換網(wǎng)絡（STN）在檢測框內(nèi)提取號碼區(qū)域進行識別。

精彩時刻檢測：對固定劃窗內(nèi)的片段進行分類，包含射門、任意球、角球、受傷等多種類別。

統(tǒng)計分析：基于上述多種結(jié)構(gòu)化信息，輸出多種統(tǒng)計指標，包括雙方控球率、足球運動熱力圖及控球區(qū)域分布等。

相比于人類作者，小明的效率和產(chǎn)量高，2秒就能成稿，每場比賽賽后發(fā)稿，2年內(nèi)生成12萬粉絲和10億閱讀。過去頭條平臺上許多體育播報是由小明寫的，他每天讀很多內(nèi)容，綜合網(wǎng)上文字描述理解和圖片例子和視頻理解能夠自動生成一個內(nèi)容，分發(fā)給對某一類信息感興趣的讀者。

xiaomingbot寫作機器人也因此獲得了吳文俊人工智能科學技術獎。

BRITS：BidirectionalRecurrent Imputation for Time Series

NIPS 2018

項目介紹：

時間序列在許多分類、回歸任務中被廣泛用作信號。時間序列中存在許多缺失值，這是普遍存在的。給定多個相關時間序列數(shù)據(jù)時，該如何填補缺失值并預測其類標簽呢？現(xiàn)有的歸一化方法往往對潛在的數(shù)據(jù)生成過程有很強的假設，比如狀態(tài)空間中的線性動力學。

本文提出了一種新的基于遞歸神經(jīng)網(wǎng)絡的時間序列數(shù)據(jù)缺失值估計方法，BRITS算法。該方法直接學習雙向遞歸動力系統(tǒng)的缺失值，沒有任何具體的假設。將賦值作為RNN圖的變量，在反向傳播過程中可以有效地進行更新。

算法優(yōu)勢：

(a)可以處理時間序列中多個相關缺失值；

(b)推廣到具有非線性動力學的時間序列；

(c)提供數(shù)據(jù)驅(qū)動的估算程序，適用于缺少數(shù)據(jù)的一般設置。

實驗結(jié)果：

在三個真實世界數(shù)據(jù)集上評估BRITS模型，包括空氣質(zhì)量數(shù)據(jù)集，醫(yī)療保健數(shù)據(jù)和人類活動的本地化數(shù)據(jù)。實驗表明，該模型在插補和分類/回歸精度方面都優(yōu)于最先進的方法。

Reinforced Co-Training

NAACL 2018

項目介紹：

Co-Training是一種流行的半監(jiān)督學習框架，除了少量標記數(shù)據(jù)外，使用大量的未標記數(shù)據(jù)。Co-Training方法利用未標記數(shù)據(jù)上的預測標簽，并基于預測置信度選擇樣本來進行增強訓練。

然而，在現(xiàn)有的協(xié)同訓練方法中，樣本的選擇是基于一種預先確定的策略，這種策略忽略了未標記子集和標記子集之間的抽樣偏差，并且無法挖掘數(shù)據(jù)空間。

本文提出了一種新的方法——強化Co-Training，來選擇高質(zhì)量的未標記樣本，以便更好地進行Co-Training。更具體地說，該方法使用Q-learning學習一個帶有小標記數(shù)據(jù)集的數(shù)據(jù)選擇策略，然后利用這個策略自動訓練聯(lián)合訓練分類器。

實驗結(jié)果：

實驗結(jié)果表明，本文提出的方法能夠獲得更準確的文本分類結(jié)果。

獨木難成林，AI Lab需產(chǎn)學研結(jié)合

AI Lab與高校合作

珠穆朗瑪計劃：征集來自計算機科學領域的相關研究提案，為學者的技術研究提供數(shù)據(jù)、資金等多維度支持。

校企協(xié)同，教學人員雙向流動：一線工程師赴校宣講授課，舉辦AI競賽開放海量數(shù)據(jù)，頭條青年訪問學者。

AI Lab與學術機構(gòu)合作

2018 Byte Cup：

2018 Byte Cup國際機器學習競賽是一項面向全球的機器學習競賽，旨在促進機器學習的學術研究和具體應用。Byte Cup 2018的主題是自動生成文本標題。

AI Lab與產(chǎn)業(yè)合作

字節(jié)跳動人工智能實驗室不僅與高校與學術機構(gòu)有合作，還與產(chǎn)業(yè)界有著密切的合作。

2018年人工智能與實體經(jīng)濟深度融合創(chuàng)新項目公示，字節(jié)跳動申報的“基于分布式機器學習平臺的通用人工智能應用解決方案項目”入選；

“面向移動端的低功耗超時AR-VR開放平臺項目”入選2018雙創(chuàng)周“顛覆性創(chuàng)新榜”TOP10；

北京市市長陳寧領銜，北京市科委牽頭，集首都高校、科技專家及領軍科技企業(yè)智囊之力，為提高北京市新一代人工智能科技創(chuàng)新能力而集中建設的“北京智源研究院”，字節(jié)跳動為智能研究院發(fā)起成立單位之一，字節(jié)跳動技術戰(zhàn)略研究院院長張宏江出任研究院理事長。