今日，騰訊AI Lab宣布正式開源“Tencent ML-Images”項目，該項目由多標簽圖像數(shù)據(jù)集ML-Images，以及業(yè)內(nèi)目前同類深度學習模型中精度最高的深度殘差網(wǎng)絡(luò)ResNet-101構(gòu)成。

該項目的開源，是騰訊AI Lab在計算機視覺領(lǐng)域所累積的基礎(chǔ)能力的一次釋放，為人工智能領(lǐng)域的科研人員和工程師提供了充足的高質(zhì)量訓練數(shù)據(jù)，及簡單易用、性能強大的深度學習模型，促進人工智能行業(yè)共同發(fā)展。

騰訊AI Lab此次公布的圖像數(shù)據(jù)集ML-Images，包含了1800萬圖像和1.1萬多種常見物體類別，在業(yè)內(nèi)已公開的多標簽圖像數(shù)據(jù)集中規(guī)模最大，足以滿足一般科研機構(gòu)及中小企業(yè)的使用場景。此外，基于ML-Images訓練得到的深度殘差網(wǎng)絡(luò)ResNet-101，具有優(yōu)異的視覺表示能力和泛化性能，在當前業(yè)內(nèi)同類模型中精度最高，將為包括圖像、視頻等在內(nèi)的視覺任務(wù)提供強大支撐，并助力圖像分類、物體檢測、物體跟蹤、語義分割等技術(shù)水平的提升。

本次正式開源，其主要內(nèi)容包括：

ML-Images數(shù)據(jù)集的全部圖像URLs,以及相應(yīng)的類別標注。因原始圖像版權(quán)問題，此次開源將不直接提供原始圖像，用戶可利用騰訊AI Lab提供的下載代碼和URLs自行下載圖像。

ML-Images數(shù)據(jù)集的詳細介紹。包括圖像來源、圖像數(shù)量、類別數(shù)量、類別的語義標簽體系、標注方法，以及圖像的標注數(shù)量等統(tǒng)計量。

完整的代碼和模型。騰訊AI Lab提供的代碼涵蓋從圖像下載和圖像預處理，到基于ML-Images的預訓練和基于ImageNet的遷移學習，再到基于訓練所得模型的圖像特征提取的完整流程。項目提供了基于小數(shù)據(jù)集的訓練示例，以方便用戶快速體驗該訓練流程。項目還提供了具有極高精度的ResNet-101模型(在單標簽基準數(shù)據(jù)集ImageNet的驗證集上的top-1精度為80.73%)。用戶可根據(jù)自身需求，隨意選用該項目的代碼或模型。

以深度神經(jīng)網(wǎng)絡(luò)為典型代表的深度學習技術(shù)已經(jīng)在很多領(lǐng)域充分展現(xiàn)出其優(yōu)異的能力，尤其是計算機視覺領(lǐng)域，包括圖像和視頻的分類、理解和生成等重要任務(wù)。然而，要充分發(fā)揮出深度學習的視覺表示能力，必須建立在充足的高質(zhì)量訓練數(shù)據(jù)、優(yōu)秀的模型結(jié)構(gòu)和模型訓練方法，以及強大的的計算資源等基礎(chǔ)能力之上。

各大科技公司都非常重視人工智能基礎(chǔ)能力的建設(shè)，都建立了僅面向其內(nèi)部的大型圖像數(shù)據(jù)集，例如谷歌的JFT-300M和Facebook的Instagram數(shù)據(jù)集。但這些數(shù)據(jù)集及其訓練得到的模型都沒有公開，對于一般的科研機構(gòu)和中小企業(yè)來說，這些人工智能基礎(chǔ)能力有著非常高的門檻。

當前業(yè)內(nèi)公開的最大規(guī)模的多標簽圖像數(shù)據(jù)集是谷歌公司的Open Images, 包含900萬圖像和6000多物體類別。騰訊AI Lab此次開源的ML-Images數(shù)據(jù)集包括1800萬圖像和1.1萬多常見物體類別，或?qū)⒊蔀樾碌男袠I(yè)基準數(shù)據(jù)集。

此外，基于ML-Images訓練得到的ResNet-101模型，具有優(yōu)異的視覺表示能力和泛化性能。通過遷移學習，該模型在ImageNet驗證集上取得了80.73%的top-1分類精度，超過谷歌同類模型（遷移學習模式）的精度，且值得注意的是，ML-Images的規(guī)模僅為JFT-300M的約1/17。這充分說明了ML-Images的高質(zhì)量和訓練方法的有效性。詳細對比如下表。

注：微軟ResNet-101模型為非遷移學習模式下訓練得到，即1.2M預訓練圖像為原始數(shù)據(jù)集ImageNet的圖像。

騰訊AI Lab此次開源的“Tencent ML-Images”項目，展現(xiàn)了騰訊在人工智能基礎(chǔ)能力建設(shè)方面的努力，以及希望通過基礎(chǔ)能力的開放促進行業(yè)共同發(fā)展的愿景。

“Tencent ML-Images”項目的深度學習模型，目前已在騰訊多項業(yè)務(wù)中發(fā)揮重要作用，如“天天快報”的圖像質(zhì)量評價與推薦功能，其后臺測試的日調(diào)用量已達1000萬次。

如下圖所示，天天快報新聞封面圖像的質(zhì)量得到明顯提高。

左圖為優(yōu)化前，右圖為優(yōu)化后

此外，騰訊AI Lab團隊還將基于Tencent ML-Images的ResNet-101模型遷移到很多其他視覺任務(wù)，包括圖像物體檢測，圖像語義分割，視頻物體分割，視頻物體跟蹤等。這些視覺遷移任務(wù)進一步驗證了該模型的強大視覺表示能力和優(yōu)異的泛化性能?！癟encent ML-Images”項目未來還將在更多視覺相關(guān)的產(chǎn)品中發(fā)揮重要作用。

自2016年騰訊首次在GitHub上發(fā)布開源項目（https://github.com/Tencent），目前已累積開源覆蓋人工智能、移動開發(fā)、小程序等領(lǐng)域的57個項目。為進一步貢獻開源社區(qū)，騰訊相繼加入Hyperledger、LF Networking和開放網(wǎng)絡(luò)基金會，并成為LF深度學習基金會首要創(chuàng)始成員及Linux基金會白金會員。作為騰訊“開放”戰(zhàn)略在技術(shù)領(lǐng)域的體現(xiàn)，騰訊開源將繼續(xù)對內(nèi)推動技術(shù)研發(fā)向共享、復用和開源邁進，向外釋放騰訊研發(fā)實力，為國內(nèi)外開源社區(qū)提供技術(shù)支持，注入研發(fā)活力。