近日，上海人工智能實(shí)驗(yàn)室發(fā)布聯(lián)合語(yǔ)言資料數(shù)據(jù)聯(lián)盟會(huì)員單位，共同發(fā)布“生萬(wàn)權(quán)”1.0多模式詞典訓(xùn)練語(yǔ)言資料開(kāi)源。

“書(shū)生·萬(wàn)卷”1.0將集中語(yǔ)言資料數(shù)據(jù)聯(lián)盟會(huì)員們豐富的內(nèi)容積累和上海人工智能實(shí)驗(yàn)室的數(shù)據(jù)處理能力等優(yōu)勢(shì)，為學(xué)術(shù)界及產(chǎn)業(yè)界提供高品質(zhì)的大規(guī)模模型多模態(tài)事前訓(xùn)練語(yǔ)言資料。開(kāi)放源代碼提供2tb以上的數(shù)據(jù)，多種融合，精細(xì)處理，價(jià)值排序，使用方便高效。

此次開(kāi)放源代碼“書(shū)生·萬(wàn)卷”1.0包含文本、圖片、文本和視頻三部分?jǐn)?shù)據(jù)集。其中，文本數(shù)據(jù)來(lái)自網(wǎng)頁(yè)，百科全書(shū)，書(shū)籍，專利，教材，考試題等，數(shù)據(jù)總量超過(guò)5億個(gè)，數(shù)據(jù)大小也超過(guò)1tb，涵蓋科技，文學(xué)，媒體，教育，法律等多個(gè)領(lǐng)域。

圖像和文字?jǐn)?shù)據(jù)主要來(lái)自公開(kāi)網(wǎng)頁(yè)，經(jīng)過(guò)處理形成圖像和文字交叉的文件。總數(shù)字超過(guò)2200萬(wàn)個(gè)，數(shù)據(jù)大小超過(guò)140gb，涵蓋新聞事件、人物、自然景觀、社會(huì)生活等多個(gè)領(lǐng)域。

視頻數(shù)據(jù)主要是中國(guó)中央電視臺(tái)（cctv）和上海文廣集團(tuán)提供，新聞、電影、電視等多種類型的節(jié)目，包括視頻，視頻文件總數(shù)超過(guò)1000個(gè)，數(shù)據(jù)大小超過(guò)900gb，內(nèi)容是軍事、文藝、體育、自然、知識(shí)、影像藝術(shù)等領(lǐng)域覆蓋著。