科大訊飛A.I.研究院聯(lián)合中科大語(yǔ)音及語(yǔ)言信息處理國(guó)家工程實(shí)驗(yàn)室（NELSLIP）（以下統(tǒng)稱為訊飛-中科大聯(lián)合團(tuán)隊(duì)）在近期舉辦的計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR 2019和文檔分析與識(shí)別頂級(jí)會(huì)議ICDAR 2019上的多項(xiàng)評(píng)測(cè)任務(wù)中獲得冠軍：

1.在計(jì)算機(jī)視覺(jué)與模式識(shí)別國(guó)際會(huì)議（CVPR 2019）舉辦的物體檢測(cè)挑戰(zhàn)賽DIW 2019（Detection in the Wild challenge Workshop 2019）上取得Objects365 Tiny Track第一，Objects365 Full Track第三的佳績(jī)；

2.在文檔分析與識(shí)別國(guó)際會(huì)議（ICDAR 2019）舉辦的多項(xiàng)賽事中，包攬手寫數(shù)學(xué)公式識(shí)別挑戰(zhàn)賽CROHME（Competition on Recognition of Handwritten Mathematical Expressions）全部?jī)身?xiàng)任務(wù)以及場(chǎng)景文本視覺(jué)問(wèn)答挑戰(zhàn)賽ST-VQA（Scene Text Visual Question Answering）挑戰(zhàn)賽上全部三項(xiàng)任務(wù)冠軍，此外還取得了街景招牌中文文本識(shí)別挑戰(zhàn)賽ReCTS（Reading Chinese Text on Signboard）單字識(shí)別任務(wù)冠軍。

這一系列的佳績(jī)標(biāo)志著科大訊飛在計(jì)算機(jī)視覺(jué)領(lǐng)域的積累日益深厚，始終保持著先進(jìn)的水平和探索的步伐。

DIW2019挑戰(zhàn)賽

DIW 2019挑戰(zhàn)賽由曠視科技與北京智源人工智能研究院共同舉辦，該項(xiàng)賽事吸引了包括騰訊、百度、字節(jié)跳動(dòng)等300多支隊(duì)伍參賽，其所采用的Objects365數(shù)據(jù)集包含63萬(wàn)張圖像，高達(dá)1000萬(wàn)人工標(biāo)注框，覆蓋365個(gè)日常物體類別，堪稱最大通用物體檢測(cè)數(shù)據(jù)集。

相比于大家熟知的ImageNet和COCO數(shù)據(jù)集，Objects365數(shù)據(jù)集更貼近自然場(chǎng)景，覆蓋更多的類別并且提供了更密集的標(biāo)注，由于數(shù)據(jù)分布極度不均衡，因此極大增加了比賽的難度，對(duì)算法提出了更高的要求。

作為計(jì)算機(jī)視覺(jué)的兩項(xiàng)基礎(chǔ)任務(wù)，物體檢測(cè)和分割一直以來(lái)是業(yè)界主流的研究方向。科大訊飛團(tuán)隊(duì)在2018年10月刷新了國(guó)際自動(dòng)駕駛權(quán)威評(píng)測(cè)Cityscapes全部?jī)身?xiàng)子任務(wù)（駕駛場(chǎng)景語(yǔ)義分割和實(shí)例分割）的世界紀(jì)錄。

在本次DIW2019比賽中，訊飛-中科大聯(lián)合團(tuán)隊(duì)在以往視覺(jué)技術(shù)積累的基礎(chǔ)上，針對(duì)該項(xiàng)任務(wù)中物體尺度多樣性和樣本數(shù)量分布不均衡的特點(diǎn)，對(duì)物體檢測(cè)的經(jīng)典框架Faster-RCNN進(jìn)行針對(duì)性改進(jìn)：混合樣本數(shù)據(jù)增強(qiáng)策略提升網(wǎng)絡(luò)的泛化能力；多級(jí)可變形卷積使得網(wǎng)絡(luò)的感受野能夠更加適應(yīng)相應(yīng)尺度下的候選框；級(jí)聯(lián)檢測(cè)方案逐步提升了候選框的質(zhì)量。此外針對(duì)更具挑戰(zhàn)性的Tiny Track任務(wù)（樣本數(shù)量小），遷移Objects365 Full Track模型提升Objects365 Tiny Track的性能，并融合兩個(gè)賽道模型進(jìn)一步提升了Full Track的檢測(cè)效果。

物體檢測(cè)和分割在工業(yè)界同樣具有廣泛的應(yīng)用前景，科大訊飛在這兩項(xiàng)基礎(chǔ)任務(wù)上的技術(shù)積累不僅確保團(tuán)隊(duì)在各項(xiàng)賽事中持續(xù)保持競(jìng)爭(zhēng)力，也為應(yīng)用落地提供了扎實(shí)的技術(shù)保障，無(wú)論是訊飛翻譯機(jī)中的圖文識(shí)別，醫(yī)療影像領(lǐng)域中的輔助診斷，以及視頻結(jié)構(gòu)化技術(shù)中的視頻理解等，都蘊(yùn)含著科大訊飛對(duì)核心技術(shù)的不懈追求和對(duì)應(yīng)用落地的堅(jiān)定決心。

CROHME 挑戰(zhàn)賽

在2018年的ICPR MTWI圖文識(shí)別挑戰(zhàn)賽中科大訊飛A.I.研究院包攬了全部三項(xiàng)任務(wù)的冠軍，充分說(shuō)明了科大訊飛在自然場(chǎng)景文字識(shí)別技術(shù)上的領(lǐng)先性。本次訊飛-中科大聯(lián)合團(tuán)隊(duì)選擇挑戰(zhàn)難度更高的手寫數(shù)學(xué)公式識(shí)別任務(wù)CROHME。該項(xiàng)賽事由美國(guó)羅切斯特理工學(xué)院（Rochester Institute of Technology）負(fù)責(zé)承辦，吸引了MyScript、三星、 WIRIS（MathType）、中科院自動(dòng)化所、中山大學(xué)等多家在手寫數(shù)學(xué)公式識(shí)別領(lǐng)域著名的國(guó)內(nèi)外研究機(jī)構(gòu)參與。

訊飛-中科大聯(lián)合團(tuán)隊(duì)參加了在線手寫數(shù)學(xué)公式識(shí)別（Online Handwritten Mathematical Expressions Recognition）和離線手寫數(shù)學(xué)公式識(shí)別（Offline Handwritten Mathematical Expressions Recognition）的兩項(xiàng)主要任務(wù)，這兩項(xiàng)任務(wù)的不同之處在于，前者的輸入為手寫數(shù)學(xué)公式的筆劃軌跡，它記錄了筆劃書(shū)寫的先后順序，常應(yīng)用于實(shí)時(shí)的在線手寫識(shí)別應(yīng)用場(chǎng)景，在線手寫識(shí)別系統(tǒng)需要采集用戶在手機(jī)、平板等在線化輸入設(shè)備上書(shū)寫的字符軌跡作為系統(tǒng)輸入；后者的輸入則為手寫數(shù)學(xué)公式的圖像，常應(yīng)用于拍照、掃描等離線手寫識(shí)別應(yīng)用場(chǎng)景，該場(chǎng)景下用戶只需要將手寫字符的照片送入離線手寫識(shí)別系統(tǒng)中即可完成分析與識(shí)別。

在線數(shù)學(xué)公式（手寫軌跡）

離線數(shù)學(xué)公式（靜態(tài)圖像）

CROHME 2019使用的數(shù)據(jù)集是由美國(guó)羅切斯特理工學(xué)院收集和標(biāo)注的手寫數(shù)學(xué)公式，其中訓(xùn)練集共9993個(gè)，驗(yàn)證集共986個(gè)，測(cè)試集共1199個(gè)，此次比賽不僅要求參賽系統(tǒng)識(shí)別出公式中的每個(gè)字符，還要求參賽系統(tǒng)給出被識(shí)別的字符之間的位置關(guān)系，因此，相比于常規(guī)OCR任務(wù)，該任務(wù)的難點(diǎn)在于：

1)位置關(guān)系

位置關(guān)系不再只是常規(guī)OCR任務(wù)中單一的左右或者上下的關(guān)系，還存在垂直、包含、上下標(biāo)等多種結(jié)構(gòu)關(guān)系以及這些結(jié)構(gòu)關(guān)系之間的組合嵌套；

2)字符尺寸

數(shù)學(xué)公式中的字符尺寸差異較常規(guī)OCR任務(wù)更大；

3)書(shū)寫風(fēng)格

書(shū)寫者的書(shū)寫風(fēng)格會(huì)使得某些不同字符之間容易產(chǎn)生混淆，且同樣的字符由不同書(shū)寫者書(shū)寫，不僅字符形態(tài)差異可能會(huì)很大，對(duì)于在線任務(wù)來(lái)說(shuō)，其筆劃軌跡的順序也有可能會(huì)不一致；

科大訊飛在手寫文字識(shí)別領(lǐng)域已深耕多年。與將字符識(shí)別和位置關(guān)系識(shí)別分別建模的傳統(tǒng)數(shù)學(xué)公式識(shí)別思路不同，科大訊飛使用的參賽系統(tǒng)正是借鑒了手寫文字識(shí)別技術(shù)中基于空間注意力機(jī)制的Encoder-Decoder思想，實(shí)現(xiàn)了數(shù)學(xué)公式的字符和位置關(guān)系的端到端識(shí)別，同時(shí)提出了多尺度空間注意力機(jī)制以解決由字符尺寸差異較大帶來(lái)的識(shí)別字符丟失問(wèn)題。此外，針對(duì)不同書(shū)寫者書(shū)寫風(fēng)格迥異的問(wèn)題，提出了空間注意力引導(dǎo)機(jī)制和時(shí)間注意力機(jī)制，從空間和時(shí)間兩個(gè)維度上提升注意力的準(zhǔn)確度，最后融合了多種不同模態(tài)的信息提升了系統(tǒng)最終決策的效果。

基于雄厚的人工智能核心技術(shù)，科大訊飛在應(yīng)用領(lǐng)域正積極落地。特別在教育領(lǐng)域，以行業(yè)領(lǐng)先的高精準(zhǔn)手寫識(shí)別技術(shù)、智能評(píng)測(cè)技術(shù)為典型應(yīng)用代表的智能評(píng)卷系統(tǒng)，目前已經(jīng)在CET、多地中高考中實(shí)現(xiàn)了人機(jī)結(jié)合的智能輔助評(píng)分新方式，最大限度的保證了評(píng)卷質(zhì)量。同時(shí)，在日常教學(xué)環(huán)節(jié)中，基于對(duì)每一個(gè)學(xué)生個(gè)體作業(yè)練習(xí)測(cè)試的精準(zhǔn)識(shí)別和深度數(shù)據(jù)挖掘，科大訊飛形成了以數(shù)據(jù)驅(qū)動(dòng)方式實(shí)現(xiàn)的個(gè)性化精準(zhǔn)教學(xué)。通過(guò)圖文識(shí)別、智能評(píng)測(cè)分析每個(gè)學(xué)生的知識(shí)掌握薄弱環(huán)節(jié)，針對(duì)性地實(shí)現(xiàn)個(gè)性化學(xué)習(xí)推薦，讓每個(gè)孩子回家后有針對(duì)自己能力水平的不同家庭作業(yè)，讓每個(gè)老師有更多的時(shí)間推動(dòng)因材施教。

ST-VQA挑戰(zhàn)賽

ST-VQA（Scene Text Visual Question Answering）是由CVC（Computer Vision Center）舉辦的一項(xiàng)視覺(jué)問(wèn)答挑戰(zhàn)賽，要求算法能夠像人類一樣解析圖像中實(shí)體之間的關(guān)系，并正確地回答出問(wèn)題。這一方面對(duì)算法的圖像檢測(cè)和分割等前端技術(shù)提出了要求；另一方面還需要算法具備多模態(tài)數(shù)據(jù)融合、理解和推理的能力，是未來(lái)人工智能的發(fā)展方向之一。

如在下圖的場(chǎng)景中為了找出藍(lán)色公交車的目的地，首先需要正確地識(shí)別出藍(lán)色公交車的位置，并推理出公交車的目的地顯示在公交車前方的電子顯示屏上，最后需要算法識(shí)別出電子顯示屏上的內(nèi)容。

ST-VQA比賽總共分為三個(gè)任務(wù)，分別為Task1-Strongly Contextualized、Task2-Weakly Contextualized和Task3-Open Dictionary，這三項(xiàng)任務(wù)的不同之處在于Task1會(huì)對(duì)每張圖像給定一個(gè)候選詞表，Task2會(huì)對(duì)整個(gè)數(shù)據(jù)集給定一個(gè)候選詞表，而Task3則沒(méi)有額外的詞表用于輔助答案的預(yù)測(cè)。這三個(gè)任務(wù)的難度逐漸增加，訊飛-中科大聯(lián)合團(tuán)隊(duì)參加了全部三項(xiàng)比賽，并包攬冠軍。

針對(duì)于此次參加的ST-VQA任務(wù)，訊飛-中科大聯(lián)合團(tuán)隊(duì)將模型分為視覺(jué)理解前端模型和視覺(jué)推理后端模型。文本檢測(cè)和物體檢測(cè)模型作為前端模型從圖像中提取出有效實(shí)體，此外針對(duì)數(shù)據(jù)集中的語(yǔ)料少的問(wèn)題，借鑒了科大訊飛在SQuAD2.0評(píng)測(cè)任務(wù)上采用無(wú)監(jiān)督預(yù)訓(xùn)練模型的思想并加以改進(jìn)，成功融入到了前端模塊中。

在后端網(wǎng)絡(luò)的設(shè)計(jì)上，團(tuán)隊(duì)設(shè)計(jì)了相應(yīng)的Encoder-Decoder模型用于融合上述從圖像中提取得到的實(shí)體信息和問(wèn)題數(shù)據(jù)并預(yù)測(cè)出答案，此外在Encoder-Decoder模型的設(shè)計(jì)過(guò)程中融合了多任務(wù)的設(shè)計(jì)思想，使其能夠兼容三項(xiàng)任務(wù)，從而使得這三項(xiàng)任務(wù)能夠同時(shí)訓(xùn)練，相互提升。參加ST-VQA比賽，是訊飛在視覺(jué)理解以及多模態(tài)數(shù)據(jù)融合方面的前瞻性探索，比賽中使用的技術(shù)為公司未來(lái)在多模態(tài)交互方面的發(fā)展打下了基礎(chǔ)。

作為亞太地區(qū)知名的智能語(yǔ)音與人工智能上市公司，圍繞著訊飛超腦，科大訊飛一直秉承技術(shù)頂天、產(chǎn)品落地的戰(zhàn)略理念，在核心技術(shù)上不斷創(chuàng)新?；诖?，科大訊飛在智能語(yǔ)音、自然語(yǔ)言處理等領(lǐng)域碩果累累，也在視覺(jué)場(chǎng)景理解領(lǐng)域獲得長(zhǎng)足進(jìn)步，并且積極推動(dòng)相關(guān)賽道技術(shù)落地，在教育、醫(yī)療、政法等業(yè)務(wù)上已經(jīng)取得了很好的成效。未來(lái)，訊飛將全面持續(xù)推進(jìn)核心技術(shù)的優(yōu)化迭代與落地應(yīng)用，努力踐行用人工智能建設(shè)美好世界的公司使命。