?
?在人工智能蓬勃發(fā)展的時(shí)代,大模型憑借其強(qiáng)大的學(xué)習(xí)與泛化能力,已成為眾多領(lǐng)域創(chuàng)新變革的核心驅(qū)動(dòng)力。而數(shù)據(jù)標(biāo)注作為大模型訓(xùn)練的基石,為大模型性能提升注入關(guān)鍵動(dòng)力,是模型不可或缺的“養(yǎng)料。大模型則憑借其自動(dòng)化能力,反過(guò)來(lái)推動(dòng)數(shù)據(jù)標(biāo)注效率實(shí)現(xiàn)數(shù)倍增長(zhǎng),開(kāi)啟人工智能發(fā)展的全新篇章。
一、數(shù)據(jù)標(biāo)注大模型性能的基石
大模型的性能高度依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量與規(guī)模,而數(shù)據(jù)標(biāo)注則是將原始數(shù)據(jù)轉(zhuǎn)化為機(jī)器可理解形式的核心環(huán)節(jié)。
(1)精準(zhǔn)語(yǔ)義對(duì)齊
大模型需要理解人類語(yǔ)言的復(fù)雜語(yǔ)義,而標(biāo)注通過(guò)人工或自動(dòng)化方式為文本、圖像、語(yǔ)音等數(shù)據(jù)賦予標(biāo)簽(如情感分類、目標(biāo)檢測(cè)框、語(yǔ)音轉(zhuǎn)錄文本),使模型學(xué)習(xí)到數(shù)據(jù)與語(yǔ)義的映射關(guān)系。例如,在醫(yī)療影像標(biāo)注中,將CT圖像中的“結(jié)節(jié)”區(qū)域精確標(biāo)注,可使模型在肺癌篩查任務(wù)中達(dá)到95%以上的敏感度。
(2)領(lǐng)域知識(shí)注入
垂直領(lǐng)域的大模型(如金融、法律)需要專業(yè)標(biāo)注數(shù)據(jù)來(lái)注入領(lǐng)域知識(shí)。例如,在金融文本標(biāo)注中,將“市盈率”“K線圖”等術(shù)語(yǔ)與具體數(shù)值關(guān)聯(lián),可使模型在量化交易策略生成中表現(xiàn)更優(yōu)。
(3)數(shù)據(jù)質(zhì)量保障
高質(zhì)量標(biāo)注數(shù)據(jù)可顯著降低模型訓(xùn)練的噪聲干擾。例如,在自動(dòng)駕駛數(shù)據(jù)標(biāo)注中,通過(guò)嚴(yán)格校驗(yàn)激光雷達(dá)點(diǎn)云數(shù)據(jù)的空間連續(xù)性,可使目標(biāo)檢測(cè)模型的誤檢率降低30%。
二、大模型自動(dòng)化能力:數(shù)據(jù)標(biāo)注效率的革命性提升
人工智能在數(shù)據(jù)標(biāo)注領(lǐng)域所取得的突破性進(jìn)展,也推動(dòng)數(shù)據(jù)標(biāo)注行業(yè)從傳統(tǒng)的勞動(dòng)密集型向技術(shù)驅(qū)動(dòng)轉(zhuǎn)型,AI輔助標(biāo)注、自動(dòng)標(biāo)注備受關(guān)注。
傳統(tǒng)的數(shù)據(jù)標(biāo)注主要依靠標(biāo)注員手動(dòng)標(biāo)注,存在效率低、成本高、一致性差等問(wèn)題,而大模型通過(guò)技術(shù)路徑實(shí)現(xiàn)標(biāo)注效率的數(shù)倍提升:
(1)預(yù)訓(xùn)練模型賦能的自動(dòng)化標(biāo)注
大模型通過(guò)在海量多模態(tài)數(shù)據(jù)上的無(wú)監(jiān)督學(xué)習(xí),已具備對(duì)數(shù)據(jù)的初步理解能力。例如:
圖像標(biāo)注:基于CLIP(對(duì)比語(yǔ)言-圖像預(yù)訓(xùn)練)模型,系統(tǒng)可通過(guò)文本描述自動(dòng)生成圖像標(biāo)注,在電商商品分類任務(wù)中,標(biāo)注效率提升5倍。
文本標(biāo)注:GPT-4等模型可通過(guò)提示工程(Prompt Engineering)自動(dòng)生成情感分析標(biāo)簽,在社交媒體評(píng)論標(biāo)注中,準(zhǔn)確率達(dá)92%,效率提升10倍。
(2)主動(dòng)學(xué)習(xí)與迭代優(yōu)化
大模型通過(guò)主動(dòng)學(xué)習(xí)機(jī)制篩選高價(jià)值樣本,減少人工標(biāo)注量。例如:
醫(yī)療影像標(biāo)注:系統(tǒng)首先利用少量標(biāo)注數(shù)據(jù)訓(xùn)練模型,隨后自動(dòng)篩選置信度低于80%的樣本交由人工復(fù)核,在肺部CT結(jié)節(jié)檢測(cè)中,標(biāo)注數(shù)據(jù)量減少40%,效率提升3倍。
語(yǔ)音標(biāo)注:通過(guò)聲學(xué)模型與語(yǔ)言模型的聯(lián)合優(yōu)化,系統(tǒng)可自動(dòng)標(biāo)注90%以上的語(yǔ)音數(shù)據(jù),僅需人工修正剩余10%的歧義片段。
(3)多模態(tài)融合標(biāo)注
大模型可同時(shí)處理圖像、文本、語(yǔ)音等多模態(tài)數(shù)據(jù),實(shí)現(xiàn)跨模態(tài)標(biāo)注。例如:
自動(dòng)駕駛標(biāo)注:系統(tǒng)通過(guò)融合攝像頭圖像、激光雷達(dá)點(diǎn)云與毫米波雷達(dá)時(shí)序數(shù)據(jù),自動(dòng)生成3D目標(biāo)檢測(cè)框,在復(fù)雜路況標(biāo)注中,效率提升7倍。
視頻標(biāo)注:結(jié)合時(shí)間序列模型與大模型語(yǔ)義理解能力,系統(tǒng)可自動(dòng)標(biāo)注視頻中的行為事件(如“摔倒檢測(cè)”),在安防監(jiān)控標(biāo)注中,效率提升8倍。
三、賦能典型應(yīng)用場(chǎng)景
標(biāo)貝科技AI數(shù)據(jù)平臺(tái)基于大模型完善的知識(shí)儲(chǔ)備以及強(qiáng)大的泛化能力,能夠?qū)崿F(xiàn)對(duì)于音頻、文本、圖像和點(diǎn)云等多種數(shù)據(jù)內(nèi)容的理解和分析,根據(jù)需要對(duì)通用場(chǎng)景和定制化場(chǎng)景數(shù)據(jù)格式化處理和輸出,在保證高效處理的前提下,又能夠確保標(biāo)注結(jié)果的高準(zhǔn)確率,實(shí)現(xiàn)規(guī)?;瘮?shù)據(jù)生產(chǎn)。據(jù)統(tǒng)計(jì),相較于過(guò)去的純?nèi)斯?biāo)注,獲取同等數(shù)量的數(shù)據(jù)樣本,AI自動(dòng)標(biāo)注的周期至少可以提效70%以上,大幅降低數(shù)據(jù)生產(chǎn)成本。
(1)3D點(diǎn)云追蹤標(biāo)注場(chǎng)景
在實(shí)際項(xiàng)目中,經(jīng)常出現(xiàn)不同幀采集的數(shù)據(jù)截?cái)唷⒄趽踅嵌茸兓?,或者?biāo)注員主觀偏差導(dǎo)致標(biāo)注效率降低,使得整個(gè)標(biāo)注周期成倍增加等問(wèn)題。

AI自動(dòng)標(biāo)注模型能夠?qū)c(diǎn)云連續(xù)幀數(shù)據(jù)進(jìn)行預(yù)處理。通過(guò)濾波、降采樣、重采樣等操作優(yōu)化點(diǎn)云文件。然后使用預(yù)處理模型進(jìn)行特征提取,將相同物體進(jìn)行目標(biāo)關(guān)聯(lián)匹配,設(shè)定同一trackID,以達(dá)到對(duì)同一物體進(jìn)行追蹤標(biāo)記。保持?jǐn)?shù)據(jù)標(biāo)注的一致性,減少主觀偏差,縮短工期。
(2)視頻車牌追蹤場(chǎng)景
標(biāo)貝科技AI自動(dòng)標(biāo)注模型可以支持上百種物體識(shí)別,采用多目標(biāo)追蹤算法對(duì)每個(gè)目標(biāo)進(jìn)行唯一標(biāo)識(shí),并通過(guò)目標(biāo)的特征信息來(lái)實(shí)現(xiàn)目標(biāo)連續(xù)追蹤。將同一物體識(shí)別后,再把標(biāo)注結(jié)果賦予同一追蹤對(duì)象。
例如,在視頻追蹤對(duì)齊車輛并標(biāo)記出車輛車牌項(xiàng)目中,由于每段視頻較長(zhǎng),需要標(biāo)注的幀數(shù)達(dá)到幾千幀,特別是視頻里遠(yuǎn)處的車輛無(wú)法很好的提取特征,使得標(biāo)注難度大幅提升。

針對(duì)以上難點(diǎn),將此項(xiàng)目進(jìn)行步驟拆解:
模型識(shí)別:通過(guò)目標(biāo)檢測(cè)模型對(duì)所需標(biāo)注車輛進(jìn)行預(yù)識(shí)別;
模型追蹤:通過(guò)特征匹配深度學(xué)習(xí)追蹤等算法,對(duì)同一物體在上千幀的數(shù)據(jù)中標(biāo)記出同一track;
車牌OCR:找到將最清晰的一幀并進(jìn)行OCR車牌識(shí)別,并將這個(gè)車牌賦予相同track屬性。
(3)OCR小票識(shí)別場(chǎng)景
在對(duì)大量不同類型的購(gòu)物小票的內(nèi)容進(jìn)行定位和分類時(shí),由于小票上含有各種干擾字體給標(biāo)注識(shí)別帶來(lái)一定難度。

標(biāo)貝科技利用AI模型自動(dòng)對(duì)小票整體進(jìn)行識(shí)別,去除小票上的干擾信息。然后OCR模型算法對(duì)小票上的信息進(jìn)行定位和識(shí)別,將識(shí)別出的文字內(nèi)容通過(guò)大模型數(shù)據(jù)理解,分類出文字的商品、價(jià)格、編號(hào)等屬性類別。
(4)2D圖像與視頻交互分割場(chǎng)景
平均1.5分鐘一段的4K視頻,每秒30幀,抽幀后每份作業(yè)2000幀+,大量重復(fù)類似的分割工作就需要大量的人工成本。這時(shí)就需要利用模型能力快速完成標(biāo)注。
基于深度學(xué)習(xí)的分割方法,標(biāo)貝科技通過(guò)圖片像素分割模型對(duì)首幀進(jìn)行智能分割,然后再將首幀分割結(jié)果,通過(guò)追蹤模型自動(dòng)向后續(xù)目標(biāo)幀進(jìn)行追蹤對(duì)齊。整體過(guò)程中,標(biāo)貝科技利用多目標(biāo)追蹤技術(shù),在場(chǎng)景中對(duì)多個(gè)物體進(jìn)行智能追蹤,將大量重復(fù)性的工作交由模型自動(dòng)完成。
(5)ASR長(zhǎng)語(yǔ)音標(biāo)注場(chǎng)景
當(dāng)語(yǔ)音數(shù)據(jù)的音頻質(zhì)量較低,又有大量的要?jiǎng)澏渭稗D(zhuǎn)錄的內(nèi)容,在同音字和多音字干擾下,通過(guò)輸入法打字,速度慢效率低。

標(biāo)貝科技AI自動(dòng)標(biāo)注模型使用VAD能力自動(dòng)切分,檢測(cè)語(yǔ)音信號(hào)中的有效語(yǔ)音部分,然后基于自動(dòng)語(yǔ)音識(shí)別技術(shù),將語(yǔ)音信號(hào)轉(zhuǎn)換為對(duì)應(yīng)文本。
面對(duì)未來(lái)AI產(chǎn)業(yè)的規(guī)模化商業(yè)落地趨勢(shì),數(shù)據(jù)標(biāo)注需求急劇上升,同時(shí)數(shù)據(jù)標(biāo)注場(chǎng)景逐漸向個(gè)性化、復(fù)雜化的垂類進(jìn)化。AI自動(dòng)標(biāo)注技術(shù)依托先進(jìn)的機(jī)器學(xué)習(xí)算法,能夠快速處理大規(guī)模、多類型的數(shù)據(jù),準(zhǔn)確識(shí)別數(shù)據(jù)中的目標(biāo),進(jìn)行高精度的標(biāo)注。同時(shí)在標(biāo)注過(guò)程中,不斷根據(jù)標(biāo)注結(jié)果與實(shí)際結(jié)果的差異進(jìn)行自我修正,調(diào)整模型參數(shù),提高標(biāo)注準(zhǔn)確率,為各種垂直場(chǎng)景提供實(shí)時(shí)、準(zhǔn)確的數(shù)據(jù)支持。
未來(lái),隨著技術(shù)持續(xù)演進(jìn)和應(yīng)用場(chǎng)景拓展,自動(dòng)化標(biāo)注將成為AI基礎(chǔ)設(shè)施的重要組成部分,賦能千行百業(yè)的智能化轉(zhuǎn)型。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
7250瀏覽量
91503 -
人工智能
+關(guān)注
關(guān)注
1805文章
48898瀏覽量
247831 -
大模型
+關(guān)注
關(guān)注
2文章
3085瀏覽量
3963
發(fā)布評(píng)論請(qǐng)先 登錄
宇視科技梧桐大模型賦能交通治理
東軟集團(tuán)入選國(guó)家數(shù)據(jù)局數(shù)據(jù)標(biāo)注優(yōu)秀案例
標(biāo)貝科技“4D-BEV上億點(diǎn)云標(biāo)注系統(tǒng)”入選國(guó)家數(shù)據(jù)局首批數(shù)據(jù)標(biāo)注優(yōu)秀案例

數(shù)據(jù)標(biāo)注服務(wù)—奠定大模型訓(xùn)練的數(shù)據(jù)基石
標(biāo)貝數(shù)據(jù)標(biāo)注服務(wù):奠定大模型訓(xùn)練的數(shù)據(jù)基石

自動(dòng)化標(biāo)注技術(shù)推動(dòng)AI數(shù)據(jù)訓(xùn)練革新
標(biāo)貝自動(dòng)化數(shù)據(jù)標(biāo)注平臺(tái)推動(dòng)AI數(shù)據(jù)訓(xùn)練革新

DeepSeek賦能古河云:AI驅(qū)動(dòng)內(nèi)部協(xié)同效率全面提升
【「基于大模型的RAG應(yīng)用開(kāi)發(fā)與優(yōu)化」閱讀體驗(yàn)】+大模型微調(diào)技術(shù)解讀
AI自動(dòng)圖像標(biāo)注工具SpeedDP將是數(shù)據(jù)標(biāo)注行業(yè)發(fā)展的重要引擎

標(biāo)貝科技:自動(dòng)駕駛中的數(shù)據(jù)標(biāo)注類別分享

標(biāo)貝科技:自動(dòng)駕駛中的數(shù)據(jù)標(biāo)注類別分享

圖為大模型一體機(jī)新探索,賦能智能家居行業(yè)
華為云徐峰:AI 賦能應(yīng)用現(xiàn)代化,加速軟件生產(chǎn)力躍升

評(píng)論