數(shù)據(jù)的質(zhì)量和規(guī)模才是端到端的“命脈”

11月，知行科技作為共同第一作者提出的Strong Vision Transformers Could BeExcellent Teachers(ScaleKD)，以預(yù)訓(xùn)練ViT(視覺Transformer)模型作為教師，CNN網(wǎng)絡(luò)作為學(xué)生進(jìn)行學(xué)習(xí)。推進(jìn)異構(gòu)神經(jīng)網(wǎng)絡(luò)間知識蒸餾研究的具體范式/方法，被收錄于NeurIPS 2024(第38屆神經(jīng)信息處理系統(tǒng)會議)。

這是知行科技構(gòu)建大模型體系能力的初步成果之一。2024年年中，知行科技開始從資源、組織等多線程入手，打造面向大模型的研發(fā)架構(gòu)體系，并完成組織架構(gòu)調(diào)整，引入包括清華大學(xué)計(jì)算機(jī)博士背景的大模型架構(gòu)師等多位大模型與自動駕駛領(lǐng)域?qū)＜?，?gòu)建起對齊主流的研發(fā)組織架構(gòu)和專家人才庫，為2025落地端到端大模型系統(tǒng)上車做好準(zhǔn)備。

01構(gòu)建以數(shù)據(jù)為中心的開發(fā)體系

端到端讓所有智駕玩家有機(jī)會重新站上起跑線，但做端到端的挑戰(zhàn)并不全在于“模型”本身。

原特斯拉FSD研發(fā)負(fù)責(zé)人Andrej Karpathy曾表示，特斯拉自動駕駛部門將3/4的精力用在采集、清洗、分類、標(biāo)注高質(zhì)量數(shù)據(jù)上，只有1/4用于算法探索和模型創(chuàng)建。究其原因，數(shù)據(jù)是人工智能發(fā)展的燃料，而端到端大模型將AI的“油耗”水平推到了新的高度。

“100萬個視頻 Case 訓(xùn)練，勉強(qiáng)夠用;200萬個，稍好一些;300萬個，就會感到Wow;到了1000 萬個，就變得難以置信了?！碧厮估瓌?chuàng)始人馬斯克曾這樣量化FSD的訓(xùn)練數(shù)據(jù)需求。

問題是，雖然人類活動生生不息，有效數(shù)據(jù)卻不是源源不斷。ChatGPT 3 的開發(fā)文檔中提到，45TB的純文本質(zhì)量過濾后，僅獲得570GB的文本，有效數(shù)據(jù)僅為1.27%。大語言和多模態(tài)模型領(lǐng)域已經(jīng)開始出現(xiàn)高質(zhì)量的真實(shí)文本、視頻數(shù)據(jù)耗盡，性能撞墻的情況。

對自動駕駛來說，高質(zhì)量的數(shù)據(jù)多來自罕見路況和場景，產(chǎn)生條件苛刻，導(dǎo)致樣本量相對語言類更為稀缺，更是難以滿足大模型的參數(shù)需求。

目前，端到端自動駕駛系統(tǒng)上車帶來更上限的同時，也開始遭遇數(shù)據(jù)分布問題、高質(zhì)量數(shù)據(jù)不足，導(dǎo)致的部分場景性能回退、困難場景性能不穩(wěn)定的情況。

數(shù)據(jù)的質(zhì)量和規(guī)模才是端到端的“命脈”。知行科技在進(jìn)入端到端賽道時，決定構(gòu)建“以數(shù)據(jù)為中心”的研發(fā)體系，用以滿足大模型對高質(zhì)量數(shù)據(jù)“貪婪”的特性。

知行科技重構(gòu)研發(fā)組織架構(gòu)，形成大模型、模型部署、基礎(chǔ)設(shè)施、大數(shù)據(jù)等多模塊在內(nèi)的主流人工智能開發(fā)框架。其中，大模型組不僅在模型層面提供新的技術(shù)支持，在數(shù)據(jù)自動標(biāo)注算法、基于擴(kuò)散模型的數(shù)據(jù)生成、基于多模態(tài)大模型的數(shù)據(jù)挖掘方面也都有發(fā)力，以更低成本的數(shù)據(jù)生產(chǎn)為目標(biāo)，保質(zhì)保量地滿足知行科技端到端大模型的數(shù)據(jù)需求。

02仿真數(shù)據(jù)，數(shù)據(jù)戰(zhàn)爭的下一步

當(dāng)數(shù)據(jù)需求是百萬clips起步時，應(yīng)該如何打這場數(shù)據(jù)戰(zhàn)爭?

知行科技一方面強(qiáng)化自有數(shù)據(jù)采集和標(biāo)注能力，并與生態(tài)伙伴形成一定程度的數(shù)據(jù)協(xié)同;

在數(shù)據(jù)采集方面，知行科技已自建采集車隊(duì)，自主搭建數(shù)據(jù)采集軟件、車端采集系統(tǒng)和后端耦合系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)采集全鏈條的自動化和高度可控，日采集效率達(dá)20萬幀，為BEV行泊車功能閉環(huán)量產(chǎn)提供必要的數(shù)據(jù)支持。

在數(shù)據(jù)標(biāo)注方面，知行科技已經(jīng)建成自動化標(biāo)注體系并在不斷地完善，在OD(障礙物檢測)、LD(車道線檢測)項(xiàng)目中實(shí)現(xiàn)完全自動標(biāo)注，整體減少至少50%的數(shù)據(jù)標(biāo)注成本。

與此同時，面向端到端系統(tǒng)海量數(shù)據(jù)需求，知行科技則借助大模型的能力，探索仿真數(shù)據(jù)的產(chǎn)業(yè)應(yīng)用前景。

12月，OpenAI和谷歌先后發(fā)布了視頻產(chǎn)品，提供文本、圖像、視頻轉(zhuǎn)視頻的功能，展現(xiàn)出擴(kuò)散模型等大模型對現(xiàn)實(shí)世界極強(qiáng)的復(fù)現(xiàn)和“改寫”能力。事實(shí)上，包括特斯拉在內(nèi)的自動駕駛頭部玩家，也已正在加大仿真數(shù)據(jù)領(lǐng)域的投入。

因?yàn)椋抡鏀?shù)據(jù)在數(shù)據(jù)生產(chǎn)降本，和稀有場景數(shù)據(jù)獲得方面，有著至關(guān)重要的作用：

經(jīng)過良好預(yù)訓(xùn)練的大模型能夠“向前”，渲染復(fù)制現(xiàn)實(shí)世界生成圖像，并通過在虛擬世界中車輛動態(tài)擺放，僅用幾分鐘生成成千上萬段仿真場景信息;

也能夠“向后”推理，基于已有場景和環(huán)境信息，進(jìn)行規(guī)劃控制的學(xué)習(xí)，打通整個感知和規(guī)劃鏈路;

此外，基于對物理世界的理解，大模型還能夠通過改變場景中的關(guān)鍵數(shù)值，提升數(shù)采場景的有效比例。

目前，知行科技通過大模型進(jìn)行數(shù)據(jù)生成已取得階段性成果：能夠使用原圖進(jìn)行天氣，光照等條件的修改達(dá)到快速擴(kuò)充真值的目標(biāo);通過給定特殊控制量，達(dá)到數(shù)據(jù)生產(chǎn)的目的。通過在自動標(biāo)注和大模型數(shù)據(jù)生成方面的全面布局，知行科技在數(shù)據(jù)生產(chǎn)的降本和質(zhì)量提升方面，已取得實(shí)質(zhì)性進(jìn)展。

此外，在數(shù)據(jù)挖掘方面，知行科技已初步建成ImoGPT-多模態(tài)大模型的安全解決方案，通過MoE(混合專家系統(tǒng))大模型，進(jìn)行文本理解、圖片理解和視頻理解。其將在實(shí)現(xiàn)場景可解釋性、數(shù)據(jù)挖掘、端到端安全方案等多方面發(fā)揮重要作用。

03大模型，有教無類的“良師”

大模型可以是數(shù)據(jù)的生產(chǎn)者，也可以是端側(cè)小模型的“好老師”。

如ChatGPT解釋，憑借龐大的參數(shù)量和復(fù)雜的結(jié)構(gòu)，大模型能夠通過海量數(shù)據(jù)訓(xùn)練，發(fā)現(xiàn)新的、更高層次的特征和模式，表現(xiàn)出未能預(yù)測、更復(fù)雜的能力和特性，實(shí)現(xiàn)智能的涌現(xiàn)。“涌現(xiàn)能力”也是大模型擴(kuò)大使用場景，提升泛化性的核心。但大模型也存在計(jì)算資源消耗巨大、推理速度慢、模型可解釋性差的問題，難以被部署在計(jì)算和能耗都非常有限的端側(cè)。

如何使端模型也獲得相應(yīng)的知識和泛化能力，知識蒸餾(Knowledge Distillation)技術(shù)應(yīng)運(yùn)而生：將大模型學(xué)到的知識遷移到一個更小的模型中，保持性能的同時降低模型部署難度和計(jì)算開銷。

知行科技被NeurIPS 收錄的ScaleKD，正是一種大模型知識蒸餾方法。

ScaleKD通過結(jié)合三個緊密耦合的組件(交叉注意力投影器，雙視圖特征模仿和教師參數(shù)感知)，對齊云端教師模型和端側(cè)學(xué)生模型之間的特征計(jì)算范式差異、型規(guī)模差異和知識密度差異，實(shí)現(xiàn)任何目標(biāo)學(xué)生模型在大規(guī)模數(shù)據(jù)集上的時間密集的預(yù)訓(xùn)練范式。

這意味著，大模型能夠作為“有教無類”的良師，將知識和規(guī)律“復(fù)制”到端側(cè)模型，大幅提升其性能和泛化性。

從前沿學(xué)術(shù)研究出發(fā)，知行科技將根據(jù)實(shí)際中使用的端模型，構(gòu)建對應(yīng)的老師模型進(jìn)行訓(xùn)練，獲得更強(qiáng)的能力，從而通過知識蒸餾提高端模型的學(xué)習(xí)效果和速度。

端到端大模型的應(yīng)用，為智能駕駛玩家?guī)碇匦麻_局的機(jī)會。中國的場景復(fù)雜性、市場需求，中國團(tuán)隊(duì)工程化和應(yīng)用落地的能力，以及大模型技術(shù)領(lǐng)域不斷涌現(xiàn)的新能力，使后來者能夠快速、確定性地切入賽道。

知行科技著力構(gòu)建的數(shù)據(jù)生產(chǎn)能力，積累的高質(zhì)量數(shù)據(jù)，將為端到端模型訓(xùn)練提供源源不斷的”燃料“，推動智駕功能從“能用”、“好用”，走向消費(fèi)者“愛用”的未來。