[首發(fā)于智駕最前沿微信公眾號(hào)]對(duì)于自動(dòng)駕駛大模型的訓(xùn)練，不知道是否有人感覺(jué)，訓(xùn)練的數(shù)據(jù)越多，模型就會(huì)越聰明。這個(gè)說(shuō)法只能說(shuō)在一定程度上是對(duì)的，但如果把這個(gè)結(jié)論簡(jiǎn)單理解為無(wú)限堆訓(xùn)練數(shù)據(jù)就能讓模型越聰明，那只會(huì)偏離實(shí)際情況。

自動(dòng)駕駛大模型的訓(xùn)練數(shù)據(jù)，不能只單純看數(shù)量，而是要看數(shù)量、質(zhì)量、結(jié)構(gòu)等多個(gè)方面。

數(shù)據(jù)越多，模型真的就越強(qiáng)嗎？

在模型訓(xùn)練的早期階段，增加數(shù)據(jù)量確實(shí)會(huì)明顯提升性能。模型性能一般會(huì)隨著數(shù)據(jù)規(guī)模增長(zhǎng)而持續(xù)改善，甚至呈現(xiàn)出規(guī)模定律。

簡(jiǎn)單說(shuō)，就是投入越多、數(shù)據(jù)越大、參數(shù)越多，模型就越聰明。

圖片源自：網(wǎng)絡(luò)

之所以出現(xiàn)這個(gè)現(xiàn)象，是因?yàn)樽詣?dòng)駕駛本質(zhì)是在學(xué)習(xí)駕駛經(jīng)驗(yàn)，數(shù)據(jù)越多，模型見(jiàn)過(guò)的道路情況就越豐富，對(duì)常見(jiàn)場(chǎng)景的理解也會(huì)更穩(wěn)定。像是常規(guī)的跟車(chē)、變道、紅綠燈識(shí)別等高頻場(chǎng)景只要數(shù)據(jù)量夠大，模型一般都能學(xué)得比較可靠。

但隨著訓(xùn)練數(shù)據(jù)的增加，這種提升是逐漸變緩的。當(dāng)數(shù)據(jù)規(guī)模達(dá)到一定程度之后，再增加同類(lèi)型的數(shù)據(jù)，收益會(huì)明顯下降。換句話說(shuō)，如果新增的數(shù)據(jù)只是重復(fù)已有場(chǎng)景，本質(zhì)上是在讓自動(dòng)駕駛大模型“刷題”，而不是學(xué)習(xí)新的能力。

為什么“多”不等于“有效”？

自動(dòng)駕駛數(shù)據(jù)有一個(gè)很典型的特征，就是分布極不均衡。絕大多數(shù)數(shù)據(jù)來(lái)自日常的正常駕駛，很多內(nèi)容都是與直行、跟車(chē)、停車(chē)相關(guān)，而真正決定安全性能的，恰恰是那些極少出現(xiàn)的特殊情況，也就是常說(shuō)的長(zhǎng)尾場(chǎng)景。

這些場(chǎng)景包括突發(fā)橫穿、異常行為車(chē)輛、復(fù)雜施工、極端天氣等，這類(lèi)數(shù)據(jù)天然稀缺。即使采集了海量數(shù)據(jù)，絕大部分仍然是“普通樣本”，而關(guān)鍵的長(zhǎng)尾樣本占比很低。

圖片源自：網(wǎng)絡(luò)

這就讓自動(dòng)駕駛大模型訓(xùn)練數(shù)據(jù)呈現(xiàn)出一個(gè)矛盾，那就是數(shù)據(jù)量在增加，但有效信息并沒(méi)有同步增加。

其實(shí)只要適當(dāng)增加少量長(zhǎng)尾數(shù)據(jù)，就可能對(duì)模型在對(duì)應(yīng)邊緣場(chǎng)景下的表現(xiàn)帶來(lái)明顯提升，而盲目增加常規(guī)數(shù)據(jù)，大模型的能力提升其實(shí)很有限。

數(shù)據(jù)質(zhì)量，比數(shù)量更關(guān)鍵

如果說(shuō)數(shù)據(jù)量決定了大模型“上限”，那么數(shù)據(jù)質(zhì)量決定的是其“底線”。

自動(dòng)駕駛訓(xùn)練數(shù)據(jù)對(duì)質(zhì)量的要求非常高，不只是清晰與否的問(wèn)題，而是包括標(biāo)注準(zhǔn)確性、時(shí)間同步、多傳感器對(duì)齊等一整套細(xì)節(jié)。如果這些環(huán)節(jié)出現(xiàn)問(wèn)題，模型學(xué)到的就不是正確的駕駛邏輯，而是帶偏差的經(jīng)驗(yàn)。

圖片源自：網(wǎng)絡(luò)

舉個(gè)簡(jiǎn)單的例子，如果同一幀中，攝像頭和激光雷達(dá)的數(shù)據(jù)沒(méi)有對(duì)齊，那么模型看到的“位置關(guān)系”就是錯(cuò)的。這種錯(cuò)誤不會(huì)在訓(xùn)練時(shí)暴露，但會(huì)在真實(shí)道路中放大。

再說(shuō)說(shuō)標(biāo)注，如果目標(biāo)類(lèi)別、位置或運(yùn)動(dòng)狀態(tài)標(biāo)錯(cuò)，模型就會(huì)在這些邊界條件下產(chǎn)生系統(tǒng)性誤判。

所以在自動(dòng)駕駛大模型訓(xùn)練中會(huì)看到一個(gè)現(xiàn)象，那就是清洗一批“臟數(shù)據(jù)”，比新增同規(guī)模數(shù)據(jù)更有價(jià)值。

真正難的是“覆蓋”和“結(jié)構(gòu)”

自動(dòng)駕駛模型并不是在做簡(jiǎn)單的識(shí)別，而是在學(xué)習(xí)一個(gè)動(dòng)態(tài)系統(tǒng)，其中包括感知、預(yù)測(cè)和決策。因此，數(shù)據(jù)不僅要多，還要“覆蓋得對(duì)”。

有效的數(shù)據(jù)通常需要滿(mǎn)足多樣性、時(shí)序性、多態(tài)性等多個(gè)關(guān)鍵特征。

圖片源自：網(wǎng)絡(luò)

多樣性就是要覆蓋不同天氣、光照、道路類(lèi)型和交通密度，否則模型只是在特定環(huán)境下有效。

時(shí)序性則強(qiáng)調(diào)的是大模型訓(xùn)練數(shù)據(jù)同一場(chǎng)景下時(shí)刻的要求，單幀數(shù)據(jù)只能描述“此刻是什么”，但駕駛決策依賴(lài)的是“接下來(lái)會(huì)發(fā)生什么”，所以必須有連續(xù)幀來(lái)學(xué)習(xí)運(yùn)動(dòng)關(guān)系。

多模態(tài)則是指攝像頭、激光雷達(dá)、毫米波雷達(dá)等信息需要融合，否則感知能力會(huì)有明顯短板。

這些要求也體現(xiàn)出自動(dòng)駕駛大模型訓(xùn)練的一個(gè)要求，那就是數(shù)據(jù)不能只是簡(jiǎn)單堆積，而是需要結(jié)構(gòu)化設(shè)計(jì)。

數(shù)據(jù)閉環(huán)，比數(shù)據(jù)規(guī)模更重要

在實(shí)際量產(chǎn)的系統(tǒng)中，真正能拉開(kāi)差距的，不是“誰(shuí)的數(shù)據(jù)多”，而是“誰(shuí)的數(shù)據(jù)用得更有效”。

圖片源自：網(wǎng)絡(luò)

數(shù)據(jù)閉環(huán)對(duì)于自動(dòng)駕駛大模型來(lái)說(shuō)非常重要，所謂數(shù)據(jù)閉環(huán)，就是指自動(dòng)駕駛系統(tǒng)在道路行駛過(guò)程中運(yùn)行的一整套邏輯，即車(chē)輛在道路上運(yùn)行→發(fā)現(xiàn)問(wèn)題→回傳數(shù)據(jù)→針對(duì)性訓(xùn)練→再部署驗(yàn)證。

數(shù)據(jù)閉環(huán)強(qiáng)調(diào)的不是數(shù)據(jù)規(guī)模，而是“針對(duì)性采集”。尤其是長(zhǎng)尾問(wèn)題，需要通過(guò)閉環(huán)機(jī)制不斷補(bǔ)齊，否則再多的歷史數(shù)據(jù)也覆蓋不到。

也正因?yàn)槿绱耍恍┘夹g(shù)方案并不會(huì)被動(dòng)依賴(lài)自然采集，而是會(huì)通過(guò)影子模式、仿真生成等方式，主動(dòng)挖掘或構(gòu)造稀缺場(chǎng)景。

最后的話

回到最初的問(wèn)題，自動(dòng)駕駛模型訓(xùn)練數(shù)據(jù)并不是越多越好，若單純?cè)黾訑?shù)量，并不能持續(xù)提升能力。只有在數(shù)據(jù)質(zhì)量和結(jié)構(gòu)合理的前提下，規(guī)模越大才越有價(jià)值。

若想真正提升模型上限，其實(shí)需要關(guān)注幾個(gè)方面，即：

• 數(shù)據(jù)是否覆蓋關(guān)鍵場(chǎng)景，尤其是長(zhǎng)尾；
• 數(shù)據(jù)是否干凈、標(biāo)注準(zhǔn)確、時(shí)序完整；
• 數(shù)據(jù)是否形成閉環(huán)，可不斷補(bǔ)齊缺失能力；

自動(dòng)駕駛行業(yè)其實(shí)已經(jīng)從“拼數(shù)據(jù)量”逐漸轉(zhuǎn)向“拼數(shù)據(jù)效率”。誰(shuí)能更快發(fā)現(xiàn)問(wèn)題、采到關(guān)鍵數(shù)據(jù)、形成有效訓(xùn)練，誰(shuí)的系統(tǒng)就更接近真實(shí)可用。如果只靠堆數(shù)據(jù)，而忽略結(jié)構(gòu)和質(zhì)量，模型很容易在看似訓(xùn)練充分的情況下，在關(guān)鍵時(shí)刻失效。這也是自動(dòng)駕駛一直沒(méi)有完全落地的核心原因之一。