近日，清華大學(xué)研究生徐冬陽和所在團(tuán)隊，為了助力自動駕駛技術(shù)的進(jìn)一步發(fā)展而提出一款名為LVAFusion的模塊，旨在更高效、更準(zhǔn)確地融合多模態(tài)信息。

自動駕駛在路上應(yīng)該具備學(xué)習(xí)優(yōu)秀人類駕駛員的能力，因為人類在面對多數(shù)場景的時候，可以迅速地定位在關(guān)鍵區(qū)域。

為了提高端到端自動駕駛模型的可解釋性，該團(tuán)隊首次引入人類駕駛員的注意力機(jī)制。

通過預(yù)測當(dāng)前交通環(huán)境前后的駕駛員注意區(qū)域，他們將其作為一個掩碼來調(diào)整原始圖像的權(quán)重，從而使自動駕駛車輛能夠像經(jīng)驗豐富的人類駕駛員一樣，具備有效定位和預(yù)測潛在風(fēng)險因素的能力。

預(yù)測駕駛員視覺注視區(qū)域的引入，不僅為下游決策任務(wù)提供更具細(xì)粒度的感知特征，從而可以更大程度地保證安全。而且，也讓場景理解過程更加接近人類認(rèn)知，從而能夠提高可解釋性。

就潛在應(yīng)用來說：

其一，本次開發(fā)的LVAfusion模塊能被用于配有激光雷達(dá)的車上，有望提高多模態(tài)大模型的感知融合能力。

其二，本次模型可以和現(xiàn)有多模態(tài)大模型結(jié)合。

比如，駕駛員注意力機(jī)制可以實時輸出，讓乘客實時觀察當(dāng)前大模型所認(rèn)為權(quán)重較大的板塊。

如果乘客認(rèn)為不合理，可以語音告訴端到端模型，從而實現(xiàn)自動調(diào)節(jié)，進(jìn)而實現(xiàn)持續(xù)學(xué)習(xí)和不斷優(yōu)化。

端到端自動駕駛好在哪里？

據(jù)介紹， 自動駕駛包括環(huán)境感知、定位、預(yù)測、決策、規(guī)劃及車輛控制等關(guān)鍵環(huán)節(jié)，通過協(xié)調(diào)這些模塊可以對周圍環(huán)境進(jìn)行實時感知和安全導(dǎo)航。

然而，這種系統(tǒng)架構(gòu)不但代碼量巨大、后處理邏輯復(fù)雜、后期維護(hù)成本高，而且在實際應(yīng)用過程中容易出現(xiàn)誤差累積的現(xiàn)象，比如前方突然出現(xiàn)行人，由于感知模塊的漏檢，下游的預(yù)測決策模塊沒有行人的信息輸入，可能導(dǎo)致危險的發(fā)生。

而端到端自動駕駛則有望解決這個問題。端到端自動駕駛，是指使用深度學(xué)習(xí)模型直接從原始輸入數(shù)據(jù)（如攝像頭圖像，激光雷達(dá)點云），到控制命令（如方向盤轉(zhuǎn)角、油門和剎車）的轉(zhuǎn)換過程。

該方法試圖簡化傳統(tǒng)的多模塊自動駕駛系統(tǒng)，將整個駕駛?cè)蝿?wù)看作是一個從感知到行為的映射問題。

端到端學(xué)習(xí)的關(guān)鍵優(yōu)勢在于它可以降低系統(tǒng)的復(fù)雜性，并有潛力提高泛化能力，因為模型可以被訓(xùn)練來直接處理多種不同的駕駛情況。

并且，多模態(tài)端到端自動駕駛通過整合來自攝像頭、激光雷達(dá)和雷達(dá)等多種傳感器的數(shù)據(jù)，有望提高系統(tǒng)對復(fù)雜環(huán)境的理解和反應(yīng)能力，增強(qiáng)決策的準(zhǔn)確性和魯棒性（系統(tǒng)在一定參數(shù)攝動下維持某些性能的特性），從而提升自動駕駛車輛的安全性和可靠性。

然而，端到端自動駕駛基于黑盒化的深度學(xué)習(xí)模型，因此如何提高模型的駕駛性能以及提高模型的可解釋性，是一個急需解決的問題和痛點。

現(xiàn)有的多數(shù)方法都是端到端自動駕駛，徐冬陽和所在團(tuán)隊詳細(xì)分析模型結(jié)構(gòu)之后發(fā)現(xiàn)，此前人們并沒有很好地利用多模態(tài)信息。

攝像頭具有豐富的語義信息，但是缺乏深度信息。激光雷達(dá)可以提供很好的距離信息。因此，二者具有很好的互補(bǔ)特性。

但是，現(xiàn)有端到端學(xué)習(xí)方法大部分采用骨干網(wǎng)絡(luò)分別提取模態(tài)信息之后，在高維空間里面進(jìn)行拼接，或采用“變形”針對多模態(tài)信息進(jìn)行融合。

其中， 查詢過程是隨機(jī)初始化的，這個過程可能導(dǎo)致在采用注意力機(jī)制進(jìn)行融合的過程中，無法利用埋藏在多模態(tài)特征中的先驗知識，進(jìn)而可能會導(dǎo)致跨多種模態(tài)的同一個關(guān)鍵對象的錯位，最終導(dǎo)致模型學(xué)習(xí)的收斂速度變慢和次優(yōu)。

中關(guān)村的雪天冬夜里，敲著代碼做實驗

在徐冬陽的研究中，隨著專業(yè)技能的積累以及端到端自動駕駛的發(fā)展，在閱讀文獻(xiàn)時他發(fā)現(xiàn)了端到端領(lǐng)域仍然存在一些不足。

比如，沒有充分探究是否融合了多模態(tài)信息，如何在保證精度的前提下提高模型的可解釋性。一番研究之后，徐冬陽選擇了端到端自動駕駛作為研究課題。

端到端自動駕駛是一個很大的系統(tǒng)，包括感知、跟蹤、預(yù)測、決策、規(guī)劃、控制等多個模塊。因此，要設(shè)計一個可以有效串通上述模塊的方法。

確定好方法之后，則需要采集大量的數(shù)據(jù)。因為端到端模型都是基于深度學(xué)習(xí)，因此需要大量數(shù)據(jù)進(jìn)行訓(xùn)練。

還得確定模型需要什么輸入和輸出，以及在自動駕駛仿真平臺Carla采集多種天氣、多種工況之下的數(shù)據(jù)，同時還要檢查數(shù)據(jù)的完整性。

完成數(shù)據(jù)采集之后，則要分析模型在結(jié)構(gòu)設(shè)計上，能否對本次任務(wù)起到幫助。

實驗中，在導(dǎo)入預(yù)訓(xùn)練權(quán)重的時候，徐冬陽把權(quán)重導(dǎo)錯了一個。但是，由于經(jīng)過了權(quán)重匹配，因此系統(tǒng)并沒有報錯，然而跑出來的實驗結(jié)果總是不盡人意。

進(jìn)行大量的模型調(diào)試之后，也依舊沒有找到問題所在。一天晚上徐冬陽在中關(guān)村散步的時候，天上飄著大雪，他忽然想到自己還沒有查看訓(xùn)練代碼，會不會是訓(xùn)練過程的問題呢？

于是，他立馬跑回電腦旁，看了一下訓(xùn)練過程，最終確定問題出在預(yù)訓(xùn)練權(quán)重導(dǎo)入上。

調(diào)整之后，實驗結(jié)果非常符合預(yù)期。“這種發(fā)現(xiàn)帶來的不僅是對于問題的理解，更有一種深刻的滿足感和成就感?！毙於栒f。

而由于訓(xùn)練時間比較長，徐冬陽每天晚上都會將多個任務(wù)提交到訓(xùn)練集群上。有一天晚上由于交的實驗較多，有些任務(wù)由于優(yōu)先級的原因被停了。

第二天來看的時候，他發(fā)現(xiàn)少了一些實驗結(jié)果，于是只得再次仔細(xì)分析結(jié)果，并將缺失的實驗重新提交。

就在這樣繁復(fù)的過程之中，他終于完成了研究。最終，相關(guān)論文以《M2DA：融合駕駛員注意力的多模式融合傳感器》為題發(fā)在雜志上。

后續(xù)，課題組會圍繞進(jìn)一步優(yōu)化模型、拓展應(yīng)用場景、提高系統(tǒng)魯棒性和安全性開展。

具體來說：

首先，要深化多模態(tài)融合技術(shù)。繼續(xù)探索和開發(fā)更加高效的算法，借此改進(jìn)不同傳感器數(shù)據(jù)之間的融合方式。比如， 采用圖網(wǎng)絡(luò)針對不同模態(tài)進(jìn)行匹配， 而且尤其要關(guān)注在處理高動態(tài)和復(fù)雜環(huán)境下的交通場景。

其次， 要增強(qiáng)駕駛員的注意力模型。即進(jìn)一步地研究駕駛員注意力的模擬機(jī)制， 探索如何更加精確地預(yù)測和模擬人類駕駛員的注意焦點， 以及探究這些焦點對于駕駛決策的影響。

再次，要開展安全性和魯棒性的驗證。即將現(xiàn)有模型部署到現(xiàn)實世界的小車中，通過更多的物理實驗，驗證模型在真實世界條件下的性能，從而將研究擴(kuò)展到惡劣天氣、夜間駕駛等更廣泛、更多樣的駕駛場景和環(huán)境條件之中，借此驗證和提高系統(tǒng)的通用性和適應(yīng)性。

最后，要開展人機(jī)交互的研究。即探索如何將這一技術(shù)與人機(jī)交互更緊密地結(jié)合，例如通過提供給駕駛員更直觀的風(fēng)險警告和輔助決策支持，增強(qiáng)自動駕駛車輛與人類駕駛員之間的互動。

通過這些后續(xù)研究計劃， 徐冬陽希望不僅可以提升自動駕駛技術(shù)的性能， 也能確保其更加貼近人類駕駛行為的理解， 為實現(xiàn)更安全、更智能的自動駕駛技術(shù)打下基礎(chǔ)。