北京2024年10月21日 /美通社/ -- 隨著自動駕駛算法技術的快速發展，基于BEV+Transformer的感知范式為高階自動駕駛提供了更高精度感知、更強場景泛化能力和更優多模態融合的方案，是目前各大主流汽車廠商高階自動駕駛方案的標配。當下主流自動駕駛方案的大模型算法參數規模在幾千萬至接近億級，比以往最高提升了一個數量級，但苛刻的時延要求并沒有降低，這對算力、數據IO和互聯都帶來了極大的挑戰：大模型復雜的網絡結構和算子推理，依賴于更高性能的車載算力；眾多傳感器的高頻采集，帶來了大規模數據流的實時IO吞吐需求；算力單元間的協同，也需要更強大的網絡通信支撐。
近日，浪潮信息發布支持BEV+Transformer的全新自動駕駛計算框架AutoDRRT 2.0(Autonomous Driving Distributed Robust Real-Time)，并第一時間開源，用戶可以基于該框架快速搭建部署端到端的低延時自動駕駛方案，加速大模型上車。
基于在車載計算、自動駕駛算法、軟硬協同等領域的研發積累，浪潮信息從硬件系統、軟件環境、應用框架及算法內核多個層面對AutoDRRT2.0進行優化，實現計算、通信、IO全面升級，優化后，框架整體端到端鏈路延時低于100 毫秒，保障車載大模型的高效穩定運行。
BEV+Transformer成為自動駕駛標配，車端部署面臨挑戰
利用相機進行純視覺感知是自動駕駛的主要技術路線之一。但在相機2D視角下，物體由于遮擋會產生不可避免的視覺盲區問題。BEV (Bird's eye view，鳥瞰圖) 從俯視視角重建3D感知空間，不僅能夠提供360°全域感知信息，還便于多源、多模態的數據融合，有利于自動駕駛高效感知、定位和路徑規劃。
純視覺方案在物理上會損失感知目標的深度信息，BEV技術借助Transformer特征推理，可將2D透視空間映射到3D物理空間。Transformer大模型通過交叉注意力機制重建深度特征，具有精度上限高、泛化能力強等優點，并通過學習建立數據幀間的關聯，在4D (3D+時序) 空間生成無盲區的全方位感知結果，確保駕駛安全。這種BEV+Transformer的感知范式正在成為自動駕駛標配，但在車端部署應用中仍面臨計算、通信、IO等方面的多重挑戰。
模型參數量大幅提升，算力需求驟增：從2D+CNN小模型到BEV+Transformer大模型，參數量的大幅提升給計算帶來越來越大的挑戰，車端模型部署不僅要考慮單SOC的計算性能優化，如低比特量化、算子融合等，而且要考慮多SOC的模型并行問題，實現多SOC的協同，包括算法拆分、模型的并行機制、SOC間的負載均衡與pipeline優化等。
通信帶寬不足，時延需求嚴苛：車載計算經歷從2D+CNN小模型到BEV+Transformer大模型的技術升級，并最終朝著端到端大模型的方向發展，這使得數據交互也逐步從目標級過渡到特征級，最終向數據級維度演變。數據通信量增加使得多SOC協作中的通信負荷急劇變大，設備間的通信開銷逐漸成為框架的延時瓶頸。作為主流的通信中間件，DDS (Data Distribution Service, 數據分發服務) 僅支持以太網進行設備間的數據傳輸和調度。該模式受限于有效帶寬和傳輸協議的限制，在大批量數據吞吐的情況下容易發生阻塞，導致通信效率下降。以典型多模態感知模型BEVFusion為例，其在單SOC上單幀推理的時間約50 ms，若雙SOC推理時間降至約30 ms，然而設備間通過千兆以太網和DDS進行特征融合的通信耗時也在數十毫秒，通信延遲抵消了算力提升帶來的性能優勢。因此，車端部署大模型亟需更高速的數據通信帶寬。
數據吞吐提升，IO制約計算：自動駕駛框架層面的感知任務包含原始數據的接入 (傳輸+調度) 和模型推理等多個部分。數據的調度包含大量邏輯操作，需要CPU運行，而模型推理則主要為AI運算，由GPU執行，DDS則提供通信服務支持。但由于DDS不支持GPU層面上的通信和調度，導致跨模型/節點的任務數據在CPU-GPU間的冗余搬運，出現IO消耗。隨著自動駕駛技術的發展，車輛各類傳感器數據呈爆發性增長趨勢，大量數據的傳輸讓IO問題日益凸顯。在浪潮信息自動駕駛研發團隊的實測中，數據IO耗時占完整鏈路的15%~30%，IO限制計算效率的發揮。
全新推出AutoDRRT 2.0，計算、通信、IO全面升級
浪潮信息團隊通過計算、通信、IO全面升級，研發AutoDRRT 2.0，解決技術進化帶來的各項挑戰。
為了實現"大模型上車"的目標，AutoDRRT 2.0從計算組件的分布式、高容錯及低延時三個核心特點出發進行技術革新，實現框架支持BEV+Transformer低延時推理。
分布式：從任務級并行到數據級并行。浪潮信息車載域控制器EIS400通過多SOC的PCIe互連實現算力擴展。AutoDRRT 2.0框架采用分布式架構設計，選擇將200+個功能節點部署在不同SOC上并行執行，通過自動分布式并行工具進行任務間的調度和設備的負載均衡，節點間通過DDS中間件進行通信和協作，從而實現任務級并行計算加速。同時，AutoDRRT 2.0利用BEV算法使用多環視相機補盲進行全域感知的特點，選擇將異源數據的編解碼流分配到SOC上不同的計算單元，實現算法單batch推理的數據并行，進一步提高硬件使用效率，降低計算延時。
高容錯：從算法間容錯到算法內容錯。在復雜工況下保障計算平臺的穩定運行也是框架設計的核心要點之一。AutoDRRT 2.0通過備份重要功能節點和關鍵消息，在主算法失效后實時 (< 1ms) 切換從算法，實現算法間無感容錯，達到失效可操作。同時，浪潮信息自動駕駛研發團隊進一步從算法內核層面升級，開放了面向多模態任務的高魯棒性低延時自動駕駛感知算法BEVFusion_Robust，在原始代碼基礎上通過高性能Lift-Splat-Shoot算法解綁相機流和雷達流，并基于流并行的方式，在BEV統一表征下適配多檢測頭實現了自動駕駛多源傳感器融合感知方案中的魯棒性需求，使得框架在純視覺、純雷達及多模態下均可以穩定運行，延時較基礎版本下降22%。模型現已集成在AutoDRRT 2.0高性能算法庫。
低延時：算法內核全面優化，降低運行時延。為降低大模型運行時延，AutoDRRT 2.0在算法內核層面進行改造，包括對典型BEV模型進行Post-Training Quantization量化，提高推理效率，并引入結構化稀疏N:M稀疏方案，提高了內存訪問效率，不影響模型精度的基礎上壓縮模型規模，節約計算和存儲成本。AutoDRRT 2.0還開發了高性能算子庫，典型算子延時下降70%。通過算子融合的方式，大模型可以減少GPU在核函數之間的切換，進一步優化了性能。以BEVDet為例，AutoDRRT 2.0的BEV算法庫在典型推理能力上實現了相較于業界開源版本速度提升1倍，在單SOC上推理超過50 FPS。實車測試顯示，浪潮信息車載域控制器EIS400與AutoDRRT 2.0的自動駕駛算法方案，數據閉環端到端延遲低于100毫秒，確保了大模型在車端的穩定高效運行。
為提升通信帶寬，AutoDRRT 2.0在中間件層面進行創新，給出DDS的Opt優化版本 (DDS_Opt)。框架通過PCIe內存共享方式和設備間的直接訪問 (Direct Memory access，DMA) 技術，使得大數據在設備間可以高速通信，同時開放API接口，一方面保留了DDS訂閱/發布的功能特點，另一方面也使得用戶不需要關心底層設備間地址映射邏輯和實現方法，專注于DDS應用層上的設計。
基于PCIe的通信模式創新大幅降低鏈路時延，減少CPU算力消耗，同時能兼顧DDS中的發布/訂閱等通信協議的優勢，滿足跨SOC的大數據通信場景需求。實測DDS基于PCIe的通信模式在通信原理和實際效果中均優于以太網，大文件傳輸時效果尤其明顯。我們基于PCIe模式實現ROS2+DDS的跨設備大數據通信應用，在數據量達到100MB時完整鏈路通信效率較以太網模式提升14倍。
為了提高感知任務的執行效率，減少CPU-GPU間冗余IO操作，優化鏈路延時，AutoDRRT 2.0在不改變原始模塊鏈路的前提下，以傳輸數據"標簽"的間接通信代替傳輸數據"本體"的直接通信，通過節點間GPU數據共享，在保留模型間松耦合結構的同時完成了基于DDS的高效能協作，實現"輕量化"傳輸和調度功能，減少框架負荷。
對于相機傳輸鏈路，通過GPU數據共享完成數據獲取及模型推理兩個ROS2節點的數據通信，可以有效減少IO操作，降低系統時延。如下給出典型的單幀圖像數據讀入(8 MB數據量)下IO_Opt升級效果，對比優化前模塊 (傳統IO算法) 延時下降85%，效率提升近6倍。
此外，AutoDRRT 2.0框架為BEV+Transformer大模型上車提供了完善的開發工具鏈，包括模型的數據標定、訓練推理和部署加速工具等，同時整合了完善的傳感器接入方案，集成主流型號的激光雷達、相機、毫米波雷達、組合慣導等設備驅動，支持用戶在系統層面對框架進行監控和管理。仿真方面，該框架還開放了RoboBus和GolfCar兩個L4級自動駕駛場景的系統測試。浪潮信息希望通過自動駕駛計算框架AutoDRRT 2.0和車載域控制器EIS400的一系列創新技術和產品，為汽車廠商、自動駕駛軟件開發商帶來更高性能、更高通信帶寬、更低IO延時的自動駕駛軟硬優化車載計算方案，加速BEV+Transformer技術的大規模上車應用。
