[首發(fā)于智駕最前沿微信公眾號]把自動駕駛想像成一個有眼耳和大腦的司機(jī)。感知系統(tǒng)就是它的“眼睛”和“耳朵”，負(fù)責(zé)把諸如前方有一輛車、左側(cè)有個行人過馬路、右邊車道被施工封閉了、紅燈亮了等外界的光、雷達(dá)回波、距離、速度這些原始信號變成機(jī)器能看懂的“事實(shí)”。感知并不是單一模塊的工作，而是一整套從硬件到軟件、從標(biāo)定到算法、從實(shí)時(shí)性到冗余設(shè)計(jì)的組合工程。沒有可靠的感知，后面的預(yù)測和規(guī)劃就像盲駕，再聰明的決策也可能撞上現(xiàn)實(shí)。

如果將感知拆分，可以分為“傳感器”和“算法”兩大塊，但其中還包含時(shí)間同步、標(biāo)定、數(shù)據(jù)融合、狀態(tài)估計(jì)，以及在線自檢與降級（當(dāng)某種傳感器失效時(shí)系統(tǒng)如何優(yōu)雅退化）等內(nèi)容。

感知系統(tǒng)由哪些核心部分組成

感知系統(tǒng)最主要的就是傳感器，常見的有攝像頭、激光雷達(dá)（LiDAR）、毫米波雷達(dá)、超聲波以及慣性測量單元（IMU）與車輪里程計(jì)等。攝像頭擅長識別如識別交通燈、交通標(biāo)識和文本信息等顏色和細(xì)節(jié)，；激光雷達(dá)能給出高精度的三維點(diǎn)云，適合檢測物體形狀和測距；毫米波雷達(dá)在雨雪霧等能見度差的情況下仍然能穩(wěn)定測出物體距離和速度；超聲波適合近距離的低速泊車感知；IMU 和里程計(jì)則提供車輛自身的運(yùn)動狀態(tài)，幫助把傳感信息放到一致的時(shí)間與空間坐標(biāo)系里。不同傳感器各有長短，在車輛上常常把它們按能力互補(bǔ)地組合起來，形成穩(wěn)健的感知“傳感網(wǎng)”。

雖然不同傳感器在采集數(shù)據(jù)時(shí)是同一個交通場景，但想要把相機(jī)的像素、雷達(dá)的回波、LiDAR 的點(diǎn)云放到同一個“地圖”上，必須做精確的時(shí)間戳對齊和外參/內(nèi)參標(biāo)定。標(biāo)定包括內(nèi)參（比如相機(jī)的焦距、畸變參數(shù)）和外參（不同傳感器之間的相對位置與朝向）。這一步看起來枯燥，但它決定了后續(xù)融合的基礎(chǔ)精度，往往直接影響檢測、跟蹤偏差以及定位誤差。

還有就是感知算法鏈路，通常分為感知前處理、檢測與分割、跟蹤與軌跡估計(jì)、語義理解與場景解析這幾層。前處理包含去噪、點(diǎn)云下采樣、圖像增強(qiáng)等；檢測與分割負(fù)責(zé)把原始數(shù)據(jù)變成“我看見了什么”，檢測框、實(shí)例掩碼或語義類別；跟蹤模塊把一幀幀的檢測結(jié)果關(guān)聯(lián)起來，給每個目標(biāo)一個穩(wěn)定的ID并估計(jì)速度、加速度；語義理解則把這些目標(biāo)放進(jìn)更復(fù)雜的語境里，比如判斷某個行人是否有橫穿馬路的意向、車道哪兒是可通行區(qū)域、哪里可能有臨時(shí)障礙物。

自動駕駛系統(tǒng)涉及到多個傳感器，無可避免地就要涉及到傳感器融合。融合的層級可以是像素級、特征級或決策級，也可以是把點(diǎn)云先換成鳥瞰視圖再與相機(jī)特征融合的方式。融合要解決如不同傳感器的分辨率差異、視角遮擋、時(shí)間延遲、數(shù)據(jù)頻率不一致等問題。合理的融合策略能顯著提升遠(yuǎn)近、靜動目標(biāo)的探測能力，也更容易滿足冗余與安全要求。

定位與地圖（有時(shí)候感知和定位會耦合得很緊）也是感知系統(tǒng)中非常重要的一環(huán)。高精地圖或局部地圖能提供車道線、靜態(tài)障礙、路緣等先驗(yàn)，使感知在復(fù)雜場景下更穩(wěn)。當(dāng)?shù)貓D不可用時(shí)，感知需要承擔(dān)更多的工作，像實(shí)時(shí)構(gòu)建占用網(wǎng)格或做視覺里程計(jì)（VO）/激光SLAM。這部分對實(shí)時(shí)性和算力要求都不低。

評估與在線自檢在感知系統(tǒng)中也很重要。評估包括離線的指標(biāo)（mAP、召回率、F1、跟蹤精度等）和在線健康檢測（傳感器是否有異常、模型是否漂移）。在線自檢非常關(guān)鍵，當(dāng)某個傳感器被雪覆蓋或者相機(jī)鏡頭被污漬遮擋時(shí)，系統(tǒng)必須能迅速發(fā)現(xiàn)并切換到安全策略，提醒乘客接管或降低功能級別。

感知既有大量信號預(yù)處理和幾何計(jì)算，也有深度學(xué)習(xí)推理。這要求在車端部署高性能的SoC/GPU/NPU，同時(shí)做能耗與實(shí)時(shí)調(diào)度的工程權(quán)衡。很多車企選擇把復(fù)雜的訓(xùn)練放到云端，實(shí)時(shí)推理留在車端，這樣既保證模型不斷進(jìn)步，又能滿足低時(shí)延要求。

感知的工作到底怎么工作？

想象一輛車正沿城市道路行駛。攝像頭拍到的光線先經(jīng)過鏡頭畸變校正，再被送進(jìn)卷積網(wǎng)絡(luò)做特征提取，網(wǎng)絡(luò)會給出類別（車、人、騎行者）、邊界框和像素級分割。同時(shí)，LiDAR發(fā)回來的點(diǎn)云會做體素化或投影成鳥瞰圖，進(jìn)入專門的3D檢測網(wǎng)絡(luò)，識別立體目標(biāo)并估計(jì)相對高度與尺寸。毫米波雷達(dá)則持續(xù)輸出距離與徑向速度，在深度學(xué)習(xí)模型難以可靠判斷物體速度時(shí)提供穩(wěn)健的速度信息。

各感知流的輸出經(jīng)過時(shí)間同步后進(jìn)入融合模塊。融合模塊會把相機(jī)的類別與LiDAR的距離結(jié)合，修正目標(biāo)的三維位姿；再用雷達(dá)的速度信息確認(rèn)該目標(biāo)是靜止還是移動。接下來是跟蹤器，它根據(jù)目標(biāo)的歷史軌跡進(jìn)行關(guān)聯(lián)，用卡爾曼濾波或更復(fù)雜的隨機(jī)濾波器來平滑位置與速度估計(jì)。最終，感知把一幅幀的“我看見了什么、它在哪里、它往哪兒去”交給預(yù)測模塊，用于后續(xù)規(guī)劃與控制。

一個好感知系統(tǒng)不僅要準(zhǔn)確地說出“有個行人”，還要給出置信度（這件事有多確定）、近中遠(yuǎn)距離不確定性以及對異常情況的提示（比如“相機(jī)被強(qiáng)光遮擋”）。這種不確定性表達(dá)對安全決策非常關(guān)鍵，因?yàn)橐?guī)劃模塊要根據(jù)不同置信度采取不同保守策略。

為何感知是自動駕駛里最難的一環(huán)？

環(huán)境條件的不確定性是自動駕駛汽車需要面對的首要難題。大霧、強(qiáng)逆光、夜間、雨雪都會讓攝像頭性能急劇下降。LiDAR 在大雪時(shí)會產(chǎn)生大量假點(diǎn)，雷達(dá)在復(fù)雜金屬結(jié)構(gòu)附近可能發(fā)生多徑干擾。為此需要傳感器冗余和多模態(tài)融合，用弱傳感器補(bǔ)強(qiáng)強(qiáng)傳感器的短板，同時(shí)在軟件層面做感知信號的質(zhì)量評估與權(quán)重調(diào)整。

還有一個就是長尾問題，也就是那些極其罕見但可能致命的場景，可能導(dǎo)致安全事故。數(shù)據(jù)驅(qū)動的模型在常見場景上表現(xiàn)很好，但對極端場景（比如街頭突然出現(xiàn)推車或非標(biāo)路障）往往沒有足夠訓(xùn)練樣本。解決辦法包括數(shù)據(jù)增強(qiáng)、模擬器生成稀有場景、主動學(xué)習(xí)以便把真實(shí)稀有樣本送回訓(xùn)練鏈路，以及把規(guī)則化的幾何檢測與學(xué)習(xí)方法混合使用，形成不易被數(shù)據(jù)稀缺拖垮的混合感知體系。

實(shí)時(shí)性和算力限制也是感知系統(tǒng)設(shè)計(jì)不得不面對的問題。感知算法要在幾十毫秒甚至更短時(shí)間內(nèi)完成推理和融合，才能保證規(guī)劃有足夠的反應(yīng)時(shí)間。這就需要高效的模型壓縮、量化、算子優(yōu)化，以及把關(guān)鍵工作放在低延遲的車端硬件上。同時(shí)，系統(tǒng)設(shè)計(jì)要允許在極端算力或傳感器受限情況下，感知只保留最關(guān)鍵的功能（比如只檢測大型移動目標(biāo)和車道邊界），并將控制權(quán)或警示交給駕駛員。

系統(tǒng)可解釋性與安全標(biāo)準(zhǔn)也是必須解決的問題。感知模型往往是復(fù)雜的深度網(wǎng)絡(luò)，工程團(tuán)隊(duì)要做大量的安全分析，證明在多數(shù)可預(yù)見的情況下系統(tǒng)會保持安全。行業(yè)里常常把功能安全（ISO 26262）與“意外功能安全”（SOTIF, Safety Of The Intended Functionality）放在一起討論，既要預(yù)防硬件故障，也要應(yīng)對模型在合法輸入下的錯誤行為。實(shí)踐中會結(jié)合冗余傳感、規(guī)則檢測器與護(hù)欄式規(guī)劃策略來降低風(fēng)險(xiǎn)。

人為因素與法規(guī)限制也會影響感知設(shè)計(jì)。不同市場對傳感器（比如LiDAR）接受度不同，法規(guī)對可用數(shù)據(jù)（車外攝像頭捕捉到行人的面部等隱私信息）有嚴(yán)格約束。設(shè)計(jì)團(tuán)隊(duì)要在技術(shù)、成本、合規(guī)之間找到平衡點(diǎn)。

如何把感知系統(tǒng)設(shè)計(jì)好？

一個可落地的感知系統(tǒng)里充斥著大量“細(xì)節(jié)決定成敗”的工作。硬件層面，需要做散熱、抗振動、防水防塵、鏡頭除霧與加熱、防雨刷聯(lián)動等物理工程，任何一個小失誤都可能導(dǎo)致夜間或雨天感知失效。標(biāo)定工作也不是一次性任務(wù)；裝車以后溫度變化、車身微小變形都會引起外參漂移，所以要設(shè)計(jì)自動標(biāo)定或定期校驗(yàn)流程。

數(shù)據(jù)層面的工作量也非常大。標(biāo)注不僅僅是畫框那么簡單，復(fù)雜場景需要標(biāo)注速度、遮擋等級、可通行性、行為意圖等豐富標(biāo)簽；數(shù)據(jù)質(zhì)量管理包括標(biāo)簽一致性檢驗(yàn)、異常樣本篩查、以及對模型失誤的回放分析。這些流程直接決定模型能否在真實(shí)世界里長時(shí)間穩(wěn)定運(yùn)行。

模型上線后，運(yùn)營團(tuán)隊(duì)要持續(xù)做A/B測試、在線評估、以及從車輛回傳的稀有場景中做樣本補(bǔ)充。整個閉環(huán)的效率決定了系統(tǒng)迭代的速度和安全性。很多公司把這個閉環(huán)稱作“感知數(shù)據(jù)閉環(huán)”，即把實(shí)際運(yùn)行中遇到的問題快速轉(zhuǎn)為標(biāo)注樣本、再進(jìn)入訓(xùn)練、再回到線上驗(yàn)證。

在設(shè)計(jì)感知系統(tǒng)時(shí)，和上游公司（傳感器供應(yīng)商）、下游模塊（預(yù)測、規(guī)劃、控制）以及法規(guī)審查部門的溝通同樣重要。感知不是孤立模塊，接口定義、置信度語義、故障報(bào)告方式都需要跨團(tuán)隊(duì)約定好，才能在整車層面做到協(xié)調(diào)一致。

最后的話

感知聽起來是在做“看圖識物”的事情，但真正的難點(diǎn)在于把物理信號、數(shù)學(xué)模型、系統(tǒng)工程和安全機(jī)制結(jié)合起來，形成能在各種真實(shí)道路條件下穩(wěn)定運(yùn)行的能力。它既包含深度學(xué)習(xí)等前沿算法，也離不開標(biāo)定、同步、工程級的健壯實(shí)現(xiàn)與運(yùn)營閉環(huán)。