隨著科技的飛速發(fā)展，智能駕駛特別是無(wú)人駕駛已逐漸成為現(xiàn)實(shí)。為了進(jìn)一步提升道路安全，降低交通事故發(fā)生率，基于腦電圖（EEG）的駕駛員狀態(tài)與行為檢測(cè)技術(shù)正不斷成為前沿智駕領(lǐng)域的研究熱點(diǎn)。由于現(xiàn)階段自動(dòng)駕駛系統(tǒng)尚未完全達(dá)到SAE國(guó)際定義的L5級(jí)別自動(dòng)駕駛，在緊急狀況下仍然需要駕駛員的參與，因此相關(guān)的人機(jī)交互技術(shù)仍然不可或缺。

基于車輛、環(huán)境、駕駛員行為等信息的直接分析在既往駕駛員狀態(tài)和行為分析的研究中得到了充分重視，但仍存在一些問題。生物信號(hào)作為人體最直接、最早可量測(cè)的信號(hào)，可以有效彌補(bǔ)周圍環(huán)境作為信號(hào)源的不可控性和行為信號(hào)產(chǎn)生的延遲，如果能夠利用人機(jī)交互技術(shù)處理生物信號(hào)檢測(cè)駕駛員的行為意圖或者狀態(tài)，就能實(shí)現(xiàn)生物信號(hào)直接對(duì)車輛的控制或者駕駛員狀態(tài)的提示，輔助駕駛員及時(shí)執(zhí)行有效的緊急駕駛行為或者狀態(tài)調(diào)整，從而降低交通事故的發(fā)生率。特別是，腦電圖（EEG）作為一種非侵入性、高時(shí)間分辨率的神經(jīng)生理信號(hào)檢測(cè)手段，為智能輔助駕駛系統(tǒng)（IADS）的發(fā)展提供了新的可能性。

近期，上海腦科學(xué)與類腦研究中心聯(lián)合西北工業(yè)大學(xué)的研究人員，針對(duì)近些年有關(guān)駕駛員腦電圖的狀態(tài)監(jiān)測(cè)和行為分析在智駕中的應(yīng)用，在領(lǐng)域國(guó)際知名期刊IEEE Transactions on Biometrics, Behavior, and Identity Science上以“A Survey of EEG-Based Driver State and Behavior Detection for Intelligent Vehicles”為題發(fā)表了長(zhǎng)篇綜述性論文。上海腦科學(xué)與類腦研究中心琚佳偉副研究員為本文第一作者，西北工業(yè)大學(xué)軟件學(xué)院李鴻岐副教授為本文通訊作者。

如圖1所示，駕駛員狀態(tài)和行為檢測(cè)的智能輔助駕駛系統(tǒng)由檢測(cè)信號(hào)、檢測(cè)目標(biāo)和智能車輛三部分組成。其中檢測(cè)信號(hào)通常包括生物信號(hào)（腦電信號(hào)，肌電信號(hào)，心電信號(hào)等）、駕駛員信息（駕駛員頭部位置，手臂位置，腳部位置等）、車輛信息（車輛速度，方向盤角度等）、環(huán)境信息（道路交通信息，障礙無(wú)物信息等）。針對(duì)檢測(cè)信號(hào)，研究人員通常采用腦電信號(hào)構(gòu)建相關(guān)的腦機(jī)接口模塊、腦電信號(hào)和其他信號(hào)組合構(gòu)建相關(guān)的混合腦機(jī)接口模塊等。檢測(cè)目標(biāo)包括駕駛員狀態(tài)、駕駛行為、駕駛員狀態(tài)和行為的組合三大類。其中，駕駛員狀態(tài)通常包括疲勞、分心、情感等，駕駛員行為則包括橫向駕駛行為、縱向駕駛行為、橫向和縱向的駕駛行為組合。

圍繞上述基于駕駛員狀態(tài)和行為檢測(cè)的智能輔助駕駛系統(tǒng)，通過分析駕駛員的腦電活動(dòng)，能夠?qū)崟r(shí)監(jiān)測(cè)其疲勞、分心或情緒狀態(tài)，預(yù)測(cè)潛在的駕駛風(fēng)險(xiǎn)。通過先進(jìn)的信號(hào)處理方法，包括信號(hào)采集、預(yù)處理、特征增強(qiáng)、特征計(jì)算、特征選擇、分類以及后處理等流程步驟，EEG技術(shù)能夠精確捕捉到駕駛員的腦電信號(hào)變化，為智能車輛提供科學(xué)、可靠的安全保障。此外，在智能輔助駕駛系統(tǒng)中，EEG技術(shù)的應(yīng)用不僅限于狀態(tài)監(jiān)測(cè)，還能夠識(shí)別駕駛員的操作意圖，如變道、轉(zhuǎn)向、加速或制動(dòng)等行為。這為實(shí)現(xiàn)車輛的主動(dòng)安全控制、提高駕駛體驗(yàn)提供了強(qiáng)有力的技術(shù)支持。因此，該綜述面向基于腦電信號(hào)智能輔助駕駛系統(tǒng)的信號(hào)處理方法、基于駕駛員狀態(tài)的智能輔助駕駛系統(tǒng)、基于駕駛員行為的智能輔助駕駛系統(tǒng)、基于駕駛員狀態(tài)和行為組合的智能輔助駕駛系統(tǒng)進(jìn)行了全面的分析、討論和總結(jié)。    

如圖2所示，基于腦電信號(hào)的駕駛員行為和狀態(tài)的處理方法包括采集、預(yù)處理、信號(hào)增強(qiáng)、特征計(jì)算、特征選擇、分類和后處理方法?，F(xiàn)有常用的處理方法詳見TABLE Ⅰ。

在基于駕駛員狀態(tài)的智能輔助駕駛系統(tǒng)部分，TABLE Ⅱ呈現(xiàn)了腦機(jī)接口在駕駛員狀態(tài)檢測(cè)上的應(yīng)用，分別包括了疲勞、分心和情感檢測(cè)，論文詳細(xì)匯總了現(xiàn)有經(jīng)典研究聚焦的腦電信號(hào)頻段和所采用的分類模型。不僅如此，面對(duì)實(shí)際應(yīng)用中的挑戰(zhàn)，如信號(hào)干擾、個(gè)體差異、環(huán)境適應(yīng)性等問題，研究人員正致力于開發(fā)更高效、更穩(wěn)定的EEG信號(hào)處理算法，以及探索混合腦-機(jī)接口（BCI）技術(shù)，通過融合多種生物信號(hào)，提升系統(tǒng)的魯棒性和準(zhǔn)確性。融合策略包括數(shù)據(jù)層面融合、特征層面融合、分類器層面融合、以及決策層面融合（見圖2），TABLE Ⅲ呈現(xiàn)混合腦機(jī)接口在駕駛員狀態(tài)檢測(cè)上的應(yīng)用。

在基于駕駛員行為的智能輔助駕駛系統(tǒng)部分，TABLE Ⅳ呈現(xiàn)腦機(jī)接口在駕駛員行為檢測(cè)上的應(yīng)用，分別包括了橫向駕駛（變道，左轉(zhuǎn)向，右轉(zhuǎn)向），縱向駕駛（剎車，加速，減速，平速），橫向和縱向駕駛組合檢測(cè)，論文綜述分析了現(xiàn)有經(jīng)典研究聚焦的腦電信號(hào)頻段和所采用的分類模型。

最后，在基于駕駛員行為和狀態(tài)組合的智能輔助駕駛系統(tǒng)部分，TABLE Ⅴ呈現(xiàn)混合腦機(jī)接口在駕駛員狀態(tài)和行為組合檢測(cè)上的應(yīng)用，匯總了現(xiàn)有經(jīng)典研究聚焦的腦電信號(hào)頻段、混合信號(hào)、融合策略、以及所采用的分類模型。

在這篇論文的討論和總結(jié)部分，作者們提出了基于EEG的駕駛員狀態(tài)和行為檢測(cè)技術(shù)在智能車輛系統(tǒng)中的應(yīng)用所面臨的挑戰(zhàn)，并提出了可能的解決方案和未來(lái)的研究方向。具體地，當(dāng)前基于EEG的智駕研究中，存在著如下挑戰(zhàn)：1)數(shù)據(jù)采集：現(xiàn)有的無(wú)線EEG采集設(shè)備在同步收集EEG信號(hào)和其他信號(hào)（如EMG、EOG）方面存在困難，這對(duì)于開發(fā)混合BCI系統(tǒng)是一個(gè)限制；2）偽跡處理：盡管研究中采用了多種方法，但EEG信號(hào)中的偽跡（如眼動(dòng)和肌電偽跡）仍難以完全消除；3）特征選擇和分類器設(shè)計(jì)：當(dāng)前研究中使用的線性和非線性分類器未能滿足預(yù)期要求，缺乏融合時(shí)域、頻域和空間域信息的特征，以及能夠處理線性和非線性情況的分類器；4）性能和魯棒性：BCI在檢測(cè)駕駛員狀態(tài)或行為時(shí)的性能和魯棒性存在不足，特別是EEG信號(hào)質(zhì)量的不穩(wěn)定性影響了狀態(tài)識(shí)別的準(zhǔn)確性；5）跨個(gè)體檢測(cè)：跨個(gè)體檢測(cè)的準(zhǔn)確性較低，需要探索更穩(wěn)定和通用的信息以提高BCI檢測(cè)系統(tǒng)的穩(wěn)定性和普遍性；6）混合BCI的應(yīng)用：使用單個(gè)傳感器收集兩種或更多信號(hào)本身具有一定挑戰(zhàn)性，且增加了計(jì)算成本；7）實(shí)時(shí)應(yīng)用：現(xiàn)有研究未能充分考慮現(xiàn)實(shí)情況的多樣性，如不同駕駛行為的細(xì)微差別、虛擬與現(xiàn)實(shí)環(huán)境的差異等。

針對(duì)上述挑戰(zhàn)，作者們提出了如下可能的潛在解決方案：1）為了提高基于EEG的IADS的相關(guān)流行方法，可能需要開發(fā)能夠同時(shí)收集EEG信號(hào)和其他信號(hào)的便攜式設(shè)備，并探索新的方法來(lái)解析其時(shí)-空-頻特征；2）硬件和軟件改進(jìn)：提高采集設(shè)備的性能，選擇更有用的預(yù)處理方法，以及結(jié)合線性和非線性分類器，以提高系統(tǒng)的性能和魯棒性；3）考慮個(gè)體差異：未來(lái)研究應(yīng)進(jìn)一步探索個(gè)體差異和適應(yīng)性，以及不同駕駛狀態(tài)或行為水平對(duì)系統(tǒng)性能的影響；4）實(shí)驗(yàn)環(huán)境：未來(lái)的研究需要在更接近真實(shí)駕駛環(huán)境的條件下進(jìn)行，以確保研究成果的實(shí)用性和有效性。此外，作者還建議未來(lái)的研究應(yīng)從更模仿現(xiàn)實(shí)的場(chǎng)景和行業(yè)角度出發(fā)，考慮各種車輛運(yùn)行條件、駕駛監(jiān)測(cè)系統(tǒng)、人車交互界面和駕駛行為分析等因素。

未來(lái)，隨著技術(shù)的不斷成熟和完善，基于EEG的智能輔助駕駛系統(tǒng)有望廣泛應(yīng)用于汽車行業(yè)，為駕駛者提供更加安全、智能的駕駛環(huán)境。我們期待著這一技術(shù)能夠?yàn)闇p少交通事故、提高人們的生活質(zhì)量做出更大的貢獻(xiàn)。

文章得到了陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃（2024JC-YBQN-0659）、廣東省基礎(chǔ)與應(yīng)用基礎(chǔ)聯(lián)合基金（2022A1515110252）、太倉(cāng)市基礎(chǔ)研究計(jì)劃（TC2023JC16）等項(xiàng)目的支持，通訊作者聯(lián)系方式：lihongqi@nwpu.edu.cn。

文章作者簡(jiǎn)介

琚佳偉，博士，上海腦科學(xué)與類腦研究中心副研究員。2022年在北京理工大學(xué)獲得機(jī)械工程博士學(xué)位，電氣與電子工程協(xié)會(huì)會(huì)員?，F(xiàn)聚焦于腦機(jī)接口、人機(jī)交互、智能人機(jī)系統(tǒng)、神經(jīng)科學(xué)的研究，實(shí)現(xiàn)了基于腦電與肌電信號(hào)的駕駛員剎車意圖智能輔助系統(tǒng)的構(gòu)建。近五年以第一作者發(fā)表7篇SCI于IEEE Transactions on Biometrics, Behavior, and Identity Science、International Agricultural Engineering Journal、Biomedical Signal Processing and Control、Cyborg and Bionic Systems、Brain-X等期刊，申請(qǐng)發(fā)明專利2項(xiàng)，擔(dān)任IEEE Transactions on Intelligent Transportation Systems、JOURNAL OF THE FRANKLIN INSTITUTE-ENGINEERING AND APPLIED MATHEMATICS等期刊審稿人。

李鴻岐，博士，西北工業(yè)大學(xué)軟件學(xué)院副教授、碩士生導(dǎo)師，研究興趣主要為智能人機(jī)交互、腦控智能系統(tǒng)、非侵入式腦機(jī)接口、信號(hào)的獲取與處理、深度學(xué)習(xí)、系統(tǒng)建模與仿真、先進(jìn)控制理論等。近五年以第一/通訊作者在國(guó)際權(quán)威期刊IEEE Transactions on Cybernetics、IEEE Transactions on Intelligent Transportation Systems、IEEE Transactions on Instrumentation & Measurement、IEEE Transactions on Neural Systems and Rehabilitation Engineering、IEEE Transactions on Biometrics, Behavior, and Identity Science等發(fā)表論文多篇。目前主持陜西省自然科學(xué)基礎(chǔ)研究計(jì)劃青年項(xiàng)目、廣東省基礎(chǔ)與應(yīng)用基礎(chǔ)聯(lián)合基金項(xiàng)目、太倉(cāng)市基礎(chǔ)研究計(jì)劃面上項(xiàng)目、校教育教學(xué)改革研究等項(xiàng)目，參與科技部科技創(chuàng)新2030-“新一代人工智能”重大項(xiàng)目、國(guó)家自然科學(xué)基金面上項(xiàng)目等多項(xiàng)，曾獲首屆ABB杯全國(guó)智能技術(shù)論文大賽優(yōu)秀獎(jiǎng)。