近日，北京理工大學(xué)機(jī)械與車輛學(xué)院畢路拯教授團(tuán)隊(duì)首創(chuàng)面向多任務(wù)操控的腦機(jī)協(xié)同控制方法，并將該方法應(yīng)用于智能車輛。研究成果以“Multitask-Oriented Brain-Controlled Intelligent Vehicle Based on Human-Machine Intelligence Integration”為題，被國(guó)際頂級(jí)期刊《IEEE Transactions on Systems, Man, and Cybernetics: Systems》錄取。論文第一作者為其團(tuán)隊(duì)博士研究生王佳蓉。

為了推進(jìn)腦機(jī)接口和腦控機(jī)器邁向真實(shí)的應(yīng)用場(chǎng)景，北京理工大學(xué)畢路拯教授團(tuán)隊(duì)一直致力于自然場(chǎng)景下的腦機(jī)接口、腦機(jī)混合智能和腦機(jī)協(xié)同控制的理論、方法和應(yīng)用研究。在腦機(jī)協(xié)同控制方面，該團(tuán)隊(duì)首創(chuàng)的腦控多域多任務(wù)機(jī)器人系統(tǒng)曾作為腦機(jī)接口領(lǐng)域創(chuàng)新成果在2022年世界機(jī)器人大賽現(xiàn)場(chǎng)進(jìn)行展示，參考《北理工智能人機(jī)系統(tǒng)團(tuán)隊(duì)研發(fā)“腦控”機(jī)器人 應(yīng)用于城市反恐防暴--2022世界機(jī)器人大賽》。此外，該團(tuán)隊(duì)所創(chuàng)建的腦機(jī)協(xié)同控制框架以及在腦控智能車輛上的應(yīng)用研究曾發(fā)表于國(guó)際頂級(jí)期刊《IEEE Transactions on Intelligent Transportation Systems》，參考《北理工研究團(tuán)隊(duì)在腦機(jī)協(xié)同控制技術(shù)與腦控智能車輛方面取得重要進(jìn)展》，所提出的基于魯棒非線性模型預(yù)測(cè)的腦機(jī)協(xié)同控制方法以及在腦控移動(dòng)機(jī)器人上的應(yīng)用研究曾發(fā)表于國(guó)際頂級(jí)期刊《IEEE Transactions on Cybernetics》，參考《北理工研究團(tuán)隊(duì)在腦-控移動(dòng)機(jī)器人上取得重要進(jìn)展》。在腦機(jī)接口方面，該團(tuán)隊(duì)關(guān)于不同注意力狀態(tài)下運(yùn)動(dòng)意圖的魯棒神經(jīng)解碼研究曾發(fā)表于生物醫(yī)學(xué)工程領(lǐng)域旗艦期刊《IEEE Transactions on Biomedical Engineering》，參考《北理工團(tuán)隊(duì)在不同注意力狀態(tài)下肢體運(yùn)動(dòng)意圖的魯棒神經(jīng)解碼方面取得重要研究進(jìn)展》，該論文也獲得2022世界機(jī)器人大賽-BCI腦控機(jī)器人大賽一青年論文比賽一等獎(jiǎng)（唯一），關(guān)于考慮注意狀態(tài)的運(yùn)動(dòng)意圖分層解碼模型曾發(fā)表于國(guó)際頂級(jí)期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《北理工團(tuán)隊(duì)在推動(dòng)運(yùn)動(dòng)意圖神經(jīng)解碼走向真實(shí)應(yīng)用場(chǎng)景方面取得研究進(jìn)展》，關(guān)于單手和雙手協(xié)同運(yùn)動(dòng)的神經(jīng)解碼成果曾發(fā)表于生物醫(yī)學(xué)工程領(lǐng)域旗艦期刊《IEEE Transactions on Biomedical Engineering》，參考《如何對(duì)單手和雙手協(xié)同運(yùn)動(dòng)方向進(jìn)行神經(jīng)表征和解碼？北理工研究團(tuán)隊(duì)給出了相關(guān)方案》，關(guān)于基于非侵入式神經(jīng)信號(hào)的連續(xù)運(yùn)動(dòng)解碼成果曾發(fā)表于國(guó)際頂級(jí)期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》，參考《北理工團(tuán)隊(duì)在基于非侵入式神經(jīng)信號(hào)的連續(xù)運(yùn)動(dòng)解碼方面取得新進(jìn)展》。

DOI (identifier) 10.1109/TSMC.2022.3212744

在過(guò)去的幾十年里，人工智能取得了一系列的進(jìn)步，促使智能車輛技術(shù)越來(lái)越成熟。然而，由于人工智能在處理復(fù)雜任務(wù)和不確定環(huán)境方面的局限性，在某些情況下，人控制(包括遠(yuǎn)程控制)車輛仍然是必不可少的。

近年來(lái)，隨著神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)的發(fā)展，腦控智能車(brain-controlled intelligent vehicles, BCIVs)的研究已經(jīng)發(fā)展成為智能車研究的一個(gè)新的分支。從廣義的角度來(lái)看，腦控智能車指的是利用腦機(jī)接口(BCI)，通過(guò)從大腦信號(hào)中解碼人的意圖，進(jìn)而幫助使用者操作(包括遠(yuǎn)程操作)智能車。腦控智能車對(duì)殘疾人和健康的操作員都具有很強(qiáng)的實(shí)用價(jià)值。對(duì)于殘障人士來(lái)說(shuō)，腦控智能車不僅可以作為一種增強(qiáng)他們行動(dòng)能力的手段，來(lái)幫助他們移動(dòng)一些目標(biāo)，而且可能有助于通過(guò)讓他們積極參與來(lái)重建自尊、恢復(fù)大腦功能。對(duì)于健康人來(lái)說(shuō)，腦控智能車通過(guò)將人類智能與機(jī)器智能相結(jié)合，有助于提高系統(tǒng)的安全性和系統(tǒng)性能。

根據(jù)腦控智能車的功能，腦控智能車可分為基于伺服控制的腦控智能車、基于任務(wù)級(jí)別的腦控智能車和基于駕駛員狀態(tài)檢測(cè)的腦控智能車三大類。首先，基于伺服控制的腦控智能車是指通過(guò)將大腦信號(hào)轉(zhuǎn)換為車輛運(yùn)動(dòng)的控制命令(如加速、減速、左轉(zhuǎn)、右轉(zhuǎn))來(lái)驅(qū)動(dòng)的腦控智能車。其次，基于任務(wù)級(jí)別的腦控智能車是通過(guò)先將駕駛員的大腦信號(hào)解碼為所需的任務(wù)(如目的地選擇)，然后使用智能導(dǎo)航系統(tǒng)完成所需的駕駛?cè)蝿?wù)。最后，基于駕駛員狀態(tài)檢測(cè)的腦控智能車是指能夠?qū)崟r(shí)監(jiān)測(cè)駕駛員的狀態(tài)(如駕駛意圖、疲勞、注意力分散、情緒等)，并將駕駛員的狀態(tài)集成到智能控制系統(tǒng)中，對(duì)車輛狀態(tài)進(jìn)行相應(yīng)調(diào)整或?qū)︸{駛員進(jìn)行預(yù)警的腦控智能車。在過(guò)去的十幾年里，我們團(tuán)隊(duì)在腦控智能車以上的三個(gè)方面里都做了大量探索性工作，并取得了一系列研究成果，在國(guó)際領(lǐng)域處于領(lǐng)先地位，相應(yīng)成果陸續(xù)發(fā)表在IEEE TITS、IEEE TNSRE、IEEE TCYB等國(guó)際頂級(jí)期刊。

盡管已有大量工作致力于腦控智能車的探索，但回顧現(xiàn)有研究，我們發(fā)現(xiàn)所有現(xiàn)有的腦控智能車研究都局限于單一任務(wù)場(chǎng)景，即部分殘疾人僅使用BCI或部分健康人同時(shí)使用肢體和BCI來(lái)執(zhí)行一項(xiàng)任務(wù)。而考慮到健康人群在駕駛車輛或遠(yuǎn)程控制車輛時(shí)執(zhí)行多任務(wù)的情況很常見(jiàn)，為了進(jìn)一步推進(jìn)腦控智能車在健康人群中的應(yīng)用，本文向面向多任務(wù)的腦控智能車的研究邁出了第一步。

本研究的貢獻(xiàn)在于首次研究了面向多任務(wù)的腦控制系統(tǒng)，并將一種新穎的駕駛員-輔助任務(wù)意圖神經(jīng)解碼方法與自適應(yīng)腦機(jī)協(xié)同控制器相結(jié)合，首次設(shè)計(jì)了面向多任務(wù)的腦控智能車。我們搭建了所提出的面向多任務(wù)的腦控智能車實(shí)驗(yàn)平臺(tái)，并通過(guò)人在環(huán)內(nèi)的在線實(shí)驗(yàn)對(duì)所提出的腦控智能車進(jìn)行了驗(yàn)證。這項(xiàng)工作對(duì)于將腦控系統(tǒng)的探索推向多任務(wù)場(chǎng)景具有重要的價(jià)值，并為認(rèn)知神經(jīng)科學(xué)應(yīng)用于智能系統(tǒng)和人機(jī)集成開(kāi)辟了新的途徑。

圖1系統(tǒng)架構(gòu)

圖2 本研究所搭建的實(shí)驗(yàn)平臺(tái)

圖1所示為所提出的面向多任務(wù)的腦控智能車的系統(tǒng)架構(gòu)，包括腦-車接口和自適應(yīng)腦機(jī)協(xié)同控制器。腦-車接口由用戶界面和神經(jīng)信號(hào)解碼模塊組成。神經(jīng)信號(hào)解碼模塊包括腦電圖信號(hào)采集與預(yù)處理、特征提取和解碼模型。用戶可以應(yīng)用該面向多任務(wù)的腦控智能車系統(tǒng)同時(shí)執(zhí)行兩個(gè)操作任務(wù)。對(duì)于主要任務(wù)，用戶可以用四肢駕駛車輛。對(duì)于輔助任務(wù)，用戶可以使用腦-車接口來(lái)傳遞任務(wù)命令。此外，利用自適應(yīng)腦機(jī)協(xié)同控制器將駕駛命令輸出到車輛，通過(guò)整合周圍環(huán)境、車輛狀態(tài)信息和神經(jīng)解碼結(jié)果，提高駕駛安全性。

本論文通過(guò)在線測(cè)試驗(yàn)證了所提出的面向多任務(wù)的腦控車輛系統(tǒng)的有效性。在線測(cè)試性能通過(guò)腦-車接口執(zhí)行輔助任務(wù)性能以及駕駛主任務(wù)性能兩方面進(jìn)行了評(píng)價(jià)。

單一駕駛和面向多任務(wù)駕駛條件下的平均駕駛側(cè)向誤差分別為0.43 m±0.09 m和0.47 m±0.08 m，兩種工況下的最大駕駛側(cè)向誤差分別為2.47 m±0.22 m和2.67 m±0.23 m，兩種駕駛?cè)蝿?wù)下的結(jié)果均無(wú)統(tǒng)計(jì)學(xué)差異。

表1 單任務(wù)和多任務(wù)駕駛條件下的駕駛側(cè)向誤差比較

圖3  單任務(wù)與多任務(wù)駕駛條件下的駕駛誤差曲線對(duì)比

表2對(duì)比了采用本文提出的自適應(yīng)腦機(jī)協(xié)同控制器、采用無(wú)自適應(yīng)控制器以及無(wú)控制器三種條件下的駕駛性能。有自適應(yīng)腦機(jī)協(xié)同控制器、無(wú)自適應(yīng)策略控制器和無(wú)控制器的多任務(wù)條件下的駕駛實(shí)驗(yàn)的平均側(cè)向誤差分別為0.64±0.15 m、0.78±0.19 m和0.93±0.25 m，最大側(cè)向誤差分別為3.47±0.32 m、3.82±0.29 m和4.52±1.00 m。可見(jiàn)，本論文提出的自適應(yīng)腦機(jī)協(xié)同控制器在提高多任務(wù)條件下駕駛性能方面的有效性。

表2 不同控制器條件下的側(cè)向誤差比較

本研究首次將現(xiàn)有的腦控智能車研究擴(kuò)展到面向多任務(wù)的操作(或遠(yuǎn)程操作)。將一種新的駕駛員-輔助任務(wù)意圖神經(jīng)解碼方法與自適應(yīng)腦機(jī)協(xié)同控制器相結(jié)合，提出了一種面向多任務(wù)的腦控智能車系統(tǒng)。本研究搭建了該系統(tǒng)的實(shí)驗(yàn)平臺(tái)，并通過(guò)人-硬件在環(huán)內(nèi)的在線實(shí)驗(yàn)對(duì)其進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，所提出的面向多任務(wù)的腦控智能車系統(tǒng)性能良好。本研究對(duì)于將腦控制系統(tǒng)的探索推向多任務(wù)操作的新階段具有重要價(jià)值，為認(rèn)知神經(jīng)科學(xué)應(yīng)用于智能系統(tǒng)和人機(jī)集成開(kāi)辟了新的途徑。