0 引言

    傳統(tǒng)的頭盔顯示/瞄準(zhǔn)系統(tǒng)(Helmet Mounted Display and Sight System，HMDASS)是指頭盔顯示器和頭盔瞄準(zhǔn)具組合起來(lái)的系統(tǒng)，它既具有頭盔顯示器的功能，可以顯示筆劃字符和光柵圖像，也具有頭盔瞄準(zhǔn)具的功能，可以測(cè)量和計(jì)算頭盔瞄準(zhǔn)線(xiàn)的位置^[1]。頭盔瞄準(zhǔn)具確定頭盔瞄準(zhǔn)線(xiàn)，用頭盔瞄準(zhǔn)具產(chǎn)生的信號(hào)驅(qū)動(dòng)在系統(tǒng)中使用的傳感器，以使它指向頭盔同一方向。來(lái)自傳感器的圖像顯示在頭盔顯示器上。這樣，通過(guò)頭盔瞄準(zhǔn)具將傳感器耦合到頭盔瞄準(zhǔn)線(xiàn)，由傳感器產(chǎn)生的圖像通過(guò)頭盔顯示器顯示給觀(guān)察者，從而形成閉環(huán)系統(tǒng)。

    然而在現(xiàn)代戰(zhàn)爭(zhēng)中，軍事武器的機(jī)動(dòng)性越來(lái)越強(qiáng)，單純靠目視來(lái)鎖定目標(biāo)越來(lái)越困難，并且需要大量的計(jì)算機(jī)運(yùn)算來(lái)提供精度的保證，而事實(shí)上，使用者本身的誤差使得系統(tǒng)精度很難高于5 mrad(RMS)。

    頭盔顯示/瞄準(zhǔn)系統(tǒng)究其根本是一個(gè)人-機(jī)交互的系統(tǒng)，當(dāng)前的頭盔顯示/瞄準(zhǔn)系統(tǒng)已經(jīng)發(fā)展到“所見(jiàn)即所得”的程度，為了更進(jìn)一步提高系統(tǒng)性能，實(shí)現(xiàn)人機(jī)同感、人機(jī)合一、人在回路中，“所思即所得”的人-機(jī)智能交互系統(tǒng)，本文設(shè)計(jì)了一種基于腦機(jī)接口(Brain-Computer Interface，BCI)^[2]的頭盔顯示/瞄準(zhǔn)系統(tǒng)。

    在這個(gè)BCI系統(tǒng)中采集了多種EEG信號(hào)，使用穩(wěn)態(tài)視覺(jué)誘發(fā)電位(Steady State Visual Evoked Potential，SSVEP)來(lái)快速選擇打擊目標(biāo)，使用運(yùn)動(dòng)準(zhǔn)備視覺(jué)誘發(fā)電位(Motion Onset Visual Evoked Potential，MOVEP)進(jìn)行任務(wù)分類(lèi)，使用異步運(yùn)動(dòng)想象(Motion Image，MI)^[3]作為開(kāi)關(guān)，實(shí)現(xiàn)自如的EEG與傳統(tǒng)控制方式的轉(zhuǎn)換。實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)具有較好的效果。

1 一種基于腦機(jī)接口的頭盔顯示/瞄準(zhǔn)系統(tǒng)設(shè)計(jì)

    針對(duì)腦電信息獲取與解析的腦機(jī)接口技術(shù)研究是人機(jī)協(xié)同控制的發(fā)展趨勢(shì)，基于腦機(jī)接口的頭盔顯示/瞄準(zhǔn)系統(tǒng)設(shè)計(jì)的目標(biāo)旨在初步實(shí)現(xiàn)人機(jī)同感、人機(jī)合一、人在回路中，“所思即所得”的人-機(jī)智能交互系統(tǒng)^[4]。

    其中多模態(tài)BCI在線(xiàn)控制系統(tǒng)以單人多模態(tài)人機(jī)融合技術(shù)為基礎(chǔ)，以識(shí)別結(jié)果和時(shí)序?yàn)閮?yōu)化條件，設(shè)計(jì)具有自主更新的任務(wù)分配范式，通過(guò)構(gòu)建具有高效的自適應(yīng)腦電信號(hào)處理算法以及實(shí)現(xiàn)快速有效的意識(shí)指令編碼及通信，實(shí)現(xiàn)人機(jī)智能融合^[5]。該系統(tǒng)工作流程為：通過(guò)腦電放大器采集及記錄多模態(tài)腦電信號(hào)；將原始腦電信號(hào)進(jìn)行信號(hào)預(yù)處理；使用異步ＭＩ腦電信號(hào)來(lái)識(shí)別任務(wù)狀態(tài)；根據(jù)任務(wù)識(shí)別結(jié)果判斷信號(hào)類(lèi)型屬于指令編碼還是目標(biāo)編碼；針對(duì)目標(biāo)編碼和指令編碼，使用SSVEP及MOVEP腦電信號(hào)對(duì)應(yīng)的特征提取及分類(lèi)識(shí)別算法；將分類(lèi)識(shí)別結(jié)果轉(zhuǎn)化為指令編碼或者目標(biāo)編碼，指令編碼可以對(duì)應(yīng)飛機(jī)各操作指令，目標(biāo)編碼對(duì)應(yīng)雷達(dá)鎖定目標(biāo)選擇。系統(tǒng)工作流程如圖 1所示。

    (1)多模態(tài)腦電信號(hào)采集及記錄

    實(shí)驗(yàn)采用美國(guó)Neuroscan公司生產(chǎn)的64導(dǎo)EEG采集分析系統(tǒng)進(jìn)行實(shí)驗(yàn)設(shè)計(jì)和EEG信號(hào)采集。該系統(tǒng)包括用于采集EEG信號(hào)的Quik-cap電極帽、SynAmps2專(zhuān)用EEG信號(hào)放大器，該采集系統(tǒng)的精度較高。

    (2)信號(hào)預(yù)處理

    由于腦電信號(hào)具有非線(xiàn)性、非平穩(wěn)性且易受干擾的特點(diǎn)，單純采用ICA分解得到的IC在排序上具有不確定性、運(yùn)算速度較低等因素，故采取偽跡識(shí)別與ICA相結(jié)合的預(yù)處理算法。

    算法的基本思想：記錄各被試主動(dòng)眼動(dòng)的信號(hào)，選取有代表性的眼動(dòng)信號(hào)的空間分布作為先驗(yàn)知識(shí)；求ICA分解出的各個(gè)獨(dú)立成分的空間分布與先驗(yàn)知識(shí)中眼動(dòng)的空間分布的相關(guān)系數(shù)，把相關(guān)系數(shù)大于一定閾值的認(rèn)定為眼電偽跡；再將這些眼電偽跡成分予以去除，將得到?jīng)]有偽跡的數(shù)據(jù)。

    (3)使用異步MI腦電信號(hào)識(shí)別任務(wù)狀態(tài)

    μ、β節(jié)律的ERD現(xiàn)象是目前運(yùn)動(dòng)想象分類(lèi)算法設(shè)計(jì)中最主要的特征之一，其基本原理是人在進(jìn)行運(yùn)動(dòng)或者想像運(yùn)動(dòng)時(shí)，會(huì)導(dǎo)致相應(yīng)運(yùn)動(dòng)皮層功能區(qū)EEG信號(hào)中μ(8～14 Hz)、β(18～30 Hz)頻段能量的下降。當(dāng)停止運(yùn)動(dòng)或者想象運(yùn)動(dòng)時(shí)，上述頻段能量則會(huì)恢復(fù)。這種頻域能量的變化一般稱(chēng)為事件相關(guān)同步與去同步現(xiàn)象(Event-Related Desynchronization/Synchronization，ERD/ERS)。根據(jù)這一原理，通過(guò)設(shè)計(jì)合理的空域?yàn)V波器進(jìn)行μ、β節(jié)律的ERD特征提取與分類(lèi)，以及通過(guò)在線(xiàn)頻譜能量估計(jì)進(jìn)行μ和β節(jié)律頻段優(yōu)化選擇，實(shí)現(xiàn)兩類(lèi)運(yùn)動(dòng)想像任務(wù)的在線(xiàn)異步檢測(cè)，可以識(shí)別兩種任務(wù)狀態(tài)。

    被試執(zhí)行運(yùn)動(dòng)任務(wù)時(shí)的大腦活動(dòng)分布如圖 2所示。

    圖2中A為右手實(shí)際運(yùn)動(dòng)，B為右手運(yùn)動(dòng)想像，C為被試休息（實(shí)線(xiàn)）與想象（虛線(xiàn)）條件下的電壓頻譜，D為對(duì)應(yīng)的r²頻譜。

    (4)使用SSVEP來(lái)快速選擇打擊目標(biāo)，使用MOVEP進(jìn)行任務(wù)分類(lèi)

    SSVEP具有明顯的周期性特征，給受試者提供一個(gè)特定頻率的視覺(jué)刺激時(shí)，將在視皮層誘發(fā)出頻率跟隨特性的SSVEP信號(hào)，因此在枕區(qū)記錄到的腦電信號(hào)的功率譜將在刺激頻率處出現(xiàn)明顯的譜峰。試驗(yàn)研究發(fā)現(xiàn)，SSVEP頻譜包含有一系列與刺激頻率成整數(shù)倍關(guān)系的頻率成分，其中以基頻和二倍頻成分最為顯著，并可由此設(shè)計(jì)基于SSVEP的目標(biāo)選擇原型范式。系統(tǒng)提供給受試代表不同意義的以不同頻率閃爍的多個(gè)方塊圖形，并通過(guò)腦電信號(hào)頻率的檢測(cè)來(lái)確定注視目標(biāo)的選擇。

    典型的Motion-onset VEP信號(hào)包含3個(gè)主要的信號(hào)特征：P1、N2、P2。N2主要出現(xiàn)在60 ms～200 ms，是很顯著的信號(hào)特征，產(chǎn)生于顳枕區(qū)并與頂葉皮層區(qū)域相關(guān)。P2主要出現(xiàn)在240 ms左右，其強(qiáng)度隨著視覺(jué)運(yùn)動(dòng)刺激的復(fù)雜程度的上升而上升。

    當(dāng)被操控人員注視著目標(biāo)模塊時(shí)，模塊內(nèi)的可視目標(biāo)的短暫運(yùn)動(dòng)會(huì)誘發(fā)出MOVEP信號(hào)，其是與該動(dòng)作的開(kāi)始相鎖定關(guān)聯(lián)的，其信號(hào)幅值遠(yuǎn)大于周?chē)渌K信號(hào)。因此，EEG數(shù)據(jù)段里包含有與所選目標(biāo)的動(dòng)作起始時(shí)刻鎖定的MOVEP信號(hào)，其具有顯著的動(dòng)作相關(guān)VEP特征。通過(guò)VEP特征能夠找到操控者在當(dāng)前狀態(tài)下所注視的任務(wù)模塊，從而確定目標(biāo)，給出結(jié)果。

2 系統(tǒng)實(shí)驗(yàn)與結(jié)果

2.1 系統(tǒng)實(shí)驗(yàn)

2.1.1 SSVEP

    實(shí)驗(yàn)流程如下：操控者坐于監(jiān)視器前1.2 m處，頭戴實(shí)時(shí)EEG電極帽進(jìn)行EEG數(shù)據(jù)采集。監(jiān)視器顯示一組頻率刺激圖像，實(shí)驗(yàn)開(kāi)始后，各頻率塊以不同的頻率閃爍，同時(shí)要求操控者在一個(gè)實(shí)驗(yàn)中集中注意力觀(guān)察自己選擇的目標(biāo)框。

    由于個(gè)體的差異，在進(jìn)行基于SSVEP-BCI系統(tǒng)設(shè)計(jì)之前，需要對(duì)操控者進(jìn)行刺激頻率的選擇。由于在頻率域上每個(gè)操控者可用的頻率并不是太多，為了實(shí)現(xiàn)多任務(wù)的操控目的，在實(shí)驗(yàn)中采用多頻序列編碼范式，其利用頻率在時(shí)間尺度上的置換完成對(duì)SSVEP-BCI系統(tǒng)刺激模塊的編碼，是一種周期性的直接編碼方案^[6]。

    多頻序列編碼原理如圖 3所示。

2.1.2 MOVEP

    MOVEP的刺激形式如圖4所示，4號(hào)位的一條線(xiàn)從方框右邊向左邊快速移動(dòng)，在本系統(tǒng)中，線(xiàn)從右到左的移動(dòng)時(shí)間是250 ms。若被試注意線(xiàn)起始出現(xiàn)的時(shí)刻，那么在后頂部位的電極處便可記錄到MOVEP特征信號(hào)。

    由于被試間的N200和P200的潛伏期存在差異，為了優(yōu)化系統(tǒng)的性能，根據(jù)雙樣本t檢驗(yàn)和ANOVA方法為每個(gè)被試選取最優(yōu)的時(shí)間窗。在優(yōu)化后的時(shí)間窗內(nèi)，按一定的降采樣率提取特征點(diǎn)。

    MOVEP時(shí)域信號(hào)特征如圖5所示。

    圖5是從P3電極處采集的EEG信號(hào)經(jīng)過(guò)疊加平均后的信號(hào)特征圖，其中實(shí)線(xiàn)代表目標(biāo)刺激的EEG信號(hào)，虛線(xiàn)代表非目標(biāo)刺激的EEG信號(hào)。

2.2 實(shí)驗(yàn)結(jié)果

    通過(guò)實(shí)驗(yàn)驗(yàn)證SSVEP-BCI系統(tǒng)目前達(dá)到的技術(shù)指標(biāo)為：(1)能實(shí)現(xiàn)對(duì)屏幕上同時(shí)出現(xiàn)的6種目標(biāo)進(jìn)行區(qū)分選擇；(2)控制精確度大于80%；(3)鎖定時(shí)間約500 ms。

    MOVEP-BCI系統(tǒng)目前達(dá)到的技術(shù)指標(biāo)為：(1)能實(shí)現(xiàn)對(duì)屏幕上同時(shí)出現(xiàn)的6種任務(wù)進(jìn)行區(qū)分選擇；(2)控制精確度大于80%；(3)任務(wù)選擇時(shí)間約500 ms。

3 小結(jié)

    本文使用SSVEP來(lái)快速選擇打擊目標(biāo)，使用MOVEP進(jìn)行任務(wù)分類(lèi)，使用異步MI作為開(kāi)關(guān)，實(shí)現(xiàn)自如的EEG與傳統(tǒng)控制方式的轉(zhuǎn)換，取代單純靠目視來(lái)鎖定目標(biāo)的傳統(tǒng)頭盔。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，該系統(tǒng)通過(guò)和機(jī)載火控雷達(dá)及專(zhuān)業(yè)任務(wù)系統(tǒng)的緊密配合，在對(duì)超高速、小型目標(biāo)的快速鎖定及腦控任務(wù)選擇上具有較好的效果。

參考文獻(xiàn)

[1] 王永年.頭盔顯示/瞄準(zhǔn)系統(tǒng)[M].北京：國(guó)防工業(yè)出版社，1994.

[2] VIDAL J.Toward direct brain-computer communication[J].Annual Review of Biophysics and Bioengineering，1973，2(1)：157-180.

[3] WOLPAW J R，BIRBAUMER N，MCFARLAND D J，et al.Brain-computer interfaces for communication and control[J].Clin Neurophysiol，2002，113(6)：767-791.

[4] 堯德中.腦功能探測(cè)的電學(xué)理論與方法[M].北京：科學(xué)出版社，2003.

[5] 堯德中，劉鐵軍，雷旭，等.基于腦電的腦-機(jī)接口: 關(guān)鍵技術(shù)和應(yīng)用前景[J].電子科技大學(xué)學(xué)報(bào)，2009，38(5)：550-554.

[6] 吳正華.穩(wěn)態(tài)視覺(jué)誘發(fā)電位在腦機(jī)接口及認(rèn)知過(guò)程中的應(yīng)用研究[D].成都：電子科技大學(xué)，2008.