歡迎聯(lián)系我

有什么可以幫您？在線咨詢

虛擬現(xiàn)實(shí)環(huán)境中的注意力與狀態(tài)識(shí)別

來源：北京榮通達(dá)科技有限公司 2023年08月04日 16:11

來自波蘭的研究人員在 Sensors 雜志上發(fā)表文章，探討了虛擬現(xiàn)實(shí)（VR）和近紅外技術(shù)的實(shí)際結(jié)合問題。他們?cè)O(shè)計(jì)了一套綜合實(shí)驗(yàn)平臺(tái)，其中包含 CW-fNIRS 和頭戴式顯示（HMD）技術(shù)，并使用變體后的經(jīng)典 n-back 任務(wù)（2-back 版本）在虛擬現(xiàn)實(shí)中進(jìn)行實(shí)驗(yàn)。結(jié)果證實(shí)了結(jié)合 fNIRS 和 HMD 技術(shù)，實(shí)驗(yàn)者可以有效地將實(shí)驗(yàn)性認(rèn)知過程轉(zhuǎn)移到可控的 VR 環(huán)境中。

研究背景

功能性近紅外光譜(fNIRS)是功能神經(jīng)成像技術(shù)之一，使用波長(zhǎng)為650-950nm的近紅外光來測(cè)量皮質(zhì)腦區(qū)的血流動(dòng)力學(xué)反應(yīng)。近紅外系統(tǒng)通常使用激光或LED發(fā)射連續(xù)波(CW)近紅外光。

VR技術(shù)已被用于注意力技能的研究和訓(xùn)練，已有許多結(jié)合VR和近紅外技術(shù)的案例和論文。

結(jié)合VR和FNIRS技術(shù)，通過訓(xùn)練程序調(diào)節(jié)注意力狀態(tài)的可行性已經(jīng)得到證明。識(shí)別注意狀態(tài)可以用于監(jiān)測(cè)受試者在任務(wù)中的參與度。用戶與系統(tǒng)的交互體驗(yàn)可以通過視覺量表和問卷來測(cè)量其滿意度。

本研究假設(shè)：

DLFPC 和 MFG 區(qū)的血流動(dòng)力學(xué)活動(dòng) (HbO/HbR 濃度變化 ) 在增強(qiáng)注意力投入 (n-back 任務(wù) ) 和放松狀態(tài)之間的差異將顯著高于研究組的機(jī)會(huì)閾值水平。

用戶與系統(tǒng)的交互體驗(yàn)(fNIRS+HMD) 將高于滿意度評(píng)估量表的平均值。

被試

12 名受試者 (10 名女性 )，年齡 21-34 歲 (M = 24.82;SD = 4.38) 參與實(shí)驗(yàn)。實(shí)驗(yàn)中所有參與者均為右利手，裸眼視力和校正后視力正常。

設(shè)備

近紅外信號(hào)被記錄在一個(gè)雙波長(zhǎng) (760 和 850 nm) fnirs系統(tǒng)中 ((Cortivision sp. z o.o., Lublin, Poland）。其中共有16 個(gè)LED光源和10探測(cè)器。

在線階段的數(shù)據(jù)處理在OpenViBE 3.1.0 (Inria Hybrid Team, Rennes, France)上使用自定義Python 腳本進(jìn)行。

使用 Unity3D 引擎開發(fā) VR 場(chǎng)景，并在Oculus Quest(Facebook Technologies, Menlo Park, CA, USA)上顯示。

使用 JASP軟件對(duì)結(jié)果進(jìn)行統(tǒng)計(jì)分析。

實(shí)驗(yàn)裝置包括無線一體化 VR 護(hù)目鏡和可穿戴 fNIRS設(shè)備。在數(shù)據(jù)記錄過程中，參與者是坐著的，設(shè)備是無線連接的。

主觀滿意度評(píng)估

使用視覺模擬量表 (Visual Analogue Scale, VAS) 來評(píng)估兩組實(shí)驗(yàn)結(jié)束后的總體主觀滿意度。評(píng)估采用 11 分制”。

使用改良版的魁北克輔助技術(shù)用戶評(píng)價(jià) (eQUEST 2.0) 來測(cè)量參與者對(duì)使用系統(tǒng)滿意度。

實(shí)驗(yàn)流程

該研究包括三個(gè)部分。

step1：需要判斷當(dāng)前水果在兩個(gè)水果之前是否看到過。當(dāng)法師扔出能量球時(shí)代表放松。

step2：離線階段的任務(wù)和教程相同。

step3：要求被試只在腦內(nèi)做同樣的任務(wù)。物體的運(yùn)動(dòng)方向直接由分類輸出信號(hào)控制。

實(shí)驗(yàn)中，任務(wù)和休息依次交替。在每個(gè)“2-back”任務(wù)塊中，水果列表隨機(jī)分為3個(gè)目標(biāo)、7個(gè)非目標(biāo)。

數(shù)據(jù)收集

近紅外數(shù)據(jù)由Cortivision PHOTON CAP系統(tǒng)收集。使用了10個(gè)通道。此外，在F3和F4位置放置了兩個(gè)短距離通道（見圖3）。對(duì)于所有數(shù)據(jù)通道，光源與探測(cè)器之間的距離保持在30毫米左右。短通道的距離則固定為10毫米。光源和探測(cè)器的放置位置是基于軟件中的預(yù)定義位置進(jìn)行選擇的。三個(gè)感興趣區(qū)域（MFG、L-DLPFC、R-DLPFC）被自動(dòng)從腦區(qū)解剖翻譯為10-5國際系統(tǒng)位置。

信號(hào)處理

將原始光強(qiáng)度轉(zhuǎn)換為光密度。處理記錄的前5秒期間記錄基線。然后將光密度轉(zhuǎn)換為氧脫氧血紅蛋白（HbO/HbR）濃度。然后，基于VR應(yīng)用程序流標(biāo)記進(jìn)行基于刺激的分段。。進(jìn)行低通濾波。采用廣義線性模型 (GLM) 進(jìn)行特征提取，并進(jìn)行進(jìn)一步分析。

將獲得的包含提取特征的數(shù)據(jù)集分為五部分進(jìn)行五次交叉驗(yàn)證。每次重復(fù)交叉驗(yàn)證都包括以下步驟：

Z-score標(biāo)準(zhǔn)化：訓(xùn)練集和測(cè)試集的z-score標(biāo)準(zhǔn)化。

SVM分類器被用來區(qū)分兩個(gè)類：“放松”和“2-back任務(wù)”。

結(jié)果

分類準(zhǔn)確性

單樣本非參數(shù)Wilcoxon符號(hào)等級(jí)檢驗(yàn)的結(jié)果表明，校準(zhǔn)階段的分類精度為M=88.58，SD=8.49，顯著高于Müller-Putz等人為兩類BCI計(jì)算的95%的概率上限(T=78，p<0.01，rrb=1)。然而，我們?cè)谠诰€條件下沒有觀察到顯著差異(M=61，SD=14.89，T=6，P=0.107)。同時(shí)，這兩種情況都顯著高于50%的機(jī)會(huì)水平(校準(zhǔn)：t=78，p<0.001，rrb=1；在線：t=31，p<0.001，rrb=0.72)。表給出了校準(zhǔn)和在線會(huì)話中所有參與者的平均分類精度結(jié)果。

用戶滿意度

用戶對(duì)系統(tǒng)的交互整體滿意度平均為6分，接近滿分11分的“非常滿意”評(píng)分。調(diào)查發(fā)現(xiàn)，在交互中得分的方面是安全性和易用性。對(duì)于系統(tǒng)的其余方面，評(píng)分平均為5級(jí)以上，包括調(diào)節(jié)性、尺寸、可靠性、重量和舒適性。

結(jié)論

根據(jù)感興趣的區(qū)域?qū)ρ鲃?dòng)力學(xué)變化進(jìn)行分類，可以識(shí)別出注意力增強(qiáng)和放松程度。

在實(shí)驗(yàn)中，頭戴式顯示設(shè)備和移動(dòng)fNIRS交互的總體用戶滿意度較高。

此外，開源實(shí)時(shí)數(shù)據(jù)處理軟件中的信號(hào)處理方式可以為未來的腦機(jī)接口和神經(jīng)反饋研究提供框架。

便攜式fNIRS和虛擬現(xiàn)實(shí)系統(tǒng)在更自然條件下研究認(rèn)知過程是可行的。

參考文獻(xiàn):

Zapa?a, D., Augustynowicz, P., & Tokovarov, M. (2022). Recognition of Attentional States in VR Environment: An fNIRS Study. Sensors, 22(9), 3133.

相關(guān)產(chǎn)品

免責(zé)聲明

凡本網(wǎng)注明“來源：化工儀器網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-化工儀器網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：化工儀器網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明自其他來源（非化工儀器網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問題，請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。

虛擬現(xiàn)實(shí)環(huán)境中的注意力與狀態(tài)識(shí)別

免責(zé)聲明

聯(lián)系我們

關(guān)注我們