本發(fā)明涉及虛擬駕駛相關領域，具體為一種高沉浸感人機交互的虛擬駕駛車輛測試系統(tǒng)。

背景技術：

1、在目前的虛擬駕駛車輛測試領域，主要集中于評估車輛的硬件性能和軟件功能，如傳感器精度、數(shù)據(jù)處理速度及自動化控制系統(tǒng)的效率。盡管如此，車輛與駕駛員或乘客之間的人機交互(hmi)系統(tǒng)往往沒有獲得充分的關注。這一系統(tǒng)是提高車輛可靠性和乘客體驗的關鍵因素。

2、人機交互系統(tǒng)涵蓋所有使用戶能夠與車輛互動的技術，包括觸控界面、語音命令系統(tǒng)和安全警告機制等。一個高效的人機交互系統(tǒng)不僅能提升乘客的安全感，也能增強用戶對自動駕駛技術的信任，并改善乘坐體驗。例如，直觀的用戶界面能幫助用戶清晰了解車輛狀態(tài)和預計行為，而高效的語音交互系統(tǒng)能在需要時提供即時幫助。

3、因此，開發(fā)一個高沉浸感的人機交互測試系統(tǒng)變得至關重要。這種測試系統(tǒng)需要能夠模擬現(xiàn)實生活中的各種場景，包括常規(guī)操作和緊急情況下的用戶反應。利用虛擬現(xiàn)實(vr)或增強現(xiàn)實(ar)技術，可以創(chuàng)造出一個既控制又富有真實感的測試環(huán)境，允許測試者全面評估交互設計是否人性化，是否能在關鍵時刻有效提供支持。

4、此外，一個先進的人機交互測試系統(tǒng)還應該包括用戶體驗(ux)的綜合評估。通過分析用戶在模擬環(huán)境中的行為、生理反應和反饋，可以評估用戶的滿意程度和交互界面的易用性。這種方法不僅有助于識別和解決潛在的交互問題，還能提高虛擬駕駛車輛的整體可靠性和市場接受度。這種測試平臺的研發(fā)和完善，對于推動虛擬駕駛車輛技術的商業(yè)化和普及化具有重要意義。

技術實現(xiàn)思路

1、本發(fā)明的目的在于提供一種高沉浸感人機交互的虛擬駕駛車輛測試系統(tǒng)，以解決上述背景技術中提出的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：一種高沉浸感人機交互的虛擬駕駛車輛測試系統(tǒng)，包括：虛擬現(xiàn)實模塊、數(shù)據(jù)庫輸入模塊、人機交互模塊、控制系統(tǒng)模塊和數(shù)據(jù)記錄與分析模塊，所述虛擬現(xiàn)實模塊：用于創(chuàng)建虛擬駕駛環(huán)境，包括城市道路、高速高架公路、鄉(xiāng)村道路若干個種駕駛場景，所述虛擬現(xiàn)實模塊采用高分辨率顯示屏，以實現(xiàn)沉浸感視覺體驗；

3、所述數(shù)據(jù)庫輸入模塊：通過數(shù)據(jù)庫中的數(shù)據(jù)組合成車輛周圍環(huán)境信息，并生成詳細的環(huán)境模型；

4、人機交互模塊：包括駕駛員輸入設備，具體為方向盤、踏板、觸摸屏；反饋設備，具體為力反饋系統(tǒng)、振動系統(tǒng)，用于實現(xiàn)駕駛員與系統(tǒng)之間的互動；

5、控制系統(tǒng)模塊：用于處理虛擬現(xiàn)實模塊和多傳感器融合模塊的數(shù)據(jù)，并根據(jù)人機交互模塊的輸入進行實時控制車輛的行為；

6、用于記錄測試過程中的控制系統(tǒng)模塊和人機交互模塊數(shù)據(jù)，并對數(shù)據(jù)進行分析，用于優(yōu)化人機交互設計和提升虛擬駕駛車輛的性能。

7、優(yōu)選的，所述虛擬現(xiàn)實模塊具體包括以下內(nèi)容：

8、a、虛擬現(xiàn)實模塊包括以下組件：高分辨率顯示設備：高清巨幕顯示器，提供逼真的視覺效果；計算設備：高性能計算機或服務器，用于生成和渲染虛擬環(huán)境；音頻輸出設備：高保真音響系統(tǒng)或耳機，提供三維空間音效增強沉浸感；

9、b、虛擬現(xiàn)實模塊通過以下步驟創(chuàng)建虛擬駕駛環(huán)境：場景建模：利用3d建模軟件創(chuàng)建詳細的駕駛場景，包括城市道路、高速高架公路和鄉(xiāng)村道路，場景中應包括交通標志、行人、其他車輛和自然環(huán)境元素；紋理與光照：采用高分辨率的紋理和先進的光照技術渲染場景，增強視覺的真實性和細節(jié)；物理模擬：集成物理引擎，具體采用nvidia?physx模擬真實的物理現(xiàn)象，如碰撞、摩擦力和天氣變化，提高環(huán)境的互動性和可靠性；

10、c、虛擬駕駛環(huán)境包含多種駕駛場景，以滿足不同測試需求，具體為：城市道路：復雜的交通狀況，包括十字路口、紅綠燈、行人過街；高速高架公路：高速度下的車道變化、超車、緊急剎車情況；鄉(xiāng)村道路：狹窄道路、急轉(zhuǎn)彎、崎嶇路面條件。

11、優(yōu)選的，所述數(shù)據(jù)庫輸入模塊包括以下內(nèi)容：

12、a、數(shù)據(jù)庫內(nèi)的數(shù)據(jù)采集構(gòu)成：激光雷達模擬數(shù)據(jù)：用于高精度的3d點云數(shù)據(jù)生成；雷達模擬數(shù)據(jù)：用于模擬在惡劣條件下測量速度和距離數(shù)據(jù)；攝像頭模擬數(shù)據(jù)；用于提供高分辨率的視覺信息，識別顏色、紋理和形狀細節(jié)，其中視覺信息通過rgb攝像頭采集數(shù)據(jù)、深度攝像頭采集數(shù)據(jù)、紅外攝像頭采集數(shù)據(jù)構(gòu)成；

13、b、數(shù)據(jù)收集：激光雷達模擬數(shù)據(jù)：采用高頻率掃描收集點云數(shù)據(jù)，形成三維環(huán)境模型，具體掃描頻率采用10hz-20hz之間；雷達模擬數(shù)據(jù)：收集反射信號，計算物體的位置、距離和相對速度；攝像頭模擬數(shù)據(jù)：通過立體視覺或結(jié)構(gòu)光技術獲取深度信息，捕捉二維圖像和視頻數(shù)據(jù)，用于物體識別、區(qū)域監(jiān)測和輔助導航；

14、c、數(shù)據(jù)處理：

15、數(shù)據(jù)預處理：激光雷達模擬數(shù)據(jù)：濾除噪聲點和異常數(shù)據(jù)，提高點云的質(zhì)量；雷達模擬數(shù)據(jù)：信號處理及目標檢測，具體通過fft分離不同物體；攝像頭模擬數(shù)據(jù)：圖像預處理，具體通過去噪、白平衡和圖像增強；

16、同步與校準：時間同步：保證激光雷達模擬數(shù)據(jù)、雷達模擬數(shù)據(jù)和攝像頭模擬數(shù)據(jù)在同一時間基準上；空間校準：基于車輛參考系對激光雷達模擬位置、雷達模擬位置和攝像頭模擬位置進行空間校準，確保數(shù)據(jù)融合的準確性；標定工具：利用標定板、激光校準器工具進行精確標定；

17、d、數(shù)據(jù)信息融合：

18、數(shù)據(jù)庫數(shù)據(jù)的融合：使用幾何變換將不同傳感器的數(shù)據(jù)投影到同一坐標系下，具體為激光雷達的點云數(shù)據(jù)與攝像頭的圖像數(shù)據(jù)進行配準，并通過多幀融合構(gòu)建高精度的3d模型，使用slam算法進行實時建圖和定位；

19、數(shù)據(jù)結(jié)構(gòu)管理：點云數(shù)據(jù)處理：利用八叉樹數(shù)據(jù)結(jié)構(gòu)快速處理激光雷達點云數(shù)據(jù)，實現(xiàn)物體檢測及場景理解；圖像處理：采用卷積神經(jīng)網(wǎng)絡進行攝像頭采集圖像特征提取和目標識別；雷達模擬數(shù)據(jù)處理：對雷達的頻域和時域數(shù)據(jù)處理，檢測和跟蹤移動目標；

20、e、環(huán)境模型生成：基于攝像頭模擬數(shù)據(jù)和雷達模擬數(shù)據(jù)形成的二維柵格圖，形成二維環(huán)境模型，用于平面上的路徑規(guī)劃；基于激光雷達的點云數(shù)據(jù)和攝像頭的深度信息生成三維模型，創(chuàng)建氧格格圖和數(shù)字高程圖，提高環(huán)境感知精度。

21、優(yōu)選的，所述數(shù)據(jù)庫數(shù)據(jù)的融合中激光雷達的點云數(shù)據(jù)與攝像頭的圖像進行配準的具體步驟如下：

22、步驟s1、攝像頭內(nèi)參標定：使用標定板拍攝多張圖片，通過opencv工具進行標定，獲得攝像頭內(nèi)參矩陣k和畸變系數(shù)\mathbfxv3r9jzsqg，具體公式如下：

23、

24、其中(fx，fy)是焦距，(cx，cy)是主點坐標；

25、步驟s2、激光雷達與攝像頭外參標定：通過配準標定板，同時獲取點云和圖像數(shù)據(jù)，進行手動或自動配準，計算兩者之間的外參變換矩陣\mathbf{r}和平移向量\mathbf{t}，具體計算公式如下：

26、

27、步驟s3、點云數(shù)據(jù)處理：通過統(tǒng)計濾波、半徑濾波方法，移除點云中的離群點和噪聲點；使用體素濾波方法降低點云數(shù)據(jù)密度，提高處理效率；

28、步驟s4、將處理好的激光雷達的點云數(shù)據(jù)投影到攝像頭的圖像平面上，其中點云坐標(\mathbf{p}{lidar}{pmatrix}x{lidar}&y{lidar}&z{lidar}&1{pmatrix}t)表示在激光雷達坐標系中的點，具體為：

29、使用外參矩陣\mathbf{t}將激光雷達點云坐標轉(zhuǎn)換為攝像頭坐標系\mathbf{p}{cam}：

30、[\mathbf{p}{cam}＝\mathbf{t}·\mathbf{p}{cam}]

31、投影到圖像平面，使用攝像頭內(nèi)參矩陣k：[\mathbf{p}{img}＝\mathbf{k}·\mathbf{p}{cam}]，其中(\mathbf{p}{cam}{pmatrix}x{cam}&y{cam}&z{cam}{pmatrix}t)；

32、最后將齊次坐標轉(zhuǎn)換為圖像像素坐標(u，v)，并進行歸一化：[u＝\frac{x{cam}}{z{cam}}，\quad?v＝\frac{y{cam}}{z{cam}}]；

33、步驟s5、在圖像中繪制投影點：根據(jù)上一步得到的像素坐標(u，v)，將對應的點云點繪制在圖像上，對點云中的深度或者強度進行顏色編碼，疊加到圖像以增強展示效果，再從圖像上獲取該點的rgb值，并賦予點云對應點顏色，實現(xiàn)點云的彩色顯示。

34、優(yōu)選的，所述人機交互模塊具體包括以下內(nèi)容：

35、駕駛員輸入設備：方向盤：用于控制車輛的轉(zhuǎn)向，其中方向盤上設置有角度傳感器、電子助力轉(zhuǎn)向系統(tǒng)和力反饋裝置，具體的，通過角度傳感器獲取方向盤的轉(zhuǎn)動角度；電子助力轉(zhuǎn)向系統(tǒng)提供輔助轉(zhuǎn)向力，減少駕駛員操作的力度；通過力反饋電機向駕駛員傳遞路面信息，如碰撞和摩擦等，使駕駛感覺更真實；踏板：包括油門踏板和剎車踏板，用于控制車輛的加速和減速，其中踏板上設置有位置傳感器和線控系統(tǒng)，位置傳感器用于檢測踏板位置，線控系統(tǒng)用于代替?zhèn)鹘y(tǒng)機械控制，提升相應速度和精度；觸摸屏：用于交互式顯示和用戶輸入；

36、反饋設備：力反饋系統(tǒng)：通過電機或致動器向方向盤施加反向力矩，模擬路面反饋和操縱穩(wěn)定性，在踏板上增加反作用力，提供真實的踩踏感；振動反饋系統(tǒng)：通過座椅下的振動電機或執(zhí)行器提供震動反饋，方向盤內(nèi)置振動裝置，用于提醒駕駛員注意；視覺反饋：將導航、速度重要信息投影到擋風玻璃上，使駕駛員無需低頭查看儀表盤，通過lcd或oled顯示器提供車輛狀態(tài)和警告信息；聽覺反饋：通過車載揚聲器提供語音導航、警告和操作提示，過蜂鳴器或揚聲器發(fā)出警告音。

37、優(yōu)選的，控制系統(tǒng)模塊具體包括以下內(nèi)容：

38、數(shù)據(jù)處理與集成：虛擬現(xiàn)實模塊數(shù)據(jù)處理：將虛擬現(xiàn)實模塊的數(shù)據(jù)數(shù)換為被車輛控制系統(tǒng)所識別和處理的格式；數(shù)據(jù)庫輸入模塊數(shù)據(jù)處理：同步來自數(shù)據(jù)庫中激光雷達模擬數(shù)據(jù)、雷達模擬數(shù)據(jù)和攝像頭模擬數(shù)據(jù)，確保時間和空間一致性，使用卡爾曼濾波算法對上述同步數(shù)據(jù)進行融合，提高數(shù)據(jù)質(zhì)量和準確性；

39、實時控制邏輯：人機交互數(shù)據(jù)解析：解析駕駛員通過駕駛員輸入設備表達的操作意圖；決策與執(zhí)行：根據(jù)人機交互數(shù)據(jù)解析收集來的數(shù)據(jù)、多傳感器融合模塊數(shù)據(jù)和預設的行車策略，計算機算法決定車輛最優(yōu)行駛方案；

40、人機協(xié)同：駕駛員意圖反饋：通過儀表盤、hud方式，實時反饋實時控制邏輯的識別結(jié)果和操作意圖給駕駛員，確保駕駛員了解車輛狀態(tài)和即將執(zhí)行的操作；手動和自動駕駛切換：在自動駕駛和手動駕駛之間平滑切換，確保駕駛安全和舒適。

41、優(yōu)選的，所述根據(jù)人機交互數(shù)據(jù)解析收集來的數(shù)據(jù)和預設的行車策略，計算機算法決定車輛最優(yōu)行駛方案的具體步驟如下：

42、步驟a、首先從人機交互數(shù)據(jù)解析中獲取數(shù)據(jù)，其中具體包括車輛位置信息、攝像頭模擬數(shù)據(jù)、雷達模擬數(shù)據(jù)和激光雷達模擬數(shù)據(jù)，還有車輛速度、加速度、方向盤角度數(shù)據(jù)；

43、步驟b、對步驟a中收集的數(shù)據(jù)對車輛周圍環(huán)境進行建模，具體使用擴展卡爾曼濾波器進行建模：

44、[\hat{x}{t}＝f(\hat{x}{t-1}，u{t-1})+w{t-1}]

45、[zt＝h(\hat{x}t)+vt]

46、其中，\hat{x}{t}是當前狀態(tài)估計，u{t-1}是上一時刻的控制輸入，f是狀態(tài)轉(zhuǎn)移函數(shù)，w{t-1}是過程噪聲，zt是當前觀測，h是觀測函數(shù)，vt是觀測噪聲；

47、步驟c、基于環(huán)境模型和車輛的多傳感器融合模塊數(shù)據(jù)，通過rrt路徑規(guī)劃算法計算出從車輛當前位置到目標位置的最佳路徑；

48、步驟d、得到最佳路徑后使用pid算法生產(chǎn)具體的控制指令，得到最優(yōu)行駛方案，具體算法公式如下：

49、[u(t)＝kpe(t)+ki∫e(t)dt+kd\frac{de(t){dt}}]

50、其中，u(t)是控制輸入，e(t)是速度誤差，kp、ki、kd是pid控制器的增益。

51、優(yōu)選的，本發(fā)明提供一種電子設備，包括：處理器和存儲器，其中，所述存儲器中存儲有可供處理器調(diào)用的計算機程序；

52、所述處理器通過調(diào)用所述存儲器中存儲的計算機程序，執(zhí)行以實施一種高沉浸感人機交互的虛擬駕駛車輛測試系統(tǒng)。

53、優(yōu)選的，一種存儲在計算機可讀介質(zhì)上的計算機程序產(chǎn)品，包括計算機可讀程序，供于電子裝置上執(zhí)行時，提供用戶輸入接口以實施一項所述的一種高沉浸感人機交互的虛擬駕駛車輛測試系統(tǒng)。

54、與現(xiàn)有技術相比，本發(fā)明的有益效果是：

55、1、提升車輛可靠性：通過全面測試人機交互系統(tǒng)，可以發(fā)現(xiàn)并解決潛在的交互問題，從而提高虛擬駕駛車輛的整體可靠性和安全性。

56、2、改善用戶體驗：優(yōu)化的人機交互系統(tǒng)將使乘客更容易理解車輛狀態(tài)和操作，提升用戶對技術的信任感，從而改善乘車體驗。

57、3、增強市場接受度：一個高效、人性化的人機交互系統(tǒng)將提高虛擬駕駛車輛的市場接受度，促進其商業(yè)化和普及化進程。

58、4、提高安全性：及時、有效的交互系統(tǒng)可以在緊急情況下提供必要的支持和信息，從而增強乘客的安全感，減少事故發(fā)生的可能性。

59、5、推動技術創(chuàng)新：通過對用戶行為和反饋的綜合評估，可以為交互設計提供寶貴的反饋，推動虛擬駕駛車輛技術的持續(xù)創(chuàng)新和發(fā)展。

60、總的來說，人機交互測試系統(tǒng)的開發(fā)將有助于提高虛擬駕駛車輛的整體性能和用戶體驗，推動這一領域的發(fā)展并促進其商業(yè)應用。