以采用OpenCV的contrib中提供的兩種性別識別方法:EigenFace和FisherFace。另外，基于語音的情緒和性別識別，用以根據(jù)人的語音進行車內(nèi)人員的情緒識別，以及根據(jù)語音進行車內(nèi)人員的性別識別；結(jié)果輸入融合模塊103;所述根據(jù)人的語音進行車內(nèi)人員的情緒識別，包括:語音中的“關(guān)鍵聲學特征”，然后將這些關(guān)鍵聲音特征與設(shè)定的分類系統(tǒng)進行對照，從而判斷說話者的情緒。通過語音進行的情緒識別共可以分為5種基本情緒:快樂、憂傷、平和、恐懼和憤怒。
[0041]對結(jié)果進行融合包括，用以將所述性別識別的結(jié)果進行匹配并發(fā)送到個性化智能語音交互系統(tǒng)，以及用以將所述情緒識別的結(jié)果進行融合并發(fā)送到個性化智能語音交互系統(tǒng)；融合后進行個性化智能語音交互;在融合時通過將經(jīng)過語音識別的情緒和性別與通過表情識別的情緒和性別結(jié)果進行融合，得到的融合結(jié)果后會發(fā)送至個性化智能語音交互系統(tǒng)進行用以進行下一步語音交互，這樣一來提升性別/情緒識別的精準度。比如，基于語音的情緒和性別識別中檢測得到的結(jié)果為，性別:男，情緒:快樂，在基于圖像的情緒和性別識別中檢測得到的結(jié)果為，性別:男，情緒:愉悅，則認為性別和情緒的識別相符，融合結(jié)果即相符，可以進行個性化智能語音交互。比如，在基于語音的情緒和性別識別中檢測得到的結(jié)果為，性別:男，情緒:平和，而在基于圖像的情緒和性別識別中檢測得到的結(jié)果為，性別:女，情緒:平和，則融合結(jié)果不相符，不進行語音交互。在進行個性化智能語音交互時，根據(jù)接收到的匹配結(jié)果和融合結(jié)果進行語音交互，進行融合后的結(jié)果將與所述個性化智能語音交互的結(jié)果中的語音交互信息進行匹配。如果對當前情緒狀態(tài)的判定結(jié)果為不良情緒狀態(tài)，則啟動個性化智能語音交互中的比如，音樂播放單元，按照個性化音樂庫中預設(shè)好的音樂曲目進行播放，通過音樂將駕駛員的不良情緒狀態(tài)調(diào)整為良性情緒狀態(tài)，間接促使駕駛員采用趨向安全的駕駛行為，從而實現(xiàn)主動輔助駕駛安全的功能。作為本實施例中優(yōu)選，比如，還可以采用智能語音交互單元，按照設(shè)定的情緒談話語境，通過采用個性化語音服務進行情緒疏導，將駕駛員的不良情緒狀態(tài)調(diào)整為良性情緒狀態(tài)。
[0042]作為本實施例中的優(yōu)選，可以采用車載終端中的前置的攝像頭，用以檢索實際場景交通事件和交通信號，并顯示在導航界面上實現(xiàn)場景和導航顯示結(jié)合。具體地，在一些實施例中，根據(jù)采集識別出來當前所處的車道，在導航地圖中匹配出車道位置，并結(jié)合導航指令，給出用戶更加精準地提醒，比如，導航指示前方需要從右側(cè)出口駛出，如果檢測到當前車輛在右邊車道，則不需要提示向右并線。如果檢測到當前車輛在左側(cè)車道，則應提醒并線操作。如果檢測到車輛在最左側(cè)車道，應該在距離路口較遠時候就提醒并線。通過前置攝像頭，能夠?qū)崟r檢測前方交通事件以及交通信號，智能提醒駕駛員進行并道、轉(zhuǎn)彎等。在一些實施例中，車輛行駛到一紅綠燈路口時，通過攝像頭采集得到的根據(jù)紅綠燈的狀態(tài)，提醒駕駛員等待或者行駛。當紅綠燈狀態(tài)發(fā)生變化時，提醒駕駛員執(zhí)行特定操作。通過上述的方式可以有效地克服了目前可見的導航實現(xiàn)中，沒有考慮到紅綠燈狀態(tài)，可能會遇到在紅燈的時候聽到“請直行”的提示，造成導航不能夠虛實結(jié)合的缺陷。
[0043]圖2是圖1中的顯示組件的結(jié)構(gòu)示意圖。
[0044]在本實施例中，顯示組件包括，投影模塊1011、成像裝置1012和反射裝置1013，所述投影模塊1011，用以發(fā)射光線;所述成像裝置1012，用以接收所述投影模塊1011的發(fā)射光線，并通過兩次反射后將畫面進行成像，并發(fā)射到投影模塊1011;所述反射裝置1013，用以將所述畫面成像放大后再成像。由于在成像裝置1012中，通過兩次反射后將畫面進行成像，并發(fā)射到投影模塊1011，能有效減短產(chǎn)品的長度，同時，能有效的降低HUD整體的工作高度，以使得產(chǎn)品能適配更多的車型。通過二次反射來實現(xiàn)所述發(fā)射裝置即微型光機在反射裝置中的背透膜上成像。具體地，在本實施例中，所述反射裝置1013可以包括反射屏，其中所述反射屏為兩面具有相同的曲率的光學透鏡，且內(nèi)弧面鍍膜的反射率高于外弧面鍍膜的反射率。作為本實施例中的優(yōu)選，所述反射屏的內(nèi)弧面的反射率是30%，外弧面的反射率1%，保證駕駛員看車外有70%透光率的正常影像，同時，在所述內(nèi)弧面上有30%的光線反射到駕駛員眼睛，可將所述畫面成像放大成虛像。作為本實施例中的優(yōu)選，所述成像裝置1012包括:第一發(fā)射鏡、第二反射鏡和成像膜，所述第一反射鏡傾斜設(shè)置在所述光源的出口處，所述第二反射鏡與所述第一發(fā)射鏡拼接，同樣傾斜設(shè)置。由于所述成像裝置1012包括:第一發(fā)射鏡、第二反射鏡和成像膜，其中成像膜采用特殊的疊層設(shè)計，這樣兼顧了白天和晚上的不用亮度需求要求，同時能避免用戶能看到成像膜的背景顏色。所述成像膜沿一側(cè)的邊緣與所述第二反射鏡拼接，其中，述成像膜包括:背膠板、光學反射鏡片、光學透明膠板、擴散膜，所述光學反射鏡片與光學透明膠板貼合后，通過背膠板和擴散膜緊壓固定，所述光學反射鏡面是用以調(diào)節(jié)高度的玻璃片或者PET反光片，所述光學反射鏡片在朝著所述擴散膜的方向上設(shè)置有反射鍍膜，或者所述擴散膜為背投成像膜。在一些實施例中，所述投影模塊1011為微型投影儀、微型攝像儀。
[0045]圖3是圖1中圖像采集組件的結(jié)構(gòu)示意圖。
[0046]所述圖像采集組件包括，第一攝像裝置1021，第二攝像裝置1022，駕駛員狀態(tài)監(jiān)測系統(tǒng)1023，駕駛環(huán)境監(jiān)測系統(tǒng)1024，所述第一攝像裝置1021，用以獲取駕駛員行車狀態(tài)信息，所述第二攝像裝置1022，用以獲取車輛周圍的狀態(tài)信息，所述駕駛員狀態(tài)監(jiān)測系統(tǒng)1023，用以根據(jù)第一攝像裝置1022獲取的信息進行駕駛員狀態(tài)監(jiān)控;所述駕駛環(huán)境監(jiān)測系統(tǒng)1023，用以根據(jù)第二攝像裝置1022獲取的車輛周圍狀態(tài)進行駕駛環(huán)境監(jiān)測。
[0047]具體地，在本實施例中第一攝像裝置1021，用以獲取駕駛員行車狀態(tài)信息，第二攝像裝置1022，用以獲取車輛周圍的狀態(tài)信息，駕駛員狀態(tài)監(jiān)測系統(tǒng)1024:可以包括手勢識別模塊，駕駛員身份識別模塊，疲勞駕駛檢測模塊，用以根據(jù)第一攝像裝置獲取的信息進行駕駛員狀態(tài)監(jiān)控;所述手勢識別模塊用以對駕駛員的手勢進行識別，駕駛員的手勢包括但不限于:五指手掌(張開)、一根食指、握拳、剪刀手、五指手掌(合攏)、“0K”手勢等手勢靜止狀態(tài)。通過所述的手勢，能夠?qū)崿F(xiàn)自由接聽來電或者拒絕來電，播放或者切換音樂臺，回復或者查看微信等聊天軟件。所述駕駛員身份識別模塊，用以識別駕駛員的身份信息，身份信息的包括:駕駛員是否為車主自己、駕駛員的性別、駕駛員的駕駛習慣(座位的高度、距離等)。所述疲勞駕駛檢測模塊，用于檢測駕駛員是否在進行疲勞駕駛，可以先進行駕駛員身份認證，根據(jù)駕駛員在當前時段的視頻影像，通過人臉識別，對當前正在駕駛車輛的駕駛員身份進行認證;同步地進行駕駛時間累計，根據(jù)駕駛員的身份認證結(jié)果，獲取駕駛員的駕駛時間記錄;還包括，表情狀態(tài)提取，根據(jù)駕駛員在當前時段的視頻影像，提取駕駛員在當前時段的表情狀態(tài);還包括，肢體狀態(tài)提取，根據(jù)駕駛員在當前時段的視頻影像，提取駕駛員在當前時段的肢體狀態(tài);還包括，路況信息收集，根據(jù)場景攝像頭在當前時段拍攝的視頻影像，獲取駕駛員駕駛車輛周邊的環(huán)境信息；最后進行車輛操控狀態(tài)提取，結(jié)合路況信息以及車輛的駕駛狀態(tài)，提取駕駛員在當前時段對車輛的操控狀態(tài);綜上，以當前時段累計駕駛時間作為駕駛員表情狀態(tài)、肢體狀態(tài)和車輛操控狀態(tài)的時間戳，更新跟蹤駕駛員行駛狀態(tài)變化的數(shù)據(jù)，分析更新數(shù)據(jù)中駕駛員的狀態(tài)變化，判斷當前時刻駕駛員是否處于疲勞駕駛。通過人臉識別，跟蹤駕駛員面部表情和肢體動作隨時間推移，呈現(xiàn)出從正常狀態(tài)到疲勞狀態(tài)變化，譬如閉眼時間變長，低頭頻次增加等;跟蹤駕駛員車輛操控狀態(tài)是否隨時間下降，譬如方向盤轉(zhuǎn)動方差變大等，以此檢測駕駛員是否處于疲勞駕駛狀態(tài)。
[0048]具體地，在本實施例中駕駛環(huán)境監(jiān)測系統(tǒng)1023:可以包括檢測當前車輛是否偏離車道模塊、檢測行車前方是否有行人模塊、前車的行車距離是否存在碰撞距離內(nèi)模塊，用以根據(jù)第二攝像裝置獲取的車輛周圍狀態(tài)進行駕駛環(huán)境監(jiān)測;所述檢測當前車輛是否偏離車道模塊，用以檢測行駛過程中的車輛是否偏離了車道，可以按照BLIS盲區(qū)監(jiān)測系統(tǒng)進行檢測，并通過設(shè)置在后視鏡的支柱上有并線提醒燈來提醒駕駛員。所述檢測行車前方是否有行人模塊106，用以根據(jù)碰撞距離來進行行人距離判斷，若大于碰撞距離，則不進行預警，若小于碰撞距離，則需要進行預警。所述前車的行車距離是否存在碰撞距離內(nèi)模塊，用以根據(jù)碰撞距離來進行前車距離計算，并進行預警，可以通過攝像頭采集前車的信息，并且可以與其它方式進行配合。
[0049]更進一步，在本實施例中可根據(jù)情緒和性別檢測結(jié)果，進行個性化內(nèi)容推薦。所述個性化內(nèi)容推薦基于多通道反饋，不限于語音。
[0050]比如，識別結(jié)果“男車主，疲勞”，則可以通過與智能穿戴設(shè)備或者設(shè)置在車內(nèi)座椅上的裝置進行振動調(diào)節(jié)，來緩解駕駛者的生理疲勞狀態(tài)。又或者，識別結(jié)果“女車主，疲勞”，則可以通過設(shè)置在車內(nèi)的香味發(fā)生裝置，提供多種芳香味道的香氣來緩解駕駛者情緒。
[0051]圖4是圖1中智能抬頭顯示系統(tǒng)中傳感器組件的結(jié)構(gòu)示意圖。
[0052]在本實施例中的傳感器組件103包括:光照感應裝置1031，用于獲取駕駛環(huán)境中的光照值;其中還包括，采集單元1032，用以檢測車內(nèi)光照亮度，用戶偏好單元1033，用以設(shè)置用戶偏好，自調(diào)節(jié)單元1034，用以根據(jù)上述的光照亮度采集得到光線強度信號進行自調(diào)節(jié)以及用以根據(jù)上述的用戶偏好設(shè)置亮度偏好進行自調(diào)節(jié)；顯示單元1035，用于顯示自調(diào)節(jié)亮度。
[0053]本領(lǐng)域技術(shù)人員能夠明了，所述光照感應裝置1031，用于獲取駕駛環(huán)境中的光照值;本領(lǐng)域技術(shù)人員能夠明了，光照感應裝置1031可以采用光照感應器，或者光敏元件。
[0054]所述傳感器組件103還包括，手勢監(jiān)測識別模塊1036，用以對駕駛者進行手勢檢測，根據(jù)所述手勢識別出觸發(fā)動作信息，語音監(jiān)聽識別模塊1037，用以對駕駛者進行語音消息監(jiān)聽，根據(jù)所述語音消息識別出喚醒語音信息，按鍵監(jiān)測模塊1038，用以對關(guān)聯(lián)的按鍵進行監(jiān)控，若監(jiān)控到按鍵觸發(fā)信息，則進行匹配，喚醒模塊1039，用以對