基于主成分分析的空中交通管制員疲勞檢測(cè)方法、裝置和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明提供一種集成了面部和語(yǔ)音的空中交通管制員疲勞檢測(cè)系統(tǒng)，屬于圖像處 理與模式識(shí)別技術(shù)領(lǐng)域。 技術(shù)背景
[0002] 目前，針對(duì)管制員疲勞的相關(guān)研究主要從兩個(gè)方面進(jìn)行，即基于面部識(shí)別的管制 員疲勞檢測(cè)，W及基于工作負(fù)荷評(píng)估的管制員疲勞檢測(cè)。前者基于對(duì)管制員面部特征的解 析，得到PER化0S值、平均閉眼時(shí)長(zhǎng)、哈欠頻率等S個(gè)疲勞檢測(cè)指標(biāo)的數(shù)據(jù)，通過(guò)匹配管制 員疲勞判定的=個(gè)指標(biāo)所對(duì)應(yīng)的闊值，對(duì)管制員疲勞進(jìn)行檢測(cè)。而后者基于管制員工作負(fù) 荷評(píng)估研究，自20世紀(jì)70年代W來(lái)陸續(xù)演化出了 =類管制員疲勞檢測(cè)方法，即：（1)根據(jù) 管制員生理、行為特征分析，得出管制工作負(fù)荷強(qiáng)度。如申請(qǐng)?zhí)枮镃N102406507B給出了一 種基于人體生理信號(hào)的駕駛員疲勞監(jiān)測(cè)方法，其通過(guò)采集人體生理信號(hào)，采用主成分分析 方法建立權(quán)重向量，計(jì)算馬氏距離，判斷是否處于疲勞程度；（2)采取觀察和問(wèn)卷形式的主 觀測(cè)評(píng)方法，如ATW口、NASA-TLX量表、SWAT量表和MCH法等；（3)將管制員工作進(jìn)行細(xì)分， 對(duì)于看得見(jiàn)的工作測(cè)計(jì)所消耗的時(shí)間，對(duì)于看不見(jiàn)的工作轉(zhuǎn)化為時(shí)間上的消耗，W時(shí)間度 量方式實(shí)現(xiàn)對(duì)管制員工作負(fù)荷的定量評(píng)估。此類方法包括ICAO推薦的D0RATASK法和MBB 法，W及RAMS法。
[0003] 既有針對(duì)管制員疲勞檢測(cè)的研究，主要存在W下不足：（1)研究方法方面，定性研 究較多，定量研究較少，客觀性不足；（2)檢測(cè)指標(biāo)方面，指標(biāo)維度較為單一，全面性、綜合 性不足；(3)現(xiàn)有研究對(duì)所有管制員采用相同指標(biāo)檢測(cè)標(biāo)準(zhǔn)，忽視了疲勞指標(biāo)的個(gè)體差異 性，檢測(cè)結(jié)果不夠準(zhǔn)確；(4)應(yīng)用性方面，面向空中交通管制單位的實(shí)際工程應(yīng)用少。由于 上述不足，導(dǎo)致目前國(guó)內(nèi)外對(duì)于管制員疲勞檢測(cè)的研究在客觀性、全面性、綜合性、準(zhǔn)確性 和可操作性等方面均有所欠缺。

【發(fā)明內(nèi)容】

[0004]為了克服現(xiàn)有技術(shù)中存在的缺點(diǎn)，本發(fā)明提供一種空中交通管制員疲勞檢測(cè)方 法、裝置、系統(tǒng)，所述方法包括：步驟1，接收實(shí)時(shí)音視頻全數(shù)據(jù)采集裝置獲取的管制席位視 頻監(jiān)控?cái)?shù)據(jù)和陸空通話數(shù)據(jù)；步驟2,對(duì)所述管制席位視頻監(jiān)控?cái)?shù)據(jù)和陸空通話數(shù)據(jù)進(jìn)行 檢測(cè)分析，得到管制員疲勞指標(biāo)檢測(cè)數(shù)據(jù)，包括：PER化0S值、平均閉眼時(shí)長(zhǎng)、打哈欠頻率、 信道占用率、通話次數(shù)、平均音頻、平均音強(qiáng)、扇區(qū)陸空通話關(guān)鍵詞出現(xiàn)率；步驟3,利用管 制員疲勞指標(biāo)檢測(cè)數(shù)據(jù)進(jìn)行主成分分析，確定主成分后，計(jì)算當(dāng)前時(shí)刻管制員疲勞度指數(shù)。
[0005] 優(yōu)選的，接收所述管制席位視頻監(jiān)控?cái)?shù)據(jù)的過(guò)程為，實(shí)時(shí)采集視頻信息，進(jìn)行降 噪、濾波處理后，提取特征值。
[0006] 優(yōu)選的，提取特征值后，與視頻模板庫(kù)中已保存的模板數(shù)據(jù)進(jìn)行匹配，從而對(duì)當(dāng)前 管制員的身份進(jìn)行識(shí)別。
[0007] 優(yōu)選的，其特征在于：接收所述陸空通話數(shù)據(jù)的過(guò)程為，采用電纜線將語(yǔ)音信號(hào) 從配線架引接至語(yǔ)音處理器，當(dāng)檢測(cè)到聲音信號(hào)時(shí)，開(kāi)始錄音，當(dāng)檢測(cè)到?jīng)]有聲音且持續(xù)3 秒，則停止錄音，即完成一次錄音，每完成一次錄音，將聲音信息W音頻文件格式保存。
[0008] 優(yōu)選的，步驟1后還包括將所述管制席位視頻監(jiān)控?cái)?shù)據(jù)和陸空通話數(shù)據(jù)進(jìn)行同步 的步驟，具體為：W視頻數(shù)據(jù)的時(shí)間戳為時(shí)間基準(zhǔn)，播放的過(guò)程中音頻播放線程實(shí)時(shí)接收視 頻播放線程傳輸過(guò)來(lái)的當(dāng)前播放時(shí)間數(shù)據(jù)，并同步調(diào)整音頻播放數(shù)據(jù)，將管制席位視頻監(jiān) 控?cái)?shù)據(jù)和陸空通話數(shù)據(jù)進(jìn)行同步播放，實(shí)現(xiàn)實(shí)時(shí)播放和歷史回放。
[0009] 優(yōu)選的，步驟2中對(duì)所述管制席位視頻監(jiān)控?cái)?shù)據(jù)進(jìn)行檢測(cè)分析，得到的管制員疲 勞指標(biāo)檢測(cè)數(shù)據(jù)包括PER化0S值、平均閉眼時(shí)長(zhǎng)和打哈欠頻率。
[0010] 優(yōu)選的，步驟2中對(duì)所述陸空通話數(shù)據(jù)進(jìn)行檢測(cè)分析，得到的管制員疲勞指標(biāo)檢 測(cè)數(shù)據(jù)包括：信道占用率、通話次數(shù)、平均音頻、平均音強(qiáng)、扇區(qū)陸空通話關(guān)鍵詞出現(xiàn)率。
[0011] 優(yōu)選的，步驟3中包括如下步驟：
[001引步驟3.1:選取變量
[0013] 步驟2通過(guò)檢測(cè)分析得到8項(xiàng)指標(biāo)的檢測(cè)數(shù)據(jù)，對(duì)其進(jìn)行主成分分析，
[0014]W-定時(shí)間為時(shí)間片段，采集上述8項(xiàng)指標(biāo)的輸入值，標(biāo)記當(dāng)前時(shí)間片段為時(shí)間 片段i，其指標(biāo)數(shù)據(jù)記為：
[0015] Xi={x1,j,j=1，2,...，到
[0016] 與之前（i-1)個(gè)時(shí)間片段數(shù)據(jù)組成指標(biāo)樣本集，i〉8;
[0017] 步驟3. 2:數(shù)據(jù)處理
[0018] 將指標(biāo)分為兩類，第一類為正向指標(biāo)（指標(biāo)值越大表示越疲勞），包括PER化0S值， 平均閉眼時(shí)長(zhǎng)，打哈欠頻率、扇區(qū)陸空通話關(guān)鍵詞出現(xiàn)率；第二類為逆向指標(biāo)（指標(biāo)值越小 表示越疲勞），包括信道占用率、通話次數(shù)、平均音頻、平均音強(qiáng)；令第i個(gè)時(shí)間片段的第j 項(xiàng)指標(biāo)的實(shí)際值為Xi, ,，Yi,，為第i個(gè)時(shí)間片段（樣本）無(wú)量綱化處理后的第j項(xiàng)指標(biāo)值， 馬為總計(jì)i個(gè)時(shí)間片段的第j項(xiàng)指標(biāo)的均值，S,為總計(jì)i個(gè)時(shí)間片段的第j項(xiàng)指標(biāo)的標(biāo)準(zhǔn) 差，則對(duì)于正向指標(biāo)，
對(duì)于逆向指標(biāo)，
[0019] 先取其倒數(shù)或取負(fù)獲得正向化過(guò)渡指標(biāo)：
[0020]
[0021] 及其均值V、標(biāo)準(zhǔn)差S，'，
[0022] 再進(jìn)行無(wú)量綱化處理，
[0023] 步驟3. 3:主成分的確定
[0024] 標(biāo)準(zhǔn)化后，8項(xiàng)指標(biāo)的協(xié)方差矩陣構(gòu)成相關(guān)系數(shù)矩陣，計(jì)算相關(guān)系數(shù)矩陣的 特征值A(chǔ)，并按從大到小排序，第j大的特征值A(chǔ),所對(duì)應(yīng)的特征向量e,，e,= (e，,1，e,,2, . ..，e,,s)T，就是指標(biāo)矩陣X的第j個(gè)主成分，因此對(duì)于第i個(gè)時(shí)間片段的樣本 指標(biāo)數(shù)據(jù)的第j個(gè)主成分表示為：
[0025] Yi,j=e"心+ej,2yi,2+. . . +e1切1,8,j= 1，2, . . .，8
[0026] 第j個(gè)主成分的貢獻(xiàn)率為：
[0027]
[002引取m個(gè)主成分，使累計(jì)貢獻(xiàn)率達(dá)到80%W上：
[0029]
[0030] 其中，m是指主成分累計(jì)貢獻(xiàn)率達(dá)到80%W上時(shí)對(duì)應(yīng)的主成分個(gè)數(shù)；
[003。 步驟3. 4 :管制員疲勞度指數(shù)的計(jì)算
[0032] 對(duì)于第i個(gè)時(shí)間片段的樣本指標(biāo)數(shù)據(jù)，結(jié)合計(jì)算得到的主成分及其貢獻(xiàn)率計(jì)算管 制員疲勞度指數(shù)：
[0033]
6
[0034] 優(yōu)選的，步驟4,當(dāng)前時(shí)刻管制員疲勞度指數(shù)若超出一定范圍，則觸發(fā)告警。
[0035] 所述觸發(fā)告警條件為：
[0036] 將各個(gè)時(shí)段的管制員疲勞度指數(shù)由大到小進(jìn)行排序，若當(dāng)前時(shí)間的管制員疲勞度 指數(shù)處于排序結(jié)果的前20%，則觸發(fā)告警。
[0037] -種空中交通管制員疲勞檢測(cè)裝置，包括W下模塊：
[0038] 接收模塊，用于接收實(shí)時(shí)音視頻全數(shù)據(jù)采集裝置獲取的管制席位視頻監(jiān)控?cái)?shù)據(jù)和 陸空通話數(shù)據(jù)；
[0039] 檢測(cè)模塊，用于對(duì)所述管制席位視頻監(jiān)控?cái)?shù)據(jù)和所述陸空通話數(shù)據(jù)進(jìn)行檢測(cè)分 析，得到管制員疲勞指標(biāo)檢測(cè)數(shù)據(jù)；
[0040] 計(jì)算模塊，用于利用管制員疲勞指標(biāo)檢測(cè)數(shù)據(jù)進(jìn)行主成分分析，確定主成分后，計(jì) 算當(dāng)前時(shí)刻管制員疲勞度指數(shù)；
[0041] 告警模塊，用于將各個(gè)時(shí)段的管制員疲勞度指數(shù)由大到小進(jìn)行排序，若當(dāng)前時(shí)間 的管制員疲勞度指數(shù)處于排序結(jié)果的一定范圍內(nèi)，則觸發(fā)告警。
[0042] -種空中交通管制員疲勞檢測(cè)系統(tǒng)，包括：
[0043] 管制席位實(shí)時(shí)音視頻全數(shù)據(jù)采集平臺(tái)：用于進(jìn)行管制席位視頻監(jiān)控?cái)?shù)據(jù)、陸空通 話數(shù)據(jù)的采集和處理；
[0044] 集成面部識(shí)別和陸空通話語(yǔ)音解析的管制員疲勞檢測(cè)數(shù)據(jù)庫(kù)：用于將管制席位實(shí) 時(shí)音視頻全數(shù)據(jù)采集平臺(tái)采集處理的數(shù)據(jù)進(jìn)行歸類和保存，同時(shí)存儲(chǔ)管制員疲勞指標(biāo)檢測(cè) 模塊計(jì)算得到的各項(xiàng)管制員疲勞指標(biāo)檢測(cè)數(shù)據(jù)，及管制員疲勞度告警模塊的計(jì)算及告警結(jié) 果，形成歷史數(shù)據(jù)；
[0045] 管制員疲勞指標(biāo)檢測(cè)模塊：用于對(duì)管制席位實(shí)時(shí)音視頻全數(shù)據(jù)采集