一種適于視覺終端作業(yè)崗位的多模態(tài)行為分析與監(jiān)控系統(tǒng)的制作方法
【技術領域】
[0001]本實用新型涉及一種適于視覺終端作業(yè)崗位的多模態(tài)行為分析與監(jiān)控系統(tǒng)，屬于人類工效、人機工程、智能系統(tǒng)以及工業(yè)控制系統(tǒng)技術領域。
【背景技術】
[0002]目前，傳統(tǒng)的視覺終端(VDT-Visual Display Terminal)作業(yè)技術是對利用計算機系統(tǒng)的視覺顯示終端進行數(shù)據(jù)、文字、圖像信息處理工作的總稱，是一種以腦力勞動為主的技術形式。視覺終端作業(yè)技術則是專職以視覺顯示終端為工作信息獲取的核心媒介的技術。這種技術的特點是:人員通過視覺關注屏幕與手操輸入設備(如鍵盤、鼠標)相結合的方式來實現(xiàn)與計算機(或機器)共同協(xié)作完成技術任務。
[0003]在工業(yè)自動化、智能化極速發(fā)展的今天，不少關系國家、社會生產(chǎn)重大公共安全的系統(tǒng)中，有相當比例的崗位為視覺終端作業(yè)技術，且有些視覺終端作業(yè)崗位為系統(tǒng)的關鍵任務崗位，作業(yè)任務完成質量直接關系到整個系統(tǒng)的可靠性。例如公共交通運輸系統(tǒng)中的調(diào)度崗位、作戰(zhàn)指揮系統(tǒng)中的可視情報信息監(jiān)測崗位、能源實時輸送系統(tǒng)中的系統(tǒng)運行狀態(tài)監(jiān)控崗位、還有高安全等級場所的安全檢查射線圖像識別崗位，這些都屬于典型的視覺顯示終端作業(yè)崗位范疇，且肩負著關鍵任務。正是基于對這類崗位關鍵性的高度重視，關于崗位的工作績效、工作負荷、工作質量以及由此崗位給系統(tǒng)引入的安全風險等問題備受關注，尤其是在對崗位高危行為的實時辨識與系統(tǒng)風險防范方面的意義更加重大。
[0004]目前，在駕駛安全領域已有關于駕駛員駕駛行為風險識別的相關技術。例如專利號為CN101565036B的實用新型專利提供了一種防疲勞駕駛的方法，通過實時采集駕駛員的圖像信息，分析是否為同一駕駛員，監(jiān)控駕駛員的連續(xù)駕駛時間與眼部開閉狀態(tài)、視線分散度及凝視位置來分析駕駛員的駕駛狀態(tài)，針對疲勞狀態(tài)采取報警及制動措施。
[0005]例如，申請?zhí)枮?01310248710.1的實用新型專利申請?zhí)峁┝艘环N車載實時智能疲勞監(jiān)控及輔助裝置，通過影像采集檢測駕駛員疲勞狀態(tài)，對駕駛員狀態(tài)進行參數(shù)化并對疲勞狀態(tài)進行分級，根據(jù)分級采取干涉指令的相關措施，同時也支持對用戶的疲勞基線進行個性化設置與調(diào)整。
[0006]上述可見，根據(jù)駕駛行為特點，駕駛員的疲勞狀態(tài)是駕駛安全的重點識別、防范狀態(tài)。而針對視覺終端作業(yè)崗位的行為分析、風險識別與智能監(jiān)控就不能僅局限在疲勞狀態(tài)，因為這種崗位人員給系統(tǒng)引入的風險除疲勞外還有一大部分是因為技能水平不夠導致的注意力分布不合理，不能及時發(fā)現(xiàn)狀況并做出快速反應。故針對視覺終端作業(yè)崗位的行為分析應從人-機協(xié)作過程量化分析與評估的角度出發(fā)，形成多模態(tài)信息綜合分析、人-機行為同步監(jiān)測、兼顧風險提醒和績效評估的智能控制系統(tǒng)。
[0007]綜上所述，目前，針對視覺作業(yè)崗位的行為分析與監(jiān)控系統(tǒng)技術及方法尚未發(fā)展，國內(nèi)外均未有提出針對視覺作業(yè)崗位的行為分析與監(jiān)控系統(tǒng)技術的系統(tǒng)與方法。
【實用新型內(nèi)容】
[0008]本實用新型的目的在于提供一種能夠克服上述技術問題的適于視覺終端作業(yè)崗位的多模態(tài)行為分析與監(jiān)控系統(tǒng)，本實用新型通過多種模態(tài)的人體行為與機器響應行為的數(shù)據(jù)獲取，并結合人-機協(xié)作行為綜合量化分析，實現(xiàn)對崗位工作行為的規(guī)范性評估與風險識別，并通過可感知的反饋方式，例如視、聽、觸覺刺激方式對人員進行風險警示以達到行為有效管控的目的。
[0009]本實用新型提供了一種適于視覺終端作業(yè)崗位的多模態(tài)行為分析與監(jiān)控系統(tǒng)，本實用新型的適于視覺終端作業(yè)崗位的多模態(tài)行為分析與監(jiān)控系統(tǒng)是以視覺終端與操作鍵盤為核心的人-機協(xié)作過程的量化監(jiān)測體系系統(tǒng)，其功能是人體操作行為數(shù)據(jù)探測、機器響應行為數(shù)據(jù)獲取、人-機行為數(shù)據(jù)分析、風險預警反饋控制。
[0010]本實用新型的適于視覺終端作業(yè)崗位的多模態(tài)行為分析與監(jiān)控系統(tǒng)包括:眼部跟蹤光電傳感器、面部跟蹤光電傳感器、軀干跟蹤光電傳感器、腕部壓電傳感器、肘部壓電傳感器、臀部壓電傳感器、背部壓電傳感器、視覺終端、操作鍵盤、多通道信息采集與處理設備、反饋控制與接口裝置以及報警器件。
[0011]所述眼部跟蹤光電傳感器、面部跟蹤光電傳感器、軀干跟蹤光電傳感器、腕部壓電傳感器、肘部壓電傳感器、臀部壓電傳感器、背部壓電傳感器以及視覺終端、操作鍵盤均以獨立數(shù)據(jù)線纜和多通道信息采集與處理設備相連。
[0012]所述多通道信息采集與處理設備和反饋控制與接口裝置相連。
[0013]所述反饋控制與接口裝置和報警器件相連。
[0014]其中所述眼部跟蹤光電傳感器、面部跟蹤光電傳感器、軀干跟蹤光電傳感器、腕部壓電傳感器、肘部壓電傳感器、臀部壓電傳感器、背部壓電傳感器用于人體操作行為數(shù)據(jù)探測；所述視覺終端、操作鍵盤用于機器響應行為數(shù)據(jù)獲?。凰龆嗤ǖ佬畔⒉杉c處理設備用于人-機行為數(shù)據(jù)分析；所述反饋控制與接口裝置、報警器件用于風險預警反饋控制。
[0015]所述眼部跟蹤光電傳感器用于獲取人實時視線落點位置數(shù)據(jù)；所述面部跟蹤光電傳感器用于獲取人實時表情變化數(shù)據(jù)；所述軀干跟蹤光電傳感器用于與面部跟蹤光電傳感器配合獲取人實時頭部姿態(tài)數(shù)據(jù)；所述腕部壓電傳感器用于獲取人腕部作用于桌面上的壓力變化數(shù)據(jù)；所述肘部壓電傳感器用于獲取人肘部作用于座椅扶手上的壓力變化數(shù)據(jù)；所述臀部壓電傳感器用于獲取人臀部作用于座椅水平支撐面上的壓力變化數(shù)據(jù)；所述背部壓電傳感器用于獲取人背部作用于座椅豎直支撐面上的壓力變化數(shù)據(jù)。
[0016]所述多通道信息采集與處理設備用于收集所述眼部跟蹤光電傳感器、面部跟蹤光電傳感器、軀干跟蹤光電傳感器、腕部壓電傳感器、肘部壓電傳感器、臀部壓電傳感器、背部壓電傳感器以及視覺終端、操作鍵盤傳入的多模態(tài)信息并進行分析、決策。
[0017]所述反饋控制與接口裝置用于接收多通道信息采集與處理設備得出的決策結果，以工業(yè)標準接口形式與報警器件及外部系統(tǒng)或設備進行信息交互；所述報警器件用于表現(xiàn)報警信息并將運行狀態(tài)信息回傳至反饋控制與接口裝置。
[0018]所述眼部跟蹤光電傳感器、面部跟蹤光電傳感器、軀干跟蹤光電傳感器、腕部壓電傳感器、肘部壓電傳感器、臀部壓電傳感器、背部壓電傳感器以及視覺終端、操作鍵盤均以獨立數(shù)據(jù)線纜與多通道信息采集與處理設備相連，所有數(shù)據(jù)通路為分布式并行信息通道。所述眼部跟蹤光電傳感器、面部跟蹤光電傳感器與軀干跟蹤光電傳感器分別獲取人實時視線落點、表情變化與頭部姿態(tài)信息并傳送至多通道信息采集與處理設備；所述腕部壓電傳感器、肘部壓電傳感器、臀部壓電傳感器及背部壓電傳感器分別獲取人在座時身體的腕、肘、臀、腰部位與相應承重面的作用力數(shù)據(jù)并傳送至多通道信息采集與處理設備；同時，所述視覺終端顯示的內(nèi)容信息同步傳送至多通道信息采集與處理設備；所述操作鍵盤發(fā)出的指令信號同步傳送至多通道信息采集與處理設備；所述多通道信息采集與處理設備集中接收上述傳入的多模態(tài)