基于患者表情識(shí)別的病房輔助醫(yī)護(hù)系統(tǒng)及輔助醫(yī)護(hù)方法
【技術(shù)領(lǐng)域】 [0001] ：本發(fā)明涉及一種本發(fā)明涉及機(jī)器視覺(jué)和圖像處理領(lǐng)域，尤其是一種基 于痛苦表情識(shí)別的病房輔助醫(yī)護(hù)系統(tǒng)以及表情特征提取和特征選擇方法。
[0002]
【背景技術(shù)】：在醫(yī)學(xué)技術(shù)飛速發(fā)展的今天，醫(yī)療工作者以及科研人員一直致力于為 我們的健康保駕護(hù)航，攻克了許多頑疾。但是，醫(yī)院在保證高標(biāo)準(zhǔn)的臨床醫(yī)療水平的同時(shí)， 為患者提供一個(gè)安全、貼心、周到、人性化的病房護(hù)理環(huán)境和條件，為患者提供更完善的醫(yī) 療服務(wù)變得越來(lái)越重要。安全高效的病房醫(yī)護(hù)系統(tǒng)，逐漸成為衡量醫(yī)院醫(yī)護(hù)質(zhì)量的新標(biāo)準(zhǔn)。 尤其，在重癥監(jiān)護(hù)室以及進(jìn)行恢復(fù)治療的患者和行走不便的患者病房中，如果適逢患者出 現(xiàn)異常反應(yīng)或者嚴(yán)重并發(fā)癥發(fā)作，病房又無(wú)人看護(hù)的情況，患者可能會(huì)因此失去最佳治療 時(shí)機(jī)而危及健康，甚至對(duì)生命造成了巨大的威脅。

【發(fā)明內(nèi)容】
：
[0003] 發(fā)明目的：本發(fā)明提供一種基于患者表情識(shí)別的病房輔助醫(yī)護(hù)系統(tǒng)及輔助醫(yī)護(hù)方 法，其目的在于解決以往所存在的問(wèn)題
[0004] 技術(shù)方案：本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：
[0005] -種基于患者表情識(shí)別的病房輔助醫(yī)護(hù)系統(tǒng)，其特征在于：此系統(tǒng)分為三層，采集 層、識(shí)別層和應(yīng)用層，采集層連接識(shí)別層，識(shí)別層連接應(yīng)用層。
[0006] 采集層為工業(yè)相機(jī)，識(shí)別層包括表情數(shù)據(jù)庫(kù)構(gòu)建模塊、表情圖像預(yù)處理模塊、表情 特征提取模塊、表情識(shí)別模塊和識(shí)別結(jié)果傳輸模塊；表情數(shù)據(jù)庫(kù)構(gòu)建模塊連接表情圖像預(yù) 處理模塊，表情圖像預(yù)處理模塊連接表情特征提取模塊，表情特征提取模塊連接表情識(shí)別 模塊，表情識(shí)別模塊連接識(shí)別結(jié)果傳輸模塊。
[0007] 如上所述的基于患者表情識(shí)別的病房輔助醫(yī)護(hù)系統(tǒng)所實(shí)施的基于患者表情識(shí)別 的病房輔助醫(yī)護(hù)方法，其特征在于：該方式能夠?qū)崟r(shí)獲取病房患者表情信息、及時(shí)提醒醫(yī)護(hù) 人員患者發(fā)出痛苦表情；
[0008] 該方法利用采集層對(duì)病人表情進(jìn)行采集，將患者表情數(shù)據(jù)和信息傳輸?shù)椒?wù)器端 進(jìn)tx儲(chǔ)存；
[0009] 之后利用識(shí)別層將服務(wù)器端存儲(chǔ)的原始視頻圖像信息進(jìn)行表情識(shí)別，并將表情識(shí) 別結(jié)果存入患者表情數(shù)據(jù)庫(kù)；
[0010] 然后利用應(yīng)用層通過(guò)Internet讀取服務(wù)器端患者表情數(shù)據(jù)庫(kù)數(shù)據(jù)，對(duì)原始的表 情信息進(jìn)行加工整理。
[0011] 應(yīng)用層對(duì)表情信息進(jìn)行加工整理包括：患者信息創(chuàng)建、表情監(jiān)控視頻實(shí)時(shí)查看、表 情數(shù)據(jù)可視化顯示、患者痛苦表情報(bào)警提醒和患者表情變化統(tǒng)計(jì)分析。
[0012] 采集層進(jìn)行患者表情的采集和傳輸，在無(wú)人看護(hù)的病房里，按照固定角度架設(shè)安 裝工業(yè)相機(jī)，利用工業(yè)相機(jī)拍攝患者表情信息，拍攝視場(chǎng)選為600X800mm，人臉區(qū)域面積 為300cm2，以拍攝患者躺著的圖像為主，同時(shí)兼顧患者坐起來(lái)的圖像，病人坐著的物距是 2. 15m，病人躺著的物距是2. 59m，將千兆網(wǎng)相機(jī)拍攝的表情信息，傳輸并存儲(chǔ)在服務(wù)器端。
[0013] 識(shí)別層進(jìn)行患者表情信息的存儲(chǔ)和識(shí)別，利用識(shí)別層進(jìn)行表情數(shù)據(jù)庫(kù)構(gòu)建、表情 圖像預(yù)處理、表情特征提取、表情識(shí)別和識(shí)別結(jié)果傳輸。
[0014] 表情圖像預(yù)處理流程步驟如下：
[0015] (1)將患者每分鐘視頻分解成單幀圖像，取出病房患者的視頻序列的一幀圖像作 為處理對(duì)象，針對(duì)單幀包含正面人臉的靜態(tài)圖像進(jìn)行表情進(jìn)行識(shí)別；
[0016] (2)針對(duì)視頻序列中單幀圖像的進(jìn)行圖像預(yù)處理，利用OpenCV圖像處理軟件 Adaboost人臉檢測(cè)算法的結(jié)合模塊，選取擴(kuò)展的Haar特征，實(shí)現(xiàn)表情區(qū)域分割；
[0017] (3)將表情區(qū)域圖像灰度化，并利用象素關(guān)系重采樣將表情區(qū)域圖像幾何歸一化 成統(tǒng)一的100X100的圖片；
[0018] (4)采用直方圖均衡方法對(duì)表情區(qū)域圖像進(jìn)行光線歸一化，以部分消除光線和光 照強(qiáng)度的影響。
[0019] 識(shí)別層的表情特征提取處理流程步驟如下：
[0020] (1)對(duì)原始表情區(qū)域圖像進(jìn)行Gabor小波變換。選取5個(gè)尺度和8個(gè)角度的二維 Gabor濾波器組，對(duì)標(biāo)準(zhǔn)大小的IOOX 100的純臉表情圖像與Gabor核函數(shù)進(jìn)行卷積運(yùn)算，其 輸出結(jié)果為復(fù)數(shù)，將復(fù)數(shù)的實(shí)部作為表情圖像的Gabor特征；
[0021 ] (2)利用角度差分二值編碼方法，對(duì)原始的40張 Gabor特征圖進(jìn)行集成，將V角度 下的5個(gè)尺度Gabor特征圖作為信源，用Gu, v (X，y)表示Gabor特征圖，（u e (〇,…，4)， V e (〇, ...，7)，u表示尺度，V表示角度），按照公式（1)依次計(jì)算相鄰兩幅Gabor特征圖 Gu,v對(duì)應(yīng)像素點(diǎn)的像素值Gu,v (X，y)的差值，其中X的表示Gabor特征圖橫坐標(biāo)，y表示Gabor 特征圖縱坐標(biāo)，用山,>，y)表示差值，其中i e (〇, ...，4)，V e (〇, ...，7)，i表示尺度， V表示角度，共得出5個(gè)差值；
[0023] (3)根據(jù)公式⑵得到y(tǒng))對(duì)應(yīng)的二進(jìn)制編碼，用t1>v(X，y)表示二進(jìn)制編 碼，其中ve (〇，...，7)，1表示尺度^表示角度。
[0025] (4)將計(jì)算得出的5個(gè)二進(jìn)制編碼ti>v(x，y)，其中i e (〇, . . .，4)，i表示尺度， 按照i從小到大，分別對(duì)應(yīng)二進(jìn)制數(shù)的低位到高位，剩余二進(jìn)制數(shù)位全置為〇,構(gòu)成該像素 點(diǎn)（X，y)的8位二進(jìn)制數(shù)，X表示橫坐標(biāo)，y表示縱坐標(biāo)，最后根據(jù)公式（3)將該8位二進(jìn) 制數(shù)轉(zhuǎn)化成十進(jìn)制數(shù)，作為該像素點(diǎn)的角度差分二值編碼值，用DCAv (X，y)表示角度差分二 值編碼值，V表示角度；
[0027] (5)依照上述算法構(gòu)成了 8個(gè)角度的差分二值編碼圖像，用00乂表示差分二值編 碼圖像，V e (〇, ...，7)，V表示角度，從左到右，依次是0，1，2,3,4,5,6,7角度的差分二值 編碼圖；
[0028] (6)通過(guò)對(duì)每張集成Gabor特征圖表情識(shí)別效果進(jìn)行對(duì)比統(tǒng)計(jì)和分析，根據(jù)每張 集成Gabor特征圖對(duì)每類(lèi)表情的識(shí)別率以及平均識(shí)別率，發(fā)現(xiàn)8張角度的差分二值編碼圖 中的6角度差分二值編碼圖，3角度差分二值編碼圖，2角度差分二值編碼圖和1角度差分 二值編碼圖對(duì)表情識(shí)別率最高，因此選擇上述四張角度差分二值編碼圖進(jìn)行拼接，轉(zhuǎn)換成 一個(gè)行向量作為最終的特征向量。
[0029] 表情識(shí)別時(shí)，采用稀疏表示分類(lèi)器（sparse representation classifier，SRC)進(jìn) 行表情識(shí)別，稀疏表示分類(lèi)器的過(guò)完備字典由140個(gè)訓(xùn)練樣本相應(yīng)的特征向量組成，訓(xùn)練 樣本包含10個(gè)人的表情圖片，每個(gè)人有7種表情，每種表情有2張圖片，將厭惡、生氣、悲 傷、恐懼表情定義為痛苦表情，快樂(lè)、中性、驚訝表情作為非痛苦表情。
[0030] 應(yīng)用層采用B/S結(jié)構(gòu)，構(gòu)建供給病房醫(yī)護(hù)人員使用的系統(tǒng)客戶端，為病房醫(yī)護(hù)人 員提供簡(jiǎn)單友好的人機(jī)交互界面，通過(guò)Internet讀取服務(wù)器端患者表情數(shù)據(jù)庫(kù)，對(duì)原始的 表情信息進(jìn)行加工整理，客戶端支持患者信息創(chuàng)建、表情監(jiān)控視頻實(shí)時(shí)查看、表情數(shù)據(jù)可視 化顯示、患者痛苦表情報(bào)警提醒、患者表情變化統(tǒng)計(jì)分析：
[0031] 利用患者信息創(chuàng)建功能幫助醫(yī)護(hù)人員能夠登記患者的病房號(hào)、病床號(hào)、個(gè)人基本 信息、入院日期、手術(shù)時(shí)間、服藥信息和時(shí)間、表情視頻開(kāi)始拍攝時(shí)間、患者的主治醫(yī)師信 息、護(hù)理患者的醫(yī)護(hù)人員信息以及醫(yī)囑信息；
[0032] 利用表情視頻實(shí)時(shí)查看功能實(shí)時(shí)查看一個(gè)或多個(gè)病房患者表情視頻，也能讀取指 定時(shí)間段內(nèi)的表情視頻；
[0033] 利用患者信息查詢和更新功能在查看并修改所關(guān)注患者表情視頻和表情變化曲 線的同時(shí)，查看所關(guān)注患者的相關(guān)信息，包括病房號(hào)、病床號(hào)、個(gè)人基本信息、入院日期、手 術(shù)時(shí)間、服藥信息和時(shí)間、表情視頻開(kāi)始拍攝時(shí)間、患者的主治醫(yī)師信息、負(fù)責(zé)患者的醫(yī)護(hù) 人員信息以及醫(yī)囑信息；
[0034] 利用表情數(shù)據(jù)可視化顯示功能進(jìn)行動(dòng)態(tài)更新患者表情信息曲線，將患者每時(shí)每刻 的表情信息進(jìn)行可視化顯示，并按照查詢患者手術(shù)結(jié)束或服藥過(guò)后固定時(shí)間段的表情變化 信息；
[0035] 患者痛苦表情報(bào)警提醒功能，當(dāng)某個(gè)病人出現(xiàn)痛苦表情或者異常反應(yīng)時(shí)，病人的 圖標(biāo)變色閃爍，并配有提示音，提醒醫(yī)護(hù)人員及時(shí)查看患者相關(guān)信息。當(dāng)情況嚴(yán)重時(shí)，醫(yī)護(hù) 人員能夠及時(shí)親臨相應(yīng)的患者床邊查看患者身體狀況并采取相應(yīng)措施；
[0036] 利用患者表情變化統(tǒng)計(jì)分析功能，當(dāng)醫(yī)院進(jìn)行會(huì)診以及病例分析過(guò)程時(shí)，醫(yī)護(hù)人 員能調(diào)取病人的表情數(shù)據(jù)的統(tǒng)計(jì)信息，將表情變化數(shù)據(jù)作為輔助數(shù)據(jù)，結(jié)合患者的病例，深 入分析患者病情以及如何更好地提高醫(yī)療質(zhì)量。
[0037] 優(yōu)點(diǎn)及效果：為了提高醫(yī)護(hù)質(zhì)量，輔助醫(yī)護(hù)人員為病人提供更加優(yōu)質(zhì)的醫(yī)護(hù)服務(wù)。 本發(fā)明提出了一種實(shí)時(shí)獲取病房患者表情信息、及時(shí)提醒醫(yī)護(hù)人員患者發(fā)出痛苦表情的基 于患者表情識(shí)別的病房輔助醫(yī)護(hù)系統(tǒng)。
[0038] 由于在患者出現(xiàn)異常反應(yīng)，患者面部會(huì)出現(xiàn)痛苦表情，其中痛苦表情包括厭惡、恐 懼、悲傷表情。如果醫(yī)護(hù)人員能夠?qū)崟r(shí)接收患者的痛苦表情信息，那么醫(yī)護(hù)人員能夠根據(jù)病 房患者的表情變化，重點(diǎn)關(guān)注病房中發(fā)出痛苦表情患者的身體狀況