機器人的人臉檢測與情感識別系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種機器人的人臉檢測及情感識別系統(tǒng)及方法，該系統(tǒng)包括：人臉表情庫采集模塊，利用視頻采集裝置采集大量人臉表情彩色圖像幀，進行處理后生成人臉表情庫；原始表情庫構建模塊,利用人臉表情庫的訓練圖像，對訓練圖像去除圖像冗余信息后進行表情特征提取，形成原始表情特征庫；特征庫重構模塊，使用基于距離哈希法將原始表情特征庫重構為結構化的哈希表；現(xiàn)場表情特征提取模塊，利用視頻采集裝置采集現(xiàn)場人臉表情彩色圖像幀，并進行現(xiàn)場表情特征提??；表情識別模塊，將該現(xiàn)場表情特征模塊提取的現(xiàn)場表情特征在重構后的特征庫中利用k近鄰分類算法來識別人臉表情，通過本發(fā)明，可提升家居機器人的家庭監(jiān)控和陪護能力。
【專利說明】機器人的人臉檢測與情感識別系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及智能機器人【技術領域】，特別是涉及一種用于智能機器人的機器人的人臉檢測與情感識別系統(tǒng)及方法。
【背景技術】
[0002]現(xiàn)有的家庭服務機器人的人臉識別能力有限，尤其是情感識別能力非常有限，無法對家庭中老人或者兒童的情感狀態(tài)進行全方位的識別，比如中國專利申請CN200720077448.9描述了一種具有人臉識別的智能機器人，其包括:具有腿部電機、手臂電機、脖子電機及喇叭的機器人本體；裝設在所述機器人本體上且用于攝取人臉圖像的攝像裝置；以及用于將所述攝像裝置攝取的人臉圖像與預先存儲的人臉圖像進行比較以識別所攝取的人臉圖像的人臉識別單元；中國專利申請201220365083.0描述了一種人臉識別的安保機器人，其由安保機器人本體、安裝在所述安保機器人本體表面用于攝取人臉圖像的攝像裝置、裝在所屬安保機器人本體內部且用于將所述攝像裝置攝取的人臉圖像與預先存儲的人臉圖像進行比較識別的人臉識別模塊、用于處理數(shù)據(jù)且向其它模塊發(fā)送指令的數(shù)據(jù)處理模塊、用于供使用者發(fā)出指示以使安保機器人執(zhí)行安防動作的遠程遙控模塊組成，這兩件專利申請中的人臉識別模塊，僅僅通過所述攝像裝置攝取的人臉圖像與預先存儲的人臉圖像進行比較以識別所攝取的人臉圖像，但識別能力有限，特別是針對存儲較多人臉圖像時，無法有效完成人臉的識別。
[0003]另外，中國實用新型專利CN201120506957.5則提供了一種助老與助殘機器人，其包括一個能夠旋轉的單目視覺系統(tǒng)、用于識別生活用品和來訪客人以及障礙物體、一雙用于實現(xiàn)人手動作的五指形仿人機械手和用于驅動機器人行走的三角聯(lián)動輪驅動結構該助老與助殘機器人盡管具有防盜監(jiān)測、安全檢查、監(jiān)護診療、輔助行走、物品搬運、家電控制、清潔衛(wèi)生、家庭娛樂、報時催醒、兒童教育等功能，但沒有人臉檢測和情感識別的功能，無法對家庭中的老人和孩子的狀態(tài)進行有效識別。
[0004]綜上所述，現(xiàn)有針對家庭機器人應用的人臉檢測和情感識別系統(tǒng)主要由可移動攝像頭和固定攝像頭組成，只是單純實現(xiàn)人臉識別系統(tǒng)，智能化程度有限，并且無法感知周圍其他信息，不能對老人和孩子的情感狀態(tài)進行綜合分析，從而進行全方位的陪護服務。因此，實有必要提出一種技術手段，以解決上述問題。

【發(fā)明內容】

[0005]為克服上述現(xiàn)有技術存在的不足，本發(fā)明之主要目的在于提供一種機器人的人臉檢測與情感識別系統(tǒng)及方法，其使得機器人成為能夠進行人臉識別和情感識別的家庭監(jiān)控機器人，實現(xiàn)了通過機器人提供老人情感狀態(tài)監(jiān)護和兒童的陪護的目的，提升了家居機器人的家庭監(jiān)控和陪護能力。
[0006]為達上述及其它目的，本發(fā)明提出一種機器人的人臉檢測及情感識別系統(tǒng)，至少包括:人臉表情庫采集模塊，利用視頻采集裝置采集大量人臉表情彩色圖像幀，將其預處理后，利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位并進行人臉旋轉，最后利用人臉幾何結構特征對表情區(qū)精確定位，生成存儲用于表情特征提取的訓練圖像集的人臉表情庫；
原始表情庫構建模塊，利用人臉表情庫的訓練圖像，對訓練圖像去除圖像冗余信息后進行表情特征提取，并將表情特征保存為文件形成原始表情特征庫；
特征庫重構模塊，使用基于距離哈希法將原始表情特征庫重構為結構化的哈希表；
現(xiàn)場表情特征提取模塊，從該視頻采集裝置采集現(xiàn)場人臉表情彩色圖像幀進行預處理后，利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位，并進行人臉旋轉，利用人臉幾何結構特征對表情區(qū)精確定位，生成現(xiàn)場人臉表情圖像，并對現(xiàn)象人臉表情圖像進行現(xiàn)場表情特征提?。?br> 表情識別模塊，將該現(xiàn)場表情特征模塊提取的現(xiàn)場表情特征在重構后的表情特征庫中利用K近鄰分類算法來識別人臉表情。
[0007]進一步地，該預處理為將彩色圖像幀轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化。
[0008]進一步地，該原始表情庫構建模塊使用主成分分析法降維去除圖像冗余信息，進行表情特征提取。
[0009]進一步地，該視頻采集裝置為攝像頭，設置于該機器人的頭部，其位置改變受控于該機器人的頭部運動裝置。
[0010]進一步地，該攝像頭設置于該機器人的頭部眼球中。
[0011]為達到上述目的，本發(fā)明還提供一種機器人的人臉檢測及情感識別方法，包括如下步驟:
步驟一，從視頻采集裝置采集大量人臉表情彩色圖像幀，將其預處理后，利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位并進行人臉旋轉，最后利用人臉幾何結構特征對表情區(qū)精確定位，生成存儲用于表情特征提取的訓練圖像集的人臉表情庫；步驟二，利用人臉表情庫的訓練圖像，去除圖像冗余信息后進行表情特征提取，并將表情特征保存為文件形成原始表情特征庫；
步驟三，使用基于距離哈希法將原始表情特征庫重構為結構化的哈希表；
步驟四，從該視頻采集裝置中采集現(xiàn)場人臉表情彩色圖像幀，將其預處理后，進行人臉檢測、人眼檢測、人臉旋轉并利用人臉幾何結構特征對表情區(qū)精確定位，生成現(xiàn)場人臉表情;
步驟五，利用現(xiàn)場人臉表情圖像，去除圖像冗余信息，進行現(xiàn)場表情特征提取；
步驟六，將現(xiàn)場提取的表情特征在重構的表情特征庫中利用K近鄰分類算法識別人臉表情。
[0012]進一步地，該預處理為將彩色圖像幀轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化。
[0013]進一步地，于步驟二及步驟五中，使用主成分分析法降維去除圖像冗余信息后，進行表情特征提取。
[0014]進一步地，利用主成分分析法進行特征提取是把該訓練圖像集轉換為特征集，其中每一個主成分對應一個特征值，特征值越大其對應的主成分就越重要，按特征值從大到小的順序選擇一定數(shù)目的主成分構造表情特征。
[0015]進一步地，于步驟三中，基于距離哈希法將原始表情特征庫重構為結構化的哈希表的步驟為創(chuàng)建個長度為的哈希表，將每一個表情特征分別插入到該個哈希表中，將此哈希表作為檢索數(shù)據(jù)庫。
[0016]與現(xiàn)有技術相比，本發(fā)明一種機器人的人臉檢測及情感識別系統(tǒng)及方法通過訓練表情提取、訓練表情特征提取、重構表情特征、現(xiàn)場表情提取、現(xiàn)場表情特征提取及表情識別等步驟，使得機器人成為能夠進行人臉識別和情感識別的家庭監(jiān)控機器人，實現(xiàn)了通過機器人提供老人情感狀態(tài)監(jiān)護和兒童的陪護的目的，提升了家居機器人的家庭監(jiān)控和陪護能力。
【專利附圖】

【附圖說明】
[0017]圖1為本發(fā)明所應用之機器人的的系統(tǒng)架構圖；
圖2為本發(fā)明之較佳實施例中機器人的結構設置示意圖；
圖3為本發(fā)明一種機器人的人臉檢測及情感識別系統(tǒng)的系統(tǒng)架構圖；
圖4為本發(fā)明較佳實施例中訓練表情庫主成分示意圖；
圖5為本發(fā)明較佳實施例中訓練表情庫平均圖像示意圖圖6為本發(fā)明一種機器人的人臉檢測與情感識別方法的步驟流程圖；
圖7為本發(fā)明一種機器人的人臉檢測與情感識別方法所采用的實驗系統(tǒng)界面示意圖。
【具體實施方式】
[0018]以下通過特定的具體實例并結合【專利附圖】

【附圖說明】本發(fā)明的實施方式，本領域技術人員可由本說明書所揭示的內容輕易地了解本發(fā)明的其它優(yōu)點與功效。本發(fā)明亦可通過其它不同的具體實例加以施行或應用，本說明書中的各項細節(jié)亦可基于不同觀點與應用，在不背離本發(fā)明的精神下進行各種修飾與變更。
[0019]在介紹本發(fā)明之人臉檢測與情感識別系統(tǒng)之前，先對本發(fā)明所應用之機器人的結構進行描述。圖1為本發(fā)明所應用之機器人的的系統(tǒng)架構圖。如圖1所示，本發(fā)明所應用之機器人包括主控系統(tǒng)210、運動裝置220、頭部動作裝置230、人機交互系統(tǒng)240、視頻采集模塊250、無線收發(fā)模塊260、語音采集模塊270、里程測量裝置280及遙控接收器290，主控系統(tǒng)210控制機器人其他各部分協(xié)調工作，包括硬件和軟件兩部分，硬件由DSP、MCU等組成，軟件上可劃分為路徑規(guī)劃模塊、障礙物檢測、人臉檢測、情感檢測、環(huán)境檢測、異常檢測、里程信息以及信息融合模塊，人臉檢測和情感識別連接視頻采集裝置1，用于采集人臉信息和識別人的喜怒哀樂等表情，環(huán)境感知和異常檢測連接視頻采集模塊2，主要用于感知外部環(huán)境和檢測外部環(huán)境異常信息，里程信息連接里程信息測量裝置280，以取得里程信息，障礙物檢測連接超聲波傳感器，用于檢測外部障礙物到機器人的距離，信息融合將外部視頻采集模塊、語音采集模塊、超聲波傳感器、電量檢測及充電模塊采集到的信息及里程信息進行融合，以判斷機器人該進行充電還是繼續(xù)服務，是否需要規(guī)避障礙物，是否需要響應召喚命令；運動裝置220包括底盤驅動器、電機驅動模塊、直流電機M1/M2、驅動輪1/2及傳動機構、萬向輪、電池組、超聲波傳感器、電量檢測及充電模塊，運動裝置主要用于接收主控系統(tǒng)210命令以驅動機器人行走，在行走過程中完成超聲波測距并回饋給主控系統(tǒng)210以進行后續(xù)控制，在服務過程中及時檢測電池電量并回饋給主控系統(tǒng)210以判斷是否需要進行充電；頭部動作裝置230包括頭部控制器、舵機1/2及傳動結構，用于接收主控系統(tǒng)210的命令進行頭部俯仰和左右旋轉，由頭部帶動安裝于頭部的視頻采集裝置1/2的單目攝像頭1/2的運動以獲取圖像信息，在本發(fā)明中，舵機1負責控制機器人脖子的俯仰轉動，舵機2控制頭部的左右轉動，從而可以控制眼球(視頻采集裝置1和視頻采集裝置2)的轉動；人機交互系統(tǒng)240連接主控系統(tǒng)210，其包括顯示屏、鍵盤、發(fā)音系統(tǒng)等常用輸入輸出設備，以利于顯示機器人狀態(tài)和人工輸入信息命令；視頻采集模塊250包含視頻采集裝置1和視頻采集裝置2，視頻采集裝置1包含一普通單目攝像頭及其采集電路，用于獲取人臉檢測和情感識別所需信息，視頻采集裝置2包含一廣角單目攝像頭及其采集電路，用于獲取環(huán)境感知和異常檢測所需信息，視頻采集模塊安裝于機器人頭部，其位置改變受控于頭部運動裝置230 ;無線收發(fā)模塊260在主控系統(tǒng)210控制下通過通信網絡向用戶(主人)發(fā)送信息和接收命令；語音采集模塊270采集外界語音信息至主控系統(tǒng)210以判斷是否語音信息或命令；里程測量裝置280用于測量行走里程并將里程信息上傳給主控系統(tǒng)210進行處理。
[0020]圖2為本發(fā)明之較佳實施例中機器人的結構設置示意圖。在本發(fā)明較佳實施例中，主控系統(tǒng)通過通訊模塊控制步進電機控制系統(tǒng)控制機器人的左右手臂和頭部轉動，主控系統(tǒng)之人臉檢測與情感識別模塊通過USB接口獲取攝像頭1所采集的人臉信息和識別人的喜怒哀樂等表情，環(huán)境檢測模塊通過USB接口獲取獲環(huán)境感知和異常檢測所需信息，主控系統(tǒng)通過分線器連接連接多個麥克(語音采集裝置)采集外界語音信息以判斷是否語音信息或命令；主控系統(tǒng)與底盤控制器連接，通過底盤控制器控制下位機控制系統(tǒng)以控制左右輪電機運動，同時利用超聲波檢測器進行超聲波避障路徑規(guī)劃，并控制電量檢測及充電模塊進行電量檢測及自動充電。
[0021]圖3為本發(fā)明一種機器人的人臉檢測及情感識別系統(tǒng)的系統(tǒng)架構圖。如圖3所示，本發(fā)明一種機器人的人臉檢測及情感識別系統(tǒng)，至少包括人臉表情庫采集模塊30、原始表情特征庫構建模塊31、特征庫重構模塊32、現(xiàn)場表情特征提取模塊33以及表情識別模塊34。
[0022]其中，人臉表情庫采集模塊30從視頻采集裝置1 (攝像頭)中采集大量人臉表情圖像幀(彩色圖像幀)，將其轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化后(預處理)，分別利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位，并進行人臉旋轉，最后利用人臉幾何結構特征對表情區(qū)精確定位，生成用于表情特征提取的訓練圖像集——人臉表情庫。
[0023]在本發(fā)明較佳實施例中，人臉幾何結構特征主要包括:“三庭五眼”?！叭ノ逖邸笔侨藗兺ㄟ^長期觀察總結出的人臉長與寬的一般標準比例。人臉從上到下由三個等長區(qū)域組成:發(fā)際線到眉毛，眉毛到鼻尖，鼻尖到下顎，這就是“三庭”;從左到右由五個等寬區(qū)域組成:左發(fā)際線到左外眼角，左外眼角到左內眼角，左內眼角到右內眼角，右內眼角到右外眼角，右外眼角到右發(fā)際線，這就是“五眼”。根據(jù)“三庭五眼”理論，可以精確定位眉毛到下顎，左外眼角到右外眼角這一矩形區(qū)域，這就是最終的人臉表情區(qū)域，對表情區(qū)進行精確定位后圖像攜帶的無用信息減少了，這樣不僅會提高表情識別的準確率，還會加快表情識別的速度，生成更有效的訓練圖像集，用于表情特征提取。[0024]原始表情庫構建模塊31利用人臉表情庫的訓練圖像，使用主成分分析法(PCA)降維去除圖像冗余信息，進行表情特征提取，并將表情特征保存為文件形成原始表情特征庫。
[0025]在本發(fā)明較佳實施例中，原始表情特征庫的建立如下:
(1)使用PCA (Principal Component Analysis,主成分分析)提取人臉表情特征。
[0026]對于一副人臉圖像來說，最能體現(xiàn)其表情特征的區(qū)域是嘴巴、眼睛和面頰。若能提取表情最顯著的特征，識別準確率和效率都將有很大的提升。而提取人臉表情特征的一種簡單有效的方法就是主成分分析(PCA)。令，那么一幅的人臉圖像可表示成空間的一個向量，幅人臉圖像組成的訓練集可表示為，即一個的矩陣，其中。PCA的目標是通過一個基變換把原始數(shù)據(jù)X重新表示為7，即。其中是矩陣，是矩陣?；赑CA的特征提取就是把訓練集I轉換為特征集r。其中每一個主成分對應一個特征值，特征值越大其對應的主成分就越重要，按特征值從大到小的順序選擇一定數(shù)目的主成分構造表情特征，能夠在保證較高識別率的前提下盡量降低特征的維度。
[0027]圖4為本發(fā)明較佳實施例中訓練表情庫主成分示意圖，圖5為本發(fā)明較佳實施例中訓練表情庫平均圖像示意圖。如圖4及圖5，本發(fā)明分別針對標準的JAFFE表情庫和針對特定個體采集的表情庫(簡稱個性化庫)進行試驗。JAFFE庫中包含7種表情(6種基本表情+1種平靜態(tài)表情)，共由213幅表情圖片組成，其中140幅用來訓練提取主成分。個性化庫采集了 900幅圖片，其中450幅用來訓練提取主成分。對訓練表情庫進行主成分分析得到的主成分和平均圖像如圖4、圖5所示，其中(a)為JAFFE表情庫，(b)為個性化庫。實驗發(fā)現(xiàn)表情庫的主成分，即特征向量，同人臉檢測的特征臉十分相似。
[0028]特征庫重構模塊32使用基于距離哈希法(DBH)將原始表情特征庫重構為結構化的哈希表，用作提高表情識別效率。
[0029]對上述訓練圖像集進行PCA降維建立原始表情特征庫后，該特征庫是由多個表情特征組成的矩陣，識別時需將待測表情與特征庫中的每一個特征進行相似度比對，當特征庫的規(guī)模較大時識別的效率很低。為了避免在整個表情特征庫中進行相似度比對，本發(fā)明使用基于距離哈希(Distance-Based Hashing, DBH)把特征庫重構為結構化的哈希表，使特征庫中的特征能夠按相似度聚集。這樣就只需在相應桶中進行檢索，達到對原特征庫進行裁剪的目的?；贒BH的人臉表情特征庫重構基本思想是創(chuàng)建個長度為的哈希表，將每一個表情特征分別插入到這個哈希表中，將此哈希表作為檢索數(shù)據(jù)庫。
[0030]現(xiàn)場表情特征提取模塊33將從視頻采集裝置1采集的現(xiàn)場人臉表情彩色圖像幀轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化，然后分別利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位，并進行人臉旋轉，最后利用人臉幾何結構特征對表情區(qū)精確定位，生成現(xiàn)場人臉表情，并使用主成分分析法(PCA)降維去除圖像冗余信息，進行現(xiàn)場表情特征提取，將現(xiàn)場表情特征輸送至表情識別模塊34。
[0031]表情識別模塊34將現(xiàn)場表情特征模塊33提取的現(xiàn)場表情特征在重構后的表情特征庫中利用K近鄰分類算法(Κ-Nearest Neighbor algorithm, KNN)來識別人臉表情，以此來指導機器人對老人和兒童的行為進行預測。
[0032]圖6為本發(fā)明一種機器人的人臉檢測與情感識別方法的步驟流程圖。如圖4所示，本發(fā)明一種機器人的人臉檢測與情感識別方法，包括如下步驟:
步驟601，訓練表情提取。首先從視頻采集裝置(攝像頭)中采集大量人臉表情彩色圖像幀，將其轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化，接著進行利用人臉檢測器、人眼檢測器進行人臉檢測、人眼檢測，并對人臉旋轉，同時利用人臉幾何結構特征對表情區(qū)精確定位，生成用于表情特征提取的訓練圖像集，即建立人臉表情庫。
[0033]步驟602，訓練表情特征提取。利用人臉表情庫的訓練圖像，使用主成分分析法(PCA)降維去除圖像冗余信息，進行表情特征提取，并將表情特征保存為文件形成原始表情特征庫。
[0034]在本發(fā)明較佳實施例中，使用PCA (Principal Component Analysis,主成分分析)提取人臉表情特征。
[0035]對于一副人臉圖像來說，最能體現(xiàn)其表情特征的區(qū)域是嘴巴、眼睛和面頰。若能提取表情最顯著的特征，識別準確率和效率都將有很大的提升。而提取人臉表情特征的一種簡單有效的方法就是主成分分析(PCA)。令，那么一幅的人臉圖像可表示成空間的一個向量，幅人臉圖像組成的訓練集可表示為，即一個的矩陣，其中。PCA的目標是通過一個基變換把原始數(shù)據(jù)X重新表示為7，即。其中是矩陣，是矩陣。基于PCA的特征提取就是把訓練集I轉換為特征集r。其中每一個主成分對應一個特征值，特征值越大其對應的主成分就越重要，按特征值從大到小的順序選擇一定數(shù)目的主成分構造表情特征，能夠在保證較高識別率的前提下盡量降低特征的維度。
[0036]步驟603，重構表情特征。使用基于距離哈希法(DBH)將原始表情特征庫重構為結構化的哈希表，用作提高表情識別效率。
[0037]對上述訓練圖像集進行PCA降維建立原始表情特征庫后，該特征庫是由多個表情特征組成的矩陣，識別時需將待測表情與特征庫中的每一個特征進行相似度比對，當特征庫的規(guī)模較大時識別的效率很低。為了避免在整個表情特征庫中進行相似度比對，本發(fā)明使用基于距離哈希(Distance-Based Hashing, DBH)把特征庫重構為結構化的哈希表，使特征庫中的特征能夠按相似度聚集。這樣就只需在相應桶中進行檢索，達到對原特征庫進行裁剪的目的。基于DBH的人臉表情特征庫重構基本思想是創(chuàng)建個長度為的哈希表，將每一個表情特征分別插入到這個哈希表中，將此哈希表作為檢索數(shù)據(jù)庫。
[0038]步驟604，現(xiàn)場表情提取。從視頻采集裝置(攝像頭)中采集現(xiàn)場人臉表情彩色圖像幀，將其轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化，接著進行人臉檢測、人眼檢測、人臉旋轉并利用人臉幾何結構特征對表情區(qū)精確定位，生成現(xiàn)場人臉表情。
[0039]步驟605，現(xiàn)場表情特征提取，利用現(xiàn)場人臉表情，使用主成分分析法(PCA)降維去除圖像冗余信息，進行現(xiàn)場表情特征提取，并將現(xiàn)場表情特征輸送至表情識別模塊；
步驟606，人臉表情識別，將現(xiàn)場提取的表情特征在重構的表情特征庫中利用K近鄰分類算法(Κ-Nearest Neighbor algorithm, KNN)來識別人臉表情，以此來指導機器人對老人和兒童的行為進行預測。
[0040]以下通過對家庭服務機器人人臉表情識別的實驗對本發(fā)明進一步介紹。
[0041]本發(fā)明所采用的實驗系統(tǒng)界面如圖7所示，主要由7個部分組成:(1)視頻框，用來顯示從攝像頭采集到的視頻圖像、表情庫采集結果和表情識別結果；(2)表情庫采集框，用來控制表情庫的采集；(3)表情識別框，用來控制表情識別；(4)DBH訓練框，用來訓練DBH參數(shù)；(5)表情訓練框，用來控制表情特征庫的訓練；(6)信息框，用來顯示部分運行結果和出錯信息；(7)樣本數(shù)框，用來確定每種表情采集的樣本數(shù)目。
[0042]通過對攝像頭中采集的圖像幀進行一系列處理后，系統(tǒng)可完成高興、悲傷、驚訝、厭惡、生氣、恐懼等6種基本表情的識別。
[0043]綜上所述，本發(fā)明一種機器人的人臉檢測及情感識別系統(tǒng)及方法通過訓練表情提取、訓練表情特征提取、重構表情特征、現(xiàn)場表情提取、現(xiàn)場表情特征提取及表情識別等步驟，使得機器人成為能夠進行人臉識別和情感識別的家庭監(jiān)控機器人，實現(xiàn)了通過機器人提供老人情感狀態(tài)監(jiān)護和兒童的陪護的目的，提升了家居機器人的家庭監(jiān)控和陪護能力。
[0044]上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何本領域技術人員均可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾與改變。因此，本發(fā)明的權利保護范圍，應如權利要求書所列。
【權利要求】
1.一種機器人的人臉檢測及情感識別系統(tǒng)，至少包括:人臉表情庫采集模塊，利用視頻采集裝置采集大量人臉表情彩色圖像幀，將其預處理后，利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位并進行人臉旋轉，最后利用人臉幾何結構特征對表情區(qū)精確定位，生成存儲用于表情特征提取的訓練圖像集的人臉表情庫；原始表情庫構建模塊，利用人臉表情庫的訓練圖像，對訓練圖像去除圖像冗余信息后進行表情特征提取，并將表情特征保存為文件形成原始表情特征庫；特征庫重構模塊，使用基于距離哈希法將原始表情特征庫重構為結構化的哈希表； 現(xiàn)場表情特征提取模塊，從該視頻采集裝置采集現(xiàn)場人臉表情彩色圖像幀進行預處理后，利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位，并進行人臉旋轉，利用人臉幾何結構特征對表情區(qū)精確定位，生成現(xiàn)場人臉表情圖像，并對現(xiàn)象人臉表情圖像進行現(xiàn)場表情特征提??；表情識別模塊，將該現(xiàn)場表情特征模塊提取的現(xiàn)場表情特征在重構后的表情特征庫中利用K近鄰分類算法來識別人臉表情。
2.如權利要求1所述的一種機器人的人臉檢測及情感識別系統(tǒng)，其特征在于:該預處理為將彩色圖像幀轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化。
3.如權利要求1所述的一種機器人的人臉檢測及情感識別系統(tǒng)，其特征在于:該原始表情庫構建模塊使用主成分分析法降維去除圖像冗余信息，進行表情特征提取。
4.如權利要求1所述的一種機器人的人臉檢測及情感識別系統(tǒng)，其特征在于:該視頻采集裝置為攝像頭，設置于該機器人的頭部，其位置改變受控于該機器人的頭部運動裝置。
5.如權利要求4所述的一種機器人的人臉檢測及情感識別系統(tǒng)，其特征在于:該攝像頭設置于該機器人的頭部眼球中。
6.一種機器人的人臉檢測及情感識別方法，包括如下步驟:步驟一，從視頻采集裝置采集大量人臉表情彩色圖像幀，將其預處理后，利用人臉檢測器、人眼檢測器進行人臉檢測與定位及人眼檢測與定位并進行人臉旋轉，最后利用人臉幾何結構特征對表情區(qū)精確定位，生成存儲用于表情特征提取的訓練圖像集的人臉表情庫；步驟二，利用人臉表情庫的訓練圖像，去除圖像冗余信息后進行表情特征提取，并將表情特征保存為文件形成原始表情特征庫；步驟三，使用基于距離哈希法將原始表情特征庫重構為結構化的哈希表；步驟四，從該視頻采集裝置中采集現(xiàn)場人臉表情彩色圖像幀，將其預處理后，進行人臉檢測、人眼檢測、人臉旋轉并利用人臉幾何結構特征對表情區(qū)精確定位，生成現(xiàn)場人臉表情;步驟五，利用現(xiàn)場人臉表情圖像，去除圖像冗余信息，進行現(xiàn)場表情特征提??；步驟六，將現(xiàn)場提取的表情特征在重構的表情特征庫中利用K近鄰分類算法識別人臉表情。
7.如權利要求6所述的一種機器人的人臉檢測及情感識別方法，其特征在于:該預處理為將彩色圖像幀轉變?yōu)榛叶葓D像并使用直方圖均衡化對灰度圖像進行亮度歸一化。
8.如權利要求6所述的一種機器人的人臉檢測及情感識別方法，其特征在于:于步驟二及步驟五中，使用主成分分析法降維去除圖像冗余信息后，進行表情特征提取。
9.如權利要求8所述的一種機器人的人臉檢測及情感識別方法，其特征在于:利用主成分分析法進行特征提取是把該訓練圖像集轉換為特征集，其中每一個主成分對應一個特征值，特征值越大其對應的主成分就越重要，按特征值從大到小的順序選擇一定數(shù)目的主成分構造表情特征。
10.如權利要求6所述的一種機器人的人臉檢測及情感識別方法，其特征在于:于步驟三中，基于距離哈希法將原始表情特征庫重構為結構化的哈希表的步驟為創(chuàng)建個長度為的哈希表，將每一個表情特征分別插入到該個哈希表中，將此哈希表作為檢 索數(shù)據(jù)庫。
【文檔編號】G06K9/62GK103679203SQ201310694112
【公開日】2014年3月26日 申請日期:2013年12月18日 優(yōu)先權日:2013年12月18日
【發(fā)明者】蔡則蘇, 王丙祥, 王玲 申請人:江蘇久祥汽車電器集團有限公司