一種基于人臉識別的彈幕點歌方法及系統(tǒng)的制作方法
【專利摘要】一種基于人臉識別的彈幕點歌方法，其包括如下步驟：S1、設置用于盛放彈幕的彈幕容器；預存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景；設置點歌彈幕的通配符；S2、獲取用戶的文字輸入信息；通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉；S3、對檢測到的用戶人臉進行動態(tài)跟蹤；對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別；檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息；S4、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應的應用場景，從應用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關鍵點上；在彈幕容器上的顯示時長、進入位置、運動軌跡；跳轉到步驟S2直至視頻通信結束。
【專利說明】
一種基于人臉識別的彈幕點歌方法及系統(tǒng)
技術領域
[0001]本發(fā)明涉及無線通信技術領域，特別涉及一種基于人臉識別的彈幕點歌方法及系統(tǒng)。
【背景技術】
[0002]隨著移動終端的普及、無線網(wǎng)絡技術日益成熟，現(xiàn)有的語音通話和短信交流方式已經(jīng)不能滿足人們需求，視頻語音聊天業(yè)務越來越被人們所青睞。然而，雖然無線互聯(lián)網(wǎng)蓬勃發(fā)展，用戶量與日劇增，但是移動通訊網(wǎng)絡普及程度仍然不足，移動通訊網(wǎng)絡速度較慢，費用較高，限制用戶實時視頻聊天應用的發(fā)展，此外，移動終端的性能還不高，特別是移動終端攝像頭清晰度不高，也影響視頻聊天業(yè)務的用戶體驗。
[0003]在現(xiàn)有移動終端即時通訊軟件中，一般都實現(xiàn)了視頻或語音聊天的功能。一般的實現(xiàn)方法是，把麥克風和攝像頭錄制語音和視頻，及進行音視頻數(shù)據(jù)壓縮同步處理，通過網(wǎng)絡傳輸后在另一客戶端播放視頻畫面;還有一些采用虛擬攝像頭的方式對視頻圖像進行實時轉換，通過人臉識別技術顯示成虛擬形象視頻數(shù)據(jù)，將生成的視頻數(shù)據(jù)通過網(wǎng)絡傳輸后在另一客戶端播放視頻畫面。
[0004]現(xiàn)有技術中視頻通信方法，通常僅有雙方攝像頭拍攝的實景頭像信息，即時存在能夠在頭像信息上疊加其他圖片，疊加的效果不佳，并且疊加的圖片事先固定，靈活程度不高。同時，現(xiàn)有的即時通信方式為劃分一塊文字聊天區(qū)域，另劃分一塊視頻聊天區(qū)域，用戶需要同時觀看兩個區(qū)域，用戶體驗度不高，并且用戶聊天時的互動性不高。
【發(fā)明內(nèi)容】
[0005]有鑒于此，本發(fā)明提出一種基于人臉識別的彈幕點歌方法及系統(tǒng)。
[0006]—種基于人臉識別的彈幕點歌方法，其包括如下步驟:
51、設置用于盛放彈幕的彈幕容器;配置彈幕載體的基礎參數(shù)，基礎參數(shù)包括顯示時長、進入位置、運動軌跡;設置點歌彈幕的通配符;預存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景；
52、獲取用戶的文字輸入信息;通過攝像頭獲取視頻圖像信息;判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉到步驟S3;如果沒有檢測到人臉，跳轉到步驟SI;
53、對檢測到的用戶人臉進行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種；
54、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應的應用場景，從應用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關鍵點上;根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉到步驟S2直至視頻通信結束。
[0007]在本發(fā)明所述的基于人臉識別的彈幕點歌方法中， 所述步驟S2包括:
獲取用戶的文字輸入信息；
通過攝像頭獲取視頻圖像信息，對視頻圖像信息進行進行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息；
加載特征訓練文件，特征訓練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓練文件判斷處理后的視頻圖像信息中是否包括人臉；
如果檢測到人臉，跳轉到步驟S3;如果沒有檢測到人臉，重復執(zhí)行步驟S2。
[0008]在本發(fā)明所述的基于人臉識別的彈幕點歌方法中，
所述步驟S3包括:
531、對檢測到的人臉進行預處理；
532、設置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組；
533、在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域；
534、對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0009]在本發(fā)明所述的基于人臉識別的彈幕點歌方法中，所述人臉關鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息；
根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)包括:
預先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應的人臉關鍵點的特征信息，特征信息為包括橫向寬度、縱向高度、彎曲角度信息的三維數(shù)據(jù)組；
將采樣的特征信息作為BP神經(jīng)網(wǎng)絡算法的輸入值，通過BP神經(jīng)網(wǎng)絡對輸入值進行訓練獲得心情狀態(tài)判斷模型；
獲取檢測的人臉關鍵點對應的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。
[0010]在本發(fā)明所述的基于人臉識別的彈幕點歌方法中，
所述步驟S4包括:
建立心情狀態(tài)信息與應用場景的映射關系；
獲取步驟S3中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應用場景的映射關系選擇相應的應用場景；
在該應用場景中隨機獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關鍵點上；根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡；
根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；
跳轉到步驟S2直至視頻通信結束。
[0011]本發(fā)明還提供一種基于人臉識別的彈幕點歌系統(tǒng)，其包括如下單元:
預存分類單元，用于設置用于盛放彈幕的彈幕容器;配置彈幕載體的基礎參數(shù)，基礎參數(shù)包括顯示時長、進入位置、運動軌跡;設置點歌彈幕的通配符;預存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景；
人臉檢測單元，用于通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，跳轉執(zhí)行預存分類單元；
跟蹤識別單元，用于獲取用戶的文字輸入信息;對檢測到的用戶人臉進行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種；
渲染單元，用于根據(jù)跟蹤識別單元中的心情狀態(tài)信息選擇相應的應用場景，從應用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關鍵點上;根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉執(zhí)行人臉檢測單元直至視頻通信結束。
[0012]在本發(fā)明所述的基于人臉識別的彈幕點歌系統(tǒng)中，
所述人臉檢測單元包括:
獲取用戶的文字輸入信息；
通過攝像頭獲取視頻圖像信息，對視頻圖像信息進行進行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息；
加載特征訓練文件，特征訓練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓練文件判斷處理后的視頻圖像信息中是否包括人臉；
如果檢測到人臉，跳轉執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，重復執(zhí)行人臉檢測單
J L ο
[0013]在本發(fā)明所述的基于人臉識別的彈幕點歌系統(tǒng)中，
所述跟蹤識別單元包括:
預處理子單元，用于對檢測到的人臉進行預處理；
跟蹤子單元，用于設置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組；
區(qū)域計算子單元，用于在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域；
識別子單元，用于對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點;根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0014]在本發(fā)明所述的基于人臉識別的彈幕點歌系統(tǒng)中，所述人臉關鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息；
根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)包括:
預先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應的人臉關鍵點的特征信息，特征信息為包括橫向寬度、縱向高度、彎曲角度信息的三維數(shù)據(jù)組；
將采樣的特征信息作為BP神經(jīng)網(wǎng)絡算法的輸入值，通過BP神經(jīng)網(wǎng)絡對輸入值進行訓練獲得心情狀態(tài)判斷模型；
獲取檢測的人臉關鍵點對應的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。
[0015]在本發(fā)明所述的基于人臉識別的彈幕點歌系統(tǒng)中，
所述渲染單元包括:
建立心情狀態(tài)信息與應用場景的映射關系；
獲取跟蹤識別單元中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應用場景的映射關系選擇相應的應用場景；
在該應用場景中隨機獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關鍵點上；根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡；
根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；
跳轉執(zhí)行人臉檢測單元直至視頻通信結束。
[0016]實施本發(fā)明提供的基于人臉識別的彈幕點歌方法及系統(tǒng)與現(xiàn)有技術相比具有以下有益效果:首先預存了渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景，并且通過人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種，根據(jù)心情狀態(tài)來選擇合適的渲染動態(tài)圖像到人臉上，使得視頻聊天過程中疊加的圖片符合當時用戶的心情狀態(tài)，提高用戶體驗;此外，對檢測到的用戶人臉進行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別，使得視頻聊天過程中疊加的圖片是實時可變的，靈活性高。此外，通過設置彈幕容器，將用戶的文字輸入信息通過彈幕形式顯示在屏幕上的視頻畫面上，使得用戶在觀看視頻圖像的時候方便觀看用戶的文字信息，顯示效果更好。通過設置點歌彈幕的通配符，使得在用戶的文字輸入信息的格式為“&XXX&”時，則判斷該字幕為點歌字幕，在對方的客戶端上調(diào)用播放器在云端搜索并播放該歌曲，使得聊天互動性更強。
【附圖說明】
[0017]
圖1是本發(fā)明實施例的基于人臉識別的彈幕點歌方法流程圖；
圖2是圖1中步驟S3的子流程圖；
圖3是本發(fā)明實施例的基于人臉識別的彈幕點歌系統(tǒng)結構框圖；
圖4是圖3中跟蹤識別單元的結構框圖。
【具體實施方式】
[0018]
如圖1所示，一種基于人臉識別的彈幕點歌方法，其包括如下步驟:
S1、設置用于盛放彈幕的彈幕容器;配置彈幕載體的基礎參數(shù)，基礎參數(shù)包括顯示時長、進入位置、運動軌跡;設置點歌彈幕的通配符;預存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景。
[0019]渲染動態(tài)圖片可以包括各種頭飾、耳釘、腮紅、各種風格眼鏡、大哭的特效、頭像上黑線的特效圖片等等。應用場景可以劃分為高興場景、憂傷場景以及中立場景。彈幕容器是一個用來裝載并顯示彈幕的布局，所有彈幕必須添加進容器后，才能顯示在屏幕上。
[0020]點歌彈幕的通配符可以事先靈活設置，比如“&XXX&”，其中的“XXX”為欲點歌的歌名。
[0021]S2、獲取用戶的文字輸入信息;通過攝像頭獲取視頻圖像信息;判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉到步驟S3;如果沒有檢測到人臉，跳轉到步驟Sl0
[0022]可選地，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌方法中，
所述步驟S2包括:
獲取用戶的文字輸入信息；
通過攝像頭獲取視頻圖像信息，對視頻圖像信息進行進行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息。通過灰度化和直方圖歸一化處理，可以使得人臉特征更為突出。此外，優(yōu)選地，還可以進行照度校正和光照校正處理，可以削弱側面光源對人臉圖像的干擾以及削弱正面光源對人臉圖像的干擾。
[0023]加載特征訓練文件，特征訓練文件包括邊緣特征、線性特征、中心特征和對角線特征。
[0024]通過adaboost算法以及特征訓練文件判斷處理后的視頻圖像信息中是否包括人臉。Adaboost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然后把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。
[0025]如果檢測到人臉，跳轉到步驟S3;如果沒有檢測到人臉，重復執(zhí)行步驟S2。
[0026]S3、對檢測到的用戶人臉進行動態(tài)跟蹤；對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別；并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0027]通過對檢測到的用戶人臉進行動態(tài)跟蹤，可以實時對用戶此刻心情狀態(tài)信息進行跟蹤。
[0028]可選地，如圖2所示，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌方法中，
所述步驟S3包括:
S31、對檢測到的人臉進行預處理。
[0029]S32、設置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組。此外，通過設置人臉中心位置在水平方向、垂直方向、人臉尺度的變化閾值，限定了人臉跟蹤區(qū)域的范圍。
[0030]S33、在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域。通過區(qū)域限制算法能夠降低跟蹤的運算量。
[0031]S34、對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別。并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0032]可選地，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌方法中，所述人臉關鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
[0033]根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)包括: 預先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應的人臉關鍵點的特征信息，特征信息為包括橫向寬度、縱向高度、彎曲角度信息的三維數(shù)據(jù)組。
[0034]將采樣的特征信息作為BP神經(jīng)網(wǎng)絡算法的輸入值，通過BP神經(jīng)網(wǎng)絡對輸入值進行訓練獲得心情狀態(tài)判斷模型。
[0035]獲取檢測的人臉關鍵點對應的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)ig息。
[0036]通過實施本實施例，建立心情狀態(tài)判斷模型，能夠實時判斷用戶的心理狀態(tài)。進而選擇合適的渲染動態(tài)圖像進行疊加。比如在判斷為積極情緒時，可以疊加大笑的渲染動態(tài)圖像，將齜壓大笑的渲染動態(tài)圖像替換用戶的牙齒，使得聊天場景生動，用戶體驗度高。在判斷為消極情緒時，可以疊加黑線的渲染動態(tài)圖像，將黑線的渲染動態(tài)圖像疊加用戶的額頭上。
[0037]S4、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應的應用場景，從應用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關鍵點上;根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉到步驟S2直至視頻通信結束。
[0038]可選地，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌方法中，
所述步驟S4包括:
建立心情狀態(tài)信息與應用場景的映射關系。
[0039]獲取步驟S3中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應用場景的映射關系選擇相應的應用場景?？蛇x地，一種心情狀態(tài)下可以對應多組應用場景下的圖片信息，并且這些對應關系用戶可靈活設置。
[0040]在該應用場景中隨機獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關鍵點上；根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉到步驟S2直至視頻通信結束。
[0041 ]在用戶的文字輸入信息的格式為“&XXX&”時，則判斷該字幕為點歌字幕，在對方的客戶端上調(diào)用播放器在云端搜索并播放該歌曲，使得聊天互動性更強。
[0042]如圖3所示，本發(fā)明實施例還提供一種基于人臉識別的彈幕點歌系統(tǒng)，其包括如下單元:
預存分類單元，用于設置用于盛放彈幕的彈幕容器;配置彈幕載體的基礎參數(shù)，基礎參數(shù)包括顯示時長、進入位置、運動軌跡;設置點歌彈幕的通配符;預存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景。
[0043]人臉檢測單元，用于通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，跳轉執(zhí)行預存分類單元。
[0044]可選地，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌系統(tǒng)中，
所述人臉檢測單元包括:
獲取用戶的文字輸入信息； 通過攝像頭獲取視頻圖像信息，對視頻圖像信息進行進行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息。
[0045]加載特征訓練文件，特征訓練文件包括邊緣特征、線性特征、中心特征和對角線特征。
[0046]通過adaboost算法以及特征訓練文件判斷處理后的視頻圖像信息中是否包括人臉。
[0047]如果檢測到人臉，跳轉執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，重復執(zhí)行人臉檢測單元。
[0048]跟蹤識別單元，用于對檢測到的用戶人臉進行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點;根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、
中立情緒任一種。
[0049]可選地，如圖4所示，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌系統(tǒng)中，
所述跟蹤識別單元包括:
預處理子單元，用于對檢測到的人臉進行預處理。
[0050]跟蹤子單元，用于設置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組。
[0051]區(qū)域計算子單元，用于在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域。
[0052]識別子單元，用于對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識另Ij;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。
[0053]可選地，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌系統(tǒng)中，所述人臉關鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
[0054]根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)包括:
預先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應的人臉關鍵點的特征信息，特征信息為包括橫向寬度、縱向高度、彎曲角度信息的三維數(shù)據(jù)組。
[0055]將采樣的特征信息作為BP神經(jīng)網(wǎng)絡算法的輸入值，通過BP神經(jīng)網(wǎng)絡對輸入值進行訓練獲得心情狀態(tài)判斷模型。
[0056]獲取檢測的人臉關鍵點對應的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)ig息。
[0057]渲染單元，用于根據(jù)跟蹤識別單元中的心情狀態(tài)信息選擇相應的應用場景，從應用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關鍵點上;根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉執(zhí)行人臉檢測單元直至視頻通信結束。
[0058]可選地，在本發(fā)明實施例所述的基于人臉識別的彈幕點歌系統(tǒng)中，
所述渲染單元包括:
建立心情狀態(tài)信息與應用場景的映射關系。
[0059]獲取跟蹤識別單元中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應用場景的映射關系選擇相應的應用場景。
[0060]在該應用場景中隨機獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關鍵點上；根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉執(zhí)行人臉檢測單元直至視頻通信結束。
[0061]實施本發(fā)明提供的基于人臉識別的彈幕點歌方法及系統(tǒng)與現(xiàn)有技術相比具有以下有益效果:首先預存了渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景，并且通過人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種，根據(jù)心情狀態(tài)來選擇合適的渲染動態(tài)圖像到人臉上，使得視頻聊天過程中疊加的圖片符合當時用戶的心情狀態(tài)，提高用戶體驗;此外，對檢測到的用戶人臉進行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別，使得視頻聊天過程中疊加的圖片是實時可變的，靈活性高。此外，通過設置彈幕容器，將用戶的文字輸入信息通過彈幕形式顯示在屏幕上的視頻畫面上，使得用戶在觀看視頻圖像的時候方便觀看用戶的文字信息，顯示效果更好。通過設置點歌彈幕的通配符，使得在用戶的文字輸入信息的格式為“&XXX&”時，則判斷該字幕為點歌字幕，在對方的客戶端上調(diào)用播放器在云端搜索并播放該歌曲，使得聊天互動性更強。
[0062]上述方法實施例與系統(tǒng)實施例是一一對應的，因此，方法實施例的擴展也可適用于上述系統(tǒng)實施例。
[0063]結合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結合來實施。軟件模塊可以置于隨機儲存器、內(nèi)存、只讀存儲器、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動磁盤、⑶-ROM、或技術領域內(nèi)所公知的任意其他形式的存儲介質(zhì)中。
[0064]可以理解的是，對于本領域的普通技術人員來說，可以根據(jù)本發(fā)明的技術構思做出其它各種相應的改變與變形，而所有這些改變與變形都應屬于本發(fā)明權利要求的保護范圍。
【主權項】
1.一種基于人臉識別的彈幕點歌方法，其包括如下步驟: 51、設置用于盛放彈幕的彈幕容器；配置彈幕載體的基礎參數(shù)，基礎參數(shù)包括顯示時長、進入位置、運動軌跡;設置點歌彈幕的通配符;預存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景； 52、獲取用戶的文字輸入信息;通過攝像頭獲取視頻圖像信息;判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉到步驟S3;如果沒有檢測到人臉，跳轉到步驟SI; 53、對檢測到的用戶人臉進行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種； 54、根據(jù)步驟S3中的心情狀態(tài)信息選擇相應的應用場景，從應用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關鍵點上;根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉到步驟S2直至視頻通信結束。2.根據(jù)權利要求1所述的基于人臉識別的彈幕點歌方法，其特征在于， 所述步驟S2包括: 獲取用戶的文字輸入信息； 通過攝像頭獲取視頻圖像信息，對視頻圖像信息進行進行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息； 加載特征訓練文件，特征訓練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓練文件判斷處理后的視頻圖像信息中是否包括人臉； 如果檢測到人臉，跳轉到步驟S3;如果沒有檢測到人臉，重復執(zhí)行步驟S2。3.根據(jù)權利要求2所述的基于人臉識別的彈幕點歌方法，其特征在于， 所述步驟S3包括: 531、對檢測到的人臉進行預處理； 532、設置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組； 533、在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域； 534、對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。4.根據(jù)權利要求3所述的基于人臉識別的彈幕點歌方法，其特征在于，所述人臉關鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息； 根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)包括: 預先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應的人臉關鍵點的特征信息，特征信息為包括橫向寬度、縱向高度、彎曲角度信息的三維數(shù)據(jù)組； 將采樣的特征信息作為BP神經(jīng)網(wǎng)絡算法的輸入值，通過BP神經(jīng)網(wǎng)絡對輸入值進行訓練獲得心情狀態(tài)判斷模型； 獲取檢測的人臉關鍵點對應的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。5.根據(jù)權利要求4所述的基于人臉識別的彈幕點歌方法，其特征在于， 所述步驟S4包括: 建立心情狀態(tài)信息與應用場景的映射關系； 獲取步驟S3中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應用場景的映射關系選擇相應的應用場景； 在該應用場景中隨機獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關鍵點上； 根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡； 根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲； 跳轉到步驟S2直至視頻通信結束。6.—種基于人臉識別的彈幕點歌系統(tǒng)，其包括如下單元: 預存分類單元，用于設置用于盛放彈幕的彈幕容器;配置彈幕載體的基礎參數(shù)，基礎參數(shù)包括顯示時長、進入位置、運動軌跡;設置點歌彈幕的通配符;預存渲染動態(tài)圖像，將渲染動態(tài)圖像劃分為不同的應用場景； 人臉檢測單元，用于通過攝像頭獲取視頻圖像信息；判斷視頻圖像信息中是否包括用戶人臉，如果檢測到人臉，跳轉執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，跳轉執(zhí)行預存分類單元； 跟蹤識別單元，用于獲取用戶的文字輸入信息;對檢測到的用戶人臉進行動態(tài)跟蹤;對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別;并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點；根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)信息，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種； 渲染單元，用于根據(jù)跟蹤識別單元中的心情狀態(tài)信息選擇相應的應用場景，從應用場景中獲取渲染動態(tài)圖像并將其疊加到人臉關鍵點上;根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡;根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲；跳轉執(zhí)行人臉檢測單元直至視頻通信結束。7.根據(jù)權利要求6所述的基于人臉識別的彈幕點歌系統(tǒng)，其特征在于， 所述人臉檢測單元包括: 獲取用戶的文字輸入信息； 通過攝像頭獲取視頻圖像信息，對視頻圖像信息進行進行灰度化和直方圖歸一化處理得到處理后的視頻圖像信息； 加載特征訓練文件，特征訓練文件包括邊緣特征、線性特征、中心特征和對角線特征； 通過adaboost算法以及特征訓練文件判斷處理后的視頻圖像信息中是否包括人臉； 如果檢測到人臉，跳轉執(zhí)行跟蹤識別單元;如果沒有檢測到人臉，重復執(zhí)行人臉檢測單J L ο8.根據(jù)權利要求7所述的基于人臉識別的彈幕點歌系統(tǒng)，其特征在于， 所述跟蹤識別單元包括: 預處理子單元，用于對檢測到的人臉進行預處理； 跟蹤子單元，用于設置人臉跟蹤區(qū)域，跟蹤區(qū)域為包括了人臉中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人臉尺度值的五元組； 區(qū)域計算子單元，用于在下一幀中通過區(qū)域限制算法確定該下一幀的跟蹤區(qū)域； 識別子單元，用于對動態(tài)跟蹤的用戶人臉在面像庫中進行目標搜索進行人臉識別；并通過利用自適應增強分類器AdaBoost檢測人臉關鍵點;根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)，心情狀態(tài)包括積極情緒、消極情緒、中立情緒任一種。9.根據(jù)權利要求8所述的基于人臉識別的彈幕點歌系統(tǒng)，其特征在于，所述人臉關鍵點包括眼角、眉毛的末端、嘴角、鼻尖位置信息； 根據(jù)人臉關鍵點判斷用戶此刻心情狀態(tài)包括: 預先采樣心情狀態(tài)為積極情緒、消極情緒、中立情緒對應的人臉關鍵點的特征信息，特征信息為包括橫向寬度、縱向高度、彎曲角度信息的三維數(shù)據(jù)組； 將采樣的特征信息作為BP神經(jīng)網(wǎng)絡算法的輸入值，通過BP神經(jīng)網(wǎng)絡對輸入值進行訓練獲得心情狀態(tài)判斷模型； 獲取檢測的人臉關鍵點對應的特征信息，并通過心情狀態(tài)判斷模型判斷用戶此刻心情狀態(tài)信息。10.根據(jù)權利要求9所述的基于人臉識別的彈幕點歌系統(tǒng)，其特征在于， 所述渲染單元包括: 建立心情狀態(tài)信息與應用場景的映射關系； 獲取跟蹤識別單元中的心情狀態(tài)信息，根據(jù)心情狀態(tài)信息與應用場景的映射關系選擇相應的應用場景； 在該應用場景中隨機獲取渲染動態(tài)圖像，將渲染動態(tài)圖像疊加到人臉關鍵點上； 根據(jù)彈幕載體的基礎參數(shù)配置用戶的文字輸入信息在彈幕容器上的顯示時長、進入位置、運動軌跡； 根據(jù)通配符判斷彈幕是否為點歌彈幕，在彈幕為點歌彈幕時，在顯示彈幕同時調(diào)用播放器播放歌曲； 跳轉執(zhí)行人臉檢測單元直至視頻通信結束。
【文檔編號】H04N7/14GK105898182SQ201610189758
【公開日】2016年8月24日
【申請日】2016年3月30日
【發(fā)明人】何異, 徐阿宏, 楊柳
【申請人】寧波三博電子科技有限公司