專利名稱：：基于虛擬人的手語(yǔ)新聞播報(bào)方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種控制方法，特別是一種可以應(yīng)用于電視節(jié)目雙語(yǔ)播報(bào)的基于虛擬人的手語(yǔ)新聞播報(bào)方法。
背景技術(shù)：
：1998年日立公司成功開發(fā)了一個(gè)用于手語(yǔ)CAI的二維、三維動(dòng)畫軟件，其中收集了手語(yǔ)單詞4000多個(gè)，是目前較大型的手語(yǔ)教學(xué)軟件。2001挪威的東英格利亞大學(xué)、德國(guó)的漢堡大學(xué)等多個(gè)學(xué)術(shù)團(tuán)體及公司的聯(lián)合研究，開發(fā)出了ViSiCAST系統(tǒng)。該系統(tǒng)使用了運(yùn)動(dòng)捕獲技術(shù)來(lái)捕捉運(yùn)動(dòng)數(shù)據(jù)，實(shí)現(xiàn)了從語(yǔ)音到英國(guó)手語(yǔ)的轉(zhuǎn)換，目前已經(jīng)應(yīng)用到郵局等公共場(chǎng)所及網(wǎng)絡(luò)上。2004年Vcom3D公司開發(fā)了一套3D虛擬人的手語(yǔ)編輯軟件，可以通過(guò)手語(yǔ)和臉部表情在互聯(lián)網(wǎng)上和其他人交流。2009年中國(guó)科學(xué)院計(jì)算技術(shù)研究所研發(fā)成功了"視頻虛擬人手語(yǔ)編輯系統(tǒng)"，并將其應(yīng)用在廣播電視系統(tǒng)中。但是現(xiàn)有的技術(shù)中都存在以下的問(wèn)題1)虛擬人動(dòng)作平滑與擬合問(wèn)題手語(yǔ)表達(dá)過(guò)程是一個(gè)連續(xù)手勢(shì)姿態(tài)的變化過(guò)程。在手語(yǔ)合成系統(tǒng)中手語(yǔ)表達(dá)運(yùn)動(dòng)過(guò)程的描述與控制是建立在一系列稱為關(guān)鍵幀的離散的特征姿態(tài)的基礎(chǔ)上的，對(duì)關(guān)鍵幀進(jìn)行插值從而生成連續(xù)的手勢(shì)動(dòng)作。然而對(duì)關(guān)鍵幀的選取以及差值算法的應(yīng)用不當(dāng)都會(huì)造成手勢(shì)動(dòng)作的變形，造成手語(yǔ)表意不準(zhǔn)確。(2)手語(yǔ)幀序列的優(yōu)化問(wèn)題手語(yǔ)是一種通過(guò)手及手臂的運(yùn)動(dòng)來(lái)表達(dá)意思的特殊語(yǔ)言，與自然語(yǔ)言相比其在表意速度上存在著較大的差異。要將手語(yǔ)表達(dá)系統(tǒng)應(yīng)用到電視新聞、天氣預(yù)報(bào)、賽事解說(shuō)等電視節(jié)目中，實(shí)現(xiàn)實(shí)時(shí)的手語(yǔ)翻譯，如何對(duì)手語(yǔ)幀序列進(jìn)行優(yōu)化，在不影響表意的基礎(chǔ)上，保證手語(yǔ)表述內(nèi)容與播報(bào)畫面內(nèi)容在時(shí)間上的同步是一項(xiàng)重要技術(shù)。
發(fā)明內(nèi)容本發(fā)明為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種效果好的基于虛擬人的手語(yǔ)新聞播報(bào)方法。本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是提供一種基于虛擬人的手語(yǔ)新聞播報(bào)方法，其包括以下步驟S1對(duì)虛擬人建模，實(shí)現(xiàn)關(guān)節(jié)角向量到虛擬人特定手勢(shì)姿態(tài)的映射，生成手語(yǔ)幀序列；S2對(duì)手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音同步進(jìn)行分析，對(duì)幀向量進(jìn)行簡(jiǎn)化，計(jì)算幀權(quán)值，對(duì)幀序列進(jìn)行優(yōu)化；S3對(duì)視頻流進(jìn)行處理，從而將優(yōu)化過(guò)的虛擬人手語(yǔ)表達(dá)的動(dòng)畫實(shí)時(shí)添加到視頻流中，最終實(shí)現(xiàn)了手語(yǔ)與語(yǔ)音的同步播報(bào)。本發(fā)明解決進(jìn)一步技術(shù)問(wèn)題的方案是所述的步驟S1中，采用H-Anim標(biāo)準(zhǔn)對(duì)虛擬人進(jìn)行建模。3本發(fā)明解決進(jìn)一步技術(shù)問(wèn)題的方案是根據(jù)對(duì)H-Anim標(biāo)準(zhǔn)虛擬人關(guān)節(jié)層次結(jié)構(gòu)的分析以及人體上肢關(guān)節(jié)自由度的約束，計(jì)算出虛擬人每個(gè)肢體的位置和方向。本發(fā)明解決進(jìn)一步技術(shù)問(wèn)題的方案是對(duì)幀向量進(jìn)行簡(jiǎn)化包括以下步驟a基于手指遠(yuǎn)指關(guān)節(jié)與其近指關(guān)節(jié)間的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉除拇指之外的其余四指中表示關(guān)節(jié)的自由度，每只手中共計(jì)4個(gè)；b基于除拇指之外其余四指的指掌關(guān)節(jié)在屈曲方向的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉中指及無(wú)名指中表示指關(guān)節(jié)的自由度以及指掌關(guān)節(jié)中表示屈曲方向的自由度，每只手中共計(jì)4個(gè)；C基于拇指腕掌關(guān)節(jié)與拇指指掌關(guān)節(jié)的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉拇指中表示關(guān)節(jié)的自由度，每只手l個(gè)。本發(fā)明解決進(jìn)一步技術(shù)問(wèn)題的方案是所述的計(jì)算幀權(quán)值包括以下步驟(1)在句子的起始處和末尾處增加兩個(gè)虛擬幀，其幀向量分別與原句子首幀和末幀的幀向量相同；(2)定義S(i—為第i幀與第i-1幀之間的變化量，其計(jì)算公式如下38《,—W=I(GK)2其中保證句子的首幀和末幀不會(huì)在優(yōu)化過(guò)程中被丟掉，規(guī)定若的值為O，則令s(i—u=°°;(3)最后得出幀的權(quán)值計(jì)算公式3838Q-《1)2-《)2其中Qi為幀的權(quán)值，G為虛擬人手勢(shì)姿態(tài)的向量。本發(fā)明解決進(jìn)一步技術(shù)問(wèn)題的方案是所述的步驟S3中，采用微軟公司的Directshow平臺(tái)對(duì)視頻流進(jìn)行處理。本發(fā)明解決進(jìn)一步技術(shù)問(wèn)題的方案是視頻疊加就是要將視頻中的每一幅圖像中滿足一定條件的那部分像素丟棄，然后把剩余部分的圖像疊加到目標(biāo)視頻圖像中去。本發(fā)明解決進(jìn)一步技術(shù)問(wèn)題的方案是所述的步驟S3中，采用根據(jù)像素的RGB值實(shí)現(xiàn)視頻的疊加算法。相較于現(xiàn)有技術(shù)，本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法通過(guò)分析手及手臂的關(guān)節(jié)鏈結(jié)構(gòu)及運(yùn)動(dòng)特點(diǎn)，采用H-Animl.l對(duì)虛擬人建模，并實(shí)現(xiàn)了關(guān)節(jié)角向量到虛擬人特定手勢(shì)姿態(tài)的映射。在此基礎(chǔ)上，運(yùn)用Hermite插值算法對(duì)關(guān)節(jié)角向量進(jìn)行插值計(jì)算，在驅(qū)動(dòng)虛擬人各手勢(shì)姿態(tài)間的平滑過(guò)渡的同時(shí)實(shí)現(xiàn)了對(duì)其運(yùn)動(dòng)速度的有效控制，對(duì)手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音同步的問(wèn)題進(jìn)行了分析，針對(duì)手語(yǔ)表達(dá)速度較慢的特點(diǎn)，以個(gè)幀之間的相對(duì)變化量為篩選依據(jù)的幀序列優(yōu)化策略，并在根據(jù)手指關(guān)節(jié)運(yùn)動(dòng)過(guò)程中存在的約束關(guān)系，對(duì)原有的幀向量表示法進(jìn)行了簡(jiǎn)化，給出了幀的相對(duì)變化量的計(jì)算方法，從而實(shí)現(xiàn)了基于語(yǔ)句的幀序列的優(yōu)化方法，基本解決了手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音的同步問(wèn)題。圖1是本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法的原理模塊示意圖。圖2是本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法的人體模型層析結(jié)構(gòu)示意圖。圖3是本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法的擴(kuò)充后的句子幀序列示意圖具體實(shí)施例方式本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法可以應(yīng)用于電視節(jié)目雙語(yǔ)播報(bào)、計(jì)算機(jī)輔助鵬語(yǔ)教學(xué)、手語(yǔ)彩信、聾鵬人輔助終端設(shè)備、電子指示牌、電子廣告以及數(shù)字互動(dòng)娛樂等諸多領(lǐng)域，其應(yīng)用有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們供更好的服務(wù)。本發(fā)明提供一種基于虛擬人的手語(yǔ)新聞播報(bào)方法，其包括以下步驟Sl對(duì)虛擬人建模，實(shí)現(xiàn)關(guān)節(jié)角向量到虛擬人特定手勢(shì)姿態(tài)的映射，生成手語(yǔ)幀序列。在此基礎(chǔ)上，運(yùn)用Hermite插值算法對(duì)關(guān)節(jié)角向量進(jìn)行插值計(jì)算，在驅(qū)動(dòng)虛擬人各手勢(shì)姿態(tài)間的平滑過(guò)渡的同時(shí)實(shí)現(xiàn)了對(duì)其運(yùn)動(dòng)速度的有效控制。人的身體包括很多段，這些段由關(guān)節(jié)相連。要使虛擬人動(dòng)起來(lái)，就需要獲得關(guān)節(jié)并且改變關(guān)節(jié)的角度，并且還必須知道關(guān)節(jié)角度的限制和段的質(zhì)量。本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法采用H-Anim(HumanoidAnimation)標(biāo)準(zhǔn)對(duì)虛擬人進(jìn)行建模。H-Anim中使用三類結(jié)點(diǎn)(Node)表示一個(gè)虛擬人體模型人體重心(H咖anoin)、人體關(guān)節(jié)(Joint)和人體骨骼段(Segment)，并把整個(gè)人體分成1個(gè)人體重心、77個(gè)關(guān)節(jié)和47個(gè)骨骼段。另外，還使用VRML(VirtualRealityModelingLanguage)中的幾何模型表示方法定義了每個(gè)肢體(即骨骼段)的幾何模型。每個(gè)骨骼段(Segment)的位置都在其所在的關(guān)節(jié)坐標(biāo)系中定義，而每個(gè)幾何模型依附于相應(yīng)的骨骼段，這些元素一起表示了一個(gè)完整的虛擬人模型，H-Anim中人體模型結(jié)構(gòu)如圖2所示。根據(jù)對(duì)H-Animl.1標(biāo)準(zhǔn)虛擬人關(guān)節(jié)層次結(jié)構(gòu)的分析以及人體上肢關(guān)節(jié)自由度的約束知道，一個(gè)虛擬人共有47個(gè)關(guān)節(jié)96個(gè)自由度。只要確定這96個(gè)自由度的角度值，應(yīng)用運(yùn)動(dòng)學(xué)的方法，就可以計(jì)算出虛擬人每個(gè)肢體的位置和方向，由此唯一確定虛擬人的一個(gè)姿態(tài)，手語(yǔ)是人體上肢運(yùn)動(dòng)，手語(yǔ)運(yùn)動(dòng)是人體運(yùn)動(dòng)在人體上肢關(guān)節(jié)上的投影。因此，顯示手語(yǔ)(即將手語(yǔ)映射到虛擬人姿態(tài))時(shí)，用O值填充非上肢關(guān)節(jié)角度后，即可將一個(gè)手語(yǔ)運(yùn)動(dòng)表示擴(kuò)充為一個(gè)完整的人體運(yùn)動(dòng)表示。通過(guò)對(duì)手及手臂抽象模型的分析，可以得出，一只手臂從肩關(guān)節(jié)到遠(yuǎn)端指關(guān)節(jié)共有28個(gè)自由度。其中肩關(guān)節(jié)有3個(gè)自由度，肘關(guān)節(jié)有2個(gè)自由度，腕關(guān)節(jié)有2個(gè)自由度，各手指關(guān)節(jié)共有21個(gè)自由度。這樣，兩只手共用56個(gè)自由度表示。因此，一個(gè)手勢(shì)可以用一個(gè)56元向量表示，一個(gè)手語(yǔ)運(yùn)動(dòng)則可以用一個(gè)從時(shí)間到手勢(shì)集合的向量函數(shù)表示G0)=G[《n56]0)向量各維度具體含義如下表所示關(guān)節(jié)名稱自由度肩關(guān)節(jié)(ei，e2,93)肘關(guān)節(jié)(64，05)腕關(guān)節(jié)(66，07)拇指腕掌關(guān)節(jié)(98，09，eiO)拇指指間關(guān)節(jié)611拇指掌指關(guān)節(jié)012其余四指掌指關(guān)節(jié)(ei3e20)其余四指指間關(guān)節(jié)(021眼)其余四指指間關(guān)節(jié)(e25e28)表1手勢(shì)靜態(tài)姿勢(shì)向量(一只手)針對(duì)上述線性插值中存在的問(wèn)題，系統(tǒng)使用Hermite基函數(shù)的插值樣條加以改進(jìn)。一段Hermite樣條插值兩個(gè)端點(diǎn)及兩個(gè)端點(diǎn)出的切矢量。給定四個(gè)控制矢量P0，Pl，P2，P3，其中P2為點(diǎn)P0的切矢量，P3為點(diǎn)Pl的切矢量，則有著四個(gè)矢量決定的三次Hermite樣條曲線段為2(")=^側(cè)")(1),=0其中b0(u)，bl(u)，b2(u)，b3(u)為Hermite基函數(shù)b。(u)=2u3_3u2+lb丄(u)=_2u3+3u2b2(u)=u3_2u2+ub3(u)=u3_u2容易驗(yàn)證，Q(O)=P。，Q(1)=PpQ'(0)=P2，Q'(1)=P3。通過(guò)改變切向的大小，可以調(diào)整曲線的形狀。只要確定了非極值點(diǎn)處的關(guān)鍵幀的速度即可確定整條曲線。對(duì)于非極值點(diǎn)的速度，由公式(2)確定，其中A為權(quán)值，在缺省時(shí)為1。w,.=;i(H)(2)6+1一6-1很容易得到，插值的曲線函數(shù)為柳=執(zhí)(^^)+U(^^)+—2+q+163(^^),e[,,,](3)5+1—。。+l—f/。+l一t一。本方法的基于虛擬人的手語(yǔ)新聞播報(bào)方法選用的Hermite插值方法基本解決了對(duì)關(guān)節(jié)運(yùn)動(dòng)速度實(shí)現(xiàn)控制的要求。S2對(duì)手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音同步進(jìn)行分析，對(duì)幀向量進(jìn)行簡(jiǎn)化，計(jì)算幀權(quán)值，對(duì)幀序列進(jìn)行優(yōu)化。針對(duì)手語(yǔ)表達(dá)速度較慢的特點(diǎn)。本方法的基于虛擬人的手語(yǔ)新6聞播報(bào)方法提出了以個(gè)幀之間的相對(duì)變化量為篩選依據(jù)的幀序列優(yōu)化策略，并在根據(jù)手指關(guān)節(jié)運(yùn)動(dòng)過(guò)程中存在的約束關(guān)系，對(duì)原有的幀向量表示法進(jìn)行了簡(jiǎn)化，給出了幀的相對(duì)變化量的計(jì)算方法，從而實(shí)現(xiàn)了基于語(yǔ)句的幀序列的優(yōu)化方法，基本解決了手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音的同步問(wèn)題。手語(yǔ)是一種通過(guò)手及手臂的運(yùn)動(dòng)來(lái)表達(dá)意思的特殊語(yǔ)言，與自然語(yǔ)言相比其在表意速度上存在著較大的差異。要將手語(yǔ)表達(dá)系統(tǒng)應(yīng)用到電視新聞、天氣預(yù)報(bào)、賽事解說(shuō)等電視節(jié)目中，實(shí)現(xiàn)實(shí)時(shí)的手語(yǔ)翻譯，為保證手語(yǔ)表述內(nèi)容與播報(bào)畫面內(nèi)容在時(shí)間上的同步首先要解決的問(wèn)題就是解決速度上的差異。針對(duì)手語(yǔ)表意速度較慢的特點(diǎn)，方法提出了以個(gè)手語(yǔ)幀之間的相對(duì)變化量為篩選依據(jù)的幀序列優(yōu)化策略，并在根據(jù)手指關(guān)節(jié)運(yùn)動(dòng)過(guò)程中存在的約束關(guān)系，對(duì)原有的幀向量表示法進(jìn)行了簡(jiǎn)化，給出了幀的相對(duì)變化量的計(jì)算方法，基本解決了手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音不同步的問(wèn)題。由以上的分析可知，用一個(gè)56維的關(guān)節(jié)角向量可以精確的控制虛擬人的手勢(shì)姿態(tài)，然而在求解幀與幀之間相對(duì)變化量的計(jì)算中，不需要對(duì)手勢(shì)姿態(tài)進(jìn)行精確的定位。下面將通過(guò)對(duì)手指關(guān)節(jié)運(yùn)動(dòng)關(guān)聯(lián)性的分析，對(duì)該向量進(jìn)行化簡(jiǎn)，基于人體機(jī)構(gòu)學(xué)的分析，手指關(guān)節(jié)在運(yùn)動(dòng)過(guò)程中存在以下關(guān)聯(lián)約束關(guān)系1)人的手指，若想活動(dòng)遠(yuǎn)指關(guān)節(jié)DIP，則必然要利用與其相鄰的近指關(guān)節(jié)PIP，否則手指活動(dòng)不自然。因此，在不施加外部約束的情況下，PIP關(guān)節(jié)與DIP關(guān)節(jié)旋轉(zhuǎn)角度間具有線性化的約束關(guān)系，用公式可表示為eDIp(T)=(2/3)epip(T)(4)2)除拇指以外的其余四指中，一個(gè)手指的屈曲運(yùn)動(dòng)受手掌中手指間韌帶的伴隨拉力約束，這種屈曲運(yùn)動(dòng)也會(huì)同樣引起相鄰手指的屈曲運(yùn)動(dòng)。同樣，一個(gè)手指的伸展運(yùn)動(dòng)也會(huì)受到其他手指的屈曲運(yùn)動(dòng)的阻礙。經(jīng)過(guò)對(duì)《中國(guó)手語(yǔ)》中手語(yǔ)詞的手指形態(tài)的分析，不難發(fā)現(xiàn)中指的運(yùn)動(dòng)一般跟隨食指的運(yùn)動(dòng)，無(wú)名指的運(yùn)動(dòng)一般跟隨小拇指運(yùn)動(dòng)。3)對(duì)于拇指，它的很大一部分運(yùn)動(dòng)與手掌運(yùn)動(dòng)關(guān)聯(lián)，且其運(yùn)動(dòng)時(shí)不與其它手指發(fā)生相互約束關(guān)系，可以單獨(dú)列出其拇指腕掌關(guān)節(jié)CM與拇指掌指關(guān)節(jié)MP之間的約束關(guān)系，如下式所示^(r)=2(《M(r)-30)(5)根據(jù)以上對(duì)手指關(guān)節(jié)的運(yùn)動(dòng)關(guān)聯(lián)性的分析，本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法在求解相鄰幀的相對(duì)變化量的計(jì)算中對(duì)幀相量進(jìn)行如下簡(jiǎn)化1)基于手指遠(yuǎn)指關(guān)節(jié)DIP與其近指關(guān)節(jié)PIP間的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉除拇指之外的其余四指中表示DIP關(guān)節(jié)的自由度(每只手中共計(jì)4個(gè))。2)基于除拇指之外其余四指的指掌關(guān)節(jié)在屈曲方向的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉中指及無(wú)名指中表示PIP關(guān)節(jié)的自由度以及指掌關(guān)節(jié)中表示屈曲方向的自由度(每只手中共計(jì)4個(gè))。3)基于拇指腕掌關(guān)節(jié)CM與拇指指掌關(guān)節(jié)MP的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉拇指中表示MP關(guān)節(jié)的自由度(每只手l個(gè))。通過(guò)上述約定，可以把原來(lái)用來(lái)表示一個(gè)特定虛擬人手勢(shì)姿態(tài)的56維自由度向量簡(jiǎn)化為38維向量<formula>formulaseeoriginaldocumentpage8</formula>其中每個(gè)關(guān)節(jié)所占維數(shù)及旋轉(zhuǎn)方向如表2所示<table>tableseeoriginaldocumentpage8</column></row><table>本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法定義幀的權(quán)值為該幀在所在句子幀序列中相對(duì)于其前后相鄰兩幀的變化程度，用Qi表示。選取句子作為同步的基準(zhǔn)單位，設(shè)句子中原有幀數(shù)為n，根據(jù)對(duì)幀的選取策略的約定，可以通過(guò)以下步驟實(shí)現(xiàn)幀權(quán)值的計(jì)算(1)首先為保證句子的首幀和末幀不會(huì)在優(yōu)化過(guò)程中被丟掉，本方法在句子的起始處和末尾處增加兩個(gè)虛擬幀，其幀向量分別與原句子首幀和末幀的幀向量相同，如圖3所示；(2)定義S(i—為第i幀與第i-1幀之間的變化量，其計(jì)算公式如下<formula>formulaseeoriginaldocumentpage8</formula>其中保證句子的首幀和末幀不會(huì)在優(yōu)化過(guò)程中被丟掉，規(guī)定若的值為O，則令<formula>formulaseeoriginaldocumentpage8</formula>(3)最后得出幀的權(quán)值計(jì)算公式<formula>formulaseeoriginaldocumentpage8</formula>對(duì)于手語(yǔ)語(yǔ)句表達(dá)過(guò)程中的其他幀，一般認(rèn)為在運(yùn)動(dòng)過(guò)程中若一幀相對(duì)于與其相鄰兩幀的變化程度較小，那么該幀在整個(gè)運(yùn)動(dòng)過(guò)程中的對(duì)手勢(shì)姿態(tài)特征的表述能力較弱，在運(yùn)動(dòng)速度較快時(shí)可以被舍去。S3對(duì)視頻流進(jìn)行處理，從而將優(yōu)化過(guò)的虛擬人手語(yǔ)表達(dá)的動(dòng)畫實(shí)時(shí)添加到視頻流中，最終實(shí)現(xiàn)了手語(yǔ)與語(yǔ)音的同步播報(bào)。本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法采用微軟公司的Directshow平臺(tái)對(duì)視頻流進(jìn)行處理，從而將優(yōu)化過(guò)的虛擬人手語(yǔ)表達(dá)的動(dòng)畫實(shí)時(shí)添加到視頻流中，最終實(shí)現(xiàn)了手語(yǔ)與語(yǔ)音的同步播報(bào)。視頻是由一幀一幀連續(xù)的圖像組成的。視頻疊加就是要將視頻中的每一幅圖像中滿足一定條件的那部分像素丟棄，然后把剩余部分的圖像疊加到目標(biāo)視頻圖像中去。實(shí)現(xiàn)視頻疊加的方法有很多種，常見的有根據(jù)像素的RGB值、亮度值、Alpha值、色調(diào)等。本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法采用根據(jù)像素的RGB值實(shí)現(xiàn)視頻的疊加算法。一個(gè)典型的視頻疊加過(guò)程可描述為掃描主視頻圖像，將指針定位到需要疊加的位置；逐一掃面疊加圖像的像素值，如果是底色像素(用黑色作為底色)則跳過(guò)，如果不是則用該像素值替換主視頻圖像中對(duì)應(yīng)位置的像素值；直到整幅圖像掃面完畢。將視頻中的每一幅圖像重復(fù)上述的疊加過(guò)程即可實(shí)現(xiàn)視頻的實(shí)時(shí)疊加。另外，如果疊加圖像是通過(guò)攝像機(jī)在純色背景下實(shí)地拍下來(lái)的，那么像素值會(huì)有一定的誤差，此時(shí)在疊加算法中要考慮一定的冗余量。本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法實(shí)現(xiàn)了RGB565MGB32兩種格式的視頻疊加算法，其效率對(duì)比如表3所示。幀格式執(zhí)行一幀;現(xiàn)頻疊加需要的時(shí)間純色背景下的RGB565lms純色背景下的RGB32lms~2ms實(shí)拍環(huán)境下的RGB5653ms~4ms實(shí)拍環(huán)境下的RGB324ms~5ms表3視頻疊加算法的效率比較本發(fā)明的基于虛擬人的手語(yǔ)新聞播報(bào)方法通過(guò)分析手及手臂的關(guān)節(jié)鏈結(jié)構(gòu)及運(yùn)動(dòng)特點(diǎn)，采用H-Animl.1對(duì)虛擬人建模，并實(shí)現(xiàn)了關(guān)節(jié)角向量到虛擬人特定手勢(shì)姿態(tài)的映射。在此基礎(chǔ)上，運(yùn)用Hermite插值算法對(duì)關(guān)節(jié)角向量進(jìn)行插值計(jì)算，在驅(qū)動(dòng)虛擬人各手勢(shì)姿態(tài)間的平滑過(guò)渡的同時(shí)實(shí)現(xiàn)了對(duì)其運(yùn)動(dòng)速度的有效控制，對(duì)手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音同步的問(wèn)題進(jìn)行了分析，針對(duì)手語(yǔ)表達(dá)速度較慢的特點(diǎn)，以個(gè)幀之間的相對(duì)變化量為篩選依據(jù)的幀序列優(yōu)化策略，并在根據(jù)手指關(guān)節(jié)運(yùn)動(dòng)過(guò)程中存在的約束關(guān)系，對(duì)原有的幀向量表示法進(jìn)行了簡(jiǎn)化，給出了幀的相對(duì)變化量的計(jì)算方法，從而實(shí)現(xiàn)了基于語(yǔ)句的幀序列的優(yōu)化方法，基本解決了手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音的同步問(wèn)題。9權(quán)利要求一種基于虛擬人的手語(yǔ)新聞播報(bào)方法，其包括以下步驟S1對(duì)虛擬人建模，實(shí)現(xiàn)關(guān)節(jié)角向量到虛擬人特定手勢(shì)姿態(tài)的映射，生成手語(yǔ)幀序列；S2對(duì)手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音同步進(jìn)行分析，對(duì)幀向量進(jìn)行簡(jiǎn)化，計(jì)算幀權(quán)值，對(duì)幀序列進(jìn)行優(yōu)化；S3對(duì)視頻流進(jìn)行處理，從而將優(yōu)化過(guò)的虛擬人手語(yǔ)表達(dá)的動(dòng)畫實(shí)時(shí)添加到視頻流中，最終實(shí)現(xiàn)了手語(yǔ)與語(yǔ)音的同步播報(bào)。2.根據(jù)權(quán)利要求1所述的基于虛擬人的手語(yǔ)新聞播報(bào)方法，其特征在于所述的步驟Sl中，采用H-Anim標(biāo)準(zhǔn)對(duì)虛擬人進(jìn)行建模。3.根據(jù)權(quán)利要求2所述的基于虛擬人的手語(yǔ)新聞播報(bào)方法，其特征在于根據(jù)對(duì)H-Anim標(biāo)準(zhǔn)虛擬人關(guān)節(jié)層次結(jié)構(gòu)的分析以及人體上肢關(guān)節(jié)自由度的約束，計(jì)算出虛擬人每個(gè)肢體的位置和方向。4.根據(jù)權(quán)利要求1所述的基于虛擬人的手語(yǔ)新聞播報(bào)方法，其特征在于對(duì)幀向量進(jìn)行簡(jiǎn)化包括以下步驟a基于手指遠(yuǎn)指關(guān)節(jié)與其近指關(guān)節(jié)間的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉除拇指之外的其余四指中表示關(guān)節(jié)的自由度，每只手中共計(jì)4個(gè)；b基于除拇指之外其余四指的指掌關(guān)節(jié)在屈曲方向的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉中指及無(wú)名指中表示指關(guān)節(jié)的自由度以及指掌關(guān)節(jié)中表示屈曲方向的自由度，每只手中共計(jì)4個(gè)；C基于拇指腕掌關(guān)節(jié)與拇指指掌關(guān)節(jié)的運(yùn)動(dòng)關(guān)聯(lián)性，在幀向量中去掉拇指中表示關(guān)節(jié)的自由度，每只手1個(gè)。5.根據(jù)權(quán)利要求1所述的基于虛擬人的手語(yǔ)新聞播報(bào)方法，其特征在于所述的計(jì)算幀權(quán)值包括以下步驟(l)在句子的起始處和末尾處增加兩個(gè)虛擬幀，其幀向量分別與原句子首幀和末幀的幀向量相同；(2)定義S(i—w)為第i幀與第i-l幀之間的變化量，其計(jì)算公式如下<formula>formulaseeoriginaldocumentpage2</formula>其中保證句子的首幀和末幀不會(huì)在優(yōu)化過(guò)程中被丟掉，規(guī)定若s(i—u)的值為o，則令(3)最后得出幀的權(quán)值計(jì)算公式<formula>formulaseeoriginaldocumentpage2</formula>其中Qi為幀的權(quán)值，G為虛擬人手勢(shì)姿態(tài)的向量。6.根據(jù)權(quán)利要求1所述的基于虛擬人的手語(yǔ)新聞播報(bào)方法，其特征在于所述的步驟S3中，采用微軟公司的Directshow平臺(tái)對(duì)視頻流進(jìn)行處理。7.根據(jù)權(quán)利要求1所述的基于虛擬人的手語(yǔ)新聞播報(bào)方法，其特征在于所述的步驟S3中，視頻疊加就是要將視頻中的每一幅圖像中滿足一定條件的那部分像素丟棄，然后把剩余部分的圖像疊加到目標(biāo)視頻圖像中去。8.根據(jù)權(quán)利要求6所述的基于虛擬人的手語(yǔ)新聞播報(bào)方法，其特征在于采用根據(jù)像素的RGB值實(shí)現(xiàn)視頻的疊加算法。全文摘要本發(fā)明提供一種基于虛擬人的手語(yǔ)新聞播報(bào)方法，其包括以下步驟S1對(duì)虛擬人建模，實(shí)現(xiàn)關(guān)節(jié)角向量到虛擬人特定手勢(shì)姿態(tài)的映射，生成手語(yǔ)幀序列；S2對(duì)手語(yǔ)新聞播報(bào)過(guò)程中手語(yǔ)與聲音同步進(jìn)行分析，對(duì)幀向量進(jìn)行簡(jiǎn)化，計(jì)算幀權(quán)值，對(duì)幀序列進(jìn)行優(yōu)化；S3對(duì)視頻流進(jìn)行處理，從而將優(yōu)化過(guò)的虛擬人手語(yǔ)表達(dá)的動(dòng)畫實(shí)時(shí)添加到視頻流中，最終實(shí)現(xiàn)了手語(yǔ)與語(yǔ)音的同步播報(bào)。文檔編號(hào)G06F19/00GK101727766SQ20091018862公開日2010年6月9日申請(qǐng)日期2009年12月4日優(yōu)先權(quán)日2009年12月4日發(fā)明者于成龍,王軒,許欣欣,趙海楠申請(qǐng)人:哈爾濱工業(yè)大學(xué)深圳研究生院