本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域,尤其涉及一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法與終端設(shè)備。
背景技術(shù):
隨著社會(huì)的進(jìn)步,城市化的程度不斷推進(jìn),城市化不但為人們帶來了更為舒適便捷的生活方式,也改變了人們的生活習(xí)慣。繁忙、時(shí)間碎片化與快節(jié)奏漸漸成為人們生活的主題。
在日常生活中,為了保持身體健康,人們有時(shí)想要通過學(xué)習(xí)舞蹈、健身操和瑜伽等運(yùn)動(dòng)來進(jìn)行身體鍛煉。然而,由于時(shí)間碎片化、生活節(jié)奏快,每周定時(shí)地抽出一段時(shí)間去參加健身房的教學(xué)課程變得愈發(fā)困難。
而在另一方面,隨著圖像處理技術(shù)和終端設(shè)備計(jì)算能力的提高,使得AR(Augmented Reality,增強(qiáng)現(xiàn)實(shí))技術(shù)的廣泛應(yīng)用成為了可能。AR技術(shù)是一種實(shí)時(shí)地計(jì)算攝影機(jī)影像的位置及角度并加上相應(yīng)圖像、視頻、3D模型的技術(shù),這種技術(shù)的可以在屏幕上把虛擬場景疊加在現(xiàn)實(shí)場景上進(jìn)行顯示,并允許用戶與虛擬場景進(jìn)行互動(dòng)。
針對(duì)人們無暇抽出時(shí)間參加舞蹈、健身操和瑜伽等教學(xué)課程的問題,急需通過AR技術(shù)來予以解決。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供了一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法與終端設(shè)備,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。
本發(fā)明實(shí)施例第一方面公開了一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法,包括:
對(duì)用戶進(jìn)行動(dòng)作捕捉以獲得所述用戶的身體動(dòng)作;
根據(jù)所述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與所述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型;
將所述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)所述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與所述用戶的體型一致的用戶動(dòng)作模型;
輸出所述用戶動(dòng)作模型以使所述用戶參考所述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整。
作為一種可選的實(shí)施方式,所述輸出所述用戶動(dòng)作模型以使所述用戶參考所述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整,包括:
通過透視式頭戴顯示器配置的攝像頭獲取用戶視角的圖像;
分析所述用戶視角的圖像以確定所述用戶動(dòng)作模型在所述透視式頭戴顯示器上進(jìn)行顯示的位置信息;
將所述位置信息和所述用戶動(dòng)作模型輸出至所述透視式頭戴顯示器以進(jìn)行顯示。
作為一種可選的實(shí)施方式,所述輸出所述用戶動(dòng)作模型以使所述用戶參考所述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整,包括:
通過攝像機(jī)對(duì)所述用戶進(jìn)行拍攝以獲取所述用戶的全身圖像;
將所述用戶動(dòng)作模型與所述用戶的全身圖像疊加以獲得目標(biāo)圖像;
將所述目標(biāo)圖像輸出至所述用戶佩戴的沉浸式頭戴顯示器以進(jìn)行顯示。
作為一種可選的實(shí)施方式,所述將所述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)所述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與所述用戶的體型一致的用戶動(dòng)作模型之前,所述方法還包括:
從多于一個(gè)角度獲取所述用戶的靜態(tài)全身圖像;
分析所述用戶的靜態(tài)全身圖像以獲取所述用戶的所述體型參數(shù)信息;其中,所述體型參數(shù)信息包括:身高、臂長、腿長、臂圍和腰圍。
作為一種可選的實(shí)施方式,所述根據(jù)所述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與所述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型之前,所述方法還包括:
對(duì)教學(xué)者進(jìn)行動(dòng)作捕捉以獲得所述教學(xué)者的身體動(dòng)作;
根據(jù)所述教學(xué)者的身體動(dòng)作生成所述虛擬教學(xué)內(nèi)容中的所述標(biāo)準(zhǔn)動(dòng)作模型。
本發(fā)明實(shí)施例第二方面公開了一種終端設(shè)備,包括:
第一捕捉單元,用于對(duì)用戶進(jìn)行動(dòng)作捕捉以獲得所述用戶的身體動(dòng)作;
第一獲取單元,用于根據(jù)所述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與所述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型;
變換單元,用于將所述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)所述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與所述用戶的體型一致的用戶動(dòng)作模型;
輸出單元,用于輸出所述用戶動(dòng)作模型以使所述用戶參考所述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整。
作為一種可選的實(shí)施方式,所述輸出單元,包括:
第一獲取子單元,用于通過透視式頭戴顯示器配置的攝像頭獲取用戶視角的圖像;
分析子單元,用于分析所述用戶視角的圖像以確定所述用戶動(dòng)作模型在所述透視式頭戴顯示器上進(jìn)行顯示的位置信息;
第一輸出子單元,用于將所述位置信息和所述用戶動(dòng)作模型輸出至所述透視式頭戴顯示器以進(jìn)行顯示。
作為一種可選的實(shí)施方式,所述輸出單元,包括:
第二獲取子單元,用于通過攝像機(jī)對(duì)所述用戶進(jìn)行拍攝以獲取所述用戶的全身圖像;
圖像處理子單元,用于將所述用戶動(dòng)作模型與所述用戶的全身圖像疊加以獲得目標(biāo)圖像;
第二輸出子單元,用于將所述目標(biāo)圖像輸出至所述用戶佩戴的沉浸式頭戴顯示器以進(jìn)行顯示。
作為一種可選的實(shí)施方式,所述終端設(shè)備還包括:
第二獲取單元,用于從多于一個(gè)角度獲取所述用戶的靜態(tài)全身圖像;
分析單元,用于分析所述用戶的靜態(tài)全身圖像以獲取所述用戶的所述體型參數(shù)信息;其中,所述體型參數(shù)信息包括:身高、臂長、腿長、臂圍和腰圍。
作為一種可選的實(shí)施方式,所述終端設(shè)備還包括:
第二捕捉單元,用于對(duì)教學(xué)者進(jìn)行動(dòng)作捕捉以獲得所述教學(xué)者的身體動(dòng)作;
生成單元,用于根據(jù)所述教學(xué)者的身體動(dòng)作生成所述虛擬教學(xué)內(nèi)容中的所述標(biāo)準(zhǔn)動(dòng)作模型。
從以上技術(shù)方案可以看出,本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn):
本發(fā)明實(shí)施例中,對(duì)用戶進(jìn)行動(dòng)作捕捉以獲得所述用戶的身體動(dòng)作;根據(jù)所述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與所述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型;將所述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)所述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與所述用戶的體型一致的用戶動(dòng)作模型;輸出所述用戶動(dòng)作模型以使所述用戶參考所述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整。實(shí)施本發(fā)明實(shí)施例,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案,下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡要介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域的普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例公開的一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法的流程示意圖;
圖2為本發(fā)明實(shí)施例公開的另一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法的流程示意圖;
圖3為本發(fā)明實(shí)施例公開的一種終端設(shè)備300的結(jié)構(gòu)示意圖;
圖3A為本發(fā)明實(shí)施例公開的一種輸出單元304的結(jié)構(gòu)示意圖;
圖3B為本發(fā)明實(shí)施例公開的另一種輸出單元304的結(jié)構(gòu)示意圖;
圖4為本發(fā)明實(shí)施例公開的另一種終端設(shè)備400的結(jié)構(gòu)示意圖;
圖5為本發(fā)明實(shí)施例公開的一種終端設(shè)備500實(shí)體裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步地詳細(xì)描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部份實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其它實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別不同的對(duì)象,而不是用于描述特定順序。此外,術(shù)語“包括”和“具有”以及它們?nèi)魏巫冃?,意圖在于覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備沒有限定于已列出的步驟或單元,而是可選地還包括沒有列出的步驟或單元,或可選地還包括對(duì)于這些過程、方法或設(shè)備固有的其他步驟或單元。
本發(fā)明實(shí)施例提供了一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法與終端設(shè)備,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。以下分別進(jìn)行詳細(xì)說明。
請(qǐng)參閱圖1,圖1是本發(fā)明實(shí)施例公開的一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法的流程示意圖。其中,圖1所示的基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法可以包括以下步驟:
101、對(duì)用戶進(jìn)行動(dòng)作捕捉以獲得上述用戶的身體動(dòng)作。
本發(fā)明實(shí)施例中所公開的基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法可應(yīng)用于終端設(shè)備,該終端設(shè)備可以是智能手機(jī)、平板電腦、個(gè)人數(shù)字助理(Personal Digital Assistant,PDA)、銷售終端(Point of Sales,POS)、個(gè)人電腦和小型服務(wù)器等終端設(shè)備,本發(fā)明實(shí)施例后續(xù)不作復(fù)述。
本發(fā)明實(shí)施例中,終端設(shè)備可以配置有攝像頭,來對(duì)用戶進(jìn)行實(shí)時(shí)拍攝,以進(jìn)行實(shí)時(shí)的動(dòng)作捕捉,獲取用戶的身體動(dòng)作。并且,除了終端設(shè)備自身配置的攝像頭以外,還可以通過單獨(dú)的攝像頭來獲取視頻圖像;終端設(shè)備與該攝像頭之間建立通信連接,以接收攝像頭傳輸?shù)囊曨l圖像,對(duì)視頻圖像進(jìn)行輪廓提取、特征識(shí)別等模式識(shí)別處理,以獲取用戶的身體動(dòng)作。
在進(jìn)行動(dòng)作捕捉時(shí),可以采用光學(xué)動(dòng)作捕捉的方式。光學(xué)式運(yùn)動(dòng)捕捉通過對(duì)目標(biāo)上特定光點(diǎn)的監(jiān)視和跟蹤來完成運(yùn)動(dòng)捕捉的任務(wù)。因此,用戶需要穿上單色的服裝,在身體的關(guān)鍵部位,如關(guān)節(jié)、髖部、肘、腕等位置貼上一些特制的標(biāo)志或發(fā)光點(diǎn),視覺系統(tǒng)將識(shí)別和處理這些標(biāo)志。系統(tǒng)定標(biāo)后,相機(jī)連續(xù)拍攝用戶的動(dòng)作,并將圖像序列保存下來,然后再進(jìn)行分析和處理,識(shí)別其中的標(biāo)志點(diǎn),并計(jì)算其在每一瞬間的空間位置,進(jìn)而得到其運(yùn)動(dòng)軌跡。為了得到準(zhǔn)確的運(yùn)動(dòng)軌跡,相機(jī)應(yīng)有較高的拍攝速率,一般要達(dá)到每秒60幀以上。
除了光學(xué)動(dòng)作捕捉以外,本發(fā)明實(shí)施例中還可以采用電磁式運(yùn)動(dòng)捕捉、聲學(xué)式運(yùn)動(dòng)捕捉、機(jī)械式運(yùn)動(dòng)捕捉和慣性導(dǎo)航式動(dòng)作捕捉等方式來進(jìn)行動(dòng)作捕捉,具體采用何種方式,本發(fā)明實(shí)施例不作限定。
102、根據(jù)上述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與上述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型。
本發(fā)明實(shí)施例中,將舞蹈、體操和體育運(yùn)動(dòng)等的動(dòng)作制作成虛擬教學(xué)內(nèi)容,以通過增強(qiáng)現(xiàn)實(shí)技術(shù)來向用戶展示上述虛擬教學(xué)內(nèi)容。其具體的實(shí)現(xiàn)方式是,對(duì)舞蹈、體操和體育運(yùn)動(dòng)等的教學(xué)者進(jìn)行動(dòng)作捕捉以獲得教學(xué)者的身體動(dòng)作;然后獲取教學(xué)者的身高、臂長、腿長等體型信息,用以將獲取的動(dòng)作模型進(jìn)行標(biāo)準(zhǔn)化處理,再進(jìn)行存儲(chǔ)以獲得上述虛擬教學(xué)內(nèi)容。虛擬教學(xué)內(nèi)容可類比于現(xiàn)在常用的教學(xué)視頻,但并不是簡單的視頻拍攝,而是以三維身體模型展示的肢體動(dòng)作。
在應(yīng)用本發(fā)明實(shí)施例描述的虛擬教學(xué)方法時(shí),用戶首先完成一個(gè)動(dòng)作,終端設(shè)備在對(duì)用戶進(jìn)行動(dòng)作捕捉獲取了用戶動(dòng)作之后,與虛擬教學(xué)內(nèi)容中的標(biāo)準(zhǔn)動(dòng)作模型進(jìn)行對(duì)比,以確定用戶想要學(xué)習(xí)的是哪個(gè)動(dòng)作。
由于終端設(shè)備實(shí)時(shí)將標(biāo)準(zhǔn)動(dòng)作模型與用戶動(dòng)作進(jìn)行匹配,因此,用戶完成動(dòng)作的速度可以直接控制終端設(shè)備輸出虛擬教學(xué)內(nèi)容的速度,針對(duì)比較難的動(dòng)作,用戶可以放慢模型運(yùn)動(dòng)速度,讓自己慢慢跟隨模型的運(yùn)動(dòng),保證運(yùn)動(dòng)動(dòng)作的標(biāo)準(zhǔn)程度。
103、將上述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)上述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與上述用戶的體型一致的用戶動(dòng)作模型。
在確定了與用戶動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型之后,終端設(shè)備根據(jù)用戶的體型對(duì)標(biāo)準(zhǔn)動(dòng)作模型進(jìn)行變換,以獲得與用戶體型一致的用戶動(dòng)作模型。
除此之外,終端設(shè)備還可以獲取用戶的面部圖像,將用戶的面部特征也反映在上述用戶動(dòng)作模型上,即將用戶動(dòng)作模型表現(xiàn)為與用戶的體貌特征一致。
104、輸出上述用戶動(dòng)作模型以使上述用戶參考上述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整。
作為一種可選的實(shí)施方式,上述用戶動(dòng)作模型可以輸出至用戶佩戴的透視式頭戴顯示器來向用戶進(jìn)行展示。在通過透視式的頭銜顯示器來進(jìn)行顯示時(shí),輸出的用戶動(dòng)作模型需與用戶視角的真實(shí)場景的尺寸匹配,從而為用戶帶來較強(qiáng)的代入感。舉例來說,用戶視角的場景可為表演舞臺(tái)、運(yùn)動(dòng)場地或者體操練習(xí)房的鏡子;以體操練習(xí)房的鏡子為例,用戶原本的視角可以看到鏡子里反射的自己完成動(dòng)作的圖像,將上述用戶動(dòng)作模型在透視式頭戴顯示器上顯示時(shí),應(yīng)當(dāng)與用戶鏡子里反射的動(dòng)作圖像相重合,用戶可以通過對(duì)比自己的動(dòng)作與標(biāo)準(zhǔn)動(dòng)作模型的差異之處,來糾正自己的動(dòng)作。
因此,可以通過如下的方式來在透視式頭戴顯示器上輸出用戶動(dòng)作模型:通過透視式頭戴顯示器配置的攝像頭獲取用戶視角的圖像;分析上述用戶視角的圖像以確定上述用戶動(dòng)作模型在上述透視式頭戴顯示器上進(jìn)行顯示的位置信息;將上述位置信息和上述用戶動(dòng)作模型輸出至上述透視式頭戴顯示器以進(jìn)行顯示。
作為另一種可選的實(shí)施方式,上述用戶動(dòng)作模型可以輸出至用戶佩戴的沉浸式頭戴顯示器來向用戶進(jìn)行展示。可以通過如下的方式來在沉浸式頭戴顯示器上輸出用戶動(dòng)作模型:通過攝像機(jī)對(duì)上述用戶進(jìn)行拍攝以獲取上述用戶的全身圖像;將上述用戶動(dòng)作模型與上述用戶的全身圖像疊加以獲得目標(biāo)圖像;將上述目標(biāo)圖像輸出至上述用戶佩戴的沉浸式頭戴顯示器以進(jìn)行顯示。
通過看視頻、看鏡子等方式來進(jìn)行動(dòng)作學(xué)習(xí)時(shí),無法每時(shí)每刻都觀察到自己的動(dòng)作,并且也無法實(shí)時(shí)與標(biāo)準(zhǔn)動(dòng)作進(jìn)行比對(duì);而通過沉浸式頭戴顯示器來向用戶輸出虛擬教學(xué)內(nèi)容的方式,便可以解決這一問題。
由此可見,利用圖1所描述的方法,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。
請(qǐng)參閱圖2,圖2是本發(fā)明實(shí)施例公開的另一種基于增強(qiáng)現(xiàn)實(shí)的虛擬教學(xué)方法的流程示意圖。如圖2所示,該方法可以包括以下步驟:
201、對(duì)用戶進(jìn)行動(dòng)作捕捉以獲得上述用戶的身體動(dòng)作。
本發(fā)明實(shí)施例中,終端設(shè)備可以配置有攝像頭,來對(duì)用戶進(jìn)行實(shí)時(shí)拍攝,以進(jìn)行實(shí)時(shí)的動(dòng)作捕捉,獲取用戶的身體動(dòng)作。并且,除了終端設(shè)備自身配置的攝像頭以外,還可以通過單獨(dú)的攝像頭來獲取視頻圖像;終端設(shè)備與該攝像頭之間建立通信連接,以接收攝像頭傳輸?shù)囊曨l圖像,對(duì)視頻圖像進(jìn)行輪廓提取、特征識(shí)別等模式識(shí)別處理,以獲取用戶的身體動(dòng)作。
在進(jìn)行動(dòng)作捕捉時(shí),可以采用光學(xué)動(dòng)作捕捉的方式。光學(xué)式運(yùn)動(dòng)捕捉通過對(duì)目標(biāo)上特定光點(diǎn)的監(jiān)視和跟蹤來完成運(yùn)動(dòng)捕捉的任務(wù)。因此,用戶需要穿上單色的服裝,在身體的關(guān)鍵部位,如關(guān)節(jié)、髖部、肘、腕等位置貼上一些特制的標(biāo)志或發(fā)光點(diǎn),視覺系統(tǒng)將識(shí)別和處理這些標(biāo)志。系統(tǒng)定標(biāo)后,相機(jī)連續(xù)拍攝用戶的動(dòng)作,并將圖像序列保存下來,然后再進(jìn)行分析和處理,識(shí)別其中的標(biāo)志點(diǎn),并計(jì)算其在每一瞬間的空間位置,進(jìn)而得到其運(yùn)動(dòng)軌跡。為了得到準(zhǔn)確的運(yùn)動(dòng)軌跡,相機(jī)應(yīng)有較高的拍攝速率,一般要達(dá)到每秒60幀以上。
202、根據(jù)上述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與上述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型。
在應(yīng)用本發(fā)明實(shí)施例描述的虛擬教學(xué)方法時(shí),用戶首先完成一個(gè)動(dòng)作,終端設(shè)備在對(duì)用戶進(jìn)行動(dòng)作捕捉獲取了用戶動(dòng)作之后,與虛擬教學(xué)內(nèi)容中的標(biāo)準(zhǔn)動(dòng)作模型進(jìn)行對(duì)比,以確定用戶想要學(xué)習(xí)的是哪個(gè)動(dòng)作。
203、從多于一個(gè)角度獲取上述用戶的靜態(tài)全身圖像。
本發(fā)明實(shí)施例中,終端設(shè)備從多個(gè)角度拍攝用戶的全身圖像,通過角度和距離的測量方法,來獲取用戶的體型參數(shù)信息,其中,上述體型參數(shù)信息包括身高、臂長、腿長、臂圍和腰圍等。
204、分析上述用戶的靜態(tài)全身圖像以獲取上述用戶的上述體型參數(shù)信息;其中,上述體型參數(shù)信息包括:身高、臂長、腿長、臂圍和腰圍。
205、將上述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)上述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與上述用戶的體型一致的用戶動(dòng)作模型;
206、輸出上述用戶動(dòng)作模型以使上述用戶參考上述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整。
作為一種可選的實(shí)施方式,上述用戶動(dòng)作模型可以輸出至用戶佩戴的透視式頭戴顯示器來向用戶進(jìn)行展示。在通過透視式的頭銜顯示器來進(jìn)行顯示時(shí),輸出的用戶動(dòng)作模型需與用戶視角的真實(shí)場景的尺寸匹配,從而為用戶帶來較強(qiáng)的代入感。舉例來說,用戶視角的場景可為表演舞臺(tái)、運(yùn)動(dòng)場地或者體操練習(xí)房的鏡子;以體操練習(xí)房的鏡子為例,用戶原本的視角可以看到鏡子里反射的自己完成動(dòng)作的圖像,將上述用戶動(dòng)作模型在透視式頭戴顯示器上顯示時(shí),應(yīng)當(dāng)與用戶鏡子里反射的動(dòng)作圖像相重合,用戶可以通過對(duì)比自己的動(dòng)作與標(biāo)準(zhǔn)動(dòng)作模型的差異之處,來糾正自己的動(dòng)作。
因此,可以通過如下的方式來在透視式頭戴顯示器上輸出用戶動(dòng)作模型:通過透視式頭戴顯示器配置的攝像頭獲取用戶視角的圖像;分析上述用戶視角的圖像以確定上述用戶動(dòng)作模型在上述透視式頭戴顯示器上進(jìn)行顯示的位置信息;將上述位置信息和上述用戶動(dòng)作模型輸出至上述透視式頭戴顯示器以進(jìn)行顯示。
作為另一種可選的實(shí)施方式,上述用戶動(dòng)作模型可以輸出至用戶佩戴的沉浸式頭戴顯示器來向用戶進(jìn)行展示??梢酝ㄟ^如下的方式來在沉浸式頭戴顯示器上輸出用戶動(dòng)作模型:通過攝像機(jī)對(duì)上述用戶進(jìn)行拍攝以獲取上述用戶的全身圖像;將上述用戶動(dòng)作模型與上述用戶的全身圖像疊加以獲得目標(biāo)圖像;將上述目標(biāo)圖像輸出至上述用戶佩戴的沉浸式頭戴顯示器以進(jìn)行顯示。
由此可見,利用圖2所描述的方法,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。
請(qǐng)參閱圖3,圖3是本發(fā)明實(shí)施例公開的一種終端設(shè)備300的結(jié)構(gòu)示意圖。如圖3所示,該終端設(shè)備可以包括:
第一捕捉單元301,用于對(duì)用戶進(jìn)行動(dòng)作捕捉以獲得上述用戶的身體動(dòng)作。
第一獲取單元302,用于根據(jù)上述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與上述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型。
變換單元303,用于將上述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)上述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與上述用戶的體型一致的用戶動(dòng)作模型。
輸出單元304,用于輸出上述用戶動(dòng)作模型以使上述用戶參考上述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整。
請(qǐng)參閱圖3A,圖3A為本發(fā)明實(shí)施例公開的一種輸出單元304的結(jié)構(gòu)示意圖;如圖3A所示,輸出單元304包括:第一獲取子單元3041、分析子單元3042和第一輸出子單元3043。
其中,第一獲取子單元3041,用于通過透視式頭戴顯示器配置的攝像頭獲取用戶視角的圖像;
分析子單元3042,用于分析上述用戶視角的圖像以確定上述用戶動(dòng)作模型在上述透視式頭戴顯示器上進(jìn)行顯示的位置信息;
第一輸出子單元3043,用于將上述位置信息和上述用戶動(dòng)作模型輸出至上述透視式頭戴顯示器以進(jìn)行顯示。
請(qǐng)參閱圖3B,圖3B為本發(fā)明實(shí)施例公開的另一種輸出單元304的結(jié)構(gòu)示意圖;如圖3B所示,輸出單元304包括:第二獲取子單元3044、圖像處理子單元3045和第二輸出子單元3046。
其中,第二獲取子單元3044,用于通過攝像機(jī)對(duì)上述用戶進(jìn)行拍攝以獲取上述用戶的全身圖像;
圖像處理子單元3045,用于將上述用戶動(dòng)作模型與上述用戶的全身圖像疊加以獲得目標(biāo)圖像;
第二輸出子單元3046,用于將上述目標(biāo)圖像輸出至上述用戶佩戴的沉浸式頭戴顯示器以進(jìn)行顯示。
由此可見,圖3所描述的終端設(shè)備,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。
請(qǐng)一并參閱圖4,圖4是本發(fā)明實(shí)施例公開的另一種終端設(shè)備400的結(jié)構(gòu)示意圖。其中,圖4所示的終端設(shè)備是由圖3所示的終端設(shè)備進(jìn)行優(yōu)化得到的,與圖3所示的終端設(shè)備相比,圖4所示的終端設(shè)備還包括:
第二獲取單元305,用于從多于一個(gè)角度獲取上述用戶的靜態(tài)全身圖像。
分析單元306,用于分析上述用戶的靜態(tài)全身圖像以獲取上述用戶的上述體型參數(shù)信息;其中,上述體型參數(shù)信息包括:身高、臂長、腿長、臂圍和腰圍。
第二捕捉單元307,用于對(duì)教學(xué)者進(jìn)行動(dòng)作捕捉以獲得上述教學(xué)者的身體動(dòng)作。
生成單元308,用于根據(jù)上述教學(xué)者的身體動(dòng)作生成上述虛擬教學(xué)內(nèi)容中的上述標(biāo)準(zhǔn)動(dòng)作模型。
由此可見,圖4所描述的終端設(shè)備,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。
請(qǐng)參閱圖5,圖5為本發(fā)明實(shí)施例公開的一種終端設(shè)備500的結(jié)構(gòu)示意圖。如圖5所示,為了便于說明,僅示出了與本發(fā)明實(shí)施例相關(guān)的部分,具體技術(shù)細(xì)節(jié)未揭示的,請(qǐng)參照本發(fā)明實(shí)施例方法部分。該終端可以為包括手機(jī)、平板電腦、PDA(Personal Digital Assistant,個(gè)人數(shù)字助理)、POS(Point of Sales,銷售終端)、車載電腦等任意終端設(shè)備,以終端為手機(jī)為例:
圖5示出的是與本發(fā)明實(shí)施例提供的終端相關(guān)的手機(jī)的部分結(jié)構(gòu)的框圖。參考圖5,手機(jī)包括:射頻(Radio Frequency,RF)電路501、存儲(chǔ)器502、輸入單元503、顯示單元504、傳感器505、音頻電路506、無線保真(wireless fidelity,WiFi)模塊507、處理器508、以及電源509等部件。本領(lǐng)域技術(shù)人員可以理解,圖5中示出的手機(jī)結(jié)構(gòu)并不構(gòu)成對(duì)手機(jī)的限定,可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件布置。
下面結(jié)合圖5對(duì)手機(jī)的各個(gè)構(gòu)成部件進(jìn)行具體的介紹:
RF電路501可用于收發(fā)信息或通話過程中,信號(hào)的接收和發(fā)送,特別地,將基站的下行信息接收后,給處理器508處理;另外,將設(shè)計(jì)上行的數(shù)據(jù)發(fā)送給基站。通常,RF電路501包括但不限于天線、至少一個(gè)放大器、收發(fā)信機(jī)、耦合器、低噪聲放大器(Low Noise Amplifier,LNA)、雙工器等。此外,RF電路501還可以通過無線通信與網(wǎng)絡(luò)和其他設(shè)備通信。上述無線通信可以使用任一通信標(biāo)準(zhǔn)或協(xié)議,包括但不限于全球移動(dòng)通訊系統(tǒng)(Global System of Mobile communication,GSM)、通用分組無線服務(wù)(General Packet Radio Service,GPRS)、碼分多址(Code Division Multiple Access,CDMA)、寬帶碼分多址(Wideband Code Division Multiple Access,WCDMA)、長期演進(jìn)(Long Term Evolution,LTE)、電子郵件、短消息服務(wù)(Short Messaging Service,SMS)等。
存儲(chǔ)器502可用于存儲(chǔ)軟件程序以及模塊,處理器508通過運(yùn)行存儲(chǔ)在存儲(chǔ)器502的軟件程序以及模塊,從而執(zhí)行手機(jī)的各種功能應(yīng)用以及數(shù)據(jù)處理。存儲(chǔ)器502可主要包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū),其中,存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等;存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)手機(jī)的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外,存儲(chǔ)器502可以包括高速隨機(jī)存取存儲(chǔ)器,還可以包括非易失性存儲(chǔ)器,例如至少一個(gè)磁盤存儲(chǔ)器件、閃存器件、或其他易失性固態(tài)存儲(chǔ)器件。
輸入單元503可用于接收輸入的數(shù)字或字符信息,以及產(chǎn)生與手機(jī)的用戶設(shè)置以及功能控制有關(guān)的鍵信號(hào)輸入。具體地,輸入單元503可包括觸控面板5031以及其他輸入設(shè)備5032。觸控面板5031,也稱為觸摸屏,可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板5031上或在觸控面板5031附近的操作),并根據(jù)預(yù)先設(shè)定的程式驅(qū)動(dòng)相應(yīng)的連接裝置??蛇x的,觸控面板5031可包括觸摸檢測裝置和觸摸控制器兩個(gè)部分。其中,觸摸檢測裝置檢測用戶的觸摸方位,并檢測觸摸操作帶來的信號(hào),將信號(hào)傳送給觸摸控制器;觸摸控制器從觸摸檢測裝置上接收觸摸信息,并將它轉(zhuǎn)換成觸點(diǎn)坐標(biāo),再送給處理器508,并能接收處理器508發(fā)來的命令并加以執(zhí)行。此外,可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實(shí)現(xiàn)觸控面板5031。除了觸控面板5031,輸入單元503還可以包括其他輸入設(shè)備5032。具體地,其他輸入設(shè)備5032可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。
顯示單元504可用于顯示由用戶輸入的信息或提供給用戶的信息以及手機(jī)的各種菜單。顯示單元504可包括顯示面板5041,可選的,可以采用液晶顯示器(Liquid Crystal Display,LCD)、有機(jī)發(fā)光二極管(Organic Light-Emitting Diode,OLED)等形式來配置顯示面板5041。進(jìn)一步的,觸控面板5031可覆蓋顯示面板5041,當(dāng)觸控面板5031檢測到在其上或附近的觸摸操作后,傳送給處理器508以確定觸摸事件的類型,隨后處理器508根據(jù)觸摸事件的類型在顯示面板5041上提供相應(yīng)的視覺輸出。雖然在圖5中,觸控面板5031與顯示面板5041是作為兩個(gè)獨(dú)立的部件來實(shí)現(xiàn)手機(jī)的輸入和輸入功能,但是在某些實(shí)施例中,可以將觸控面板5031與顯示面板5041集成而實(shí)現(xiàn)手機(jī)的輸入和輸出功能。
手機(jī)還可包括至少一種傳感器505,比如光傳感器、運(yùn)動(dòng)傳感器以及其他傳感器。具體地,光傳感器可包括環(huán)境光傳感器及接近傳感器,其中,環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來調(diào)節(jié)顯示面板5041的亮度,接近傳感器可在手機(jī)移動(dòng)到耳邊時(shí),關(guān)閉顯示面板5041和/或背光。作為運(yùn)動(dòng)傳感器的一種,加速計(jì)傳感器可檢測各個(gè)方向上(一般為三軸)加速度的大小,靜止時(shí)可檢測出重力的大小及方向,可用于識(shí)別手機(jī)姿態(tài)的應(yīng)用(比如橫豎屏切換、相關(guān)游戲、磁力計(jì)姿態(tài)校準(zhǔn))、振動(dòng)識(shí)別相關(guān)功能(比如計(jì)步器、敲擊)等;至于手機(jī)還可配置的陀螺儀、氣壓計(jì)、濕度計(jì)、溫度計(jì)、紅外線傳感器等其他傳感器,在此不再贅述。
音頻電路506、揚(yáng)聲器5061,傳聲器5062可提供用戶與手機(jī)之間的音頻接口。音頻電路506可將接收到的音頻數(shù)據(jù)轉(zhuǎn)換后的電信號(hào),傳輸?shù)綋P(yáng)聲器5061,由揚(yáng)聲器5061轉(zhuǎn)換為聲音信號(hào)輸出;另一方面,傳聲器5062將收集的聲音信號(hào)轉(zhuǎn)換為電信號(hào),由音頻電路506接收后轉(zhuǎn)換為音頻數(shù)據(jù),再將音頻數(shù)據(jù)輸出處理器508處理后,經(jīng)RF電路501以發(fā)送給比如另一手機(jī),或者將音頻數(shù)據(jù)輸出至存儲(chǔ)器502以便進(jìn)一步處理。
WiFi屬于短距離無線傳輸技術(shù),手機(jī)通過WiFi模塊507可以幫助用戶收發(fā)電子郵件、瀏覽網(wǎng)頁和訪問流式媒體等,它為用戶提供了無線的寬帶互聯(lián)網(wǎng)訪問。雖然圖5示出了WiFi模塊507,但是可以理解的是,其并不屬于手機(jī)的必須構(gòu)成,完全可以根據(jù)需要在不改變發(fā)明的本質(zhì)的范圍內(nèi)而省略。
處理器508是手機(jī)的控制中心,利用各種接口和線路連接整個(gè)手機(jī)的各個(gè)部分,通過運(yùn)行或執(zhí)行存儲(chǔ)在存儲(chǔ)器502內(nèi)的軟件程序和/或模塊,以及調(diào)用存儲(chǔ)在存儲(chǔ)器502內(nèi)的數(shù)據(jù),執(zhí)行手機(jī)的各種功能和處理數(shù)據(jù),從而對(duì)手機(jī)進(jìn)行整體監(jiān)控??蛇x的,處理器508可包括一個(gè)或多個(gè)處理單元;優(yōu)選的,處理器508可集成應(yīng)用處理器和調(diào)制解調(diào)處理器,其中,應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序等,調(diào)制解調(diào)處理器主要處理無線通信??梢岳斫獾氖?,上述調(diào)制解調(diào)處理器也可以不集成到處理器508中。
手機(jī)還包括給各個(gè)部件供電的電源509(比如電池),優(yōu)選的,電源可以通過電源管理系統(tǒng)與處理器508邏輯相連,從而通過電源管理系統(tǒng)實(shí)現(xiàn)管理充電、放電、以及功耗管理等功能。
盡管未示出,手機(jī)還可以包括攝像頭、藍(lán)牙模塊等,在此不再贅述。
前述實(shí)施例中,各步驟方法流程可以基于該終端設(shè)備的結(jié)構(gòu)實(shí)現(xiàn)。其中應(yīng)用層和操作系統(tǒng)內(nèi)核均可視為處理器508的抽象化結(jié)構(gòu)的組成部分。
在本發(fā)明實(shí)施例中,處理器508通過調(diào)用存儲(chǔ)于存儲(chǔ)器502中的程序代碼,用于執(zhí)行以下操作:
對(duì)用戶進(jìn)行動(dòng)作捕捉以獲得上述用戶的身體動(dòng)作;
根據(jù)上述用戶的身體動(dòng)作獲取虛擬教學(xué)內(nèi)容中與上述用戶的身體動(dòng)作匹配的標(biāo)準(zhǔn)動(dòng)作模型;
將上述匹配的標(biāo)準(zhǔn)動(dòng)作模型根據(jù)上述用戶的體型參數(shù)信息進(jìn)行變換,以獲得與上述用戶的體型一致的用戶動(dòng)作模型;
輸出上述用戶動(dòng)作模型以使上述用戶參考上述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整。
作為一種可選的實(shí)施方式,處理器508通過調(diào)用存儲(chǔ)于存儲(chǔ)器502中的程序代碼,通過如下方式輸出上述用戶動(dòng)作模型以使上述用戶參考上述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整:
通過透視式頭戴顯示器配置的攝像頭獲取用戶視角的圖像;
分析上述用戶視角的圖像以確定上述用戶動(dòng)作模型在上述透視式頭戴顯示器上進(jìn)行顯示的位置信息;
將上述位置信息和上述用戶動(dòng)作模型輸出至上述透視式頭戴顯示器以進(jìn)行顯示。
作為一種可選的實(shí)施方式,處理器508通過調(diào)用存儲(chǔ)于存儲(chǔ)器502中的程序代碼,通過如下方式輸出上述用戶動(dòng)作模型以使上述用戶參考上述用戶動(dòng)作模型對(duì)身體動(dòng)作進(jìn)行調(diào)整:
通過攝像機(jī)對(duì)上述用戶進(jìn)行拍攝以獲取上述用戶的全身圖像;
將上述用戶動(dòng)作模型與上述用戶的全身圖像疊加以獲得目標(biāo)圖像;
將上述目標(biāo)圖像輸出至上述用戶佩戴的沉浸式頭戴顯示器以進(jìn)行顯示。
作為一種可選的實(shí)施方式,處理器508通過調(diào)用存儲(chǔ)于存儲(chǔ)器502中的程序代碼,用于執(zhí)行以下操作:
從多于一個(gè)角度獲取上述用戶的靜態(tài)全身圖像;
分析上述用戶的靜態(tài)全身圖像以獲取上述用戶的上述體型參數(shù)信息;其中,上述體型參數(shù)信息包括:身高、臂長、腿長、臂圍和腰圍。
作為一種可選的實(shí)施方式,處理器508通過調(diào)用存儲(chǔ)于存儲(chǔ)器502中的程序代碼,用于執(zhí)行以下操作:
對(duì)教學(xué)者進(jìn)行動(dòng)作捕捉以獲得上述教學(xué)者的身體動(dòng)作;
根據(jù)上述教學(xué)者的身體動(dòng)作生成上述虛擬教學(xué)內(nèi)容中的上述標(biāo)準(zhǔn)動(dòng)作模型。
由此可見,圖5所描述的終端設(shè)備,可以將舞蹈、瑜伽、體操等動(dòng)作學(xué)習(xí)內(nèi)容通過與用戶體型一致的用戶動(dòng)作模型展現(xiàn),用戶根據(jù)用戶動(dòng)作模型來調(diào)整自己的動(dòng)作,以達(dá)到動(dòng)作學(xué)習(xí)的目的。
值得注意的是,上述終端設(shè)備實(shí)施例中,所包括的各個(gè)單元只是按照功能邏輯進(jìn)行劃分的,但并不局限于上述的劃分,只要能夠?qū)崿F(xiàn)相應(yīng)的功能即可;另外,各功能單元的具體名稱也只是為了便于相互區(qū)分,并不用于限制本發(fā)明的保護(hù)范圍。
另外,本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述各方法實(shí)施例中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成,相應(yīng)的程序可以存儲(chǔ)于一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,上述提到的存儲(chǔ)介質(zhì)可以是只讀存儲(chǔ)器,磁盤或光盤等。
以上僅為本發(fā)明較佳的具體實(shí)施方式,但本發(fā)明的保護(hù)范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明實(shí)施例揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此,本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的保護(hù)范圍為準(zhǔn)。