增強(qiáng)現(xiàn)實(shí)的方法和增強(qiáng)現(xiàn)實(shí)的系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)的方法和增強(qiáng)現(xiàn)實(shí)的系統(tǒng)。根據(jù)拍攝到的投影屏幕前方的用戶(hù)的圖像，確定用戶(hù)在投影屏幕上的影像上的各點(diǎn)在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第一坐標(biāo)；將第一坐標(biāo)轉(zhuǎn)換為用戶(hù)所在的視圖平面坐標(biāo)系內(nèi)的第二坐標(biāo)；將第二坐標(biāo)轉(zhuǎn)換為投影屏幕所在的投影坐標(biāo)系內(nèi)的第三坐標(biāo)；在投影屏幕上第三坐標(biāo)對(duì)應(yīng)的位置顯示設(shè)定的圖像或視頻。從而實(shí)現(xiàn)觀眾觀看到的投影屏幕前方的用戶(hù)與投影屏幕上虛擬的像疊加在一起，提高增強(qiáng)現(xiàn)實(shí)的效果。
【專(zhuān)利說(shuō)明】增強(qiáng)現(xiàn)實(shí)的方法和增強(qiáng)現(xiàn)實(shí)的系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種增強(qiáng)現(xiàn)實(shí)的方法和增強(qiáng)現(xiàn)實(shí)的系 統(tǒng)。

【背景技術(shù)】
[0002] 增強(qiáng)現(xiàn)實(shí)是一種全新的人機(jī)交互技術(shù)，利用這樣一種技術(shù)，可以模擬真實(shí)的現(xiàn)場(chǎng) 景觀，使用者不僅能夠通過(guò)虛擬現(xiàn)實(shí)系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的"身臨其境" 的逼真性，而且能夠突破空間、時(shí)間以及其它客觀限制，感受到在真實(shí)世界中無(wú)法親身經(jīng) 歷的體驗(yàn)。增強(qiáng)現(xiàn)實(shí)系統(tǒng)通常由顯示技術(shù)、跟蹤和定位技術(shù)、界面和可視化技術(shù)、標(biāo)定技術(shù) 實(shí)現(xiàn)。增強(qiáng)現(xiàn)實(shí)技術(shù)在多個(gè)領(lǐng)域的應(yīng)用都有很好的效果。例如：教學(xué)，通過(guò)新穎豐富的圖像 效果更有利于提升學(xué)生的興趣從而提高課堂效率；舞臺(tái)表演，通過(guò)舞者背后的屏幕可以令 表演更有震撼力。
[0003] 現(xiàn)有技術(shù)中，可以采用直接線(xiàn)性變換方法（DLT)，利用透視變換矩陣的攝像機(jī)定標(biāo) 方法等進(jìn)行定標(biāo)，然而屏幕顯示內(nèi)容不會(huì)改變，增強(qiáng)現(xiàn)實(shí)效果不好。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)的方法和增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，以使觀眾觀看到的投影屏幕 前方的用戶(hù)與投影屏幕上虛擬的像疊加在一起，提高增強(qiáng)現(xiàn)實(shí)的效果。
[0005] -方面，本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)的方法，包括：
[0006] 在設(shè)定的攝像點(diǎn)，獲取位于投影屏幕前方的用戶(hù)的圖像；
[0007] 根據(jù)所獲取的所述用戶(hù)的圖像，確定所述用戶(hù)在所述投影屏幕上的影像上的各點(diǎn) 在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第一坐標(biāo)；
[0008] 將所述第一坐標(biāo)轉(zhuǎn)換為所述用戶(hù)所在的的視圖平面坐標(biāo)系內(nèi)的第二坐標(biāo)；
[0009] 將所述第二坐標(biāo)轉(zhuǎn)換為所述投影屏幕所在的投影坐標(biāo)系內(nèi)的第三坐標(biāo)；
[0010] 在所述投影屏幕上所述第三坐標(biāo)對(duì)應(yīng)的位置顯示設(shè)定的圖像或視頻。
[0011] 另一方面，本發(fā)明還提供一種增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括：
[0012] 攝像單元，用于拍攝獲取位于投影屏幕前方的用戶(hù)的圖像；
[0013] 處理單元，用于根據(jù)所獲取的所述用戶(hù)的圖像，確定所述用戶(hù)在所述投影屏幕上 的影像上的各點(diǎn)在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第一坐標(biāo)；將所述第一坐標(biāo)轉(zhuǎn)換為所述用戶(hù)所在的的 視圖平面坐標(biāo)系內(nèi)的第二坐標(biāo)；將所述第二坐標(biāo)轉(zhuǎn)換為所述投影屏幕所在的投影坐標(biāo)系內(nèi) 的第三坐標(biāo)；
[0014] 投影單元，用于在所述投影屏幕上所述第三坐標(biāo)對(duì)應(yīng)的位置顯示設(shè)定的圖像或視 頻。
[0015] 本發(fā)明提供的增強(qiáng)現(xiàn)實(shí)的方法和增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，根據(jù)拍攝到的投影屏幕前方的 用戶(hù)的圖像，確定用戶(hù)在投影屏幕上的影像上的各點(diǎn)在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第一坐標(biāo)；將第 一坐標(biāo)轉(zhuǎn)換為用戶(hù)所在的的視圖平面坐標(biāo)系內(nèi)的第二坐標(biāo)；將第二坐標(biāo)轉(zhuǎn)換為投影屏幕所 在的投影坐標(biāo)系內(nèi)的第三坐標(biāo)；在投影屏幕上第三坐標(biāo)對(duì)應(yīng)的位置顯示設(shè)定的圖像或視 頻。從而實(shí)現(xiàn)觀眾觀看到的投影屏幕前方的用戶(hù)與投影屏幕上虛擬的像疊加在一起，提高 增強(qiáng)現(xiàn)實(shí)的效果。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0016] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖做一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā) 明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0017] 圖1為本發(fā)明提供的增強(qiáng)現(xiàn)實(shí)的方法一個(gè)實(shí)施例的流程圖；
[0018] 圖2為本發(fā)明提供的Kinect設(shè)備內(nèi)部功能模塊示意圖；
[0019] 圖3為本發(fā)明提供增強(qiáng)現(xiàn)實(shí)的方法實(shí)際情景和觀眾感受的對(duì)比示意圖；
[0020] 圖4為本發(fā)明提供的人體骨架識(shí)別點(diǎn)示意圖；
[0021] 圖5為本發(fā)明提供的攝像點(diǎn)-用戶(hù)-投影屏幕的側(cè)視圖；
[0022] 圖6為本發(fā)明提供的攝像點(diǎn)-用戶(hù)-投影屏幕的俯視圖；
[0023] 圖7為本發(fā)明提供的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0024] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0025] 圖1為本發(fā)明提供的增強(qiáng)現(xiàn)實(shí)的方法一個(gè)實(shí)施例的流程圖，如圖1所示，該方法包 括：
[0026]S101、在設(shè)定的攝像點(diǎn)，獲取位于投影屏幕前方的用戶(hù)的圖像。
[0027] 本發(fā)明提供的增強(qiáng)現(xiàn)實(shí)方法，其適用的場(chǎng)景具體是，投影屏幕上顯示有設(shè)定的圖 像或視頻(例如教學(xué)內(nèi)容，配合表演者的背景畫(huà)面等)，用戶(hù)（教師，表演者等）位于投影屏幕 前方(例如可以在投影屏幕前方的舞臺(tái)上)。用戶(hù)可以正面面向投影屏幕，也可以背對(duì)投影 屏幕。
[0028] 本發(fā)明中可以采用現(xiàn)有的各種攝像設(shè)備獲取位于投影屏幕前方的用戶(hù)的圖像。作 為一種較佳的實(shí)施方式，本發(fā)明可以采用Kinect設(shè)備來(lái)拍攝獲取用戶(hù)的圖像。需要說(shuō)明的 是，Kinect設(shè)備是一種三維攝像機(jī)，其具有顏色攝像頭，深度攝像頭和麥克風(fēng)矩陣。其內(nèi)部 的具體結(jié)構(gòu)框圖可參見(jiàn)圖2。攝像設(shè)備可以連接到具有數(shù)據(jù)處理功能的設(shè)備，例如：PC機(jī)， 平板電腦，手機(jī)等設(shè)備，由數(shù)據(jù)處理功能的設(shè)備執(zhí)行S102-S104的計(jì)算過(guò)程。
[0029]S102、根據(jù)所獲取的用戶(hù)的圖像，確定用戶(hù)在投影屏幕上的影像上的各點(diǎn)在現(xiàn)實(shí) 坐標(biāo)空間內(nèi)的第一坐標(biāo)。
[0030] 具體的，拍攝獲取到用戶(hù)的圖像后，由于該圖像實(shí)質(zhì)上由許許多多坐標(biāo)點(diǎn)組成，因 此，可以確定該用戶(hù)的圖像上的各點(diǎn)在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第四坐標(biāo)，本發(fā)明所涉及的第四 坐標(biāo)是泛指圖像上的任意一點(diǎn)在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的坐標(biāo)。其中，該現(xiàn)實(shí)坐標(biāo)空間可以以攝 像點(diǎn)作為原點(diǎn)，該攝像點(diǎn)即為拍攝設(shè)備的攝像頭所在的位置。現(xiàn)實(shí)坐標(biāo)空間的X軸正方向 可以是面向投影屏幕時(shí)的水平向右方向，y軸正方向可以是垂直向上的方向，Z軸正方向可 以是攝像點(diǎn)垂直朝向投影屏幕的方向。
[0031] 進(jìn)一步的，由于攝像點(diǎn)到用戶(hù)所在的平面所構(gòu)成的三角形與攝像點(diǎn)到投影屏 幕所在的平面所構(gòu)成的三角形相似，因此，根據(jù)三角形相似原理，可以由根據(jù)攝像點(diǎn)與用 戶(hù)的距離屯，攝像點(diǎn)與投影屏幕之間的距離d2，以及第四坐標(biāo)（x，y，屯），確定第一坐標(biāo)

【權(quán)利要求】
1. 一種增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，包括： 在設(shè)定的攝像點(diǎn)，獲取位于投影屏幕前方的用戶(hù)的圖像； 根據(jù)所獲取的所述用戶(hù)的圖像，確定所述用戶(hù)在所述投影屏幕上的影像上的各點(diǎn)在現(xiàn) 實(shí)坐標(biāo)空間內(nèi)的第一坐標(biāo)； 將所述第一坐標(biāo)轉(zhuǎn)換為所述用戶(hù)所在的視圖平面坐標(biāo)系內(nèi)的第二坐標(biāo)； 將所述第二坐標(biāo)轉(zhuǎn)換為所述投影屏幕所在的投影坐標(biāo)系內(nèi)的第H坐標(biāo)； 在所述投影屏幕上所述第H坐標(biāo)對(duì)應(yīng)的位置顯示設(shè)定的圖像或視頻。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所獲取的所述用戶(hù)的圖像，確定 所述用戶(hù)在所述投影屏幕上的影像上的各點(diǎn)在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第一坐標(biāo)，具體為： 根據(jù)所獲取的所述用戶(hù)的圖像，確定所述用戶(hù)的圖像上的各點(diǎn)在所述現(xiàn)實(shí)坐標(biāo)空間內(nèi) 的第四坐標(biāo)； 根據(jù)所述攝像點(diǎn)與所述用戶(hù)的距離di，所述攝像點(diǎn)與所述投影屏幕之間的距離d,，W 及所述第四坐標(biāo)（X，y, di)，確定所述第一坐標(biāo)。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述第一坐標(biāo)轉(zhuǎn)換為所述用戶(hù)所 在的視圖平面坐標(biāo)系內(nèi)的第二坐標(biāo)，具體為： 根據(jù)水平方向上所述用戶(hù)所在平面的拍攝范圍2413〇^，垂直方向上所述用戶(hù)所在平 面的拍攝范圍24Um^，所述視圖平面坐標(biāo)系的X軸的最大范圍Wpi，y軸的最大范圍Hpi，確 定所述第二坐楊
'其中，a為水平方向最大拍攝視角，目 為垂直方向最大拍攝視角。
4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述第二坐標(biāo)轉(zhuǎn)換為所述投影屏 幕所在的投影坐標(biāo)系內(nèi)的第H坐標(biāo)，具體為： 根據(jù)所述投影坐標(biāo)系X軸的最大范圍Wp2, y軸的最大范圍電，確定所述第H坐標(biāo)
5. -種增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于，包括： 攝像單元，用于拍攝獲取位于投影屏幕前方的用戶(hù)的圖像； 處理單元，用于根據(jù)所獲取的所述用戶(hù)的圖像，確定所述用戶(hù)在所述投影屏幕上的影 像上的各點(diǎn)在現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第一坐標(biāo)；將所述第一坐標(biāo)轉(zhuǎn)換為所述用戶(hù)所在的視圖平 面坐標(biāo)系內(nèi)的第二坐標(biāo)；將所述第二坐標(biāo)轉(zhuǎn)換為所述投影屏幕所在的投影坐標(biāo)系內(nèi)的第H 坐標(biāo)； 投影單元，用于在所述投影屏幕上所述第H坐標(biāo)對(duì)應(yīng)的位置顯示設(shè)定的圖像或視頻。
6. 根據(jù)權(quán)利要求5所述的系統(tǒng)，其特征在于，所述處理單元具體用于；根據(jù)所獲取的所 述用戶(hù)的圖像，確定所述用戶(hù)的圖像上的各點(diǎn)在所述現(xiàn)實(shí)坐標(biāo)空間內(nèi)的第四坐標(biāo)；根據(jù)所

述攝像點(diǎn)與所述用戶(hù)的距離di，所述攝像點(diǎn)與所述投影屏幕之間的距離d2, W及所述第四 坐標(biāo)（X，y，di)，確定所述第一坐標(biāo)J .
7. 根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述處理單元具體用于；根據(jù)水平方 向上所述用戶(hù)所在平面的拍攝范圍24 lan^，垂直方向上所述用戶(hù)所在平面的拍攝范圍
2. 2馬，所述視圖平面坐標(biāo)系的X軸的最大范圍Wpi，y軸的最大范圍Hpi，確定所述第二坐 標(biāo)
I其中，a為水平方向最大拍攝視角，目為垂直方向最 大拍攝視角。
8. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述處理單元具體用于：根 據(jù)所述投影坐標(biāo)系X軸的最大范圍Wp2, y軸的最大范圍電，確定所述第H坐標(biāo)
9. 根據(jù)權(quán)利要求6-8任一項(xiàng)所述的系統(tǒng)，其特征在于，所述攝像單元為Kinect攝像設(shè) 備。

【文檔編號(hào)】H04N5/232GK104427230SQ201310381852
【公開(kāi)日】2015年3月18日 申請(qǐng)日期:2013年8月28日 優(yōu)先權(quán)日:2013年8月28日
【發(fā)明者】郭琦琨, 王振邦, 裘越 申請(qǐng)人:北京大學(xué), 北大方正集團(tuán)有限公司, 北京北大方正電子有限公司