其中，A表示目標(biāo)在縱深運(yùn)動(dòng)之前虛擬攝像機(jī)的視場(chǎng)角，B表示目標(biāo)在縱深運(yùn)動(dòng)之 后虛擬攝像機(jī)的視場(chǎng)角。
[0053] 步驟S208,將實(shí)體攝像機(jī)拍攝的畫(huà)面進(jìn)行色鍵摳像，并將色鍵摳像后生成的目標(biāo) 的圖像映射到摳像平面，形成映射圖像；
[0054] 具體地，實(shí)體攝像機(jī)拍攝的畫(huà)面經(jīng)色鍵摳像后的人物（目標(biāo)）將映射到該摳像平 面顯示。該摳像平面的范圍，即是實(shí)拍人物在虛擬場(chǎng)景中的活動(dòng)范圍。要調(diào)整實(shí)體攝像機(jī) 拍攝的人物在虛擬場(chǎng)景中出現(xiàn)的位置，只需調(diào)整該摳像平面在虛擬場(chǎng)景中的位置即可。
[0055] 在上述步驟之前，還需要對(duì)色鍵進(jìn)行調(diào)整，使其達(dá)到最好的摳像效果。
[0056] 步驟S210,通過(guò)圖像識(shí)別模塊，計(jì)算目標(biāo)在真實(shí)場(chǎng)景活動(dòng)時(shí)的位置，獲取目標(biāo)的位 移信息。即：圖像識(shí)別系統(tǒng)計(jì)算人物（目標(biāo)）在場(chǎng)景中的位置，根據(jù)位置的變化再計(jì)算人物 的位移。
[0057] 步驟S212,基于上述位移信息，生成一組姿態(tài)數(shù)據(jù)，并通過(guò)姿態(tài)數(shù)據(jù)控制虛擬攝像 機(jī)進(jìn)行推、拉、搖、移操作。即：根據(jù)人物在場(chǎng)景中的位移信息計(jì)算虛擬攝像機(jī)能拍攝到被攝 人物的姿態(tài)，將姿態(tài)數(shù)據(jù)濾波、平滑處理后送到虛擬場(chǎng)景，使用該姿態(tài)數(shù)據(jù)控制虛擬攝像機(jī) 的姿態(tài)，使其與計(jì)算出的姿態(tài)一致。
[0058] 步驟S214,圖像渲染系統(tǒng)基于虛擬攝像機(jī)拍攝的畫(huà)面生成場(chǎng)景圖像；
[0059] 步驟S216,將映射圖像與場(chǎng)景圖像合成為最終呈現(xiàn)的圖像，并生成虛擬演播室播 出視頻。
[0060] 本實(shí)施例中，通過(guò)采用一個(gè)高分辨率的實(shí)體攝像機(jī)，為其設(shè)置一個(gè)合適的拍攝機(jī) 位，使其能夠在不做任何推、拉、搖、移的操作即可以拍攝到人物活動(dòng)的全部范圍；并在虛擬 場(chǎng)景中創(chuàng)建一個(gè)與真實(shí)場(chǎng)景中人物活動(dòng)范圍大小、位置匹配，寬高比與實(shí)體攝像機(jī)像素寬 高比相同的攝像機(jī)摳像平面；將實(shí)體攝像機(jī)拍攝的畫(huà)面去除藍(lán)色或綠色背景后，映射到該 摳像平面。
[0061] 當(dāng)被拍攝的人物從位置A移動(dòng)到位置B時(shí)，該目標(biāo)始終在實(shí)體攝像機(jī)的拍攝范圍 內(nèi)，實(shí)體攝像機(jī)不需要做任何操作。只是需要操作虛擬攝像機(jī)跟蹤被攝的人物即可。在此基 礎(chǔ)上再增加一套圖像識(shí)別系統(tǒng)，很容易就可以做到虛擬攝像機(jī)跟蹤被攝的人物。因?yàn)閷?shí)體 攝像機(jī)在拍攝時(shí)是固定不動(dòng)的，所以該系統(tǒng)不用伺服云臺(tái)就可以實(shí)時(shí)跟蹤人物的活動(dòng)。該 方法讓安裝、調(diào)試變得簡(jiǎn)便快捷、同時(shí)也能夠大大的節(jié)約虛擬演播室的構(gòu)建成本。
[0062] 圖6示出了存在多個(gè)被拍攝目標(biāo)時(shí)拍攝場(chǎng)景的示意圖。當(dāng)存在多個(gè)目標(biāo)時(shí)，在虛 擬場(chǎng)景中，設(shè)置多個(gè)虛擬攝像機(jī)來(lái)實(shí)現(xiàn)對(duì)不同目標(biāo)的跟蹤。
[0063] 具體地，在演播室的拍攝現(xiàn)場(chǎng)，往往要用到多臺(tái)實(shí)體攝像機(jī)，并通過(guò)多臺(tái)的切換， 向觀眾展現(xiàn)更多的細(xì)節(jié)，吸引觀眾的注意力。
[0064] 在同一位置，放置多個(gè)虛擬攝像機(jī)，每個(gè)虛擬攝像機(jī)的拍攝角度和拍攝范圍不同。 模擬多臺(tái)實(shí)體攝像機(jī)拍攝的效果。
[0065] 如圖6所示，有"人物A"、"人物B"和"人物C"。拍攝時(shí)如果要突出關(guān)鍵人物，可 以設(shè)置多個(gè)虛擬的攝像機(jī)。讓每個(gè)"人物"都有一個(gè)"專用"的虛擬攝像機(jī)。當(dāng)某個(gè)"人物" 在說(shuō)話時(shí)或者對(duì)別人的談話有"反應(yīng)"表情時(shí)，可以快速的切換到對(duì)應(yīng)的虛擬攝像機(jī)。以便 快速的抓取"反應(yīng)鏡頭"。當(dāng)圖中"人物A"說(shuō)話時(shí)，"人物B"和"人物C"都在聽(tīng)。當(dāng)"人物 A"說(shuō)的觀點(diǎn)"人物B"表示贊同時(shí)，"人物B"可能會(huì)有微笑或點(diǎn)頭的動(dòng)作，此時(shí)導(dǎo)播可以及 時(shí)的切換到"虛擬攝像機(jī)B"拍攝的畫(huà)面。反之亦然。
[0066] 圖6中只示意出了 "虛擬攝像機(jī)A"和"虛擬攝像機(jī)B"分別拍攝"人物A"和"人 物B"。實(shí)際使用中還可以添加"虛擬攝像機(jī)C"拍攝"人物C";添加"虛擬攝像機(jī)D"同時(shí)拍 攝"人物C"和"人物A" ;添加"虛擬攝像機(jī)E"同時(shí)拍攝"人物B"和"人物C" ;還可以添加 "虛擬攝像機(jī)F"同時(shí)拍攝"人物A"、"人物B"和"人物C"。
[0067] 總之，本發(fā)明的實(shí)施例可以很隨意的設(shè)置虛擬攝像機(jī)的數(shù)量和位置，實(shí)現(xiàn)對(duì)拍攝 目標(biāo)的靈活拍攝。這樣就避免了現(xiàn)有技術(shù)中必須通過(guò)設(shè)置多臺(tái)實(shí)體攝像機(jī)來(lái)拍攝不同目標(biāo) (人物或物體）的缺陷。
[0068] 圖7示出了采用本發(fā)明技術(shù)方案模擬無(wú)限藍(lán)箱的場(chǎng)景示意圖。
[0069] 當(dāng)需要拍攝不呈現(xiàn)目標(biāo)的背景畫(huà)面時(shí)，將場(chǎng)景圖像作為最終呈現(xiàn)的圖像輸出。
[0070] 具體地，在本發(fā)明的實(shí)施例中，實(shí)體攝像機(jī)在拍攝過(guò)程中是固定不動(dòng)的，只要操作 虛擬攝像機(jī)即可。如圖7所示，當(dāng)虛擬攝像機(jī)拍攝A0和B1范圍的畫(huà)面時(shí)，拍攝的范圍超過(guò) 目標(biāo)（人物）活動(dòng)和實(shí)體攝像機(jī)拍攝范圍后，拍攝的畫(huà)面就不會(huì)有目標(biāo)（人物）的活動(dòng)。因 為實(shí)體攝像機(jī)沒(méi)有任何的運(yùn)動(dòng)，所以不存在設(shè)置遮罩，這樣就很好地模擬了無(wú)限藍(lán)箱的問(wèn) 題。
[0071] 而現(xiàn)有技術(shù)中，在實(shí)體攝像機(jī)拍攝的人物后面都會(huì)有一個(gè)藍(lán)色或綠色的背景，以 便色鍵摳像。該背景俗稱"藍(lán)箱"，人物的活動(dòng)范圍不能超過(guò)該"藍(lán)箱"的范圍。一般情況下 虛擬場(chǎng)景一般都會(huì)比人物活動(dòng)的范圍大很多。有時(shí)為了拍攝一個(gè)由"空鏡頭"搖到拍攝人 物的畫(huà)面時(shí)，虛擬的攝像機(jī)的拍攝范圍會(huì)超出人物的活動(dòng)范圍。
[0072] 在傳統(tǒng)的虛擬演播室系統(tǒng)中，因?yàn)樘摂M的攝像機(jī)是被實(shí)體攝像機(jī)同步的，要使虛 擬攝像機(jī)的拍攝范圍超出人物的活動(dòng)范圍，實(shí)體攝像機(jī)就會(huì)超出藍(lán)箱的范圍。所以傳統(tǒng)的 虛擬演播室需要設(shè)置遮罩，模擬"無(wú)限藍(lán)箱"。當(dāng)實(shí)體攝像機(jī)拍攝的范圍超過(guò)藍(lán)箱的范圍后， 用遮罩處理藍(lán)箱外的部分，使其不顯示。
[0073] 采用本發(fā)明實(shí)施例的技術(shù)方案，可以很方便地實(shí)現(xiàn)模擬無(wú)限藍(lán)箱的拍攝，不需要 遮罩的處理，這樣就大大簡(jiǎn)化了拍攝流程，給虛擬演播室的拍攝帶來(lái)了很大的便捷。
[0074] 顯然，本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各步驟可以用通用的計(jì)算裝 置來(lái)實(shí)現(xiàn)，它們可以集中在單個(gè)的計(jì)算裝置上，或者分布在多個(gè)計(jì)算裝置所組成的網(wǎng)絡(luò)上， 可選地，它們可以用計(jì)算裝置可執(zhí)行的程序代碼來(lái)實(shí)現(xiàn)，從而，可以將它們存儲(chǔ)在存儲(chǔ)裝置 中由計(jì)算裝置來(lái)執(zhí)行，或者將它們分別制作成各個(gè)集成電路模塊，或者將它們中的多個(gè)模 塊或步驟制作成單個(gè)集成電路模塊來(lái)實(shí)現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件 結(jié)合。
[0075] 以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技 術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修 改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法，其特征在于，包括： 選取一臺(tái)高分辨率實(shí)體攝像機(jī)，設(shè)置所述實(shí)體攝像機(jī)的拍攝機(jī)位，其中，所述機(jī)位滿 足：所述實(shí)體攝像機(jī)在所述機(jī)位上拍攝時(shí)，在不需要做任何推、拉、搖、移操作的情況下，恰 好能夠拍攝到真實(shí)場(chǎng)景中覆蓋目標(biāo)活動(dòng)的全部范圍； 創(chuàng)建虛擬場(chǎng)景，并在所述虛擬場(chǎng)景中創(chuàng)建摳像平面； 設(shè)置所述虛擬場(chǎng)景中虛擬攝像機(jī)的位置，其中，所述虛擬攝像機(jī)到所述摳像平面的距 離和角度與所述實(shí)體攝像機(jī)到所述目標(biāo)的距離和角度分別相等； 將所述實(shí)體攝像機(jī)拍攝的畫(huà)面進(jìn)行色鍵摳像，并將色鍵摳像后生成的所述目標(biāo)的圖像 映射到所述摳像平面，形成映射圖像； 通過(guò)圖像識(shí)別模塊，計(jì)算所述目標(biāo)在所述真實(shí)場(chǎng)景活動(dòng)時(shí)的位置，獲取所述目標(biāo)的位 移ig息； 基于所述位移信息，生成一組姿態(tài)數(shù)據(jù)，并通過(guò)所述姿態(tài)數(shù)據(jù)，控制所述虛擬攝像機(jī)進(jìn) 行推、拉、搖、移操作，實(shí)現(xiàn)自動(dòng)跟蹤被拍攝目標(biāo)； 圖像渲染系統(tǒng)基于所述虛擬攝像機(jī)拍攝的畫(huà)面生成場(chǎng)景圖像； 將所述映射圖像與所述場(chǎng)景圖像合成為最終呈現(xiàn)的圖像，并生成虛擬演播室播出視 頻。2. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，創(chuàng)建的所 述摳像平面的寬高比與所述實(shí)體攝像機(jī)最大拍攝范圍的寬高比一致。3. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，創(chuàng)建的所 述摳像平面的寬高比與所述實(shí)體攝像機(jī)最大拍攝范圍的寬高比不一致，在所述將色鍵摳像 后生成的所述目標(biāo)的圖像映射到所述摳像平面的過(guò)程中，調(diào)整所述映射圖像的寬高比和大 小。4. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，在所述將 所述實(shí)體攝像機(jī)拍攝的畫(huà)面進(jìn)行色鍵摳像之前，對(duì)色鍵進(jìn)行調(diào)整。5. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，所述實(shí)體 攝像機(jī)的分辨率至少為場(chǎng)景輸出分辨率的4倍。6. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，在所述設(shè) 置所述虛擬場(chǎng)景中虛擬攝像機(jī)的位置之后，設(shè)置所述虛擬攝像機(jī)的視場(chǎng)角，其中，所述視場(chǎng) 角大于等于1/2第一視場(chǎng)角，所述第一視場(chǎng)角為當(dāng)所述虛擬攝像機(jī)能拍攝到整個(gè)所述摳像 平面時(shí)的視場(chǎng)角。7. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，在所述設(shè) 置所述虛擬場(chǎng)景中虛擬攝像機(jī)的位置之后，設(shè)置所述虛擬攝像機(jī)的視場(chǎng)角，當(dāng)所述目標(biāo)有 縱深方向運(yùn)動(dòng)時(shí)，所述虛擬攝像機(jī)到所述摳像平面的距離由Sl變?yōu)镾2,所述視場(chǎng)角通過(guò)以 下公式計(jì)算得到：其中，A表示所述目標(biāo)在縱深運(yùn)動(dòng)之前所述虛擬攝像機(jī)的視場(chǎng)角，B表示所述目標(biāo)在縱 深運(yùn)動(dòng)之后所述虛擬攝像機(jī)的視場(chǎng)角。8. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，當(dāng)存在多 個(gè)所述目標(biāo)時(shí)，在所述虛擬場(chǎng)景中，設(shè)置多個(gè)所述虛擬攝像機(jī)來(lái)實(shí)現(xiàn)對(duì)不同所述目標(biāo)的跟9. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，當(dāng)需要拍 攝不呈現(xiàn)所述目標(biāo)的背景畫(huà)面時(shí)，將所述場(chǎng)景圖像作為所述最終呈現(xiàn)的圖像輸出。10. 根據(jù)權(quán)利要求1所述的可自動(dòng)跟蹤的虛擬演播室實(shí)現(xiàn)方法，其特征在于，通過(guò)調(diào)整 所述摳像平面在所述虛擬場(chǎng)景中的位置來(lái)調(diào)整所述目標(biāo)在所述虛擬場(chǎng)景中的位置。
【專利摘要】本發(fā)明公開(kāi)了一種可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法，包括：選取一臺(tái)高分辨率實(shí)體攝像機(jī)并設(shè)置機(jī)位，使得該實(shí)體攝像機(jī)在不需要做任何操作的情況下，能夠拍攝到目標(biāo)活動(dòng)的全部范圍；創(chuàng)建虛擬場(chǎng)景及摳像平面；設(shè)置虛擬攝像機(jī)的位置；將實(shí)體攝像機(jī)拍攝的畫(huà)面進(jìn)行色鍵摳像，并將目標(biāo)圖像映射到摳像平面形成映射圖像；通過(guò)圖像識(shí)別模塊，計(jì)算目標(biāo)在真實(shí)場(chǎng)景活動(dòng)時(shí)的位置；基于上述位置信息，生成一組姿態(tài)數(shù)據(jù)，并通過(guò)姿態(tài)數(shù)據(jù)控制虛擬攝像機(jī)操作；圖像渲染系統(tǒng)基于虛擬攝像機(jī)拍攝的畫(huà)面生成場(chǎng)景圖像；將映射圖像與場(chǎng)景圖像合成為最終呈現(xiàn)的圖像，并生成虛擬演播室播出視頻。本發(fā)明可以使虛擬演播室的安裝、調(diào)試變得簡(jiǎn)便快捷、同時(shí)也能大大節(jié)約成本。
【IPC分類】H04N5/222
【公開(kāi)號(hào)】CN105072314
【申請(qǐng)?zhí)枴緾N201510492552
【發(fā)明人】黃喜榮
【申請(qǐng)人】黃喜榮
【公開(kāi)日】2015年11月18日
【申請(qǐng)日】2015年8月13日