一種可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及廣播電視領(lǐng)域，更具體地，涉及一種可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí) 現(xiàn)方法。
【背景技術(shù)】
[0002] 虛擬演播室的應(yīng)用大大的節(jié)約了演播室搭建的成本和時(shí)間，使場(chǎng)景的更換快速便 捷。
[0003] 由于虛擬演播室使用由計(jì)算機(jī)生成的虛擬三維場(chǎng)景與實(shí)體攝像機(jī)拍攝的畫面摳 像合成的方法。當(dāng)對(duì)實(shí)體攝像機(jī)做推、拉、搖拍攝的時(shí)候必須保證虛擬場(chǎng)景中的虛擬攝像機(jī) 也做相應(yīng)的運(yùn)動(dòng)，否則就會(huì)出現(xiàn)拍攝的人物漂浮在場(chǎng)景中的情況。為了保證在實(shí)體攝像機(jī) 做推、拉、搖拍攝時(shí)由計(jì)算機(jī)生成的虛擬三維場(chǎng)景能與實(shí)體攝像機(jī)拍攝的畫面同步，避免出 現(xiàn)實(shí)體攝像機(jī)拍攝的人或物漂浮在場(chǎng)景中的情況，虛擬場(chǎng)景中的虛擬攝像機(jī)需要實(shí)時(shí)的跟 蹤實(shí)體攝像機(jī)的推、拉、搖動(dòng)作。為此需要有一套跟蹤系統(tǒng)獲取實(shí)體攝像機(jī)的推、拉、搖動(dòng) 作，并傳輸?shù)教摂M的三維場(chǎng)景，控制虛擬場(chǎng)景中的虛擬攝像機(jī)做相應(yīng)的推、拉、搖動(dòng)作。再將 實(shí)時(shí)生成的虛擬場(chǎng)景與實(shí)體攝像機(jī)拍攝的人物摳像合成。這樣就實(shí)現(xiàn)了虛擬攝像機(jī)對(duì)實(shí)體 攝像機(jī)的同步跟蹤，從而實(shí)現(xiàn)了真實(shí)人物與虛擬場(chǎng)景的同步變化。
[0004] 目前實(shí)現(xiàn)攝像機(jī)跟蹤系統(tǒng)主要有以下四種方式：網(wǎng)格跟蹤技術(shù)、傳感器跟蹤技術(shù)、 紅外跟蹤技術(shù)、超聲波跟蹤技術(shù)，其基本原理都是采用圖形或者機(jī)械的方法，獲得攝像機(jī)的 參數(shù)，包括攝像機(jī)的推、拉、搖等。但是這些攝像機(jī)跟蹤系統(tǒng)極其昂貴，調(diào)試相當(dāng)復(fù)雜，而且 對(duì)三腳架、攝像機(jī)鏡頭和與跟蹤系統(tǒng)配套的虛擬場(chǎng)景的接口都有特殊的要求。
[0005] 圖1所示為上述應(yīng)用的典型場(chǎng)景。當(dāng)被拍攝的人物從位置A移動(dòng)到位置B時(shí)，攝 像員會(huì)采用"搖攝"的方法跟蹤被拍攝的人物；系統(tǒng)采用上述的四種跟蹤方法的一種或幾種 組合獲取攝像機(jī)"搖"的角度，將此角度信息傳送到虛擬場(chǎng)景，控制虛擬攝像機(jī)也"搖"同樣 的角度。
[0006] 使用這種方法，如果要實(shí)現(xiàn)人物的自動(dòng)跟蹤除了要增加一套圖像識(shí)別系統(tǒng)外、還 需要配套昂貴的跟蹤系統(tǒng)，以及需要增加一套復(fù)雜的、帶伺服云臺(tái)的攝像機(jī)三腳架，讓其跟 足示拍攝指定的人物。

【發(fā)明內(nèi)容】

[0007] 有鑒于此，本發(fā)明的主要目的在于提供一種可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方 法，能夠解決現(xiàn)有虛擬演播室的構(gòu)建成本較高、安裝及調(diào)試復(fù)雜等問(wèn)題。
[0008] 為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0009] -種可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法，包括：
[0010] 選取一臺(tái)高分辨率實(shí)體攝像機(jī)，設(shè)置該實(shí)體攝像機(jī)的拍攝機(jī)位，其中，該機(jī)位滿 足：實(shí)體攝像機(jī)在此機(jī)位上拍攝時(shí)，在不需要做任何推、拉、搖、移操作的情況下，恰好能夠 拍攝到真實(shí)場(chǎng)景中覆蓋目標(biāo)活動(dòng)的全部范圍；
[0011] 創(chuàng)建虛擬場(chǎng)景，并在虛擬場(chǎng)景中創(chuàng)建摳像平面；
[0012] 設(shè)置虛擬場(chǎng)景中虛擬攝像機(jī)的位置，其中，虛擬攝像機(jī)到摳像平面的距離和角度 與實(shí)體攝像機(jī)到目標(biāo)的距離和角度分別相等；
[0013] 將實(shí)體攝像機(jī)拍攝的畫面進(jìn)行色鍵摳像，并將色鍵摳像后生成的目標(biāo)的圖像映射 到摳像平面，形成映射圖像；
[0014] 通過(guò)圖像識(shí)別模塊，計(jì)算目標(biāo)在真實(shí)場(chǎng)景活動(dòng)時(shí)的位置，獲取目標(biāo)的位移信息；
[0015] 基于上述位移信息，生成一組姿態(tài)數(shù)據(jù)，并通過(guò)姿態(tài)數(shù)據(jù)控制虛擬攝像機(jī)進(jìn)行推、 拉、搖、移操作，實(shí)現(xiàn)自動(dòng)跟蹤被拍攝目標(biāo)；
[0016] 圖像渲染系統(tǒng)基于虛擬攝像機(jī)拍攝的畫面生成場(chǎng)景圖像；
[0017] 將映射圖像與場(chǎng)景圖像合成為最終呈現(xiàn)的圖像，并生成虛擬演播室播出視頻。
[0018] 優(yōu)選地，創(chuàng)建的摳像平面的寬高比與實(shí)體攝像機(jī)最大拍攝范圍的寬高比一致。
[0019] 優(yōu)選地，創(chuàng)建的摳像平面的寬高比與實(shí)體攝像機(jī)最大拍攝范圍的寬高比不一致， 在將色鍵摳像后生成的目標(biāo)的圖像映射到摳像平面的過(guò)程中，調(diào)整映射圖像的寬高比和大 小。
[0020] 優(yōu)選地，在將實(shí)體攝像機(jī)拍攝的畫面進(jìn)行色鍵摳像之前，對(duì)色鍵進(jìn)行調(diào)整。
[0021] 優(yōu)選地，實(shí)體攝像機(jī)的分辨率至少為場(chǎng)景輸出分辨率的4倍。
[0022] 優(yōu)選地，在設(shè)置虛擬場(chǎng)景中虛擬攝像機(jī)的位置之后，設(shè)置虛擬攝像機(jī)的視場(chǎng)角，其 中，視場(chǎng)角大于等于1/2第一視場(chǎng)角，該第一視場(chǎng)角為當(dāng)虛擬攝像機(jī)能拍攝到整個(gè)摳像平 面時(shí)的視場(chǎng)角。
[0023] 優(yōu)選地，在設(shè)置虛擬場(chǎng)景中虛擬攝像機(jī)的位置之后，設(shè)置虛擬攝像機(jī)的視場(chǎng)角，當(dāng) 目標(biāo)有縱深方向運(yùn)動(dòng)時(shí)，虛擬攝像機(jī)到摳像平面的距離由S1變?yōu)镾2,視場(chǎng)角（B)通過(guò)以下 公式計(jì)算得到：
[0024]
[0025] 其中，A表示目標(biāo)在縱深運(yùn)動(dòng)之前虛擬攝像機(jī)的視場(chǎng)角，B表示目標(biāo)在縱深運(yùn)動(dòng)之 后虛擬攝像機(jī)的視場(chǎng)角。
[0026] 優(yōu)選地，當(dāng)存在多個(gè)目標(biāo)時(shí)，在虛擬場(chǎng)景中，設(shè)置多個(gè)虛擬攝像機(jī)來(lái)實(shí)現(xiàn)對(duì)不同目 標(biāo)的跟S示拍攝。
[0027] 優(yōu)選地，當(dāng)需要拍攝不呈現(xiàn)目標(biāo)的背景畫面時(shí)，將場(chǎng)景圖像作為最終呈現(xiàn)的圖像 輸出。
[0028] 優(yōu)選地，通過(guò)調(diào)整摳像平面在虛擬場(chǎng)景中的位置來(lái)調(diào)整目標(biāo)在虛擬場(chǎng)景中的位 置。
[0029] 本發(fā)明的技術(shù)效果：
[0030] 本發(fā)明采用高分辨率的實(shí)體攝像機(jī)，可以在保證圖像質(zhì)量的前提下拍攝全景畫 面，替代昂貴的攝像機(jī)跟蹤系統(tǒng)，使用普通的三腳架，就可以實(shí)現(xiàn)具有推、拉、搖功能的虛擬 演播室。讓安裝、調(diào)試變得簡(jiǎn)便快捷、大大的節(jié)約成本。
[0031]同時(shí)，本發(fā)明可以用一臺(tái)超高分辨率的實(shí)體攝像機(jī)模擬多臺(tái)攝像機(jī)的拍攝效果。 而且在拍攝時(shí)可以自動(dòng)跟蹤目標(biāo)的活動(dòng)范圍，實(shí)現(xiàn)無(wú)人操作的自動(dòng)跟蹤拍攝。
【附圖說(shuō)明】
[0032] 此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā) 明的示意性實(shí)施例及其說(shuō)明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中：
[0033] 圖1示出了現(xiàn)有技術(shù)中虛擬演播室實(shí)現(xiàn)跟蹤目標(biāo)拍攝方式的示意圖；
[0034] 圖2示出了根據(jù)本發(fā)明實(shí)施例一的可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法的流 程圖；
[0035] 圖3示出了根據(jù)本發(fā)明實(shí)施例一的可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法中實(shí) 體攝像機(jī)的機(jī)位設(shè)置示意圖；
[0036] 圖4示出了根據(jù)本發(fā)明實(shí)施例一的可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法中場(chǎng) 景輸出分辨率與實(shí)體攝像機(jī)分辨率的對(duì)比示意圖；
[0037] 圖5示出了目標(biāo)有縱深方向運(yùn)動(dòng)時(shí)視場(chǎng)角和摳像平面位置的變化示意圖；
[0038] 圖6示出了存在多個(gè)被拍攝目標(biāo)時(shí)拍攝場(chǎng)景的示意圖；
[0039]圖7示出了采用本發(fā)明技術(shù)方案模擬無(wú)限藍(lán)箱場(chǎng)景的示意圖。
【具體實(shí)施方式】
[0040] 下面將參考附圖并結(jié)合實(shí)施例，來(lái)詳細(xì)說(shuō)明本發(fā)明。
[0041] 圖2示出了根據(jù)本發(fā)明實(shí)施例一的可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法的流 程圖，如圖1所示，該方法具體包括如下步驟：
[0042] 步驟S202,選取一臺(tái)高分辨率實(shí)體攝像機(jī)，設(shè)置該實(shí)體攝像機(jī)的拍攝機(jī)位，其中， 該機(jī)位能夠滿足：實(shí)體攝像機(jī)在此機(jī)位上拍攝時(shí)，在不需要做任何推、拉、搖、移操作的情況 下，恰好能夠拍攝到真實(shí)場(chǎng)景中覆蓋目標(biāo)活動(dòng)的全部范圍。
[0043] 圖3示出了根據(jù)本發(fā)明實(shí)施例一的可自動(dòng)跟蹤目標(biāo)的虛擬演播室實(shí)現(xiàn)方法中實(shí) 體攝像機(jī)的機(jī)位設(shè)置圖示。如圖3所示，本實(shí)施例采用一個(gè)像素分辨率比虛擬場(chǎng)景最終輸 出分辨率高的、高分辨率實(shí)體攝像機(jī)，選擇合適的機(jī)位讓實(shí)體攝像機(jī)拍攝范圍覆蓋人物活 動(dòng)的全部范圍，此處的目標(biāo)就是人物。
[0044] 在上述步驟中，關(guān)于高分辨率實(shí)體攝像機(jī)的選取，何為高分辨率，本發(fā)明給出了具 體方案，通常情況下，實(shí)體攝像機(jī)的分辨率至少為場(chǎng)景輸出分辨率的4倍?，F(xiàn)在常見電視節(jié) 目的像素分辨率有1920x1080、1280x720、720x576、720x480等。因此虛擬演播室最終輸出 的像素分辨率，常用的也是以上幾種。要達(dá)到較好的效果，實(shí)體攝像機(jī)的分辨率的像素應(yīng)該 是場(chǎng)景最終輸出分辨率的4倍或更高。例如，如果最終輸出分辨率為1920x1080,則實(shí)體攝 像機(jī)的分辨率就要達(dá)到至少3840x2160。圖4示出了根據(jù)本發(fā)明實(shí)施例一的可自動(dòng)跟蹤目 標(biāo)的虛擬演播室實(shí)現(xiàn)方法中場(chǎng)景輸出分辨率與實(shí)體攝像機(jī)分辨率的對(duì)比示意圖。實(shí)體攝像 機(jī)的分辨率與場(chǎng)景輸出的分辨率差距越大，虛擬場(chǎng)景中虛擬攝像機(jī)推、拉、搖的范圍就可以 越大。
[0045] 步驟S204,創(chuàng)建虛擬場(chǎng)景，并在虛擬場(chǎng)景中創(chuàng)建摳像平面。
[0046] 其中，創(chuàng)建的摳像平面的寬高比與實(shí)體攝像機(jī)最大拍攝范圍的寬高比是一致的； 當(dāng)摳像平面與實(shí)體攝像機(jī)最大拍攝范圍的寬高比不一致時(shí)，需要在將實(shí)體攝像機(jī)拍攝的畫 面映射到該摳像平面顯示時(shí)，調(diào)整映射的寬高比和大小范圍以保證映射的圖像不變形。
[0047] 步驟S206,設(shè)置虛擬場(chǎng)景中虛擬攝像機(jī)的位置，其中，虛擬攝像機(jī)到摳像平面的距 離和角度與實(shí)體攝像機(jī)到目標(biāo)的距離和角度分別相等。
[0048]當(dāng)然，也可以在拍攝前，通過(guò)調(diào)整實(shí)體攝像機(jī)的位置和角度使其與所拍目標(biāo)的距 離，分別等于虛擬攝像機(jī)與摳像平面的距離和角度。如果實(shí)體攝像機(jī)距離調(diào)整后拍攝范圍 不能滿足要求，再通過(guò)調(diào)整攝像機(jī)的鏡頭焦距來(lái)達(dá)到要求的效果，即實(shí)體攝像機(jī)在不需要 做任何推、拉、搖、移操作的情況下，恰好能夠拍攝到真實(shí)場(chǎng)景中覆蓋目標(biāo)活動(dòng)的全部范圍。
[0049] 在上述過(guò)程中，還涉及到虛擬攝像機(jī)的視場(chǎng)角的設(shè)置。當(dāng)虛擬攝像機(jī)與摳像平面 的距離設(shè)置好之后；設(shè)置虛擬攝像機(jī)的視場(chǎng)角以使其能夠把摳像平面全部拍攝到畫面中， 此時(shí)的虛擬攝像機(jī)視場(chǎng)角可以用A來(lái)表示；在對(duì)虛擬攝像機(jī)的視場(chǎng)角進(jìn)行調(diào)整時(shí)，要確保 使其不能小于（1/2)A。如果在拍攝過(guò)程中，被拍攝的人物沒(méi)有縱深方向的運(yùn)動(dòng)，在拍攝過(guò)程 中不需要改變視場(chǎng)角的大小。使用上述的方法計(jì)算的視場(chǎng)角即可。因?yàn)椴捎昧烁叻直媛实?實(shí)體攝像機(jī)，所以在保證圖像清晰的情況下，可以增大虛擬攝像機(jī)拍攝的視場(chǎng)角，將人物的 活動(dòng)范圍包含在拍攝范圍內(nèi)。
[0050] 特別地，圖5示出了目標(biāo)有縱深方向運(yùn)動(dòng)時(shí)視場(chǎng)角和摳像平面位置的變化示意 圖。在實(shí)際使用中被拍攝的目標(biāo)往往會(huì)有縱深方向的運(yùn)動(dòng)，有時(shí)還會(huì)移動(dòng)到一些虛擬物體 的前面，遮擋住虛擬物體。此時(shí)就需要在縱深方向移動(dòng)摳像平面。該摳像平面移動(dòng)后需要 重新調(diào)整虛擬攝像機(jī)的視場(chǎng)角。如圖5所示，當(dāng)摳像平面從位置1移動(dòng)到位置2時(shí)，該摳像 平面與虛擬攝像機(jī)的距離由S1改變?yōu)镾2,虛擬攝像機(jī)的視場(chǎng)角應(yīng)該從角度A改變到角度 B。此時(shí)角度B的計(jì)算公式如下：
[0051]
[0052]