本發(fā)明涉及多媒體技術(shù)領(lǐng)域,尤其涉及一種視頻播放的控制方法及裝置。
背景技術(shù):
在進(jìn)行虛擬現(xiàn)實(shí)(VR,Virtual Reality)或者360度全景視頻直播時(shí),直播畫(huà)面是可以根據(jù)用戶的視角相應(yīng)改變的。但是,通常情況下,用戶在一個(gè)時(shí)刻觀看的畫(huà)面只有一定角度,該角度一般位于水平視場(chǎng)角和垂直視場(chǎng)角在80至110度的范圍內(nèi),也就是說(shuō),用戶在一個(gè)時(shí)刻觀看的畫(huà)面只占360度全景圖像中很少一部分,所占部分大概為360度全景圖像的1/8至1/6,而360度圖像中其他部分圖像在同一時(shí)刻則是不可見(jiàn)的。
目前,現(xiàn)有技術(shù)中通常采用如下兩種方式進(jìn)行VR或360度全景直播:
其一,服務(wù)器將場(chǎng)景根據(jù)算法拼接出360度全景視頻圖像,通過(guò)視頻編碼將視頻數(shù)據(jù)傳輸?shù)娇蛻舳耍蛻舳私獯a后將360度圖像進(jìn)行球面映射,將圖像貼圖到球上,然后根據(jù)陀螺儀數(shù)據(jù)(用戶的視角方向數(shù)據(jù))來(lái)控制顯示視頻圖像,即控制顯示視場(chǎng)角范圍內(nèi)的圖像。但是,該種方式消耗較大,存在360度全景視頻圖像的分辨率大、編碼功耗大、渲染攝像機(jī)個(gè)數(shù)多、拼接算法計(jì)算量大以及傳輸碼率大等問(wèn)題。
其二,客戶端將陀螺儀數(shù)據(jù)發(fā)送到服務(wù)器,服務(wù)器根據(jù)陀螺儀數(shù)據(jù)只渲染視場(chǎng)角內(nèi)的圖像,并將圖像編碼發(fā)送至客戶端,由客戶端直接顯示視場(chǎng)角內(nèi)的圖像。但是,該種方式由于陀螺儀數(shù)據(jù)從客戶端到服務(wù)器,以及圖像編碼后從服務(wù)器到客戶端的時(shí)間較長(zhǎng),從而容易導(dǎo)致視場(chǎng)角發(fā)生變化時(shí),客戶端得到的視頻卡頓嚴(yán)重的問(wèn)題。
綜上所述,現(xiàn)有技術(shù)中在播放全景視頻圖像時(shí),存在著要么消耗較大,要么視頻卡頓較為嚴(yán)重的問(wèn)題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的是提供一種視頻播放的控制方法及裝置,以解決現(xiàn)有技術(shù)中在進(jìn)行全景視頻播放時(shí)存在的要么消耗較大以及要么視頻卡頓較為嚴(yán)重的問(wèn)題。
第一方面,本發(fā)明實(shí)施例提供一種視頻播放的控制方法,應(yīng)用于服務(wù)器端,包括:
接收用戶的視角方向數(shù)據(jù);
根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;
根據(jù)三維映射模型中確定的所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域;
將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。
可選地,所述根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍的步驟,包括:根據(jù)所述視角方向數(shù)據(jù),確定用戶的當(dāng)前視點(diǎn)在所述三維映射模型上的位置坐標(biāo);根據(jù)所述當(dāng)前視點(diǎn)在所述三維映射模型上的位置坐標(biāo),確定在所述三維映射模型上的圖像最低相關(guān)點(diǎn)的位置坐標(biāo),其中,所述圖像最低相關(guān)點(diǎn)為所述當(dāng)前視點(diǎn)與所述三維映射模型的中心點(diǎn)的連線的延長(zhǎng)線與所述三維映射模型的交點(diǎn);根據(jù)所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo),獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
可選地,所述根據(jù)所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo),獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍的步驟,包括:根據(jù)用戶在所述三維映射模型上的可視角和所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo),確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;或者,根據(jù)所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo)和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
可選地,所述三維映射模型包括三維球體模型;所述根據(jù)三維映射模型中確定的所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的步驟,包括:根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域。
可選地,所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo)包括圖像最低相關(guān)點(diǎn)的緯度和經(jīng)度;所述坐標(biāo)范圍包括:以所述圖像最低相關(guān)點(diǎn)為中心的緯度坐標(biāo)范圍和經(jīng)度坐標(biāo)范圍;所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的步驟,包括:根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的緯度以及所述緯度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍;根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的經(jīng)度以及所述經(jīng)度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍。
可選地,所述全景視頻圖像為矩形圖像或橢圓形圖像;若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的直徑,則:所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的緯度以及所述緯度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍的步驟,包括:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
和/或,
若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的經(jīng)度圓周的半周長(zhǎng),則:
所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的緯度以及所述緯度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍的步驟,包括:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
其中,α表示所述圖像最低相關(guān)點(diǎn)的緯度,β表示所述緯度坐標(biāo)范圍對(duì)應(yīng)的角度值,H表示所述全景視頻圖像的高度,T1表示所述丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示所述丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。
可選地,所述全景視頻圖像為矩形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長(zhǎng),則:所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的經(jīng)度以及所述經(jīng)度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍的步驟,包括:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
其中,δ表示所述圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示所述經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,W表示全景視頻圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
可選地,所述全景視頻圖像為橢圓形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長(zhǎng),則:所述根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的經(jīng)度以及所述經(jīng)度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍的步驟,包括:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
其中,δ表示所述圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示所述經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點(diǎn)橫坐標(biāo),w表示全景視頻圖像中每行圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
可選地,所述將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端的步驟,包括:根據(jù)所述丟棄圖像區(qū)域,獲取所述全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域,并對(duì)所述剩余區(qū)域進(jìn)行渲染;將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者,對(duì)所述全景視頻圖像進(jìn)行渲染;將所述渲染后得到的圖像數(shù)據(jù)中與所述丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對(duì)設(shè)置后的圖像數(shù)據(jù)進(jìn)行編碼;將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。
可選地,所述將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端的步驟,包括:將所述剩余區(qū)域的圖像數(shù)據(jù)以及所述視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使所述視頻圖像輸出終端根據(jù)所述視角方向數(shù)據(jù),確定所述全景視頻圖像的丟棄圖像區(qū)域。
第二方面,本發(fā)明實(shí)施例提供一種視頻播放的控制方法,應(yīng)用于視頻圖像輸出終端,包括:
實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;
接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);
將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;
從映射后的三維映射模型中獲取與所述用戶的可視角對(duì)應(yīng)的圖像部分,并播放與所述用戶的可視角對(duì)應(yīng)的所述圖像部分。
可選地,所述接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)的步驟,包括:接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及所述剩余區(qū)域的圖像數(shù)據(jù)對(duì)應(yīng)的視角方向數(shù)據(jù);在播放所述圖像部分后,所述控制方法還包括:根據(jù)所述視角方向數(shù)據(jù),確定映射后的三維映射模型中所述丟棄圖像區(qū)域的坐標(biāo)范圍;實(shí)時(shí)獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實(shí)時(shí)獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與所述用戶的可視角對(duì)應(yīng)的圖像部分是否落入所述丟棄圖像區(qū)域的坐標(biāo)范圍;其中,若映射后的三維映射模型中與所述用戶的可視角對(duì)應(yīng)的圖像部分落入所述丟棄圖像區(qū)域的坐標(biāo)范圍,則從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與所述用戶的可視角對(duì)應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進(jìn)行顯示;或者,從映射后的三維映射模型中,獲取與所述用戶的當(dāng)前可視角相關(guān)的、所述丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與所述用戶的當(dāng)前可視角對(duì)應(yīng)的圖像部分進(jìn)行顯示。
第三方面,本發(fā)明實(shí)施例提供一種視頻播放的控制裝置,應(yīng)用于服務(wù)器端,包括:
第一接收模塊,用于接收用戶的視角方向數(shù)據(jù);
獲取模塊,用于根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;
確定模塊,用于根據(jù)三維映射模型中確定的所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域;
輸出模塊,用于將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。
可選地,所述獲取模塊包括:第一確定單元,用于根據(jù)所述視角方向數(shù)據(jù),確定用戶的當(dāng)前視點(diǎn)在所述三維映射模型上的位置坐標(biāo);第二確定單元,用于根據(jù)所述當(dāng)前視點(diǎn)在所述三維映射模型上的位置坐標(biāo),確定在所述三維映射模型上的圖像最低相關(guān)點(diǎn)的位置坐標(biāo),其中,所述圖像最低相關(guān)點(diǎn)為所述當(dāng)前視點(diǎn)與所述三維映射模型的中心點(diǎn)的連線的延長(zhǎng)線與所述三維映射模型的交點(diǎn);獲取單元,用于根據(jù)所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo),獲取在三維映射模型中與所述用戶的當(dāng)可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
可選地,所述獲取單元用于,根據(jù)用戶在所述三維映射模型上的可視角和所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo),確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;或者,根據(jù)所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo)和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
可選地,所述三維映射模型包括三維球體模型;所述確定模塊用于,根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域。
可選地,所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo)包括圖像最低相關(guān)點(diǎn)的緯度和經(jīng)度;所述坐標(biāo)范圍包括:以所述圖像最低相關(guān)點(diǎn)為中心的緯度坐標(biāo)范圍和經(jīng)度坐標(biāo)范圍;所述確定模塊包括:第三確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的緯度以及所述緯度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍;第四確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的經(jīng)度以及所述經(jīng)度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍。
可選地,所述全景視頻圖像為矩形圖像或橢圓形圖像;若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的直徑,則所述第三確定單元用于:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
和/或,
若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的經(jīng)度圓周的半周長(zhǎng),則所述第三確定單元用于:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
其中,α表示所述圖像最低相關(guān)點(diǎn)的緯度,β表示所述緯度坐標(biāo)范圍對(duì)應(yīng)的角度值,H表示所述全景視頻圖像的高度,T1表示所述丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示所述丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。
可選地,所述全景視頻圖像為矩形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長(zhǎng),則所述第四確定單元用于:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
其中,δ表示所述圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示所述經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,W表示所述全景視頻圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
可選地,所述全景視頻圖像為橢圓形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長(zhǎng),則所述第四確定單元用于:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
其中,δ表示所述圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示所述經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點(diǎn)橫坐標(biāo),w表示全景視頻圖像中每行圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
可選地,所述輸出模塊包括:第一輸出單元,用于根據(jù)所述丟棄圖像區(qū)域,獲取所述全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域,并對(duì)所述剩余區(qū)域進(jìn)行渲染;將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者,第二輸出單元,用于對(duì)所述全景視頻圖像進(jìn)行渲染;將所述渲染后得到的圖像數(shù)據(jù)中與所述丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對(duì)設(shè)置后的圖像數(shù)據(jù)進(jìn)行編碼;將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。
可選地,所述輸出模塊用于,將所述剩余區(qū)域的圖像數(shù)據(jù)以及所述視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使所述視頻圖像輸出終端根據(jù)所述視角方向數(shù)據(jù),確定所述全景視頻圖像的丟棄圖像區(qū)域。
第四方面,本發(fā)明實(shí)施例提供一種視頻播放的控制裝置,應(yīng)用于視頻圖像輸出終端,包括:
發(fā)送模塊,用于實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;
第二接收模塊,用于接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);
映射模塊,用于將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;
播放模塊,用于從映射后的三維映射模型中獲取與所述用戶的可視角對(duì)應(yīng)的圖像部分,并播放與所述用戶的可視角對(duì)應(yīng)的所述圖像部分。
可選地,所述第二接收模塊用于,接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及所述剩余區(qū)域的圖像數(shù)據(jù)對(duì)應(yīng)的視角方向數(shù)據(jù);所述控制裝置還包括:坐標(biāo)范圍確定模塊,用于在播放模塊播放所述圖像部分之后,根據(jù)所述視角方向數(shù)據(jù),確定映射后的三維映射模型中所述丟棄圖像區(qū)域的坐標(biāo)范圍;判斷模塊,用于實(shí)時(shí)獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實(shí)時(shí)獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與所述用戶的可視角對(duì)應(yīng)的圖像部分是否落入所述丟棄圖像區(qū)域的坐標(biāo)范圍;其中,若映射后的三維映射模型中與所述用戶的可視角對(duì)應(yīng)的圖像部分落入所述丟棄圖像區(qū)域的坐標(biāo)范圍,則從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與所述用戶的可視角對(duì)應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進(jìn)行顯示;或者,從映射后的三維映射模型中,獲取與所述用戶的當(dāng)前可視角相關(guān)的、所述丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與所述用戶的當(dāng)前可視角對(duì)應(yīng)的圖像部分進(jìn)行顯示。
第五方面,本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),用于存儲(chǔ)進(jìn)行視頻播放的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序可被處理器執(zhí)行如第一方面中任一項(xiàng)所述的應(yīng)用于服務(wù)器端的視頻播放的控制方法。
第六方面,本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),用于存儲(chǔ)進(jìn)行視頻播放的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序可被處理器執(zhí)行如第二方面中任一項(xiàng)所述的應(yīng)用于視頻圖像輸出終端的視頻播放的控制方法。
第七方面,本發(fā)明實(shí)施例提供一種電子設(shè)備,所述電子設(shè)備包括一個(gè)或多個(gè)處理器,所述處理器被配置為執(zhí)行如下控制方法:
接收用戶的視角方向數(shù)據(jù);
根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;
根據(jù)三維映射模型中確定的所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域;
將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。
第八方面,本發(fā)明實(shí)施例還提供一種電子設(shè)備,所述電子設(shè)備包括一個(gè)或多個(gè)處理器,所述處理器被配置為執(zhí)行如下控制方法:
實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;
接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);
將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;
從所述映射后的三維映射模型中獲取與所述用戶的可視角對(duì)應(yīng)的圖像部分,并播放與所述用戶的可視角對(duì)應(yīng)的所述圖像部分。
本發(fā)明的有益效果是:
本發(fā)明實(shí)施例,通過(guò)接收用戶的視角方向數(shù)據(jù),并根據(jù)該視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍,并根據(jù)三維映射模型中確定的坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域,最后將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。這樣,本發(fā)明實(shí)施例只是將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,這相對(duì)于傳輸360度全景視頻圖像的全部圖像數(shù)據(jù),降低了拼接360度全景視頻圖像攝像機(jī)的個(gè)數(shù),減少了拼接算法處理的次數(shù),降低了視頻圖像編碼的處理時(shí)間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南模淮送?,由于將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,因此相對(duì)于只傳輸用戶可視角范圍內(nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問(wèn)題,從而解決了現(xiàn)有技術(shù)中在進(jìn)行全景視頻播放時(shí)存在的要么消耗較大以及要么視頻卡頓較為嚴(yán)重的問(wèn)題。
附圖說(shuō)明
圖1表示本發(fā)明的第一實(shí)施例中視頻播放的控制方法的步驟流程圖;
圖2表示本發(fā)明的第二實(shí)施例中視頻播放的控制方法的步驟流程圖;
圖3表示三維球體模型中當(dāng)前視點(diǎn)與圖像最低相關(guān)點(diǎn)之間的位置示意圖;
圖4表示三維球體模型的緯度切面示意圖;
圖5表示矩形圖像中丟棄圖像區(qū)域的高度范圍的顯示圖;
圖6表示橢圓形圖像中丟棄圖像區(qū)域的高度范圍的顯示圖;
圖7表示橢圓形圖像中丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的高度范圍的顯示圖;
圖8表示三維球體模型的經(jīng)度切面示意圖;
圖9表示矩形圖像中丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖;
圖10表示橢圓形圖像中丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖;
圖11表示本發(fā)明的第三實(shí)施例中視頻播放的控制方法的步驟流程圖;
圖12表示本發(fā)明的第四實(shí)施例中視頻播放的控制裝置的結(jié)構(gòu)框圖;
圖13表示本發(fā)明的第五實(shí)施例中視頻播放的控制裝置的結(jié)構(gòu)框圖。
具體實(shí)施方式
下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反,提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi),并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
第一實(shí)施例:
如圖1所示,為本發(fā)明的第一實(shí)施例中視頻播放的控制方法的步驟流程圖,該控制方法應(yīng)用于服務(wù)器端,包括:
步驟101,接收用戶的視角方向數(shù)據(jù)。
在本步驟中,服務(wù)器端可以接收視頻圖像輸出終端實(shí)時(shí)傳輸?shù)囊暯欠较驍?shù)據(jù)。具體的,該視角方向數(shù)據(jù)可以為陀螺儀數(shù)據(jù),該陀螺儀數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即用于指示用戶的視角方向。這樣,服務(wù)器端在接收到視頻圖像輸出終端實(shí)時(shí)傳輸?shù)耐勇輧x數(shù)據(jù)時(shí),可以實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù)。
步驟102,根據(jù)視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
在本步驟中,具體的,服務(wù)器端在接收到用戶的視角方向數(shù)據(jù)之后,可以利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。具體的,該三維映射模型可以包括三維球體模型、三維立體模型等。此外,具體的,由于視角方向數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即指示用戶的當(dāng)前視點(diǎn),因此也可以根據(jù)該視角方向數(shù)據(jù)獲取用戶的可視角。具體的,該可視角以當(dāng)前視點(diǎn)為中心。
步驟103,根據(jù)三維映射模型中確定的坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域。
在本步驟中,具體的,在獲取到三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍之后,可以根據(jù)三維映射模型中確定的坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域。
步驟104,將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。
在本步驟中,具體的,在確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域之后,可以獲取全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),并將剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。
這樣,本實(shí)施例根據(jù)用戶的視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍,并根據(jù)三維映射模型中確定的坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域,最后將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。這相對(duì)于現(xiàn)有技術(shù)中傳輸360度全景視頻圖像的全部數(shù)據(jù)的方式,使得可以在不影響用戶正常觀看可視角范圍內(nèi)的視頻圖像的前提下,減少了視頻圖像的傳輸數(shù)據(jù)量,從而降低拼接360度全景視頻圖像攝像機(jī)的個(gè)數(shù),減少拼接算法處理的次數(shù),降低視頻圖像編碼的處理時(shí)間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南?;此外,由于將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,因此相對(duì)于只傳輸用戶可視角范圍內(nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問(wèn)題。
第二實(shí)施例:
如圖2所示,為本發(fā)明的第二實(shí)施例中視頻播放的控制方法的步驟流程圖,該控制方法應(yīng)用于服務(wù)器端,包括:
步驟201,接收用戶的視角方向數(shù)據(jù)。
在本步驟中,服務(wù)器端可以接收視頻圖像輸出終端實(shí)時(shí)傳輸?shù)囊暯欠较驍?shù)據(jù)。具體的,該視角方向數(shù)據(jù)可以為陀螺儀數(shù)據(jù),該陀螺儀數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即用于指示用戶的視角方向。這樣,服務(wù)器端在接收到視頻圖像輸出終端實(shí)時(shí)傳輸?shù)耐勇輧x數(shù)據(jù)時(shí),可以實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù)。
步驟202,根據(jù)視角方向數(shù)據(jù),確定用戶的當(dāng)前視點(diǎn)在三維映射模型上的位置坐標(biāo)。
在本步驟中,具體的,用戶的視角方向數(shù)據(jù)為指示用戶當(dāng)前視點(diǎn)的數(shù)據(jù)。服務(wù)器在接收用戶的視角方向數(shù)據(jù)之后,可以利用預(yù)先確定的三維映射模型,將當(dāng)前視點(diǎn)映射到三維映射模型上,從而確定用戶的當(dāng)前視點(diǎn)在三維映射模型上的位置坐標(biāo)。具體的,當(dāng)前視點(diǎn)在三維映射模型上的位置坐標(biāo)包括經(jīng)緯度坐標(biāo)。
步驟203,根據(jù)當(dāng)前視點(diǎn)在三維映射模型上的位置坐標(biāo),確定在三維映射模型上的圖像最低相關(guān)點(diǎn)的位置坐標(biāo)。
在本步驟中,具體的,圖像最低相關(guān)點(diǎn)為當(dāng)前視點(diǎn)與三維映射模型的中心點(diǎn)的連線的延長(zhǎng)線與三維映射模型的交點(diǎn)。這樣,在確定當(dāng)前視點(diǎn)的位置坐標(biāo)之后,可以根據(jù)當(dāng)前視點(diǎn)的位置坐標(biāo),確定三維映射模型上的圖像最低相關(guān)點(diǎn)的位置坐標(biāo)。具體的,圖像最低相關(guān)點(diǎn)的位置坐標(biāo)包括圖像最低相關(guān)點(diǎn)的經(jīng)度坐標(biāo)和緯度坐標(biāo)。
具體的,在此可以以三維映射模型為三維球體模型進(jìn)行具體說(shuō)明。如圖3所示,為三維球體模型中當(dāng)前視點(diǎn)與圖像最低相關(guān)點(diǎn)之間的位置示意圖。在圖3中,A點(diǎn)為當(dāng)前視點(diǎn),B點(diǎn)為當(dāng)前視點(diǎn)與三維映射模型的中心點(diǎn)的連線的延長(zhǎng)線與三維映射模型的交點(diǎn),即圖像最低相關(guān)點(diǎn)。
步驟204,根據(jù)圖像最低相關(guān)點(diǎn)的位置坐標(biāo),獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
在本步驟中,具體的,在確定當(dāng)前視點(diǎn)在三維映射模型上的位置坐標(biāo)之后,可以根據(jù)當(dāng)前視點(diǎn)在三維映射模型上的位置坐標(biāo),獲取用戶的可視角范圍,其中,該可視角范圍以當(dāng)前視點(diǎn)為中心。
具體的,在根據(jù)圖像最低相關(guān)點(diǎn)的位置坐標(biāo),獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍時(shí),可以根據(jù)用戶在三維映射模型上的可視角和圖像最低相關(guān)點(diǎn)的位置坐標(biāo),確定三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。具體的,該與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍可以為以圖像最低相關(guān)點(diǎn)為中心,以可視角的角度范圍對(duì)應(yīng)的區(qū)域的坐標(biāo)范圍。具體參見(jiàn)圖3,假設(shè)a為可視角,則b為與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
此外,在根據(jù)圖像最低相關(guān)點(diǎn)的位置坐標(biāo),獲取在三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍時(shí),還可以根據(jù)圖像最低相關(guān)點(diǎn)的位置坐標(biāo)和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。具體的,預(yù)先設(shè)定好偏移范圍之后,可以以圖像最低相關(guān)點(diǎn)為中心進(jìn)行偏移,從而得到與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。此外,具體的,該偏移范圍可以根據(jù)人頭部的運(yùn)動(dòng)規(guī)律來(lái)確定。例如,人頭部水平轉(zhuǎn)動(dòng),視頻圖像輸出終端會(huì)實(shí)時(shí)向服務(wù)器端發(fā)送陀螺儀數(shù)據(jù)(視角方向數(shù)據(jù)),此時(shí)只要保證頭部以最大速度轉(zhuǎn)動(dòng)時(shí),在服務(wù)器端返回當(dāng)前時(shí)刻的視角方向數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)之前,頭部還沒(méi)有轉(zhuǎn)動(dòng)到前一時(shí)刻的視角方向數(shù)據(jù)對(duì)應(yīng)的丟棄圖像區(qū)域內(nèi)即可。例如,由于VR體驗(yàn)時(shí),人頭部從正前方到水平轉(zhuǎn)動(dòng)90度時(shí)大概需要150ms,這時(shí)視頻圖像返回時(shí)間控制在100ms以?xún)?nèi),則可以使得頭部還沒(méi)有轉(zhuǎn)動(dòng)到前一時(shí)刻的視角方向數(shù)據(jù)對(duì)應(yīng)的丟棄圖像區(qū)域內(nèi)時(shí),當(dāng)前時(shí)刻的視角方向數(shù)據(jù)對(duì)應(yīng)的圖像數(shù)據(jù)已經(jīng)傳輸至視頻圖像輸出終端。
步驟205,根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系和坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域。
在本步驟中,具體的,三維映射模型包括三維球體模型,此時(shí)在根據(jù)三維映射模型中確定的坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域時(shí),可以先根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系和坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域。
其中,具體的,全景視頻圖像與三維球體模型的映射關(guān)系可以包括全景視頻圖像的高度映射為三維球體模型的直徑、全景視頻圖像的高度映射為三維球體模型的經(jīng)度圓周的半周長(zhǎng)、全景視頻圖像的寬度映射為三維球體模型的赤道周長(zhǎng)。此外,在映射時(shí),全景視頻圖像的左上方可以作為全景視頻圖像的高度和寬度的起點(diǎn)。
此外,圖像最低相關(guān)點(diǎn)的位置坐標(biāo)包括圖像最低相關(guān)點(diǎn)的緯度和經(jīng)度;坐標(biāo)范圍包括:以圖像最低相關(guān)點(diǎn)為中心的緯度坐標(biāo)范圍和經(jīng)度坐標(biāo)范圍;這樣在根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系和坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域時(shí),可以根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點(diǎn)的緯度以及緯度坐標(biāo)范圍,得到待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍;并根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點(diǎn)的經(jīng)度以及經(jīng)度坐標(biāo)范圍,得到待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍。
下面分別對(duì)得到待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍和寬度范圍進(jìn)行具體說(shuō)明。
其一,當(dāng)全景視頻圖像為矩形圖像或橢圓形圖像,且全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的高度映射為三維球體模型的直徑時(shí),根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點(diǎn)的緯度以及緯度坐標(biāo)范圍,得到待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍可以包括如下幾種情況:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí),此時(shí)丟棄圖像區(qū)域不包括三維球體模型的南極點(diǎn)和北極點(diǎn),則:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí),此時(shí)丟棄圖像區(qū)域包括三維球體模型的北極點(diǎn),此時(shí)丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個(gè)區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時(shí),第一區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓形圖像時(shí),第一區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí),此時(shí)丟棄圖像區(qū)域包括三維球體模型的南極點(diǎn),此時(shí)丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個(gè)區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時(shí),第二區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓圖像時(shí),第二區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
和/或,
若全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的高度映射為三維球體模型的經(jīng)度圓周的半周長(zhǎng),則:根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點(diǎn)的緯度以及緯度坐標(biāo)范圍,得到待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍時(shí),可以包括如下幾種情況:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí),此時(shí)丟棄圖像區(qū)域不包括三維球體模型的南極點(diǎn)和北極點(diǎn),則:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí),此時(shí)丟棄圖像區(qū)域包括三維球體模型的北極點(diǎn),此時(shí)丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個(gè)區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時(shí),第一區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓圖像時(shí),第一區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí),此時(shí)丟棄圖像區(qū)域包括三維球體模型的南極點(diǎn),此時(shí)丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域兩個(gè)區(qū)域,而且,當(dāng)全景視頻圖像為矩形圖像時(shí),第二區(qū)域的寬度為矩形圖像的寬度,當(dāng)全景視頻圖像為橢圓圖像時(shí),第二區(qū)域的寬度為全景視頻圖像中每行圖像的寬度,則:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
其中,α表示圖像最低相關(guān)點(diǎn)的緯度,β表示緯度坐標(biāo)范圍對(duì)應(yīng)的角度值,H表示全景視頻圖像的高度,T1表示丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。
具體的,如圖4所示,在圖4中B點(diǎn)表示圖像最低相關(guān)點(diǎn),α表示圖像最低相關(guān)點(diǎn)的緯度,β表示緯度坐標(biāo)范圍對(duì)應(yīng)的角度值。此外,在得到丟棄圖像區(qū)域的高度范圍的上邊界值和下邊界值之后,若全景視頻圖像為矩形圖像,則可以得到如圖5中所示的丟棄圖像區(qū)域的高度范圍的顯示圖,具體的,在圖5中,T1至B1之間的垂直區(qū)域表示丟棄圖像區(qū)域的高度范圍;若全景視頻圖像為橢圓形圖像,則可以得到如圖6中所示的丟棄圖像區(qū)域的高度范圍的顯示圖,具體的,在圖6中,T1至B1之間的垂直區(qū)域表示丟棄圖像區(qū)域的高度范圍。另外,若丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域,則可以在分別得到丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值和下邊界值以及第二區(qū)域的高度范圍的上邊界值和下邊界值之后,若全景視頻圖像為橢圓形圖像,則可以得到如圖7中所示的丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的高度范圍的顯示圖,具體的,在圖7中,B11至上邊界線(即W軸線)之間的垂直區(qū)域表示第一區(qū)域的高度范圍,T12至B12之間的垂直區(qū)域表示第二區(qū)域的高度范圍。
其二,當(dāng)全景視頻圖像為矩形圖像,且全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的寬度映射為三維球體模型的赤道周長(zhǎng)時(shí),根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點(diǎn)的經(jīng)度以及經(jīng)度坐標(biāo)范圍,得到待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍,可以包括如下幾種方式:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
其中,δ表示圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,W表示全景視頻圖像的寬度,L1表示丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
具體的,如圖8所示,在圖8中B點(diǎn)表示圖像最低相關(guān)點(diǎn),δ表示圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值。此外,若丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域,則可以在分別得到丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值和右邊界值以及第二區(qū)域的寬度范圍的左邊界值和右邊界值之后,若全景視頻圖像為矩形圖像,則可以得到如圖9中所示的丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖,具體的,在圖9中,H軸線至R11之間的水平區(qū)域表示第一區(qū)域的寬度范圍,L12至整個(gè)區(qū)域的右邊界之間的水平區(qū)域表示第二區(qū)域的寬度范圍。
其三,當(dāng)全景視頻圖像為橢圓形圖像,且全景視頻圖像與三維球體模型的映射關(guān)系包括:全景視頻圖像的寬度映射為三維球體模型的赤道周長(zhǎng)時(shí),根據(jù)全景視頻圖像與三維球體模型的映射關(guān)系、圖像最低相關(guān)點(diǎn)的經(jīng)度以及經(jīng)度坐標(biāo)范圍,得到待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍,可以包括如下幾種方式:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
其中,δ表示圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點(diǎn)橫坐標(biāo),w表示全景視頻圖像中每行圖像的寬度,L1表示丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
具體的,如圖10所示,若丟棄圖像區(qū)域包括第一區(qū)域和第二區(qū)域,則可以在分別得到丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值和右邊界值以及第二區(qū)域的寬度范圍的左邊界值和右邊界值之后,若全景視頻圖像為橢圓形圖像,則可以得到如圖10中所示的丟棄圖像區(qū)域的第一區(qū)域和第二區(qū)域的寬度范圍的顯示圖,具體的,在圖10中,H軸線至R11之間的水平區(qū)域表示第一區(qū)域的寬度范圍,L12至整個(gè)區(qū)域的右邊界之間的水平區(qū)域表示第二區(qū)域的寬度范圍。
步驟206,將剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端。
在本步驟中,具體的,在將待輸出的全景視頻圖像中除丟棄圖像數(shù)據(jù)之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端時(shí),可以將剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使視頻圖像輸出終端在接收到視角方向數(shù)據(jù)之后,能夠根據(jù)視角方向數(shù)據(jù),確定全景視頻圖像的丟棄圖像區(qū)域。
此外,具體的,在將待輸出的全景視頻圖像中除丟棄圖像數(shù)據(jù)之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端時(shí),可以根據(jù)丟棄圖像區(qū)域,獲取全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域,并對(duì)剩余區(qū)域進(jìn)行渲染,然后將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者可以對(duì)全景視頻圖像進(jìn)行渲染,然后將渲染后得到的圖像數(shù)據(jù)中與丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對(duì)設(shè)置后的圖像數(shù)據(jù)進(jìn)行編碼,最后將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。
這樣,本發(fā)明實(shí)施例通過(guò)全景視頻圖像與三維球體模型的映射關(guān)系和坐標(biāo)范圍,確定待輸出的全景視頻圖像中與坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域,并將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端,相對(duì)于傳輸360度全景視頻圖像的全部圖像數(shù)據(jù),降低了拼接360度全景視頻圖像攝像機(jī)的個(gè)數(shù),減少了拼接算法處理的次數(shù),降低了視頻圖像編碼的處理時(shí)間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南?;此外相?duì)于只傳輸用戶可視角范圍內(nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問(wèn)題,解決了現(xiàn)有技術(shù)中在進(jìn)行全景視頻播放時(shí)存在的要么消耗較大以及要么視頻卡頓較為嚴(yán)重的問(wèn)題。
第三實(shí)施例:
如圖11所示,為本發(fā)明的第三實(shí)施例中視頻播放的控制方法的步驟流程圖,該控制方法應(yīng)用于視頻圖像輸出終端,包括:
步驟1101,實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù),并將視角方向數(shù)據(jù)發(fā)送給服務(wù)器端。
在本步驟中,具體的,用戶的視角方向數(shù)據(jù)可以為陀螺儀數(shù)據(jù),且該視角方向數(shù)據(jù)可以用于指示用戶的觀看姿態(tài),即用于指示用戶的視角方向。因此視頻圖像輸出終端可以通過(guò)陀螺儀獲取用戶的視角方向數(shù)據(jù),且視頻圖像輸出終端實(shí)時(shí)獲取到該用戶的視角方向數(shù)據(jù)之后,可以將該視角方向數(shù)據(jù)發(fā)送給服務(wù)器。
步驟1102,接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)。
在本步驟中,具體的,服務(wù)器端在接收到用戶的視角方向數(shù)據(jù)之后,可以根據(jù)視角方向數(shù)據(jù)確定在將全景視頻圖像映射到三維映射模型中時(shí),與用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域,并將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。此時(shí),視頻圖像輸出終端接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)。
步驟1103,將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中。
在本步驟中,具體的,視頻圖像輸出終端在接收到剩余區(qū)域的圖像數(shù)據(jù)之后,可以將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,以方便播放與用戶的可視角相對(duì)應(yīng)的圖像部分。
步驟1104,從映射后的三維映射模型中獲取與用戶的可視角對(duì)應(yīng)的圖像部分,并播放與用戶的可視角對(duì)應(yīng)的圖像部分。
在本步驟中,具體的,在將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中之后,可以根據(jù)用戶的視角方向數(shù)據(jù),從映射后的三維映射模型中獲取與用戶的可視角對(duì)應(yīng)的圖像部分,并播放該與用戶的可視角對(duì)應(yīng)的圖像部分。
這樣,本實(shí)施例通過(guò)將實(shí)時(shí)獲取的視角方向數(shù)據(jù)發(fā)送給服務(wù)器端,并接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),然后將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,最后從映射后的三維映射模型中獲取與用戶的可視角對(duì)應(yīng)的圖像部分,并播放該圖像部分。這樣,由于映射到三維映射模型中的圖像數(shù)據(jù)為剩余區(qū)域的圖像數(shù)據(jù),相對(duì)于只接收可視角對(duì)應(yīng)的圖像數(shù)據(jù),使得用戶在觀看全景視頻圖像并改變可視角時(shí),能夠觀看到較為流暢的全景視頻圖像,解決了現(xiàn)有技術(shù)中在進(jìn)行全景視頻播放時(shí)存在的視頻卡頓較為嚴(yán)重的為題,提高了用戶體驗(yàn)。
此外,具體的,在接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)時(shí),可以同時(shí)接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及剩余區(qū)域的圖像數(shù)據(jù)對(duì)應(yīng)的視角方向數(shù)據(jù)。這樣,在播放與用戶的可視角對(duì)應(yīng)的圖像部分之后,可以根據(jù)接收到的視角方向數(shù)據(jù),確定映射后的三維映射模型中丟棄圖像區(qū)域的坐標(biāo)范圍,從而使得視頻圖像輸出終端能夠在獲取到剩余區(qū)域的圖像數(shù)據(jù)的同時(shí),確定與視角方向數(shù)據(jù)對(duì)應(yīng)的丟棄圖像區(qū)域的坐標(biāo)范圍。
此外,由于全景視頻圖像中丟棄圖像區(qū)域內(nèi)的數(shù)據(jù)被丟棄,因此會(huì)造成全景視頻圖像不完整,此時(shí)特殊情況下,當(dāng)用戶觀看視角發(fā)生較大變化時(shí),為了避免用戶直接看到丟棄圖像區(qū)域,在播放與用戶的可視角對(duì)應(yīng)的圖像部分之后,可以實(shí)時(shí)獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實(shí)時(shí)獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與用戶的可視角對(duì)應(yīng)的圖像部分是否落入丟棄圖像區(qū)域的坐標(biāo)范圍。
具體的,若映射后的三維映射模型中與用戶的可視角對(duì)應(yīng)的圖像部分落入丟棄圖像區(qū)域的坐標(biāo)范圍,則可以從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與用戶的可視角對(duì)應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進(jìn)行顯示;或者,從映射后的三維映射模型中,獲取與用戶的當(dāng)前可視角相關(guān)的、丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與用戶的當(dāng)前可視角對(duì)應(yīng)的圖像部分進(jìn)行顯示。這樣,即使用戶的視角發(fā)生較大變化,用戶也不會(huì)看到全景視頻圖像中丟棄圖像區(qū)域內(nèi)的圖像。
這樣,本實(shí)施例通過(guò)將實(shí)時(shí)獲取的視角方向數(shù)據(jù)發(fā)送給服務(wù)器端,并接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),然后將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,最后從映射后的三維映射模型中獲取與用戶的可視角對(duì)應(yīng)的圖像部分,并播放該圖像部分。這樣,由于映射到三維映射模型中的圖像數(shù)據(jù)為剩余區(qū)域的圖像數(shù)據(jù),相對(duì)于只接收可視角對(duì)應(yīng)的圖像數(shù)據(jù),使得用戶在觀看全景視頻圖像并改變可視角時(shí),能夠觀看到較為流暢的全景視頻圖像,解決了現(xiàn)有技術(shù)中在進(jìn)行全景視頻播放時(shí)存在的視頻卡頓較為嚴(yán)重的為題,提高了用戶體驗(yàn)。
第四實(shí)施例:
如圖12所示,為本發(fā)明的第四實(shí)施例中視頻播放的控制裝置的結(jié)構(gòu)框圖,該控制裝置應(yīng)用于服務(wù)器端,包括:
第一接收模塊1201,用于接收用戶的視角方向數(shù)據(jù);
獲取模塊1202,用于根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;
確定模塊1203,用于根據(jù)三維映射模型中確定的所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域;
輸出模塊1204,用于將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。
可選地,所述獲取模塊1202包括:第一確定單元,用于根據(jù)所述視角方向數(shù)據(jù),確定用戶的當(dāng)前視點(diǎn)在所述三維映射模型上的位置坐標(biāo);第二確定單元,用于根據(jù)所述當(dāng)前視點(diǎn)在所述三維映射模型上的位置坐標(biāo),確定在所述三維映射模型上的圖像最低相關(guān)點(diǎn)的位置坐標(biāo),其中,所述圖像最低相關(guān)點(diǎn)為所述當(dāng)前視點(diǎn)與所述三維映射模型的中心點(diǎn)的連線的延長(zhǎng)線與所述三維映射模型的交點(diǎn);獲取單元,用于根據(jù)所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo),獲取在三維映射模型中與所述用戶的當(dāng)可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
可選地,所述獲取單元用于,根據(jù)用戶在所述三維映射模型上的可視角和所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo),確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;或者,根據(jù)所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo)和預(yù)先設(shè)定的偏移范圍,確定三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍。
可選地,所述三維映射模型包括三維球體模型;所述確定模塊1203用于,根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系和所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域。
可選地,所述圖像最低相關(guān)點(diǎn)的位置坐標(biāo)包括圖像最低相關(guān)點(diǎn)的緯度和經(jīng)度;所述坐標(biāo)范圍包括:以所述圖像最低相關(guān)點(diǎn)為中心的緯度坐標(biāo)范圍和經(jīng)度坐標(biāo)范圍;所述確定模塊包括:第三確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的緯度以及所述緯度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的高度范圍;第四確定單元,用于根據(jù)所述全景視頻圖像與所述三維球體模型的映射關(guān)系、所述圖像最低相關(guān)點(diǎn)的經(jīng)度以及所述經(jīng)度坐標(biāo)范圍,得到所述待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域的寬度范圍。
可選地,所述全景視頻圖像為矩形圖像或橢圓形圖像;若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的直徑,則所述第三確定單元用于:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
和/或,
若所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的高度映射為所述三維球體模型的經(jīng)度圓周的半周長(zhǎng),則所述第三確定單元用于:
當(dāng)α+β/2<=π/2并且α-β/2>=-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α+β/2>π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
T11=0;
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
當(dāng)α-β/2<-π/2時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的上邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的高度范圍的下邊界值:
B12=H
其中,α表示所述圖像最低相關(guān)點(diǎn)的緯度,β表示所述緯度坐標(biāo)范圍對(duì)應(yīng)的角度值,H表示所述全景視頻圖像的高度,T1表示所述丟棄圖像區(qū)域的高度范圍的上邊界值,B1表示所述丟棄圖像區(qū)域的高度范圍的下邊界值,T11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的上邊界值,B11表示所述丟棄圖像區(qū)域中第一區(qū)域的高度范圍的下邊界值,T12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的上邊界值,B12表示所述丟棄圖像區(qū)域中第二區(qū)域的高度范圍的下邊界值。
可選地,所述全景視頻圖像為矩形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長(zhǎng),則所述第四確定單元用于:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=0
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=W
其中,δ表示所述圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示所述經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,W表示全景視頻圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
可選地,所述全景視頻圖像為橢圓形圖像;所述全景視頻圖像與所述三維球體模型的映射關(guān)系包括:所述全景視頻圖像的寬度映射為所述三維球體模型的赤道周長(zhǎng),則所述第四確定單元用于:
當(dāng)δ-γ/2>=0并且δ+γ/2<=2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
當(dāng)δ-γ/2<0時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
當(dāng)δ+γ/2>2π時(shí):
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的左邊界值:
L11=s
通過(guò)如下公式得到所述丟棄圖像區(qū)域的寬度范圍的右邊界值:
R12=s+w
其中,δ表示所述圖像最低相關(guān)點(diǎn)的經(jīng)度,γ表示所述經(jīng)度坐標(biāo)范圍對(duì)應(yīng)的角度值,s表示全景視頻圖像中每行圖像的起點(diǎn)橫坐標(biāo),w表示全景視頻圖像中每行圖像的寬度,L1表示所述丟棄圖像區(qū)域的寬度范圍的左邊界值,R1表示所述丟棄圖像區(qū)域的寬度范圍的右邊界值,L11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的左邊界值,R11表示所述丟棄圖像區(qū)域中第一區(qū)域的寬度范圍的右邊界值,L12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的左邊界值,R12表示所述丟棄圖像區(qū)域中第二區(qū)域的寬度范圍的右邊界值。
可選地,所述輸出模塊1204包括:第一輸出單元,用于根據(jù)所述丟棄圖像區(qū)域,獲取所述全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域,并對(duì)所述剩余區(qū)域進(jìn)行渲染;將渲染后得到的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端;或者,第二輸出單元,用于對(duì)所述全景視頻圖像進(jìn)行渲染;將所述渲染后得到的圖像數(shù)據(jù)中與所述丟棄圖像區(qū)域?qū)?yīng)的數(shù)據(jù)設(shè)置為特定值,并對(duì)設(shè)置后的圖像數(shù)據(jù)進(jìn)行編碼;將編碼后的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端。
可選地,所述輸出模塊1204用于,將所述剩余區(qū)域的圖像數(shù)據(jù)以及所述視角方向數(shù)據(jù),傳輸給視頻圖像輸出終端,以使所述視頻圖像輸出終端根據(jù)所述視角方向數(shù)據(jù),確定所述全景視頻圖像的丟棄圖像區(qū)域。
這樣,本發(fā)明實(shí)施例只是將待輸出的全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,這相對(duì)于傳輸360度全景視頻圖像的全部圖像數(shù)據(jù),降低了拼接360度全景視頻圖像攝像機(jī)的個(gè)數(shù),減少了拼接算法處理的次數(shù),降低了視頻圖像編碼的處理時(shí)間,并且在相同的參數(shù)下降低了碼率,從而降低了視頻傳輸?shù)南?;此外,由于將全景視頻圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)傳輸至視頻圖像輸出終端,因此相對(duì)于只傳輸用戶可視角范圍內(nèi)的圖像數(shù)據(jù)的方式,減少了由于圖像數(shù)據(jù)傳輸延遲造成的卡頓的問(wèn)題,從而解決了現(xiàn)有技術(shù)中在進(jìn)行全景視頻播放時(shí)存在的要么消耗較大以及要么視頻卡頓較為嚴(yán)重的問(wèn)題。
第五實(shí)施例:
如圖13所示,為本發(fā)明的第五實(shí)施例中視頻播放的控制裝置的結(jié)構(gòu)框圖,該控制裝置應(yīng)用于視頻圖像輸出終端,包括:
發(fā)送模塊1301,用于實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;
第二接收模塊1302,用于接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);
映射模塊1303,用于將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;
播放模塊1304,用于從映射后的三維映射模型中獲取與所述用戶的可視角對(duì)應(yīng)的圖像部分,并播放與所述用戶的可視角對(duì)應(yīng)的所述圖像部分。
可選地,所述第二接收模塊1302用于,接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及所述剩余區(qū)域的圖像數(shù)據(jù)對(duì)應(yīng)的視角方向數(shù)據(jù);所述控制裝置還包括:坐標(biāo)范圍確定模塊,用于在所述播放模塊播放所述圖像部分之后,根據(jù)所述視角方向數(shù)據(jù),確定映射后的三維映射模型中所述丟棄圖像區(qū)域的坐標(biāo)范圍;判斷模塊,用于實(shí)時(shí)獲取用戶的當(dāng)前視角方向數(shù)據(jù),根據(jù)實(shí)時(shí)獲取的當(dāng)前視角方向數(shù)據(jù),確定映射后的三維映射模型中與所述用戶的可視角對(duì)應(yīng)的圖像部分是否落入所述丟棄圖像區(qū)域的坐標(biāo)范圍;其中,若映射后的三維映射模型中與所述用戶的可視角對(duì)應(yīng)的圖像部分落入所述丟棄圖像區(qū)域的坐標(biāo)范圍,則從之前映射后的、最近一次包含有與丟棄圖像區(qū)域?qū)?yīng)的圖像部分的三維映射模型中,獲取與所述用戶的可視角對(duì)應(yīng)的丟棄圖像區(qū)域的圖像部分,并利用獲取的丟棄圖像區(qū)域的圖像部分進(jìn)行顯示;或者,從映射后的三維映射模型中,獲取與所述用戶的當(dāng)前可視角相關(guān)的、所述丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分,并將丟棄圖像區(qū)域的相鄰區(qū)域的圖像部分作為與所述用戶的當(dāng)前可視角對(duì)應(yīng)的圖像部分進(jìn)行顯示。
這樣,本實(shí)施例通過(guò)將實(shí)時(shí)獲取的視角方向數(shù)據(jù)發(fā)送給服務(wù)器端,并接收服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù)以及視角方向數(shù)據(jù),然后將剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中,最后從映射后的三維映射模型中獲取與用戶的可視角對(duì)應(yīng)的圖像部分,并播放該圖像部分。這樣,由于映射到三維映射模型中的圖像數(shù)據(jù)為剩余區(qū)域的圖像數(shù)據(jù),相對(duì)于只接收可視角對(duì)應(yīng)的圖像數(shù)據(jù),使得用戶在觀看全景視頻圖像并改變可視角時(shí),能夠觀看到較為流暢的全景視頻圖像,解決了現(xiàn)有技術(shù)中在進(jìn)行全景視頻播放時(shí)存在的視頻卡頓較為嚴(yán)重的為題,提高了用戶體驗(yàn)。
第六實(shí)施例:
本實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),用于存儲(chǔ)進(jìn)行視頻播放的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序可被處理器執(zhí)行前述實(shí)施例中應(yīng)用于服務(wù)器端的視頻播放的控制方法。
第七實(shí)施例:
本實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),用于存儲(chǔ)進(jìn)行視頻播放的計(jì)算機(jī)程序,所述計(jì)算機(jī)程序可被處理器執(zhí)行前述實(shí)施例中應(yīng)用于視頻圖像輸出終端的視頻播放的控制方法。
第八實(shí)施例:
本實(shí)施例提供一種電子設(shè)備,所述電子設(shè)備包括一個(gè)或多個(gè)處理器,所述處理器被配置為執(zhí)行如下控制方法:
接收用戶的視角方向數(shù)據(jù);
根據(jù)所述視角方向數(shù)據(jù),利用預(yù)先確定的三維映射模型,獲取在三維映射模型中與所述用戶的可視角不相關(guān)的區(qū)域的坐標(biāo)范圍;
根據(jù)三維映射模型中確定的所述坐標(biāo)范圍,確定待輸出的全景視頻圖像中與所述坐標(biāo)范圍對(duì)應(yīng)的丟棄圖像區(qū)域;
將待輸出的全景視頻圖像中除所述丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù),傳輸至視頻圖像輸出終端。
第九實(shí)施例:
本實(shí)施例還提供一種電子設(shè)備,所述電子設(shè)備包括一個(gè)或多個(gè)處理器,所述處理器被配置為執(zhí)行如下控制方法:
實(shí)時(shí)獲取用戶的視角方向數(shù)據(jù),并將所述視角方向數(shù)據(jù)發(fā)送給服務(wù)器端;
接收所述服務(wù)器端傳輸?shù)娜耙曨l圖像中除丟棄圖像區(qū)域之外的剩余區(qū)域的圖像數(shù)據(jù);
將所述剩余區(qū)域的圖像數(shù)據(jù)映射到預(yù)先確定的三維映射模型中;
從所述映射后的三維映射模型中獲取與所述用戶的可視角對(duì)應(yīng)的圖像部分,并播放與所述用戶的可視角對(duì)應(yīng)的所述圖像部分。
以上所述的是本發(fā)明的優(yōu)選實(shí)施方式,應(yīng)當(dāng)指出對(duì)于本技術(shù)領(lǐng)域的普通人員來(lái)說(shuō),在不脫離本發(fā)明所述的原理前提下還可以作出若干改進(jìn)和潤(rùn)飾,這些改進(jìn)和潤(rùn)飾也在本發(fā)明的保護(hù)范圍內(nèi)。