專利名稱：生成多視點視頻的裝置及方法
技術領域：
本發(fā)明涉及圖像處理技術領域，特別涉及一種生成多視點視頻的裝置及方法。
背景技術：
立體視頻通過讓人眼接收到不同視點的視頻，使觀看者產生立體視覺，感受到置身于三維世界的臨場感。在三維視角下，人們能夠感知到更豐富視頻信息，因而，立體視頻在廣告、醫(yī)療、電影、游戲、體育展示等多領域都有著廣闊的應用。在立體視頻產業(yè)中，立體視頻的生成和顯示是至關重要的。目前，立體視頻顯示設備接收的立體視頻的視點數(shù)目由雙目到八目。當前立體視頻的制作，主要依靠采集雙目或多目視頻，再進行圖像后處理的方式進行?，F(xiàn)有技術存在的問題是，立體視頻的制作周期長，人工成本和計算成本高，集成度低，進行大規(guī)模的立體視頻制作難度較大。

發(fā)明內容
本發(fā)明旨在至少解決上述技術問題之一。為達到上述目的，本發(fā)明一方面提出生成多視點視頻的裝置，包括參數(shù)設置模塊，用于根據(jù)輸出設備的類型和輸入視頻數(shù)據(jù)設置輸入視頻識別參數(shù)、深度計算參數(shù)和輸出視點控制參數(shù)，其中，所述輸出視點控制參數(shù)包括輸出視點數(shù)目和輸出排列方式模型；輸入視頻識別模塊，用于根據(jù)所述輸入視頻識別參數(shù)對輸入視頻數(shù)據(jù)進行分析，確定所述輸入視頻數(shù)據(jù)的類型是單路視頻數(shù)據(jù)還是雙路視頻數(shù)據(jù)；數(shù)據(jù)緩存模塊，用于緩存所述輸入視頻數(shù)據(jù)；深度計算模塊，用于根據(jù)所述輸入視頻數(shù)據(jù)的類型、所述深度計算參數(shù)和所述數(shù)據(jù)緩存模塊緩存的所述輸入視頻數(shù)據(jù)進行深度計算以獲得所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，并將所述圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存模塊；以及立體渲染模塊，用于根據(jù)所述數(shù)據(jù)緩存模塊緩存的輸入視頻數(shù)據(jù)和圖像深度數(shù)據(jù)，以及所述輸入視頻數(shù)據(jù)的類型和所述輸出視點數(shù)目，計算所需輸出的各視點視頻，并根據(jù)所述輸出排列方式對所述各視點視頻進行視頻數(shù)據(jù)排列，輸出多視點視頻數(shù)據(jù)。在本發(fā)明的一個實施例中，所述輸入視頻數(shù)據(jù)包括幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號，所述輸入視頻識別參數(shù)用于指示所述輸入視頻識別模塊進行分析時所選用的同步信號，所述所選用的同步信號為幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號中的一種。在本發(fā)明的一個實施例中，所述輸出排列方式包括以視點圖像為單位的圖像數(shù)據(jù)排列方式；以圖像行數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式；以及以圖像像素點數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式。在本發(fā)明的一個實施例中，所述數(shù)據(jù)緩存模塊包括輸入視頻數(shù)據(jù)緩存區(qū)域和圖像深度數(shù)據(jù)緩存區(qū)域，且所述輸入視頻數(shù)據(jù)緩存區(qū)域和所述圖像深度數(shù)據(jù)緩存區(qū)域通過兩個相互獨立的時鐘分別控制。
6
在本發(fā)明的一個實施例中，所述深度計算模塊包括零平面確定單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，以及所述深度計算參數(shù)，確定所述圖像深度數(shù)據(jù)的零平面位置；深度賦值單元，用于對所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)進行深度數(shù)據(jù)賦值以生成該路視頻對應的圖像深度數(shù)據(jù)作為輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，其中將所述零平面所在位置的深度數(shù)據(jù)設為0，零平面以上位置的深度數(shù)據(jù)設為負值，零平面以下位置的深度數(shù)據(jù)設為正值，且對于同一顏色連通區(qū)域賦予相同的深度數(shù)據(jù)值；以及深度數(shù)據(jù)緩存單元，用于將所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存模塊。在本發(fā)明的一個實施例中，所述深度計算參數(shù)包括閾值參數(shù)和預定的深度模型。在本發(fā)明的一個實施例中，所述深度計算模塊的零平面確定單元包括灰度均值子單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，進行像素顏色數(shù)據(jù)統(tǒng)計，求取圖像灰度均值；深度模型確定子單元，用于根據(jù)所述圖像灰度均值和所述閾值參數(shù)，確定所選用的深度模型，其中所選用的深度模型為所述預定的深度模型中的一種；以及零平面位置確定子單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，確定所述選用的深度模型位置，并將所述選用的深度模型位置確定為所述圖像深度數(shù)據(jù)的零平面位置。在本發(fā)明的一個實施例中，所述立體渲染模塊包括計算單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)的各個像素點及其對應的深度圖像數(shù)據(jù)的像素點，結合所述輸出視點數(shù)目，計算多視點視頻的各視點視頻需要更新的區(qū)域；填充單元，用于根據(jù)所述雙路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，對所述各視點視頻需要更新的區(qū)域進行線性插值填充，生成更新區(qū)域的像素點數(shù)據(jù)，并用所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)對不需要更新的區(qū)域進行直接填充，以獲得多視點視頻所有視點的圖像像素點數(shù)據(jù)；以及輸出單元，用于根據(jù)所述輸出排列方式對所述多視點視頻所有視點的圖像像素點數(shù)據(jù)進行排列或交織，輸出多視點視頻數(shù)據(jù)。在本發(fā)明的一個實施例中，所述立體渲染模塊的填充單元在進行線性插值填充時，如果是單路視頻數(shù)據(jù)，以深度值作為填充權值，進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)；如果是雙路視頻數(shù)據(jù)，像素值加權平均計算后，再根據(jù)深度值作為填充權值，進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)。本發(fā)明另一方面還提出一種生成多視點視頻的方法，包括以下步驟S1 根據(jù)輸出設備的類型和輸入視頻數(shù)據(jù)設置輸入視頻識別參數(shù)、深度計算參數(shù)和輸出視點控制參數(shù)，其中所述輸出視點控制參數(shù)包括輸出視點數(shù)目和排列方式模型；S2 根據(jù)所述輸入視頻識別參數(shù)對輸入視頻數(shù)據(jù)進行類型分析，確定輸入視頻數(shù)據(jù)的類型是單路視頻數(shù)據(jù)還是雙路視頻數(shù)據(jù)；S3 將輸入視頻數(shù)據(jù)緩存至數(shù)據(jù)緩存設備；S4 根據(jù)所述輸入視頻數(shù)據(jù)的類型、所述深度計算參數(shù)和數(shù)據(jù)緩存設備緩存的所述輸入視頻數(shù)據(jù)進行深度計算以獲得所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，并將所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存設備；以及S5 根據(jù)所述數(shù)據(jù)緩存設備緩存的輸入視頻數(shù)據(jù)和圖像深度數(shù)據(jù)，以及所述輸入視頻數(shù)據(jù)的類型和所述輸出視點數(shù)目，計算所需輸出的各視點視頻，并根據(jù)所述輸出排列方式對所述各視點視頻進行視頻數(shù)據(jù)排列，輸出多視點視頻數(shù)據(jù)。
本發(fā)明實施例的生成多視點視頻的方法，通過對單路視頻數(shù)據(jù)或雙路視頻數(shù)據(jù)進行深度計算和立體渲染，將單路視頻數(shù)據(jù)或雙路視頻數(shù)據(jù)轉換為多視點視頻，制作視頻容易，制作周期短，制作成本低。而且本發(fā)明的裝置集成度高，體積小，計算能力強，專用性強， 能夠解決多視點視頻片源匱乏的困境。本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中圖1是本發(fā)明實施例的生成多視點視頻的裝置的結構示意圖；圖2是本發(fā)明實施例的輸入視頻識別模塊的示意圖；圖3是本發(fā)明實施例的深度計算模塊的示意圖；圖4是本發(fā)明實施例的預定的深度模型的示意圖；圖5是本發(fā)明實施例的深度計算模塊中的零平面確定單元的示意圖；圖6是本發(fā)明實施例的立體渲染模塊的示意圖；以及圖7是本發(fā)明實施例的生成多視點視頻的方法的流程圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。圖1為本發(fā)明實施例的生成多視點視頻的裝置的結構示意圖，如圖1所示，該裝置包括參數(shù)設置模塊100、輸入視頻識別模塊200、數(shù)據(jù)緩存模塊300，深度計算模塊400和立體渲染模塊500。參數(shù)設置模塊100用于根據(jù)輸出設備的類型和輸入視頻數(shù)據(jù)設置輸入視頻識別參數(shù)、深度計算參數(shù)和輸出視點控制參數(shù)，其中，輸出視點控制參數(shù)包括輸出視點數(shù)目和輸出排列方式模型。輸入視頻識別模塊200用于根據(jù)輸入視頻識別參數(shù)對輸入視頻數(shù)據(jù)進行分析，確定輸入視頻數(shù)據(jù)的類型是單路視頻數(shù)據(jù)還是雙路視頻數(shù)據(jù)。數(shù)據(jù)緩存模塊300用于緩存所述輸入視頻數(shù)據(jù)以供深度計算模塊400調取，還可用于緩存深度計算模塊400生成的圖像深度數(shù)據(jù)以供立體渲染模塊600調取(將在下文詳細描述)。深度計算模塊400 用于根據(jù)輸入視頻數(shù)據(jù)的類型、深度計算參數(shù)和數(shù)據(jù)緩存模塊300緩存的輸入視頻數(shù)據(jù)進行深度計算以獲得輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，并將圖像深度數(shù)據(jù)緩存至數(shù)據(jù)緩存模塊 300。立體渲染模塊500用于根據(jù)數(shù)據(jù)緩存模塊300緩存的輸入視頻數(shù)據(jù)和圖像深度數(shù)據(jù)， 以及輸入視頻數(shù)據(jù)的類型和輸出視點數(shù)目，計算所需輸出的各視點視頻，并根據(jù)輸出排列方式對所述各視點視頻進行視頻數(shù)據(jù)排列，輸出多視點視頻數(shù)據(jù)。在本發(fā)明的一個實施例中，如圖2所示，輸入視頻數(shù)據(jù)包括幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號。參數(shù)設置模塊100設置的輸入視頻識別參數(shù)用于指示所述輸入視頻識別模塊200進行分析時所選用的同步信號，所述同步信號為幀同步信號、行
8同步信號、數(shù)據(jù)有效信號和場同步信號中的一種。輸入視頻識別模塊200根據(jù)該輸入視頻識別參數(shù)來選擇同步信號進行分析與比較，判斷所接收的輸入視頻數(shù)據(jù)是單路視頻數(shù)據(jù)還是雙路視頻數(shù)據(jù)?，F(xiàn)有的多視點播放設備的視點數(shù)目在2到8之間，輸出視點排列方式一般包括下列三種以視點圖像為單位的圖像數(shù)據(jù)排列方式，即同一視點的圖像排列在一起，不同視點的圖像并排或上下排列；以圖像行數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式，即輸出的圖像數(shù)據(jù)由不同視點的圖像行數(shù)據(jù)交織排列；以及以圖像像素點數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式，即輸出的圖像數(shù)據(jù)由不同視點的圖像像素點數(shù)據(jù)按照一定的規(guī)律交織排列。在本發(fā)明的一個實施例中，根據(jù)輸出設備的類型，輸出視點數(shù)目確定為6，排列方式確定為上述三種排列方式之一。在本發(fā)明的一個實施例中，數(shù)據(jù)緩存模塊300進一步包括輸入視頻數(shù)據(jù)緩存區(qū)域和圖像深度數(shù)據(jù)緩存區(qū)域，且輸入視頻數(shù)據(jù)緩存區(qū)域和圖像深度數(shù)據(jù)緩存區(qū)域通過兩個相互獨立的時鐘分別控制，加快數(shù)據(jù)存取速度，提高視頻轉換效率。在本發(fā)明的一個示例中， 緩存輸入視頻數(shù)據(jù)時，單路視頻數(shù)據(jù)為32位視頻圖像像素數(shù)據(jù)，雙路為64位視頻圖像像素數(shù)據(jù)。緩存深度計算模塊400計算得到的圖像深度數(shù)據(jù)為8位像素數(shù)據(jù)。在本發(fā)明的一個實施例中，如圖3所示，深度計算模塊400還可包括零平面確定單元410，深度賦值單元420和深度數(shù)據(jù)緩存單元430。零平面確定單元410用于根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)，以及深度計算參數(shù)，確定圖像深度數(shù)據(jù)的零平面位置。深度賦值單元420用于對雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)進行深度數(shù)據(jù)賦值以生成該路視頻對應的圖像深度數(shù)據(jù)作為輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，其中將零平面所在位置的深度數(shù)據(jù)設為0，零平面以上位置的深度數(shù)據(jù)設為負值， 零平面以下位置的深度數(shù)據(jù)設為正值，且對于同一顏色連通區(qū)域賦予相同的深度數(shù)據(jù)值。 深度數(shù)據(jù)緩存單元430用于將輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至數(shù)據(jù)緩存模塊。具體地，當輸入視頻識別模塊200確定輸入視頻數(shù)據(jù)為單路視頻數(shù)據(jù)時，零平面確定單元410根據(jù)該單路視頻數(shù)據(jù)以及深度計算參數(shù)，確定圖像深度數(shù)據(jù)零平面位置。深度賦值單元420對該單路視頻數(shù)據(jù)進行深度數(shù)據(jù)賦值以生成該路視頻對應的圖像深度數(shù)據(jù)作為輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，例如，將所述零平面所在位置的深度數(shù)據(jù)設為0，零平面以上位置的深度數(shù)據(jù)設為負值，零平面以下位置的深度數(shù)據(jù)設為正值，深度數(shù)據(jù)范圍為-63到+63之間，且對于同一顏色連通區(qū)域賦予相同的深度數(shù)據(jù)值。深度數(shù)據(jù)緩存單元 430將該輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存模塊300。當輸入視頻識別模塊200確定輸入視頻數(shù)據(jù)為雙路視頻數(shù)據(jù)時，零平面確定單元 410根據(jù)該雙路視頻數(shù)據(jù)的左路視頻數(shù)據(jù)(右路亦可)以及深度計算參數(shù)，確定圖像深度數(shù)據(jù)零平面位置。深度賦值單元420對該左路視頻數(shù)據(jù)(如果零平面確定單元選擇右路，在此也選擇右路)進行深度數(shù)據(jù)賦值以生成該路視頻對應的圖像深度數(shù)據(jù)作為輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，例如，將所述零平面所在位置的深度數(shù)據(jù)設為0，零平面以上位置的深度數(shù)據(jù)設為負值，零平面以下位置的深度數(shù)據(jù)設為正值，深度數(shù)據(jù)范圍為-63到+63之間， 且對于同一顏色連通區(qū)域賦予相同的深度數(shù)據(jù)值。深度數(shù)據(jù)緩存單元430將輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存模塊300。在本發(fā)明的一個實施例中，深度計算參數(shù)還可包括閾值參數(shù)和預定的深度模型。本發(fā)明實施例的預定的深度模型如圖4所示。在本發(fā)明的一個實施例中，如圖5所示，零平面確定單元410還可包括灰度均值子單元411、深度模型確定子單元412和零平面位置確定子單元413。其中，灰度均值子單元411用于根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，進行像素顏色數(shù)據(jù)統(tǒng)計，求取圖像灰度均值。深度模型確定子單元412用于根據(jù)圖像灰度均值和閾值參數(shù)，確定所選用的深度模型，其中所選用的深度模型為如圖4所示的預定的深度模型中的一種。例如，當圖像灰度均值大于或等于閾值參數(shù)(一般為170)時，選用預定的深度模型為拋物線型；當圖像灰度均值小于閾值參數(shù)時，選用預定的深度模型為直線型。零平面位置確定子單元413用于根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)，確定所選用的深度模型位置，并將所選用的深度模型位置確定為圖像深度數(shù)據(jù)的零平面位置。具體地，當選用的深度模型為拋物線型時，拋物線即為零平面所在位置， 拋物線左右對稱，頂點位置在圖像的上1/3、上1/4、上1/5等處，根據(jù)圖像上半部分灰度梯度變化最大位置近似確定；當選用的深度模型為直線型時，直線即為零平面所在位置，位置在圖像的上1/3、上1/4、上1/5等處，根據(jù)圖像上半部分灰度梯度變化最大位置近似確定。具體地，如圖6所示，立體渲染模塊500還可包括計算單元510、填充單元520和輸出單元530。其中，計算單元510用于根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)的各個像素點及其對應的深度圖像數(shù)據(jù)的像素點，結合所述輸出視點數(shù)目，計算多視點視頻的各視點視頻需要更新的區(qū)域。填充單元520用于根據(jù)所述雙路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，對各視點視頻需要更新的區(qū)域進行線性插值填充，生成更新區(qū)域的像素點數(shù)據(jù)，并用所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)對不需要更新的區(qū)域進行直接填充，以獲得多視點視頻所有視點的圖像像素點數(shù)據(jù)。以及輸出單元 630用于根據(jù)輸出排列方式對該多視點視頻所有視點的圖像像素點數(shù)據(jù)進行排列或交織， 輸出多視點視頻數(shù)據(jù)，連接到相應的多視點視頻播放設備上。在本發(fā)明的一個實施例中，立體渲染模塊500的填充單元520在進行線性插值填充時，如果輸入視頻數(shù)據(jù)是單路視頻數(shù)據(jù)，則以該單路視頻數(shù)據(jù)的深度值作為填充權值，直接進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)；如果輸入視頻數(shù)據(jù)是雙路視頻數(shù)據(jù)，則對該雙路視頻數(shù)據(jù)進行像素值加權平均計算后，再根據(jù)深度值作為填充權值進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)。根據(jù)上述實施例，本發(fā)明還提出一種生成多視點視頻的方法，圖7為本方法的流程示意圖，如圖7所示，包括以下步驟Sl 根據(jù)輸出設備的類型和輸入視頻數(shù)據(jù)設置輸入視頻識別參數(shù)、深度計算參數(shù)和輸出視點控制參數(shù)，其中所述輸出視點控制參數(shù)包括輸出視點數(shù)目和排列方式模型。S2:根據(jù)輸入視頻識別參數(shù)對輸入視頻數(shù)據(jù)進行類型分析，確定輸入視頻數(shù)據(jù)的類型是單路視頻數(shù)據(jù)還是雙路視頻數(shù)據(jù)。S3 將輸入視頻數(shù)據(jù)緩存至數(shù)據(jù)緩存設備。S4:根據(jù)輸入視頻數(shù)據(jù)的類型、深度計算參數(shù)和數(shù)據(jù)緩存設備緩存的輸入視頻數(shù)據(jù)進行深度計算以獲得輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，并將輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至數(shù)據(jù)緩存設備。
S5 根據(jù)數(shù)據(jù)緩存設備緩存的輸入視頻數(shù)據(jù)和圖像深度數(shù)據(jù)，以及輸入視頻數(shù)據(jù)的類型和輸出視點數(shù)目，計算所需輸出的各視點視頻，并根據(jù)輸出排列方式對各視點視頻進行視頻數(shù)據(jù)排列，輸出多視點視頻數(shù)據(jù)。在本發(fā)明的一個實施例中，在步驟Sl設置的輸入視頻識別參數(shù)用于指示步驟S2 進行分析時所選用的同步信號，所選用的同步信號為輸入視頻數(shù)據(jù)包括的幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號中的一種。在本發(fā)明的一個實施例中，輸出排列方式可為以視點圖像為單位的圖像數(shù)據(jù)排列方式、以圖像行數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式和以圖像像素點數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式三種排列方式中的任意一種。在本發(fā)明的一個實施例中，步驟S3及步驟S4在將輸入視頻數(shù)據(jù)緩存至緩存設備以及將深度計算得到的圖像深度數(shù)據(jù)緩存至緩存設備時，分別將所述輸入視頻數(shù)據(jù)和所述圖像深度數(shù)據(jù)緩存至不同的緩存區(qū)域，并通過兩個相互獨立時鐘分別控制。在本發(fā)明的一個實施例中，步驟S4具體操作如下首先，根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)，以及深度計算參數(shù)，確定圖像深度數(shù)據(jù)的零平面所在位置。其次，對雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)進行深度數(shù)據(jù)賦值以生成雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)對應的圖像深度數(shù)據(jù)作為輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)。其中，將零平面所在位置的深度數(shù)據(jù)設為0，零平面以上位置的深度數(shù)據(jù)設為負值，零平面以下位置的深度數(shù)據(jù)設為正值，且對于同一顏色連通區(qū)域賦予相同的深度數(shù)據(jù)值；最后，將輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至緩存設備。在本發(fā)明的一個實施例中，深度計算參數(shù)可包括閾值參數(shù)和預定的深度模型。根據(jù)本發(fā)明的一個實施例，步驟S4在根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)以及深度計算參數(shù)確定圖像深度數(shù)據(jù)的零平面所在位置時，其操作過程如下首先根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)，進行像素顏色數(shù)據(jù)統(tǒng)計，求取圖像灰度均值；接著根據(jù)圖像灰度均值和閾值參數(shù)，確定所選用的深度模型，其中所選用的深度模型為所述預定的深度模型中的一種；最后根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，確定所述選用的深度模型位置，并將所述選用的深度模型位置確定為所述圖像深度數(shù)據(jù)的零平面位置。在本發(fā)明的一個實施例中，步驟S6的具體操作如下首先，根據(jù)雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)的各個像素點及其對應的深度圖像數(shù)據(jù)的像素點，結合輸出視點數(shù)目，計算多視點視頻的各視點視頻需要更新的區(qū)域。其次，根據(jù)雙路視頻數(shù)據(jù)或者單路視頻數(shù)據(jù)，對所述各視點視頻需要更新的區(qū)域進行線性插值填充，生成更新區(qū)域的像素點數(shù)據(jù)，并用所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)對不需要更新的區(qū)域進行直接填充，以獲得多視點視頻所有視點的圖像像素點數(shù)據(jù)。最后，根據(jù)輸出排列方式對所述多視點視頻所有視點的圖像像素點數(shù)據(jù)進行排列或交織，輸出多視點視頻數(shù)據(jù)。
在本發(fā)明的一個實施例中，步驟S6在進行線性插值填充時，如果是單路視頻數(shù)據(jù)，則以深度值作為填充權值，進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)；如果是雙路視頻數(shù)據(jù)，則像素值加權平均計算后，再根據(jù)深度值作為填充權值，進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)。本發(fā)明的生成多視點視頻的裝置和方法，通過對單路視頻數(shù)據(jù)或雙路視頻數(shù)據(jù)中的一路進行深度計算和立體渲染，將單路視頻數(shù)據(jù)或雙路視頻數(shù)據(jù)轉換為多視點視頻。通過合理的硬件電路設計，實現(xiàn)了常用單路或雙路視頻源與立體播放設備的直接對接。本裝置專用于多視點視頻的生成，體積可以做到很小，同時還可以嵌入到立體播放設備或立體顯示器中。本發(fā)明節(jié)省了以往大規(guī)模的人工繪制工作，制作成本低。并且本發(fā)明通過模塊之間的有效配合，實現(xiàn)了從輸入信號到顯示設備的集成處理，集成度高，用戶操作使用便捷， 制作視頻容易，制作周期短，能夠解決當前多視點視頻片源匱乏的困境。盡管已經示出和描述了本發(fā)明的實施例，本領域的普通技術人員可以理解在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由權利要求及其等同物限定。
權利要求
1.一種生成多視點視頻的裝置，其特征在于，包括參數(shù)設置模塊，用于根據(jù)輸出設備的類型和輸入視頻數(shù)據(jù)設置輸入視頻識別參數(shù)、深度計算參數(shù)和輸出視點控制參數(shù)，其中，所述輸出視點控制參數(shù)包括輸出視點數(shù)目和輸出排列方式模型；輸入視頻識別模塊，用于根據(jù)所述輸入視頻識別參數(shù)對輸入視頻數(shù)據(jù)進行分析，確定所述輸入視頻數(shù)據(jù)的類型是單路視頻數(shù)據(jù)還是雙路視頻數(shù)據(jù)；數(shù)據(jù)緩存模塊，用于緩存所述輸入視頻數(shù)據(jù)；深度計算模塊，用于根據(jù)所述輸入視頻數(shù)據(jù)的類型、所述深度計算參數(shù)和所述數(shù)據(jù)緩存模塊緩存的所述輸入視頻數(shù)據(jù)進行深度計算以獲得所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)， 并將所述圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存模塊；以及立體渲染模塊，用于根據(jù)所述數(shù)據(jù)緩存模塊緩存的輸入視頻數(shù)據(jù)和圖像深度數(shù)據(jù)，以及所述輸入視頻數(shù)據(jù)的類型和所述輸出視點數(shù)目，計算所需輸出的各視點視頻，并根據(jù)所述輸出排列方式對所述各視點視頻進行視頻數(shù)據(jù)排列，輸出多視點視頻數(shù)據(jù)。
2.根據(jù)權利要求1所述的裝置，其特征在于，所述輸入視頻數(shù)據(jù)包括幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號，所述輸入視頻識別參數(shù)用于指示所述輸入視頻識別模塊進行分析時所選用的同步信號，其中所述所選用的同步信號為幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號中的一種。
3.根據(jù)權利要求1所述的裝置，其特征在于，所述輸出排列方式包括以視點圖像為單位的圖像數(shù)據(jù)排列方式；以圖像行數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式；以及以圖像像素點數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式。
4.根據(jù)權利要求1所述的裝置，其特征在于，所述數(shù)據(jù)緩存模塊包括輸入視頻數(shù)據(jù)緩存區(qū)域和圖像深度數(shù)據(jù)緩存區(qū)域，且所述輸入視頻數(shù)據(jù)緩存區(qū)域和所述圖像深度數(shù)據(jù)緩存區(qū)域通過兩個相互獨立的時鐘分別控制。
5.根據(jù)權利要求1所述的裝置，其特征在于，所述深度計算模塊進一步包括零平面確定單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，以及所述深度計算參數(shù)，確定所述圖像深度數(shù)據(jù)的零平面位置；深度賦值單元，用于對所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)進行深度數(shù)據(jù)賦值以生成該路視頻對應的圖像深度數(shù)據(jù)作為輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，其中將所述零平面所在位置的深度數(shù)據(jù)設為0，零平面以上位置的深度數(shù)據(jù)設為負值， 零平面以下位置的深度數(shù)據(jù)設為正值，且對于同一顏色連通區(qū)域賦予相同的深度數(shù)據(jù)值； 以及深度數(shù)據(jù)緩存單元，用于將所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存模塊。
6.根據(jù)權利要求5所述的裝置，其特征在于，所述深度計算參數(shù)包括閾值參數(shù)和預定的深度模型。
7.根據(jù)權利要求6所述的裝置，其特征在于，所述零平面確定單元進一步包括灰度均值子單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，進行像素顏色數(shù)據(jù)統(tǒng)計，求取圖像灰度均值；深度模型確定子單元，用于根據(jù)所述圖像灰度均值和所述閾值參數(shù)，確定所選用的深度模型，其中所選用的深度模型為所述預定的深度模型中的一種；以及零平面位置確定子單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，確定所述選用的深度模型位置，并將所述選用的深度模型位置確定為所述圖像深度數(shù)據(jù)的零平面位置。
8.根據(jù)權利要求1所述的裝置，其特征在于，所述立體渲染模塊進一步包括計算單元，用于根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)的各個像素點及其對應的深度圖像數(shù)據(jù)的像素點，結合所述輸出視點數(shù)目，計算多視點視頻的各視點視頻需要更新的區(qū)域；填充單元，用于根據(jù)所述雙路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，對所述各視點視頻需要更新的區(qū)域進行線性插值填充，生成更新區(qū)域的像素點數(shù)據(jù)，并用所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)對不需要更新的區(qū)域進行直接填充，以獲得多視點視頻所有視點的圖像像素點數(shù)據(jù)；以及輸出單元，用于根據(jù)所述輸出排列方式對所述多視點視頻所有視點的圖像像素點數(shù)據(jù)進行排列或交織，輸出多視點視頻數(shù)據(jù)。
9.根據(jù)權利要求8所述的裝置，其特征在于，所述填充單元根據(jù)所述雙路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，對所述各視點視頻需要更新的區(qū)域進行線性插值填充進行線性插值填充，進一步包括如果所述輸入視頻數(shù)據(jù)是單路視頻數(shù)據(jù)，則以所述輸入視頻數(shù)據(jù)的深度值作為填充權值進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)；如果所述輸入視頻數(shù)據(jù)是雙路視頻數(shù)據(jù)，則對所述輸入視頻數(shù)據(jù)的像素值進行加權平均計算后，再以所述輸入視頻數(shù)據(jù)的深度值作為填充權值進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)。
10.一種生成多視點視頻的方法，其特征在于，包括以下步驟51根據(jù)輸出設備的類型和輸入視頻數(shù)據(jù)設置輸入視頻識別參數(shù)、深度計算參數(shù)和輸出視點控制參數(shù)，其中所述輸出視點控制參數(shù)包括輸出視點數(shù)目和輸出排列方式模型；52根據(jù)所述輸入視頻識別參數(shù)對輸入視頻數(shù)據(jù)進行類型分析，確定輸入視頻數(shù)據(jù)的類型是單路視頻數(shù)據(jù)還是雙路視頻數(shù)據(jù)；53將輸入視頻數(shù)據(jù)緩存至數(shù)據(jù)緩存設備；S4:根據(jù)所述輸入視頻數(shù)據(jù)的類型、所述深度計算參數(shù)和數(shù)據(jù)緩存設備緩存的所述輸入視頻數(shù)據(jù)進行深度計算以獲得所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，并將所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至所述數(shù)據(jù)緩存設備；以及S5 根據(jù)所述數(shù)據(jù)緩存設備緩存的輸入視頻數(shù)據(jù)和圖像深度數(shù)據(jù)，以及所述輸入視頻數(shù)據(jù)的類型和所述輸出視點數(shù)目，計算所需輸出的各視點視頻，并根據(jù)所述輸出排列方式對所述各視點視頻進行視頻數(shù)據(jù)排列，輸出多視點視頻數(shù)據(jù)。
11.根據(jù)權利要求10所述的方法，其特征在于，所述輸入視頻數(shù)據(jù)包括幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號，所述輸入視頻識別參數(shù)用于指示所述輸入視頻識別模塊進行分析時所選用的同步信號，其中所述所選用的同步信號為幀同步信號、行同步信號、數(shù)據(jù)有效信號和場同步信號中的一種。
12.根據(jù)權利要求10所述的方法，其特征在于，所述輸出排列方式包括以視點圖像為單位的圖像數(shù)據(jù)排列方式；以圖像行數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式；以及以圖像像素點數(shù)據(jù)為單位的圖像數(shù)據(jù)排列方式。
13.根據(jù)權利要求10所述的方法，其特征在于，在將所述輸入視頻數(shù)據(jù)緩存至緩存設備以及將所述圖像深度數(shù)據(jù)緩存至緩存設備時，分別將所述輸入視頻數(shù)據(jù)和所述圖像深度數(shù)據(jù)緩存至不同的緩存區(qū)域，并通過兩個相互獨立時鐘分別控制。
14.根據(jù)權利要求10所述的方法，其特征在于，所述步驟S4進一步包括S41 根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，以及所述深度計算參數(shù)，確定所述圖像深度數(shù)據(jù)的零平面所在位置；S42:對所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)進行深度數(shù)據(jù)賦值以生成所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)對應的圖像深度數(shù)據(jù)作為輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)，其中將所述零平面所在位置的深度數(shù)據(jù)設為0， 零平面以上位置的深度數(shù)據(jù)設為負值，零平面以下位置的深度數(shù)據(jù)設為正值，且對于同一顏色連通區(qū)域賦予相同的深度數(shù)據(jù)值；以及S43 將所述輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)緩存至緩存設備。
15.根據(jù)權利要求14所述的方法，其特征在于，所述深度計算參數(shù)包括閾值參數(shù)和預定的深度模型。
16.根據(jù)權利要求15所述的方法，其特征在于，所述步驟S41進一步包括5411根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，進行像素顏色數(shù)據(jù)統(tǒng)計，求取圖像灰度均值；5412根據(jù)所述圖像灰度均值和所述閾值參數(shù)，確定所選用的深度模型，其中所選用的深度模型為所述預定的深度模型中的一種；以及5413根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，確定所述選用的深度模型位置，并將所述選用的深度模型位置確定為所述圖像深度數(shù)據(jù)的零平面位置。
17.根據(jù)權利要求10所述的方法，其特征在于，所述步驟S5進一步包括551根據(jù)所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)的各個像素點及其對應的深度圖像數(shù)據(jù)的像素點，結合所述輸出視點數(shù)目，計算多視點視頻的各視點視頻需要更新的區(qū)域；552根據(jù)所述雙路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)，對所述各視點視頻需要更新的區(qū)域進行線性插值填充，生成更新區(qū)域的像素點數(shù)據(jù)，并用所述雙路視頻數(shù)據(jù)中的任一路視頻數(shù)據(jù)或者所述單路視頻數(shù)據(jù)對不需要更新的區(qū)域進行直接填充，以獲得多視點視頻所有視點的圖像像素點數(shù)據(jù)；以及553根據(jù)所述輸出排列方式對所述多視點視頻所有視點的圖像像素點數(shù)據(jù)進行排列或交織，輸出多視點視頻數(shù)據(jù)。
18.根據(jù)權利要求17所述的方法，其特征在于，所述步驟S52在進行線性插值填充時進一步包括如果所述輸入視頻數(shù)據(jù)是單路視頻數(shù)據(jù)，則以所述輸入視頻數(shù)據(jù)的深度值作為填充權值進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)；如果所述輸入視頻數(shù)據(jù)是雙路視頻數(shù)據(jù)，則對所述輸入視頻數(shù)據(jù)的像素值加權平均計算后，再以所述輸入視頻數(shù)據(jù)的深度值作為填充權值，進行像素填充，生成更新區(qū)域的像素點數(shù)據(jù)。
全文摘要
本發(fā)明提出一種生成多視點視頻的裝置及方法。其中，裝置包括參數(shù)設置模塊，用于設置輸入視頻識別參數(shù)、深度計算參數(shù)和輸出視點控制參數(shù)；輸入視頻識別模塊，用于根據(jù)輸入視頻識別參數(shù)識別輸入視頻數(shù)據(jù)的類型；數(shù)據(jù)緩存模塊，用于緩存視頻數(shù)據(jù)；深度計算模塊，用于根據(jù)輸入視頻數(shù)據(jù)的類型和深度計算參數(shù)計算輸入視頻數(shù)據(jù)的圖像深度數(shù)據(jù)；立體渲染模塊，用于根據(jù)輸入視頻數(shù)據(jù)的類型、圖像深度數(shù)據(jù)和輸出視點控制參數(shù)對輸入視頻數(shù)據(jù)進行立體渲染，生成多視點視頻并輸出。本發(fā)明裝置體積小，集成度高，專用性強，計算能力強，制作視頻容易，制作周期短，制作成本低，可廣泛應用于多視點立體視頻制作領域。
文檔編號H04N13/00GK102271271SQ20111023706
公開日2011年12月7日 申請日期2011年8月17日 優(yōu)先權日2011年8月17日
發(fā)明者張晶, 戴瓊海, 曹汛 申請人:清華大學