專利名稱：三維視頻格式檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及處理視頻信號的視頻設(shè)備，該設(shè)備包含接收視頻信號的接收部件，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一。
本發(fā)明進一步涉及處理視頻信號的方法，該方法包含接收視頻信號，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一。本發(fā)明進一步涉及視頻信號和計算機程序產(chǎn)品。本發(fā)明涉及經(jīng)由2D視頻數(shù)據(jù)信號格式傳送3D視頻數(shù)據(jù)的領(lǐng)域。
背景技術(shù)：
生成二維(2D)視頻數(shù)據(jù)的設(shè)備是已知的，例如，視頻服務(wù)器、廣播器或制作設(shè)備。當(dāng)前，正在提出提供三維(3D)圖像數(shù)據(jù)的3D增強型設(shè)備。類似地，正在提出處理顯示3D視頻數(shù)據(jù)的視頻設(shè)備，如光盤(例如，藍(lán)光盤；BD)的播放器或再現(xiàn)接收的數(shù)字視頻信號的機頂盒。該視頻設(shè)備與如電視機或監(jiān)視器那樣的3D顯示設(shè)備耦合。視頻數(shù)據(jù)可以經(jīng)由適當(dāng)接口(優(yōu)選地，如HDMI那樣的高速數(shù)字接口)從該設(shè)備傳送。3D顯示器也可以與視頻設(shè)備集成，例如，含有接收部分和3D顯示器的電視(TV)。文獻W02009/077929描述了可以用于2D與3D之間轉(zhuǎn)變的手段。3D視頻信號含有視頻信息和相關(guān)回放信息，該視頻信息和相關(guān)回放信息是按照回放格式組織的。視頻信息可以包含2D顯示的基本視頻流和能夠3D顯示的附加信息流。相關(guān)回放信息包含指示可能顯示的類型的顯示信息。在接收器上對顯示信息加以處理，以確定2D顯示和3D顯示兩者都是可以的。回放模式被設(shè)置成確定應(yīng)當(dāng)以2D模式還是以3D模式顯示視頻信息。

發(fā)明內(nèi)容
W02009/077929的問題是3D和2D回放之間的轉(zhuǎn)變基于輸入視頻信號中的3D信令的可用性。但是，可能將3D格式映射在2D格式視頻信號上，以便可與視頻信號和/或存儲媒體的現(xiàn)有分配系統(tǒng)兼容。由于在現(xiàn)有2D信號格式中缺乏信令，所以用戶不得不人工選擇以3D再現(xiàn)視頻信號的適當(dāng)模式。本發(fā)明的目的是提供以更方便方式在3D和2D之間轉(zhuǎn)變的系統(tǒng)。為此，按照本發(fā)明的第一方面，如首段所述的設(shè)備包含提供指示視頻信號的格式的3D狀態(tài)信號的處理器，該處理器被安排成通過按照導(dǎo)出和比較各自3D子幀的各自預(yù)定格式特性處理視頻數(shù)據(jù)來為許多可能3D格式確定各自格式分，其中為所述許多可能3D格式確定所述各自格式分以預(yù)定次序安排；以及當(dāng)各自格式分的評估提供預(yù)定置信水平時，根據(jù)各自格式分的評估將3D狀態(tài)信號設(shè)置成指示視頻信號的格式。
為此，按照本發(fā)明的進一步方面，處理視頻信號的方法包含根據(jù)如下步驟提供指示視頻信號的格式的3D狀態(tài)通過按照導(dǎo)出和比較各自3D子幀的各自預(yù)定格式特性處理視頻數(shù)據(jù)來為許多可能3D格式確定各自格式分，其中為所述許多可能3D格式確定所述各自格式分以預(yù)定次序安排；以及當(dāng)各自格式分的評估提供預(yù)定置信水平時，根據(jù)各自格式分的評估將3D狀態(tài)設(shè)置成指示視頻信號的格式。這些措施具有如下效果。通過視頻設(shè)備分析到達(dá)輸入的視頻信號以確定3D狀態(tài)信號，該3D狀態(tài)是2D狀態(tài)或指示一組可能3D視頻格式的一種格式的3D狀態(tài)。該視頻設(shè)備提供3D狀態(tài)信號以便控制3D視頻顯示，即，設(shè)置正確再現(xiàn)視頻信號的操作模式。該分析基于為各自3D格式確定格式分，S卩，假設(shè)信號包含視頻數(shù)據(jù)，按照各自3D視頻格式，從信號中導(dǎo)出相應(yīng)3D子幀。例如，將兩個3D子幀依其所稱并排排列在2D幀中。隨后，從信號中導(dǎo)出并比較，即，分析3D子幀，例如，左幀和右?guī)院藢崈蓚€所稱的3D子幀的確具有相應(yīng)3D子幀的格式特性。例如，對于L和R幀，計算相關(guān)性，該相關(guān)性應(yīng)該相對高,這是因為雖然從略為不同的視角觀看，但在兩個3D子幀中存在相同內(nèi)容。隨后，評估格式分，例如，與 預(yù)定閾值相比較。根據(jù)評估，3D格式之一可能具有可靠高分，然后，相應(yīng)地將3D狀態(tài)信號設(shè)置成指示視頻信號的格式。如果沒有一種3D格式具有足夠高的分，則假設(shè)為2D視頻信號，并相應(yīng)地設(shè)置狀態(tài)。有利的是，3D顯示器(例如，3D電視機)的實際模式可以根據(jù)3D狀態(tài)信號自動受控。本發(fā)明還基于如下認(rèn)識。隨著消費者習(xí)慣于3D觀看，需要轉(zhuǎn)變經(jīng)由現(xiàn)有分配通道，例如，廣播網(wǎng)絡(luò)或視頻存儲媒體的視頻信號。實際上，分辨率的略為降低似乎是可接受的，內(nèi)容提供者可以通過將3D子幀安排在2D幀中，以現(xiàn)有2D視頻信號格式打包他們的3D內(nèi)容。本發(fā)明人已經(jīng)看到，自動檢測這樣的特殊格式3D信號是方便的，該特殊格式3D信號不能攜帶傳信3D格式的控制數(shù)據(jù)，這是因為固有地，視頻信號的格式必須保持現(xiàn)有2D格式。盡管可以使用3D幀的各種排列，但根據(jù)如下步驟檢測3D格式仍然似乎是可能的首先假設(shè)已經(jīng)使用了各自3D視頻格式，隨后針對那種格式分析所稱的3D子幀。有利的是，根據(jù)視頻處理能力的當(dāng)前相對廉價性，可以在用戶難以察覺分別切換到2D或3D視頻模式的延遲的足夠短時間內(nèi)實時分析。在實施例中，該組可能3D格式包含生成3D子幀的至少一種空間二次采樣格式，并且該預(yù)定格式特性包含將3D子幀的二次采樣圖元排列在視頻信號的2D幀中?？臻g二次采樣沿著一個或多個空間方向減少了像素的數(shù)量(即，分辨率)。有利的是，3D子幀需要較少數(shù)量的像素，并且可以適當(dāng)?shù)胤旁?全分辨率)2D幀中。假設(shè)空間二次采樣3D子幀以各種3D格式(例如，并排或上/下)排列，并計算各自格式分。在實施例中，為該組可能3D格式的許多3D格式確定各自格式分以預(yù)定次序安排；并且當(dāng)格式分的評估提供預(yù)定置信水平時，設(shè)置3D狀態(tài)信號。有利的是，更迅速地找到預(yù)期的3D格式的高分。在實施例中，確定各自格式分包含通過如下計算的至少一種計算3D子幀之間的對應(yīng)性計算3D子幀之間的相關(guān)性；計算3D子幀之間的差值的平均值；以及計算各自3D子幀的顏色特性以便檢測深度數(shù)據(jù)子幀。對于相應(yīng)左右3D子幀，預(yù)期具有兩個3D子幀之間的相關(guān)性或低平均差值，而作為3D子幀的深度圖的顏色特性顯著不同(通常深度數(shù)據(jù)不包含顏色)。
在實施例中，至少一種可能3D格式包含按照左/右偏振排列在2D幀中的左右3D(L和R)子幀，將處理器安排成當(dāng)確定格式分時，根據(jù)出現(xiàn)在3D幀中的深度的預(yù)定分布確定偏振分，并且設(shè)置3D狀態(tài)包括根據(jù)偏振分的評估設(shè)置左/右偏振狀態(tài)信號。3D幀中的深度可以從差異值、深度圖中的實際深度值、或基于3D子幀的適當(dāng)估計中導(dǎo)出。檢測3D子幀的存在還可以包含檢測哪個子幀是左的和哪個子幀是右的。如果子幀被互換，則出現(xiàn)3D圖像中深度信息的強失真。通過假設(shè)深度值或相對差異值的預(yù)定分布，確定偏振分。有利的是，3D顯不器提供有正確的左右偏振狀態(tài)。在實施例中，處理器含有檢測器部件，用于通過如下步驟的至少一個比較各自3D子幀檢測3D子幀的垂直邊緣上的垂直黑色啞帶；檢測3D子幀的水平邊緣上的水平黑色啞帶。根據(jù)黑色啞帶的存在，可以可靠地檢測各自3D子幀。按照本發(fā)明的進一步方面，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀 和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一，該視頻數(shù)據(jù)含有如下的至少一種3D子幀的垂直邊緣上的垂直黑色啞帶，但視頻內(nèi)容寬高比不需要垂直黑條；以及3D子幀的水平邊緣上的水平黑色啞帶，但視頻內(nèi)容寬高比不需要水平黑條；以便允許檢測黑色啞帶用于確定3D格式。有利的是，根據(jù)黑色啞帶的存在，可以可靠地檢測各自3D子幀。按照本發(fā)明的方法、視頻設(shè)備和信號的進一步優(yōu)選實施例在通過引用將其公開并入本文中的權(quán)利要求書中給出。


本發(fā)明的這些和其它方面將從通過例子描述在下文中的實施例和附圖變得明顯，并且參考通過例子描述在下文中的實施例和附圖得到進一步澄清，在附圖中
圖I示出了顯示3D圖像數(shù)據(jù)的系統(tǒng)，
圖2示出了 2D視頻幀，
圖3示出了并排3D格式，
圖4示出了上下3D格式，
圖5示出了圖像和深度3D格式，
圖6示出了自動檢測3D格式的處理器，
圖7a示出了基于正確左/右偏振的深度圖，
圖7b示出了基于錯誤左/右偏振的深度圖，
圖8示出了水平域中的深度分析，以及 圖9示出了垂直域中的深度分析。 在圖中，與已經(jīng)描述過的元件相對應(yīng)的元件具有相同的附圖標(biāo)記。
具體實施例方式注意，本發(fā)明可以用于具有深度范圍的任何類型的3D顯示器。假設(shè)用于3D顯示器的視頻數(shù)據(jù)可作為電子，通常數(shù)字的視頻數(shù)據(jù)獲得。本發(fā)明涉及這樣的圖像數(shù)據(jù)以及在數(shù)字域中操縱圖像數(shù)據(jù)。
存在可以格式化和轉(zhuǎn)變3D圖像的許多不同方式，叫做3D視頻格式。一些3D格式基于也使用2D通道來攜帶立體信息。本文獻側(cè)重于使用2D格式信號以便可與現(xiàn)有2D分配兼容的3D格式。圖I示出了顯示像視頻、圖形或其它可視信息那樣的三維(3D)圖像數(shù)據(jù)的系統(tǒng)。源設(shè)備40將視頻信號41傳送給視頻設(shè)備50。源設(shè)備根據(jù)可從存儲系統(tǒng)、從3D照相機等獲得的視頻數(shù)據(jù)輸入43提供視頻信號。視頻信號41可以是2D視頻信號或3D視頻信號。這個文獻側(cè)重于經(jīng)由按照預(yù)先存在2D信號格式格式化，例如，以便可與現(xiàn)有分配通道兼容的信號傳送3D視頻內(nèi)容。在這樣的2D格式化視頻信號中，3D格式定義3D視頻數(shù)據(jù)的地點和結(jié)構(gòu)。因此，視頻數(shù)據(jù)代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容。尤其，視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，而在使用3D格式的情況下，視頻數(shù)據(jù)含有構(gòu)成單個3D幀的至少兩個3D子幀。實際上，使用各種不同的3D格式，并且視頻信號包含一組可能3D格式之一的結(jié)構(gòu)。下面參考圖2-5討論3D格式的各種例子。源設(shè)備可以是服務(wù)器、廣播器、記錄設(shè)備、或制造像藍(lán)光盤那樣的記錄載體的制作 和/或生產(chǎn)系統(tǒng)。藍(lán)光盤支持內(nèi)容創(chuàng)作者的互動平臺。對于3D立體視頻，存在許多格式。主要格式是立體和圖像加深度格式。再次，對于這些，存在可以將內(nèi)容格式化成可適當(dāng)?shù)嘏c新的和現(xiàn)有的3D顯示器和分配格式一起使用的許多可能方式。有關(guān)藍(lán)光盤格式的更多信息可在藍(lán)光盤協(xié)會的網(wǎng)站中從有關(guān)視聽?wèi)?yīng)用格式的論文中獲得http: //www. blu-raydisc.com/ Assets/DownloadabIefiIe/2b_bdrom_audiovisualappIication_0305-l2955-15269.pdf。生產(chǎn)過程進一步包含導(dǎo)出體現(xiàn)包括深度元數(shù)據(jù)的3D視頻信號的軌道中的標(biāo)記的物理模式，隨后成形記錄載體的材料，以便在至少一個存儲層上提供標(biāo)記的軌道。在實施例中，源設(shè)備含有處理單元42，用于如下所述，修改3D視頻輸入43的視頻數(shù)據(jù)，以便改進經(jīng)由2D格式視頻信號發(fā)送的3D視頻數(shù)據(jù)的檢測。將視頻設(shè)備50與3D顯示設(shè)備60耦合用于傳送3D顯示信號56。3D視頻設(shè)備含有接收視頻信號的輸入單元51。例如，該設(shè)備可以包括與輸入單元耦合的光盤單元58，以便從像DVD或藍(lán)光盤那樣的光記錄載體54中檢索視頻信號。可替代地，該設(shè)備可以包括與網(wǎng)絡(luò)45，例如，互聯(lián)網(wǎng)或廣播網(wǎng)絡(luò)耦合的網(wǎng)絡(luò)接口單元59，這樣的視頻設(shè)備通常被叫做機頂盒。該視頻設(shè)備還可以是衛(wèi)星接收器、媒體播放器、個人計算機、移動設(shè)備等。該視頻設(shè)備含有與輸入單元51耦合以便處理視頻信號的處理器52。該處理器提供指示視頻信號的格式的3D狀態(tài)信號57。3D狀態(tài)是2D狀態(tài)或指示一組可能3D視頻格式的一種3D格式的3D狀態(tài)。該處理器被安排成通過按照各自預(yù)定格式特性處理視頻數(shù)據(jù)，為至少一種可能的3D格式確定各自格式分(score)。分析視頻信號，以便為各自3D格式計算格式分，即，假設(shè)信號包含視頻數(shù)據(jù)，按照各自3D視頻格式，從信號中導(dǎo)出相應(yīng)3D子幀。此外，該處理器還導(dǎo)出各自3D子幀，并根據(jù)格式分的評估將3D狀態(tài)信號設(shè)置成指示視頻信號的格式。該視頻設(shè)備提供3D狀態(tài)信號以便控制3D視頻顯示，S卩，設(shè)置正確再現(xiàn)視頻信號的操作模式。處理器52的示范性例子將參考圖6來描述。在實施例中，視頻設(shè)備含有用于在3D子幀的邊緣上檢測3D格式信號特性的檢測器53。例如，該檢測器可以檢測3D子幀的垂直邊緣上的垂直黑色啞帶、或3D子幀的水平邊緣上的水平黑色啞帶。由于2D幀的寬高比與活動視頻區(qū)的失配，例如，在16:9視頻幀中寬高比為2. 35:1的電影，在視頻數(shù)據(jù)中可能存在相當(dāng)寬的黑條。這樣的寬黑條可以容易地檢測到,例如,在如下所述的上下3D格式中。這樣，為了檢測寬高比而檢測寬黑條例如可從US 5，686，970 中獲知。該檢測器與處理器52耦合以便生成3D狀態(tài)信號，并且可以與處理器52物理集成。在實施例中，視頻信號包含代表按照3D格式格式化的3D內(nèi)容或按照2D格式格式化的2D內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一，該視頻數(shù)據(jù)含有如下的至少一種3D子幀的垂直邊緣上的垂直黑色啞帶，但視頻內(nèi)容寬高比不需要垂直黑條；以及3D子幀的水平邊緣上的水平黑色啞帶，但視頻內(nèi)容寬高比不需要水平黑條。要注意的是，將黑色啞帶加入視頻數(shù)據(jù)中，不是為了校正任何寬高比失配，而是為了允許檢測黑色啞帶用于確定3D格式。現(xiàn)在，黑色啞帶是視頻區(qū)中的多個像素之一的小黑條。注意，該啞帶可以小到足以落在通常不顯示并叫做過掃描區(qū)的視頻幀的邊界區(qū)中。該黑色啞帶可以應(yīng)用于視頻區(qū)的上下邊緣或左右邊緣，可替代地，該黑色啞帶可以只應(yīng)用于一個側(cè)邊緣，例如，兩個3D子 幀處在2D格式視頻信號的2D幀中時相鄰的邊緣。在實施例中，檢測器53被安排成檢測如有意加入上面定義的視頻信號中的3D子幀的垂直邊緣上的垂直黑色啞帶或3D子幀的水平邊緣上的水平黑色啞帶。相對小的條已被包括在3D子幀的視頻數(shù)據(jù)中，以便改善在2D格式視頻信號中傳送的3D視頻數(shù)據(jù)的自動檢測。該檢測器在考慮到在編碼方通過各自3D格式規(guī)定的像二次采樣那樣的任何預(yù)處理的同時，按照各自3D視頻格式從視頻數(shù)據(jù)中導(dǎo)出假設(shè)包含黑色啞帶的3D子幀的特定邊緣區(qū)。在實施例中，黑色啞帶的黑色級別對于左右3D子幀可以具有不同值(例如，0和4)。當(dāng)在顯示器上觀看時，兩個值基本上都是黑色的。這種特性可以用于進一步協(xié)助偏振檢測。在實施例中，處理器被安排成生成要經(jīng)由輸出接口單元55傳送到顯示設(shè)備的顯示信號56,例如，按照HDMI標(biāo)準(zhǔn)(參閱可在http://hdmi. org/manufacturer/specification, aspx 網(wǎng)站獲得的文獻“High Definition Multimedia Interface;Specification Version I. 3a of Nov 10 2006”)的顯不信號。處理器52被安排成生成包括在顯示信號56中的圖像數(shù)據(jù)，用于顯示在顯示設(shè)備60上。顯示信號可以按照現(xiàn)有的2D信號格式格式化，3D狀態(tài)信號可以分開地，例如，經(jīng)由分開接口提供給3D顯示設(shè)備，以便控制3D視頻顯示，即，設(shè)置正確再現(xiàn)視頻信號的操作模式。在實施例中，可以將3D狀態(tài)信號嵌在3D顯示信號56中，例如，嵌在控制信號或控制數(shù)據(jù)幀中。輸出接口單元(55)構(gòu)成發(fā)送3D顯示信號的發(fā)送部件，該3D顯示信號包含3D視頻內(nèi)容和指示3D狀態(tài)信號的控制數(shù)據(jù)。在實際實施例中，將按照HDMI I. 4標(biāo)準(zhǔn)的3D信令提供給顯示信號。3D顯示設(shè)備60用于顯示3D圖像數(shù)據(jù)。該設(shè)備含有輸入接口單元61，用于接收從視頻設(shè)備50傳送的可以包括3D視頻數(shù)據(jù)的顯示信號56。在處理單元62中對傳送的視頻數(shù)據(jù)加以處理，以便顯示在3D顯示器63 (例如，雙重或柱狀I(lǐng)XD)上。顯示設(shè)備60可以是任何類型的立體顯示器，也叫做3D顯示器，并且具有箭頭64所指的顯示深度范圍。
在3D顯示設(shè)備60的實施例中，在顯示設(shè)備中的處理器62中進行視頻信號的處理和3D與2D格式的檢測。經(jīng)由顯示信號56傳送視頻數(shù)據(jù)。在顯示設(shè)備中本地進行格式檢測。處理單元62現(xiàn)在執(zhí)行為生成直接耦合到3D顯示器的處于2D或3D模式的顯示信號提供3D狀態(tài)信號的功能。處理部件62可以安排成如針對視頻設(shè)備中的處理器52和/或檢測器53所描述的對應(yīng)功能。在實施例中，將視頻設(shè)備50和顯示設(shè)備60集成在單個設(shè)備中，其中單組處理部件執(zhí)行所述2D/3D格式檢測功能。內(nèi)部提供3D狀態(tài)信號57以便直接控制內(nèi)置的3D視頻顯示器。圖I進一步示出作為攜帶3D格式的視頻信號的載體的記錄載體54。該記錄載體是盤狀的，并含有軌道和中心孔。由一系列物理可檢測標(biāo)記構(gòu)成的軌道依照構(gòu)成信息層上的幾乎平行軌道的圓圈的螺旋或同心模式排列。記錄載體可以是可光學(xué)讀取的，叫做光盤，例如，⑶、DVD或BD (藍(lán)光盤)。在信息層上通過沿著軌道的可光學(xué)檢測標(biāo)記(例如，凹坑和平臺)表示信息。軌道結(jié)構(gòu)也包含指示通常叫做信息塊的信息單元的地點的位置信息，例 如，首標(biāo)和地址。記錄載體54以像DVD或BD格式那樣的預(yù)定記錄格式攜帶代表像是例如按照MPEG2或MPEG4編碼體系編碼的視頻那樣的數(shù)字編碼圖像數(shù)據(jù)的信息。在各種實施例中，視頻設(shè)備中的處理器52和檢測器53被安排成執(zhí)行如下詳細(xì)描述的功能。在實施例中，一種方法提供視頻信號，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能的3D格式之一，該視頻數(shù)據(jù)含有如下的至少一種
-3D子幀的垂直邊緣上的垂直黑色啞帶，但視頻內(nèi)容寬高比不需要垂直黑條；
-3D子幀的水平邊緣上的水平黑色啞帶，但視頻內(nèi)容寬高比不需要水平黑條，
以便允許檢測黑色啞帶用于確定3D格式。在進一步的實施例中，該方法包含制造記錄載體的步驟，該記錄載體被提供有代表視頻信號的標(biāo)記的軌道。作為產(chǎn)品，通過上述制造方法使記錄載體54配備有包含上述視頻信號的標(biāo)記的軌道。圖2示出了 2D視頻巾貞。該圖示出了虛線21所指的2D視頻幀中的2D視頻內(nèi)容的例子。相同但處于3D形式的視頻內(nèi)容也用作圖3-5中的3D格式的例子。注意，2D幀是按照各種已知2D格式之一編碼在2D視頻信號中的。如在現(xiàn)有技術(shù)中已知，該編碼可以包括按照MPEG2或MPEG4的壓縮。圖3示出了通過SBS進一步指示的并排3D格式。該圖示出了 3D視頻內(nèi)容由2D視頻幀21中并排排列的左幀L 31和右?guī)琑 32構(gòu)成的例子。圖4示出了通過TB進一步指示的上下3D格式。該圖示出了 3D視頻內(nèi)容由處在2D視頻幀21的上半部的左幀L 33和處在2D視頻幀21的下半部的右?guī)琑 34構(gòu)成的例子。一種不同的3D格式基于使用2D圖像和傳達(dá)有關(guān)2D圖像中的對象的深度的信息的附加深度圖像D (所謂的深度圖)的兩種視圖。該格式叫做圖像+深度(2D+D)，不同之處在于將2D圖像與所謂的“深度”或差異圖結(jié)合。這是灰度圖像，從而像素的灰度值指示相關(guān)2D圖像中的相應(yīng)像素的差異量(或在深度圖的情況下，深度)。顯示設(shè)備使用差異、深度或視差圖來計算將2D圖像取作輸入的附加視圖。這可以以多種方式完成，在最簡單形式中，要緊的是取決于與那些像素相聯(lián)系的差異值向左或向右移動像素。注意，在2D+D格式中，可以包括像遮蔽度和/或透明度那樣的進一步深度信息。Christoph Fehn的標(biāo)題為“D印thimage based rendering, compression and transmission for a new approach on 3DTV”的論文給出了該技術(shù)的極好概述(參見http://iphome. hhi. de/fehn/Publications/fehn_EI2004. pdf)。圖5示出了通過2D+D進一步指示的圖像和深度3D格式。該圖示出了3D視頻內(nèi)容由2D視頻幀21中并排排列的2D幀35和深度幀D 36構(gòu)成的例子。2D和深度幀也可以排列在與圖4類似的上/下配置中。排列在2D格式視頻信號中的進一步3D格式將在后面討論。在如下部分中，將討論處理按照像SBS、TB或2D+D那樣的3D格式包含3D視頻內(nèi)容 的2D格式視頻信號。下面的列表示出了立體視頻的一些進一步二次采樣方法和3D格式
-行交錯(LI)；
-列交錯(Cl)；
-也叫做五點形的方格(CB)；
-像方格那樣，但為了更好地壓縮像在SBS中那樣存儲L和R樣本的并排方格(CSB)。CB的一個例子描述在US2005/0117637中。通過假設(shè)已經(jīng)使用了特定的3D格式，以及利用像運動/差異補償、相關(guān)性、平均絕對差(MAD)的計算等那樣的技術(shù)比較可能性，自動檢測實際的3D模式。對于不同采樣方法，下面的系統(tǒng)將相應(yīng)方法用于檢測格式。該方法中的第一步驟是依照各自3D格式的排列和/或交錯從2D格式信號中導(dǎo)出3D子幀。例如，對于LI排列，該方法根據(jù)各自行重構(gòu)L和R。隨后，分析所稱的3D子幀，以確定這些特性是否是所預(yù)期的。如果是，將3D狀態(tài)信號設(shè)置成指示各自3D格式。圖6示出了自動檢測3D格式的處理器。該圖示出了具有分析2種可能3D格式的并行排列的處理器52的示范性實施例。在該圖的上部中，將視頻輸入信號600耦合到3D子幀分解單元SPH 601，以便按照第一 3D格式將輸入信號中的2D幀分解成兩個(或更多個)3D子幀。在該例子中，單元SPH具有按照3D子幀的并排(SBS)排列水平地分解幀的功能。存儲單元L 602存儲左3D子幀的像素，存儲單元R 603存儲右3D子幀的像素。L和R單元602，603可能僅僅存儲到來的像素，或可能按照假設(shè)使用的各自3D格式將視頻數(shù)據(jù)上采樣成全分辨率。對于基于上采樣的全分辨率，預(yù)期更好的結(jié)果，因為編碼器方的視頻數(shù)據(jù)沿著，例如，現(xiàn)在得到補償?shù)乃健⒋怪被蛭妩c形方向，按照各自3D格式被下采樣。隨后，將3D子幀耦合到比較部分，用于計算3D子幀之間的對應(yīng)性。在該實施例中，配備了進行計算3D子幀之間的平均絕對差的對應(yīng)性計算單元MAD 605。計算2個部分中的每個(或一個小組的)對應(yīng)像素的平均絕對差?？商娲?，或另外，可以估計3D子幀之間的其它對應(yīng)性，例如，計算均方差(MSD)，計算3D子幀之間的相關(guān)性，或計算各自3D子幀的顏色特性以便檢測如圖5所示的2D+D格式的深度數(shù)據(jù)子幀。在評分單元CMP 607中，例如，通過歸一化，將對應(yīng)性計算的輸出轉(zhuǎn)換成SBS 3D格式的格式分610。如果有的話，評估不同3D格式的格式分，以確定使用的實際3D格式。可以將格式分相互和/或與各自閾值比較。格式分可以表達(dá)指示按照各自3D格式出現(xiàn)實際3D子幀的概率的置信水平。格式分可以重復(fù)，例如，每秒地確定，并且可以在加權(quán)評價過程中評估多個測量和各自置信水平。如果已經(jīng)達(dá)到預(yù)設(shè)的置信水平和/或在預(yù)定間隔之后，可以終止該過程。該過程可能牽涉到利用置信水平加權(quán)的多數(shù)票決，例如，特定3D格式的隨之假設(shè)之間的小差值的高MAD值給出那種格式的低置信度。如果沒有一種3D格式給出足夠的置信水平，則假設(shè)是2D信號(單視頻)。在示出在圖6中的實際實施例中，MAD值必須是低的，在CMP單元中被測試低于某個閾值TH1，以便如果該分?jǐn)?shù)足夠可靠，則作出第一 3D格式的格式分的值Hl所指示的，在輸入存在第一 3D格式的判定。由于左右圖像是從不同視點取得的，所以最好盡可能地消除這種影響，這可以通過，例如，差異估計(DE)和對導(dǎo)致L’的R視圖應(yīng)用“運動/視圖”補償(MC)來完成。注意， 運動估計的技術(shù)在這里可以用在L和R子幀上，S卩，檢測空間差，而不是兩個幀之間的時間差。運動估計是已知的，并且已知的算法可以類似地應(yīng)用于差異估計。差異估計和視圖補償?shù)钠渌夹g(shù)也可以用于確定L’。比較部分因此可以配有3D子幀處理器DE/MC 604，用于根據(jù)存儲單元L和R實際包含左右子幀的假設(shè)減小子幀之間的差。此外，處理器DE/MC將適當(dāng)差異估計和/或運動補償算法應(yīng)用在R的內(nèi)容上，以生成L’=MC(R)所指的R的補償版本相對應(yīng)的補償幀L’。隨后，由對應(yīng)性計算單元MAD將幀L與幀L’相比較。顯示在圖6中的處理器含有并行排列的第二部分，以便同時提供第二 3D格式的第二格式分。在該圖的下部中，將視頻輸入信號600耦合到3D子幀單元SPV 611。單元SPV具有按照3D子幀的上下(TB)排列垂直分解輸入信號中的2D幀的功能。存儲單元T 612存儲幀上部的像素，例如，左3D子幀，存儲單元R 613存儲與右3D子幀相對應(yīng)的下部的像素。隨后，將3D子幀耦合到比較部分，以便計算3D子幀之間的對應(yīng)性。提供等于上述單元605的進一步對應(yīng)性計算單元MAD 615。在等于上述單元607的進一步評分單元CMP 617中將對應(yīng)性計算的結(jié)果轉(zhuǎn)換成TB 3D格式的格式分620?？蛇x地，可以在單元CMP中將該格式分直接與閾值TH2相比較，以便如果該分?jǐn)?shù)是可靠的，則直接作出第二 3D格式的格式分的值Vl所指示的，在輸入存在第二 3D格式的判定。比較部分可以配有等于上述單元604的3D子幀處理器DE/MC 614，以便減小子幀之間的差值，和/或等于下述單元606的偏振單元POL 616，以便確定偏振分和生成第二輸出左/右偏振狀態(tài)信號LR/RL。處理器的功能是測試接收輸入格式是圖形的上分支中的SBS或接收輸入格式是圖形的下分支中的TB的假設(shè)。如果兩種假設(shè)都是假的(在該實施例中，Hl和Vl兩者都是假的)，則輸入信號顯然是常規(guī)2D信號。關(guān)于圖6中具有2個平行部分的實施例，應(yīng)該注意到，可以容易地導(dǎo)出其它排列，譬如，分析進一步3D格式的進一步平行部分，或依次按照不同3D格式編程相同單元以便提供各自3D格式的格式分的順序排列。在具有依次測試多種3D格式的實施例中，為該組可能的3D格式的許多3D格式確定各自格式分以預(yù)定次序安排，并且當(dāng)格式分的評估提供預(yù)定置信水平時，設(shè)置3D狀態(tài)信號。因此，當(dāng)依次測試的3D格式之一已經(jīng)達(dá)到可靠的格式分時，設(shè)置3D狀態(tài)信號。預(yù)定次序可以用于提高檢測的速度，并且可能基于，例如，減小的出現(xiàn)可能性、用戶的設(shè)置、和/或3D內(nèi)容提供者的設(shè)置。例如，內(nèi)容提供者可能根據(jù)3D格式的實際出現(xiàn)在機頂盒中設(shè)置預(yù)定次序。在實施例中，用戶可以被提供根據(jù)3D格式分校正3D狀態(tài)信號的選項。首先，系統(tǒng)確定最有可能的格式，但是，如果該結(jié)果是不正確的，則用戶可以利用遙控器上的按鈕根據(jù)格式分循環(huán)到下一個可能候選者。在實際實施例中，3D子幀處理器DE/MC 604可以被安排成按如下預(yù)處理各自3D子幀以改進比較
-計算3D子幀之間的差異估計值，并在進一 步比較之前根據(jù)該差異估計值補償至少一個3D子幀；和/或
-計算2D幀的自相關(guān)性以便與3D子幀的相關(guān)性比較。該相關(guān)性是由單元MAD計算的，并且自相關(guān)性的輸出可以用于設(shè)置如上所述的閾值TH1。注意，實際上，可以首先對L和R的內(nèi)容應(yīng)用二次采樣(即，水平或垂直或hor/ver抽選)，這將降低像單元DE/MC和MAD那樣的進一步單元的計算復(fù)雜性。在實施例中，也可以檢測二次采樣的特定類型。例如，SBS方格格式具有不同于正常SBS方法的二次采樣。SCB與SBS的區(qū)分可以基于SCB譜更加交叉/菱形狀(在垂直與水平之間是對稱的)，SBS垂直脊?fàn)?水平高頻比垂直高頻受到更多抑制)的頻譜分析。實際上，可以在如下的不同過程中檢測許多3D格式。計算整個2D幀的自相關(guān)性(例如，根據(jù)MAD或其它技術(shù))，隨后根據(jù)像如下那樣的一些適當(dāng)選擇偏移計算進一步的相關(guān)性以確定格式分
a.向右一個和兩個像素(對于Cl格式)
b.向下一個和兩個像素(對于LI格式)
c.向右半巾貞像素(對于SBS格式)
d.向下半幀像素(對于TB格式)
其次，比較格式分值以決定哪種格式(2D，TB, LI, Cl, CB)最有可能。第三，例如通過確定圖像的左/右半或上/下半中U/V的恒定性，分開檢測2D+D。注意，可以容易地檢測2D+D，這是因為對于一半的所有像素，所有像素的UV值將是固定值，通常，0 (128)。如果兩個半部都是這種情況，則顯然是黑色和白色視頻源。在可替代的實施例中，為了加速處理，只對所稱3D子幀計算第一列像素的MAD或MSD，例如，將左部和右部用于SBS。如果它們表明高度相關(guān)，則3D格式可能是正確的。可以包括更多列，以提高可靠性。一種甚至更快的手段只比較圖像的左部和右部的第一列像素的平均顏色。如果未檢測到SBS，則系統(tǒng)通過分解不同部分中的信號而繼續(xù)，對于TB，沿著水平方向進行分解，然后對于LI，再次將相同算法用于奇數(shù)行和偶數(shù)行的第一像素，對于CL，用于各列等。如果這些沒有一個導(dǎo)致肯定匹配，則系統(tǒng)回到2D。注意，各種可能的3D格式含有按照左/右偏振排列在2D幀中的左右3D (L和R)子幀。對于各自3D格式，也可以根據(jù)在平均視頻內(nèi)容中假設(shè)深度的預(yù)定分布，例如，通過使用差異估計自動檢測左/右偏振，以便獲得深度圖。通過分析這個基于偏振假設(shè)的深度圖，可以核實假設(shè)的偏振是否正確。當(dāng)假設(shè)的偏振正確時，屏幕下部的深度應(yīng)該指示與觀眾接近的對象，而上部的深度應(yīng)該指示離觀眾最遠(yuǎn)的對象。要注意的是，偏振檢測也可以獨立于3D格式的自動檢測地應(yīng)用。例如，當(dāng)經(jīng)由3D分配系統(tǒng)接收到3D視頻內(nèi)容以及3D格式具有相應(yīng)控制信號時，可以應(yīng)用偏振檢測來確定或核實偏振，例如，以保證在存儲、處理或傳送3D子幀時沒有發(fā)生錯誤。圖7a示出了基于正確左/右偏振的深度圖。在該圖中，深度圖被顯示成含有指示大深度的暗淡像素和指示與觀眾接近的對象的明亮值。該深度圖可以經(jīng)由差異估計和將差異轉(zhuǎn)換成深度值而生成。實際上，對于偏振測試，可以根據(jù)嚴(yán)重二次采樣/抽選的輸入幀生成深度圖。圖7b示出了基于錯誤左/右偏振的深度圖?？梢詰?yīng)用差異估計來獲取深度圖。通過分析深度圖，可以核實假設(shè)的偏振是否正確。當(dāng)假設(shè)的偏振正確時，屏幕下部的深度值應(yīng)該指示與觀眾接近的對象，而上部的深度值應(yīng)該指示離觀眾最遠(yuǎn)的對象(與圖7a的情況一樣)。當(dāng)假設(shè)的偏振錯誤時，屏幕下部的深度值應(yīng)該指示較遠(yuǎn)離觀眾的對象，而上部的深度值應(yīng)該指示與觀眾較接近的對象(與圖7b 一樣)。在實施例中，處理器部分配有偏振單元POL 606，用于根據(jù)出現(xiàn)在3D幀中的深度的預(yù)定分布確定偏振分。根據(jù)偏振分的評估，例如，根據(jù)3D幀的上半部中的平均深度與3D幀的下半部中的平均深度之間的最小差，為設(shè)置3D狀態(tài)生成輸出左/右偏振狀態(tài)信號LR/ RL。3D幀中的深度值在2D+D格式中可直接獲得，或可以由3D子幀處理器DE/MC 604根據(jù)L和R 3D子幀的差異導(dǎo)出。在實際實施例中，確定偏振分基于對于3D子幀的可能偏振排列的至少一種，確定3D幀中的深度是否隨幀中的垂直高度增大，或確定3D子幀的垂直邊緣上的深度是否指示屏幕后面，例如，對象或背景的深度。類似地，確定偏振分可以基于確定3D幀中的差異值如何隨幀中或邊緣上的垂直高度而改變。實際上，在正常3D視頻內(nèi)容中，屏幕外效果相對較差并且集中在圖像的小部分上。因此，可以計算總平均深度作為偏振的指示器。注意，由于左右3D子幀之間的漂移，所以超出屏幕級別的深度暗示著沿著一定水平方向的差異值。在實際的實施例中，可以使用差異而不是實際的深度。而且，可以與運動類似地估計差異，即，使用眾所周知的運動估計算法計算左右圖像之間的運動矢量。由于預(yù)期的深度/差異分布，這樣的“運動”矢量具有優(yōu)選的水平運動方向。從所述方向中導(dǎo)出偏振狀態(tài)信號。在進一步的實施例中，偏振單元通過應(yīng)用像MPEG2那樣的壓縮算法評價L和R子幀，并確定哪些群(塊)像素可以被預(yù)測地(P)或雙向地(B)編碼(其對應(yīng)于含有運動矢量)或(I)編碼(對應(yīng)于沒有運動矢量)。實際上，在3D子幀的某些邊緣上，I編碼像素的數(shù)量可能偏離平均值，該偏離可以用于指示偏振。通常，在L幀的左側(cè)(在R幀上剪裁下來的部分)和R幀的右側(cè)上應(yīng)該是更多的I像素。因此，在3D子幀的邊緣上的I編碼像素的數(shù)量用于判定左/右偏振。注意，3D格式也可以根據(jù)I像素加以檢測。當(dāng)I像素趨向于出現(xiàn)在2D幀的中心的垂直軸上時，這是SBS 3D信號的強指示。當(dāng)I像素趨向于出現(xiàn)在2D幀的中心的水平軸上時，這是TB 3D信號的強指示。圖8示出了水平域中的深度分析。該圖示出了基于要測試正確性的假設(shè)左/右偏振的深度圖。該深度圖被細(xì)分成許多水平域81，82，89，也叫做水平倉(bin)。通過將深度圖分解成水平倉，可以計算每個倉中的平均深度值。將回歸分析應(yīng)用于倉的平均值，以確定下部是否比相反的上部暗，并確定偏振。圖9示出了垂直域中的深度分析。該圖示出了基于要測試正確性的假設(shè)左/右偏振的深度圖。該深度圖被細(xì)分成許多垂直域91，92，也叫做垂直倉。通過將深度圖分解成垂直倉，可以在每個倉上應(yīng)用回歸分析，并針對每個倉，確定下部是否比相反的上部暗。如果大多數(shù)倉對應(yīng)于正確的偏振假設(shè)，則可以安全地假設(shè)偏振是正確的，否則，將偏振倒過來。如果它們大致相等，則LR分析的結(jié)果是不確定的，必須分析進一步的視頻輸入。不需要深度圖的確定偏振的其它可替代實施例是梯形檢測或邊緣檢測。梯形檢測牽涉到如下步驟 -假設(shè)第I巾貞是L，第2巾貞是R
-從L+R幀中進行深度或差異估計
-如果差異/深度隨著你從底下開始移動而增大，則假設(shè)是正確的，否則交換L，R -在一變體中，使搜索區(qū)域局限于(試探)L和R幀的上部，并檢查差異/深度是否是正的。邊緣檢測牽涉到如下步驟
-假設(shè)第I巾貞是L，第2巾貞是R
-嘗試將靠近L幀中的屏幕的右邊緣的區(qū)域與R幀的右邊緣匹配(P矢量確定)
-如果匹配得不好，則假設(shè)是正確的，否則交換L和R -可以將L和R倒過來在幀的左邊緣上重復(fù)這個過程。這種想法是在邊緣上，內(nèi)容在屏幕的后面(或至少存在靠近它的浮動窗口)，因此與右屏幕邊緣接近的對象的R眼部分將被遮擋，因此不能匹配它的L眼部分。類似地，與屏幕的左邊緣接近的對象的L眼部分將被遮擋，因此不能匹配它的R眼部分。在實施例中，為了提高格式和/或偏振檢測的可靠性，應(yīng)用場景切割檢測。為此，處理器52被安排成檢測場景變化。對多個場景進行多次3D格式檢測，最終根據(jù)至少兩個不同場景中的格式檢測設(shè)置狀態(tài)信號。因此，確定各自格式分牽涉到檢測視頻內(nèi)容中的場景變化，以及為至少兩個場景計算格式分。實際上，可以使用3個場景，例如，當(dāng)為通過場景切割標(biāo)記的3個相繼視頻部分計算3個隨后屏幕判定時，至少2個格式判定必須一致，至少一個可能不確定。2D擴展設(shè)備可以定義如下處理視頻信號的視頻設(shè)備，該設(shè)備包含接收視頻信號的接收部件，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀，該2D格式含有2D幀，以及該設(shè)備包含處理器，用于檢測所述3D內(nèi)容的存在，通過檢索至少一個3D子幀將3D內(nèi)容轉(zhuǎn)換成2D視頻內(nèi)容，以及按照2D格式將子幀擴展成2D幀。該2D擴展設(shè)備檢測輸入上的3D內(nèi)容，并根據(jù)所需輸出模式輸出2D或3D視頻信號。有利的是，可以將單個3D傳輸信號用于也向2D觀眾提供視頻內(nèi)容的2D版本。此外，如上所述，可以以2D信號格式傳送3D內(nèi)容，以便可與現(xiàn)有的分配系統(tǒng)兼容。由于2D擴展功能，仍然可以將2D視頻信號提供給2D觀眾。在實施例中，該2D擴展設(shè)備是具有如下安排的2D擴展功能、如圖I所示的視頻設(shè)備。處理器52被安排成在到達(dá)輸入單元51的輸入視頻信號中按照3D格式檢測3D視頻內(nèi)容的存在。而且，該設(shè)備被安排成通過將輸入上的3D視頻內(nèi)容轉(zhuǎn)換成2D輸出信號提供2D輸出信號。為此，將3D輸入信號的一部分(例如，左巾貞)擴展成2D輸出信號中的2D巾貞，同時除去原始3D內(nèi)容。此外，可以從信號中除去3D控制數(shù)據(jù)(如果有的話)，并用2D控制數(shù)據(jù)取代它。2D輸出信號可以耦合到取代3D視頻設(shè)備60連接的2D視頻設(shè)備，或可以由用戶選擇，以便有意避免顯示3D視頻。2D擴展設(shè)備可以使用戶能夠選擇2D輸出模式或3D輸出模式，以便使輸出信號與用戶的要求匹配，例如，與用戶打算連接或已經(jīng)連接的裝備匹配?？商娲兀蛄硗?，2D擴展設(shè)備可以安排成，例如，按照如上所述的HDMI，同與輸出單元55耦合的視頻設(shè)備交換控制數(shù)據(jù)?？刂茢?shù)據(jù)可以指示相連顯示設(shè)備的3D能力，并且視頻設(shè)備可以依照所述顯示能力自動選擇2D或3D輸出模式。處理器52被安排成如果需要的話，將輸入上的3D視頻內(nèi)容轉(zhuǎn)換成2D輸出信號。該轉(zhuǎn)換根據(jù)輸入上的3D視頻內(nèi)容的存在和已經(jīng)設(shè)置的2D輸出模式來激活。處理器首先確定輸入信號的3D格式。要注意的是，3D格式可以如上所述自動從視頻數(shù)據(jù)中檢測到，或可以從與輸入信號一起提供的控制信號中導(dǎo)出。在2D擴展設(shè)備的實施例中，內(nèi)容提供者可以將3D視頻信號中的專用控制信號提 供給2D擴展設(shè)備，以指示必須轉(zhuǎn)換的3D內(nèi)容的存在、和/或視頻信號的特定3D格式，例如，如圖3所示的并排3D格式。因此，可以在視頻流中包括SBS或TB信令。隨后，處理器檢索3D子幀，例如，按照SBS來自輸入視頻信號中的幀的左部的左3D子幀。3D子幀在與2D輸出幀相比時可能具有減小的尺寸，因此，必須將3D子幀的視頻數(shù)據(jù)擴展成2D幀的尺寸并插入輸出信號中。對于SBS，必須擴展水平尺寸，而垂直尺寸(行數(shù))可以保持相同。因此，該轉(zhuǎn)換牽涉到，例如，通過丟失像素的內(nèi)插，或任何適當(dāng)形式的上采樣，生成具有所需分辨率的新2D輸出幀。在2D擴展設(shè)備的實施例中，未提供3D輸出模式，將該轉(zhuǎn)換應(yīng)用于在輸入上檢測的任何3D視頻內(nèi)容。實際上，這樣的設(shè)備非常適用于像針對有線或衛(wèi)星信號與機頂盒耦合的普通2D電視機那樣的2D視頻裝備的傳統(tǒng)用戶。這樣的傳統(tǒng)機頂盒可以僅僅通過在內(nèi)容提供者的控制下可能的軟件更新，或通過用戶本身發(fā)起的一些更新過程修改成2D擴展設(shè)備。有利的是，內(nèi)容提供者不必發(fā)送相同內(nèi)容兩次，即，針對裝備了新機頂盒和3D顯示器的新用戶用3D發(fā)送一次，以及分開地，在附加信道上，也用2D發(fā)送一次。只發(fā)送新3D格式信號一次就足夠了，這是因為傳統(tǒng)2D顯示設(shè)備從2D擴展設(shè)備(即，修改的機頂盒)自動接收擴展版本。要注意的是，2D擴展設(shè)備也可以包含如上所述的任何單元和/或功能，以便在2D格式信號中自動檢測3D格式。通過自動檢測提供的3D狀態(tài)信號現(xiàn)在控制2D擴展功能。實施例是處理視頻信號的視頻設(shè)備，該設(shè)備包含接收視頻信號的接收部件，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一；以及提供指示視頻信號的格式的3D狀態(tài)信號的處理器，該處理器被安排成通過按照導(dǎo)出和比較各自3D子幀的各自預(yù)定格式特性處理視頻數(shù)據(jù)來為至少一種可能3D格式確定各自格式分；以及根據(jù)各自格式分的評估將3D狀態(tài)信號設(shè)置成指示視頻信號的格式。可選地，確定各自格式分可以包含通過如下計算的至少一種計算3D子幀之間的對應(yīng)性
-計算3D子幀之間的絕對差的平均值；以及-計算各自3D子幀的顏色特性以便檢測深度數(shù)據(jù)子幀?？蛇x地，確定各自格式分可以包含檢測視頻內(nèi)容中的場景變化，以及計算至少兩個場景的對應(yīng)性?？蛇x地，比較各自3D子幀可以包含如下計算的至少一種
-計算3D子幀之間的差異估計，并在進一步比較之前根據(jù)該差異估計補償至少一個3D子幀；
-計算2D幀的自相關(guān)性以便與3D子幀的相關(guān)性比較。可選地，其中至少一種可能3D格式包含按照左/右偏振排列在2D幀中的左右3D [L和R]子幀，該處理器被安排成當(dāng)確定格式分時，根據(jù)出現(xiàn)在3D幀中的深度的預(yù)定分布 確定偏振分，并且設(shè)置3D狀態(tài)包括根據(jù)偏振分的評估設(shè)置左/右偏振狀態(tài)信號。可選地，該處理器可以含有檢測器部件，用于通過檢測如下的至少一個比較各自3D子幀
-3D子幀的垂直邊緣上的垂直黑色啞帶；
-3D子幀的水平邊緣上的水平黑色啞帶。應(yīng)該懂得，為了清楚起見上文已經(jīng)參照不同功能單元和處理器描述了本發(fā)明的實施例。但是，顯而易見，可以不偏離本發(fā)明地使用不同功能單元或處理器之間的任何適當(dāng)功能分配。例如，例示成由分立單元、處理器或控制器執(zhí)行的功能可以由相同處理器或控制器執(zhí)行。因此，對特定功能單元的引用只能被視作對提供所述功能的適當(dāng)部件的引用，而不是指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。本發(fā)明可以以包括硬件、軟件、固件或它們的任何組合的任何適當(dāng)形式實現(xiàn)。本發(fā)明可選地可以至少部分實現(xiàn)成運行在一個或多個數(shù)據(jù)處理器和/或數(shù)字信號處理器上的計算機軟件。本發(fā)明實施例的元件和組件可以在物理上，在功能上和在邏輯上以任何適當(dāng)方式實現(xiàn)。的確，該功能可以實現(xiàn)在單個單元中，實現(xiàn)在多個單元中，或?qū)崿F(xiàn)成其它功能單元的一部分。這樣，本發(fā)明可以實現(xiàn)在單個單元中，或可以在物理上和在功能上分布在不同單元和處理器之間。盡管已經(jīng)結(jié)合一些實施例描述了本發(fā)明，但本發(fā)明無意局限于這里展示的特定形式。而是，本發(fā)明的范圍只由所附權(quán)利要求書限定。另外，盡管一特征似乎是結(jié)合特定實施例描述的，但本領(lǐng)域的普通技術(shù)人員應(yīng)該認(rèn)識到，可以按照本發(fā)明組合所述實施例的各種特征。在權(quán)利要求書中，術(shù)語“包含”并不排斥其它元件或步驟的存在。而且，盡管分別列出，但多個部件、元件或方法步驟可以由，例如，單個單元或處理器實現(xiàn)。另外，盡管各個特征可以包括在不同權(quán)利要求中，但可以有利地將它們組合在一起，包括在不同權(quán)利要求中并不意味著組合這些特征是不可行的和/或不利的。此外，一個特征包含在一類權(quán)利要求中并不意味著局限于這個類別，而是指示該特征適當(dāng)時可同樣應(yīng)用于其它權(quán)利要求類別。而且，權(quán)利要求書中的特征的次序并不意味著這些特征必須遵守的任何特定次序，尤其，方法權(quán)利要求中的各個步驟的次序并不意味著必須按這個次序執(zhí)行這些步驟。而是，可以以任何適當(dāng)?shù)拇涡驁?zhí)行這些步驟。另外，單數(shù)引用并不排斥復(fù)數(shù)。因此，對“一”、“第一”、“第二”等的引用并不排除復(fù)數(shù)。權(quán)利要求書中的標(biāo)號僅僅作為澄清例子提供，而不應(yīng)該理解為以任何方式限制權(quán)利要求的范圍。
權(quán)利要求
1.一種處理視頻信號的視頻設(shè)備(50)，該設(shè)備包含 接收視頻信號的接收部件(51，58，59)，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一， 提供指示視頻信號的格式的3D狀態(tài)信號的處理器(52)，該處理器被安排成通過按照導(dǎo)出和比較各自3D子幀的各自預(yù)定格式特性處理視頻數(shù)據(jù)來為許多可能3D格式確定各自格式分，其中為所述許多可能3D格式確定所述各自格式分以預(yù)定次序安排，并且當(dāng)各自格式分的評估提供預(yù)定置信水平時，根據(jù)各自格式分的評估將3D狀態(tài)信號設(shè)置成指示視頻信號的格式。
2.如權(quán)利要求I所述的視頻設(shè)備,其中該組可能3D格式包含生成3D子幀的至少一種空間二次采樣格式，以及該預(yù)定格式特性包含將3D子幀的二次采樣圖元排列在視頻信號的2D幀中。
3.如權(quán)利要求I所述的視頻設(shè)備,其中該組可能3D格式包含如下的至少一種 -讓3D子幀并排排列在2D幀中的并排格式[SBS]； -讓3D子幀排列在2D幀的上部和下部中的上下格式[TB]； -通過交錯3D子幀的行讓3D子幀排列在2D幀中的行交錯格式[LI]； -通過交錯3D子幀的列讓3D子幀排列在2D幀中的列交錯格式[Cl]； -通過以方格模式二次采樣3D子幀的像素和以方格模式交錯二次采樣像素讓3D子幀排列在2D幀中的方格-交錯格式[CB]； -通過以方格模式二次采樣3D子幀的像素和讓二次采樣像素排列在3D子幀中讓3D子幀并排排列在2D幀中的方格-并排格式[CBS]； -讓2D子幀和深度數(shù)據(jù)子幀作為3D子幀排列在2D幀中的2D-深度格式[2D+D]； 該處理器被安排成針對各自3D格式從視頻信號中導(dǎo)出3D子幀。
4.如權(quán)利要求I所述的視頻設(shè)備，其中預(yù)定次序基于如下至少一種 -減小的出現(xiàn)可能性； -用戶的設(shè)置； -3D內(nèi)容提供者的設(shè)置。
5.如權(quán)利要求I所述的視頻設(shè)備，其中確定各自格式分包含通過如下計算的至少一種計算3D子幀之間的對應(yīng)性 -計算3D子幀之間的相關(guān)性； -計算3D子幀之間的絕對差的平均值；以及 -計算各自3D子幀的顏色特性以便檢測深度數(shù)據(jù)子幀。
6.如權(quán)利要求I所述的視頻設(shè)備，其中確定各自格式分包含檢測視頻內(nèi)容中的場景變化，以及計算至少兩個場景的對應(yīng)性。
7.如權(quán)利要求I所述的視頻設(shè)備，其中比較各自3D子幀包含如下計算的至少一種 -計算3D子幀之間的差異估計，并且在進一步比較之前根據(jù)該差異估計補償至少一個3D子中貞； -計算2D幀的自相關(guān)性以便與3D子幀的相關(guān)性比較。
8.如權(quán)利要求I所述的視頻設(shè)備，其中至少一種可能3D格式包含按照左/右偏振排列在2D幀中的左右3D[L和R]子幀，該處理器(52)被安排成當(dāng)確定格式分時，根據(jù)出現(xiàn)在3D幀中的深度的預(yù)定分布確定偏振分，并且設(shè)置3D狀態(tài)包括根據(jù)偏振分的評估設(shè)置左/右偏振狀態(tài)信號。
9.如權(quán)利要求8所述的視頻設(shè)備，其中確定偏振分包含針對3D子幀的至少一種可能偏振排列， -確定3D幀中的深度是否隨幀中的垂直高度增大； -確定3D子幀的垂直邊緣上的深度是否指示屏幕后面的深度。
10.如權(quán)利要求I所述的視頻設(shè)備，其中該設(shè)備包含如下至少一種 -發(fā)送3D顯示信號(56)的發(fā)送部件(55)，該3D顯示信號包含3D視頻內(nèi)容和指示3D狀態(tài)信號的控制數(shù)據(jù)； -在接收部件中讀取記錄載體以便接收視頻信號的讀取部件(58)； -根據(jù)3D狀態(tài)信號再現(xiàn)3D視頻信號的3D顯示器(63)。
11.如權(quán)利要求I所述的視頻設(shè)備，其中該處理器含有檢測器部件(53)，用于通過檢測如下的至少一個比較各自3D子幀 -3D子幀的垂直邊緣上的垂直黑色啞帶；以及 -3D子幀的水平邊緣上的水平黑色啞帶。
12.一種視頻信號處理系統(tǒng)，其包含如權(quán)利要求11所述的視頻設(shè)備、和視頻信號，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一， 該視頻數(shù)據(jù)含有如下的至少一種 -3D子幀的垂直邊緣上的垂直黑色啞帶，但視頻內(nèi)容寬高比不需要垂直黑條； -3D子幀的水平邊緣上的水平黑色啞帶，但視頻內(nèi)容寬高比不需要水平黑條； 以便允許檢測黑色啞帶用于確定3D格式。
13.—種處理視頻信號的方法，該方法包含 -接收視頻信號，該視頻信號包含代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的二維視頻[2D]內(nèi)容的視頻數(shù)據(jù)，該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)，該3D格式含有構(gòu)成單個3D幀的至少兩個3D子幀并且是一組可能3D格式之一， -根據(jù)如下步驟提供指示視頻信號的格式的3D狀態(tài) -通過按照導(dǎo)出和比較各自3D子幀的各自預(yù)定格式特性處理視頻數(shù)據(jù)來為許多可能3D格式確定各自格式分，其中為所述許多可能3D格式確定所述各自格式分以預(yù)定次序安排，以及 -當(dāng)格式分的評估提供預(yù)定置信水平時，根據(jù)各自格式分的評估將3D狀態(tài)設(shè)置成指示視頻信號的格式。
14.一種處理視頻信號的計算機程序產(chǎn)品，其中該程序起使處理器執(zhí)行如權(quán)利要求13所述的方法的各自步驟的作用。
全文摘要
在視頻設(shè)備(50)中處理視頻信號。該視頻信號傳送代表按照3D格式格式化的三維視頻[3D]內(nèi)容或按照2D格式格式化的2D內(nèi)容的視頻數(shù)據(jù)。該視頻信號含有2D幀和2D格式的控制結(jié)構(gòu)以便與現(xiàn)有分配系統(tǒng)兼容。該設(shè)備含有提供指示視頻信號的格式的3D狀態(tài)信號的處理器(52)。該處理器通過按照導(dǎo)出和比較各自3D子幀的各自預(yù)定格式特性處理視頻數(shù)據(jù)來為至少一種可能3D格式確定各自格式分，并且根據(jù)格式分的評估將3D狀態(tài)信號設(shè)置成指示視頻信號的格式。有利的是，自動檢測3D格式，并且可以相應(yīng)地控制3D顯示。
文檔編號H04N13/00GK102742283SQ201180008878
公開日2012年10月17日 申請日期2011年2月2日 優(yōu)先權(quán)日2010年2月9日
發(fā)明者W.H.A.布魯爾斯 申請人:皇家飛利浦電子股份有限公司