專(zhuān)利名稱：顯示設(shè)置菜單的方法以及相應(yīng)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像或視頻處理領(lǐng)域，并且更具體地涉及三維(3D)圖像和/或視頻處理。本發(fā)明也涉及圖像內(nèi)插(image interpolation)領(lǐng)域并且涉及圖像和/或視頻的與3D 相關(guān)聯(lián)的特征的設(shè)置領(lǐng)域。
背景技術(shù)：
根據(jù)現(xiàn)有技術(shù)，有幾種用于視頻處理中恢復(fù)立體感(perception of relief)的方法，例如，有立體視覺(jué)。在立體視覺(jué)中，從在橫向上相對(duì)彼此偏移的兩個(gè)不同視角，以兩個(gè)不同的攝像機(jī)或兩個(gè)不同的照相機(jī)，記錄相同場(chǎng)景的兩個(gè)視圖。在顯示裝置上(例如，PDP(等離子顯示面板)類(lèi)型或LCD (液晶顯示器)類(lèi)型的屏幕、或借助于視頻投影機(jī))，以時(shí)間順序方式(左圖像然后右圖像依此類(lèi)推)或以空間交織方式(左圖像行然后右圖像行依此類(lèi)推)來(lái)顯示相同場(chǎng)景的這兩個(gè)視圖，以便恢復(fù)立體感，即，深度信息。3D效果的幅度或3D圖像中的立體感直接取決于左右圖像的視差，即，取決于兩個(gè)像素隔開(kāi)的距離(例如可以以像素?cái)?shù)目來(lái)測(cè)量)，所述兩個(gè)像素即在顯示裝置層面上表示相同的視頻信息項(xiàng)(即，表示所記錄場(chǎng)景的相同元素)的左圖像的像素與右圖像的像素。一般地，由導(dǎo)演設(shè)置并決定電影或視頻的左右圖像的視差，并且其與拍攝場(chǎng)景的左右相機(jī)之間的距離對(duì)應(yīng)，這兩個(gè)相機(jī)經(jīng)常地以等于6. 5厘米的距離隔開(kāi)，其與隔開(kāi)個(gè)人雙眼的平均距離對(duì)應(yīng)。由于所選擇的相機(jī)隔開(kāi)的距離與平均數(shù)對(duì)應(yīng)，因此感到需要適配視差，即，適配3D 效果的幅度，從而觀看3D電影或圖像的每個(gè)個(gè)人能夠?qū)⑿纬闪Ⅲw視覺(jué)3D圖像的左右圖像的視差適配到他的觀看(view)以便避免或減少視覺(jué)疲勞。此外，顯著的3D效果可擾亂一些觀看者，這些觀看者然后嘗試調(diào)整3D效果幅度，S卩，設(shè)置圖像深度。從2004年4月27日授權(quán)的專(zhuān)利文件US 6，727，924B1已知一種允許設(shè)置圖像深度的⑶I (圖形用戶界面)。該 GUI或該設(shè)置菜單包括在圖像前景中根據(jù)垂直方向移動(dòng)的設(shè)置按鈕，其從下到上或從上到下移動(dòng)以便設(shè)置圖像深度。深度設(shè)置越大，設(shè)置菜單按入圖像越多，從而向觀看者給出所選擇的深度設(shè)置的強(qiáng)度的指示。然而，與觀看者進(jìn)行的深度設(shè)置相對(duì)應(yīng)的深度有關(guān)的視覺(jué)信息并不完整，尤其對(duì)于表現(xiàn)3D效果的整體幅度(即所選擇的最低與最高深度值)而言。

發(fā)明內(nèi)容
本發(fā)明目的在于克服現(xiàn)有技術(shù)的這些缺點(diǎn)中的至少一個(gè)。更具體地，本發(fā)明目的顯著地在于優(yōu)化觀看者的設(shè)置的圖形表達(dá)。本發(fā)明涉及用于顯示設(shè)置菜單的方法。所述方法包括以下步驟-顯示包括的三維圖形元素的設(shè)置菜單，所述三維圖形元素中一維根據(jù)深度方向延伸，-在該圖形元素上顯示表示至少一個(gè)深度信息項(xiàng)的至少一項(xiàng)設(shè)置。根據(jù)特定特征，所述方法包括以下步驟選擇該圖形元素的至少一部分，所選擇的至少一部分與所述至少一項(xiàng)設(shè)置相關(guān)聯(lián)。
以有利的方式，所述方 法包括以下步驟顯示至少一個(gè)三維圖像，對(duì)于所述至少一個(gè)三維圖像，深度取決于所述至少一項(xiàng)設(shè)置，所述至少一個(gè)圖像的顯示是在所述圖形元素的顯示上應(yīng)用所述至少一項(xiàng)設(shè)置之后。有利地，所述方法包括以下步驟顯示至少一個(gè)三維圖像，其深度取決于至少一項(xiàng)設(shè)置，所述至少一個(gè)圖像的顯示與所述至少一項(xiàng)設(shè)置的顯示同時(shí)進(jìn)行。根據(jù)特定特征，所述至少一項(xiàng)設(shè)置表示與將要顯示的圖像的最小深度對(duì)應(yīng)的第一深度信息項(xiàng)、以及與將要顯示的圖像的最大深度對(duì)應(yīng)的第二深度信息項(xiàng)。根據(jù)特定特征，所述至少一項(xiàng)設(shè)置表示與將要顯示的圖像的平均深度對(duì)應(yīng)的深度信息項(xiàng)。有利地，所述方法包括以下步驟分析用戶的姿勢(shì)，解釋分析的結(jié)果以便控制所述
至少一項(xiàng)設(shè)置。根據(jù)另一特征，所述姿勢(shì)的分析包括以下步驟確定用戶的形體的兩個(gè)確定部分隔開(kāi)的距離，所確定的距離與所述至少一項(xiàng)設(shè)置相關(guān)聯(lián)。


閱讀以下描述以后將更好地了解本發(fā)明，并且其它特征與優(yōu)點(diǎn)將出現(xiàn)，描述參照附圖，在附圖中-圖1示出了根據(jù)現(xiàn)有技術(shù)特定示例的觀看者的深度與視差感知，-圖2示出了根據(jù)本發(fā)明特定實(shí)施例的在顯示裝置上以3D圖像形式的設(shè)置菜單的 3D圖形元素，-圖3A示出了根據(jù)本發(fā)明特定實(shí)施例的在圖2的3D圖形元素上顯示的幾個(gè)設(shè)置等級(jí)，-圖3B示出了根據(jù)本發(fā)明特定實(shí)施例的與圖3A的圖形表達(dá)不同的設(shè)置菜單的3D 圖形元素的圖形表達(dá)，-圖4A至4C示出了根據(jù)本發(fā)明特定實(shí)施例的用于根據(jù)用戶選擇的視差值進(jìn)行圖像內(nèi)插的方法，-圖5圖示地示出了根據(jù)本發(fā)明特定實(shí)施例的用于實(shí)施本發(fā)明的多媒體終端的結(jié)構(gòu)，以及-圖6和7示出了根據(jù)本發(fā)明兩個(gè)特定實(shí)施例的、在圖5的多媒體終端中實(shí)施的、 用于顯示設(shè)置菜單的方法。
具體實(shí)施例方式圖1示出了觀看顯示裝置或屏幕100的觀看者感知的深度、與分別由觀看者的左眼10和右眼11觀看到的左右圖像間的視差效果之間的關(guān)系。在時(shí)間順序顯示表示根據(jù)兩個(gè)不同視角的相同場(chǎng)景的左右圖像(例如，通過(guò)以例如等于6. 5厘米的距離在橫向上彼此偏移的兩個(gè)相機(jī)所捕捉的)的情況下，觀看者佩戴主動(dòng)式眼鏡，其左眼遮擋與右眼遮擋分別與在例如LCD或等離子類(lèi)型屏幕的顯示裝置上的右圖像和左圖像顯示的同步。由于這些眼鏡，觀看者的右眼僅看到顯示的右圖像并且左眼僅看到左圖像。在空間交織的左右圖像顯示的情況下，以以下方式在顯示裝置上交織左右圖像的行左圖像一行然后右圖像一行(每行包括表示由兩個(gè)相機(jī)拍攝的場(chǎng)景的相同元素的像素)，然后左圖像一行然后右圖像一行，依此類(lèi)推。在交織行顯示的情況下，觀看者佩戴被動(dòng)式眼鏡，其使得右眼僅看到右圖像的行并且左眼僅看到左圖像的行。在這種情況下，將根據(jù)第一方向偏振右圖像的行并且根據(jù)第二方向偏振左圖像的行，使被動(dòng)式眼鏡的左右鏡片偏振化，作為結(jié)果，左鏡片允許左圖像的行上顯示的信息通過(guò)并且右鏡片允許在右圖像的行上顯示的信息通過(guò)。圖1示出了位于距觀看者(或更具體地距與觀看者右眼11與左眼10的觀看方向正交的并且包括右眼和左眼的平面)一距離或深度h的顯示屏幕或裝置100。深度的參考，即，Z = 0，由觀看者的雙眼10和11形成。觀看者的雙眼觀看兩個(gè)物體101和102，第一物體101處于小于屏幕100深度的Zfront深度aft。nt < Zs)，并且第二物體102處于大于屏幕100深度的深度(ZM >h)。換言之，觀看者將物體101視為相對(duì)于屏幕100在前景中，并且將物體 102視為相對(duì)于屏幕100在背景中。對(duì)于被視為相對(duì)于屏幕在背景中的物體，表示這個(gè)物體的左圖像的左像素與右圖像的右像素必須具有小于觀看者左眼10和右眼11隔開(kāi)的距離 te13的視差，S卩，這個(gè)物體在屏幕100上顯示的左右圖像之間的沿X方向的位置差小于距離 te13。表示左右圖像上相同物體的左右像素的在屏幕上的沿X方向的該位置差與左右圖像之間的視差等級(jí)對(duì)應(yīng)。觀看者感知的在屏幕100上顯示的物體的深度、視差以及觀看者與屏幕的距離之間的關(guān)系，由以下等式表示 Z *t^二^^等式丄
tS尸=等式 2其中Zp為感知深度(以米為單位，m)，P為左右圖像之間的視差，d為傳輸視差信息，、為眼睛之間距離(m)，Zs為觀看者與屏幕之間的距離(m)，Ws為屏幕寬度(m)，Ncol為顯示裝置的列的數(shù)目(以像素為單位)等式2使得能夠?qū)?以像素為單位的)視差轉(zhuǎn)換為(以米為單位的)視差。圖2示出了根據(jù)本發(fā)明特定實(shí)施例的在顯示裝置2上在3D圖像中插入的3D設(shè)置菜單的顯示。設(shè)置菜單允許用戶或觀看者，通過(guò)用戶界面，設(shè)置例如音頻/視頻電影類(lèi)型的多媒體文件的參數(shù)，可設(shè)置的參數(shù)包括顯示參數(shù)(例如，亮度、光亮度、對(duì)比度、圖像深度等)和/或涉及聲音的參數(shù)(例如，音頻音量、平衡、高音與低音等)。在顯示裝置2 (例如， 等離子或LCD屏幕、或借助于視頻投影儀向其上投影圖像的屏幕)上顯示表示三維(3D)內(nèi)容的例如立體視覺(jué)類(lèi)型的圖像。圖像包括三維物體21至27，這些物體中的每一個(gè)被觀看圖像的觀看者觀看為具有給定深度，即，距觀看這些物體的觀看者的給定距離。觀看者與其觀看的物體或多個(gè)物體隔開(kāi)的距離越大，物體或多個(gè)物體的深度越大。從而以關(guān)于觀看多個(gè)物體的觀看者來(lái)判斷物體的深度。這些物體21、22、M與27中的一些被觀看為在屏幕2的前方，即，對(duì)于距屏幕給定距離而位于該屏幕2之前的觀看者而言具有比屏幕的深度更小的深度。表示房子的物體26是被觀看為在屏幕2后面的部分，即，在背景中，即，具有比屏幕2的深度更大的深度。表示樹(shù)的物體23被觀看為在屏幕的前景中，即，對(duì)于距屏幕2給定距離而觀看圖像的觀看者而言具有與屏幕2的深度相等的深度。最后，根據(jù)形成表示路徑的物體25的像素的空間位置，物體25被觀看為具有不同的深度。如觀看者所看到的，物體 25在圖像前景中開(kāi)始直至處于物體沈等級(jí)在背景中結(jié)束，在物體23等級(jí)處經(jīng)過(guò)屏幕前景。 也向圖像中插入以3維表示的圖形元素20。該圖形元素20為允許設(shè)置圖像深度的設(shè)置菜單的一部分，圖像深度即為圖像的物體21至27的深度。該圖形元素20由幾個(gè)單一圖形元素組成，例如8個(gè)單一圖形元素201至208每個(gè)與一深度信息項(xiàng)對(duì)應(yīng)，例如，與深度設(shè)置等級(jí)對(duì)應(yīng)。在圖2的示例中，選擇并且在圖形上以例如灰色陰影加亮了單一圖形元素(即，可單獨(dú)選擇，在本專(zhuān)利申請(qǐng)下文中稱為增量)203、204與205。這些增量204至205表示圖像深度的設(shè)置，并且使得觀看者能夠具有由此設(shè)置的深度幅度的產(chǎn)生的實(shí)際概念。由于在圖像的深度中以3D來(lái)表示圖形元素20，因此對(duì)于觀看者而言看一眼就容易注意到與以下設(shè)置相對(duì)應(yīng)的深度，所述設(shè)置是該觀看者通過(guò)設(shè)置菜單作為媒介(尤其是通過(guò)圖形元素20作為媒介)已經(jīng)對(duì)其設(shè)置參數(shù)的設(shè)置。8個(gè)增量201至208有利地與對(duì)于在屏幕2上顯示的圖像可能設(shè)置的最大深度幅度相對(duì)應(yīng)。在觀看者沒(méi)有設(shè)置任何的特定深度參數(shù)的情況下， 以初始深度等級(jí)(在本專(zhuān)利申請(qǐng)的下文中也稱為默認(rèn)設(shè)置)在屏幕2上顯示3D圖像，即， 如向屏幕2提供的深度等級(jí)，即，如在圖像記錄時(shí)或在操作者的后期制作時(shí)設(shè)置的參數(shù)。在沒(méi)有引入由觀看者確定的指令的情況下，在屏幕2上沒(méi)有顯示通過(guò)圖形元素20 表示的設(shè)置菜單。圖形元素20根據(jù)來(lái)自用戶的指令顯示，所述指令例如通過(guò)按壓顯示裝置 2的遙控裝置的特定按鍵、通過(guò)按壓深度設(shè)置按鍵(例如，+和-類(lèi)型，或者丨和丨或一和一類(lèi)型)、通過(guò)選擇菜單、通過(guò)語(yǔ)音指令的發(fā)音或通過(guò)檢測(cè)由觀看者作出的姿勢(shì)，姿勢(shì)由配備例如深度傳感器以及例如放置于屏幕2上的相機(jī)檢測(cè)，以便檢測(cè)位于屏幕2前方的觀看者的任何姿勢(shì)。在引入了觀看者作出的、用于顯示深度設(shè)置菜單的指令時(shí)，顯示圖形元素20。有利地，在沒(méi)有物體出現(xiàn)的圖像部分的等級(jí)顯示圖形元素20。根據(jù)變體，在由觀看者確定的并且由其預(yù)設(shè)置的圖像部分中顯示圖形元素20。根據(jù)另一種變體，在圖像上以透明的方式顯示圖形元素并且不完全遮擋在圖像中包括的物體。在第一次顯示設(shè)置菜單時(shí)，即，在觀看者沒(méi)有主動(dòng)對(duì)其正在屏幕2上觀看的視頻進(jìn)行深度設(shè)置時(shí)，在默認(rèn)深度設(shè)置被加亮的情況下顯示圖形元素20，即，在視覺(jué)上透露與默認(rèn)深度設(shè)置對(duì)應(yīng)的增量或多個(gè)增量203至205。在圖形上被加亮的增量203至205圖示被應(yīng)用于所接收并顯示的圖像的內(nèi)容的3D效果的幅度。非加亮的增量201、202、206、207和 208有利地與可用的并且可能用于圖像的深度設(shè)置相對(duì)應(yīng)，觀看者可以選擇所述深度設(shè)置以便修改深度。第一增量201與能夠?yàn)閳D像設(shè)置參數(shù)的最小深度值(其與觀看者和看到的在最前方的圖像之間的最小距離相對(duì)應(yīng))相對(duì)應(yīng)，并且增量208與能夠?yàn)閳D像設(shè)置參數(shù)的最大深度值(其與觀看者和看到的在最后方的圖像的物體之間的最大距離相對(duì)應(yīng))相對(duì)應(yīng)。根據(jù)一種變體，不是以相應(yīng)增量的加亮來(lái)顯示默認(rèn)設(shè)置，而是默認(rèn)設(shè)置與最小與最大深度值相對(duì)應(yīng)，即，圖形元素20的增量201至208的設(shè)置。根據(jù)這種變體，觀看者不能降低3D 效果的幅度，即，例如通過(guò)向前方收縮圖像深度從而使所有物體被看到在前景中(即，實(shí)質(zhì)上在屏幕2之前)或向后方偏移圖像深度從而使所有物體被看到在背景中(即，實(shí)質(zhì)上在屏幕2之后)，來(lái)圍繞屏幕深度降低圖像深度的幅度。為了修改深度設(shè)置，觀看者通過(guò)加亮與他希望對(duì)深度進(jìn)行的設(shè)置相對(duì)應(yīng)的增量來(lái)顯示這些增量，例如通過(guò)修改它們的顏色。為了這樣做，觀看者通過(guò)引入特定指令(例如， 通過(guò)按壓特定鍵，例如，“0K”類(lèi)型鍵，或來(lái)自所確定的姿勢(shì)或者所確定的聲音或詞(例如詞 “0K”或詞“SELECTION”)的發(fā)音的遙控或執(zhí)行)來(lái)移開(kāi)例如在增量上的移動(dòng)指針并且選擇與所期望的設(shè)置相對(duì)應(yīng)的增量或多個(gè)增量。有利地，圖像深度設(shè)置動(dòng)態(tài)地修改與深度有關(guān)的圖像參數(shù)，并且觀看者立刻在屏幕2上的顯示圖像上觀看到他的深度設(shè)置的效果。通過(guò)依據(jù)與圖像相關(guān)聯(lián)的視差信息生成內(nèi)插圖像，來(lái)根據(jù)深度設(shè)置修改圖像。關(guān)于圖4A至4C 更加具體地描述新內(nèi)插圖像的生成。在存儲(chǔ)器中存儲(chǔ)由觀看者執(zhí)行的深度設(shè)置，并且當(dāng)觀看者希望再次修改深度設(shè)置時(shí)將顯示這個(gè)設(shè)置。根據(jù)一種變體，在深度設(shè)置被應(yīng)用于圖像之前，首先將深度設(shè)置應(yīng)用于設(shè)置菜單的顯示，即，利用與深度有關(guān)的新設(shè)置對(duì)圖像進(jìn)行顯示是在考慮到與深度有關(guān)的新設(shè)置對(duì)設(shè)置菜單進(jìn)行顯示之后。根據(jù)這個(gè)變體，用戶在將深度設(shè)置應(yīng)用于圖像之前，可以以現(xiàn)實(shí)的方式在設(shè)置菜單的圖形元素上預(yù)覽深度設(shè)置的影響。從而，如果設(shè)置與用戶意圖看到的內(nèi)容不對(duì)應(yīng)，他可以在將所述設(shè)置應(yīng)用于圖像之前改變所述設(shè)置。圖3A示出了根據(jù)本發(fā)明三個(gè)實(shí)施例的在圖形元素20上顯示的幾種設(shè)置等級(jí)。在圖3A示出的示例中，圖形元素3a、3b和3c (與圖2中的圖形元素20對(duì)應(yīng))具有三維尺寸的形式，所述三維尺寸分別由基本部分31a至39a、31b至39b和31c至39c組成，這些在本專(zhuān)利申請(qǐng)的下文中也被稱為增量。在由圖形元素3a圖示的示例中，選擇了單一增量38a。在這種情況下，相關(guān)聯(lián)的深度設(shè)置與3D效果的有限幅度(在與觀看者最接近的物體和距觀看者更遠(yuǎn)的那些物體之間的深度稍微不同，最小深度值與最大深度值彼此接近，例如初始3D 幅度的1/9)相對(duì)應(yīng)?？紤]到增量35a與接近屏幕前景深度的深度等級(jí)對(duì)應(yīng)，與增量38a對(duì)應(yīng)的設(shè)置使得如觀看者觀看的，物體向屏幕后方移動(dòng)，即，物體的深度值大于屏幕的深度值。在由圖形元素3b所示的示例中，選擇了三個(gè)增量34b、35b和36b。在這種情況下，由于選擇了三個(gè)元素，因此，與為元素3a所示的設(shè)置對(duì)應(yīng)的幅度相比，相關(guān)聯(lián)的深度設(shè)置與更大的幅度對(duì)應(yīng)。根據(jù)這個(gè)示例，3D效果圍繞屏幕深度(假設(shè)這與增量35b對(duì)應(yīng))分布，圖像深度的幅度集中在屏幕前景深度周邊。最小深度值與增量34b對(duì)應(yīng)并且使得能夠?qū)⑽矬w觀看為在屏幕前方(即，具有比屏幕的深度值更小的深度值)，并且最大深度值與增量36b對(duì)應(yīng)并且使得物體在屏幕后方(S卩，具有比屏幕的深度值更大的深度值)。假設(shè)圖形元素3b以其全部與圖像的默認(rèn)設(shè)置對(duì)應(yīng)，增量31b與最小默認(rèn)深度值對(duì)應(yīng)并且增量39b與圖像的最大默認(rèn)值對(duì)應(yīng)，這樣的設(shè)置與集中在屏幕前景周邊的3D效果的幅度的減少對(duì)應(yīng)。在由圖形元素3c圖示的示例中，選擇了六個(gè)增量31c至36c。在這種情況下，由于選擇了六個(gè)增量，與為元素3a和3b所示的設(shè)置對(duì)應(yīng)的幅度相比，相關(guān)聯(lián)的深度設(shè)置與更大的幅度對(duì)應(yīng)。根據(jù)這個(gè)示例，3D效果全局地位于屏幕前方(仍然假設(shè)屏幕深度與增量35c 對(duì)應(yīng))，圖像的深度幅度實(shí)質(zhì)上被指示為在屏幕前景的前方。最小深度值與增量31c對(duì)應(yīng)并且使得能夠?qū)⑽矬w觀看為在屏幕前方(即，具有比屏幕的深度值更小的深度值)，并且最大深度值與增量36c對(duì)應(yīng)并且使得物體稍微在屏幕后方(即，具有比屏幕的深度值更大的深度值)。假設(shè)圖形元素3c全局地與圖像的默認(rèn)設(shè)置對(duì)應(yīng)，增量31c與最小默認(rèn)深度值對(duì)應(yīng)并且增量39c與圖像的最大默認(rèn)深度值對(duì)應(yīng)，這樣的設(shè)置與3D效果的略微幅度減少對(duì)應(yīng)， 在屏幕前方的效果與默認(rèn)設(shè)置對(duì)應(yīng)(選擇了一組增量31c至35c)而在屏幕后方的效果相比默認(rèn)設(shè)置不重要(沒(méi)有選擇增量37c至39c)。如果考慮到屏幕深度與圖形元素3a、!3b和3c的相應(yīng)增量31a、31b和31c的深度等級(jí)對(duì)應(yīng)，可能的設(shè)置僅允許移動(dòng)物體至屏幕的背景或保留它們?cè)谄聊磺熬啊Ｏ喾吹?，如果考慮到屏幕深度與圖形元素3a、!3b和3c的相應(yīng)增量39a、39b和39c的深度等級(jí)對(duì)應(yīng)，可能的設(shè)置僅允許移動(dòng)物體至屏幕的前景，即，在屏幕前景中或在屏幕前方。圖:3B示出了根據(jù)本發(fā)明特定實(shí)施例的與圖3A的一般形式不同的一般形式形式的設(shè)置菜單的3D圖形元素的圖形表示。在圖:3B的示例中，深度設(shè)置圖形元素包括5個(gè)三維的沿著深度Z的方向向左擴(kuò)展的矩形平行六面體31d至35d。每個(gè)平行六面體與圖形元素 3d的一部分對(duì)應(yīng)，每個(gè)部分與給定深度設(shè)置相關(guān)聯(lián)。自然地，圖形元素的形式不限于關(guān)于圖3A與;3B所描述的形式，即，3D階梯形式或一系列3D平行六面體，也擴(kuò)展至任何三維幾何形式，例如，劃分至基本部分的三維圓柱體， 所述基本部分例如由三維圓盤(pán)表示，或者劃分至基本部分的球體，所述基本部分例如由三維球體切片表示。同樣地，圖形元素的所選擇的基本部分或多個(gè)基本部分的顯示不限于對(duì)其它未選擇部分的不同著色，反而擴(kuò)展至所有已知突出顯示手段，例如通過(guò)對(duì)所選擇部分紋理的調(diào)整、通過(guò)使未選擇部分透明或再次通過(guò)使選擇部分突出。圖4A至4C示出了根據(jù)本發(fā)明特定實(shí)施例的用于根據(jù)用戶選擇的視差值進(jìn)行圖像內(nèi)插的方法。具有視差圖(disparity map)的圖像內(nèi)插在于考慮到一個(gè)或幾個(gè)基準(zhǔn)圖像之間的像素視差、依據(jù)所述圖像來(lái)內(nèi)插中間圖像。事實(shí)上，如關(guān)于圖1所描述的，通過(guò)左圖像和右圖像的組合來(lái)獲得屏幕2上顯示的立體視覺(jué)圖像，左右圖像表示相同的場(chǎng)景但是具有兩個(gè)不同的視角。結(jié)果是左右圖像上觀看的相同物體在每個(gè)圖像上出現(xiàn)但是在每個(gè)圖像上具有不同的空間位置。捕捉的物體在給定位置χ在右圖像上出現(xiàn)，并且相同圖像在以在χ移動(dòng)了幾個(gè)像素的位置在左圖像上出現(xiàn)。這個(gè)空間移動(dòng)與由左右圖像的組合、由人腦進(jìn)行的組合以及允許立體感所導(dǎo)致的立體視覺(jué)圖像的視差對(duì)應(yīng)。從而，從一對(duì)左右基準(zhǔn)圖像的左基準(zhǔn)圖像(或從右基準(zhǔn)圖像)開(kāi)始，有可能通過(guò)利用修改的視差進(jìn)行內(nèi)插來(lái)生成新的左圖像(或新的右圖像)。新生成的左圖像(或新生成的右圖像)與基準(zhǔn)右圖像(相應(yīng)地與基準(zhǔn)左圖像)的組合使得能夠獲得作為結(jié)果的立體視覺(jué)圖像，并且作為結(jié)果修改了 (與視差相關(guān)聯(lián)的)深度信息。圖像內(nèi)插需要基準(zhǔn)圖像(左或右)沿著連接左右基準(zhǔn)圖像的視差向量在內(nèi)插圖像上的投影。圖4A圖示了兩個(gè)基準(zhǔn)圖像J 40和K 41，其與例如立體視覺(jué)圖像的左圖像和右圖像相對(duì)應(yīng)，并且內(nèi)插圖像H 40i位于兩個(gè)圖像J 40和K 41之間。為了通過(guò)圖像J 40的像素u 401的內(nèi)插來(lái)獲得圖像H 40i的內(nèi)插像素u’ 401i，需要通過(guò)將圖像J 40的完整視差圖投影到圖像H 40i上來(lái)計(jì)算內(nèi)插圖像H 40i的視差圖以及向圖像H 40i的像素分配視差值。針對(duì)小于或等于圖像J 40的全部像素?cái)?shù)目的、表示圖像J 40的許多像素，進(jìn)行視差圖計(jì)算。圖像J的像素u 401具有視差值disp (U)。以U-diSp(U)定義圖像K中的相應(yīng)像素411，并且該相應(yīng)像素411位于相同行(沒(méi)有縱向位移)。以U-adiSp(U)定義圖像H中的相應(yīng)像素，其中縮放因數(shù)a為(當(dāng)圖像J、H和K對(duì)齊時(shí)獲得的)基線JH與JK之間的比率。 有利地，因數(shù)a被包括在0和1之間。圖4B更精確地示出了用于獲得內(nèi)插圖像H的圖像J的視差補(bǔ)償內(nèi)插。分別利用圖像J的像素u 401和ν的相應(yīng)視差值disp (u)和dispU(v)， 來(lái)從像素u和ν估計(jì)內(nèi)插圖像H的U’和ν’。通過(guò)圖像J的像素u和ν沿著視差向量的投影獲得的圖像H的點(diǎn)U’和V’分別位于位置U’ =u-a. disp(u)和ν’ = va. disp (ν) 0然后向圖像H中與u’和ν’最接近的像素分配視差值，S卩，分別是uH 401i和/。J的視差圖在H上的投影生成了空位。實(shí)際上，不向內(nèi)插圖像H的一些像素分配任何視差值，如圖4B的像素405的情況，圖像J的像素根據(jù)視差向量在H上的投影不遇到這個(gè)像素。這個(gè)現(xiàn)象出現(xiàn)在當(dāng)例如從圖像J的一個(gè)像素到另一個(gè)像素之間的視差中存在顯著的變化時(shí)。然后需要填充在圖像的重建視差圖中的空位，例如，通過(guò)空間內(nèi)插。呈現(xiàn)了三種情況。在第一種情況下，空位具有小于1個(gè)像素的尺寸并且通過(guò)將在空位周邊與其同一行的像素的視差值求平均來(lái)填充這些空位。根據(jù)一種變體，通過(guò)采用該行中最接近像素的視差值來(lái)填充空位。在第二種情況下，消除隔離的像素，即，被不具有視差值的像素包圍的具有視差值的像素，即， 不考慮分配給這些像素的視差值。實(shí)際上，向這些像素分配的視差與相鄰像素的視差值不一致并且可能在顯示中生成視覺(jué)偽像。在第三種情況下，空位具有的尺寸大于1個(gè)像素。在這樣的第三種情況下，認(rèn)為這些空位與遮擋(occlusion)對(duì)應(yīng)(即，圖像H的像素被與其對(duì)應(yīng)的圖像K的像素隱藏)并且這個(gè)空位的像素的視差以及向它們分配的視差值為背景視差值。一旦針對(duì)內(nèi)插圖像H 40 獲得了視差圖，沿著視差向量進(jìn)行圖像間(即，在圖像J 和K之間)內(nèi)插以便獲得向內(nèi)插圖像H 40i的像素分配的灰度值。有可能區(qū)別兩種視差向
量類(lèi)型-由圖像J的視差圖的投影定義的向量依據(jù)在矢量的兩個(gè)端點(diǎn)的灰度來(lái)計(jì)算向內(nèi)插圖像的像素分配的灰度，所述兩個(gè)端點(diǎn)中的一個(gè)屬于圖像J并且另一個(gè)屬于圖像K，以及-已經(jīng)被空間地內(nèi)插的向量(即，針對(duì)上述填充的空位)假設(shè)與內(nèi)插圖像H對(duì)應(yīng)的像素在圖像J中被遮擋。然后依據(jù)圖像K的像素來(lái)內(nèi)插這些像素并且依據(jù)矢量的屬于圖像K的端點(diǎn)的灰度來(lái)計(jì)算分配到這些像素的灰度。圖4C圖示了依據(jù)兩個(gè)接收的基準(zhǔn)圖像內(nèi)插的幾個(gè)圖像的示例。根據(jù)圖4C的示例， 依據(jù)基準(zhǔn)圖像401和411的至少一個(gè)，通過(guò)視差補(bǔ)償內(nèi)插來(lái)獲得6個(gè)圖像4011至4016。根據(jù)這個(gè)示例，縮放因數(shù)包含在0和1之間，即，在基準(zhǔn)圖像401和411之間包括所有內(nèi)插圖像4011至4016。根據(jù)這個(gè)示例，通過(guò)組合基準(zhǔn)圖像401與411獲得3D效果的最大幅度， 并且通過(guò)基準(zhǔn)圖像401或411與內(nèi)插圖像4011至4016的組合獲得的3D效果的幅度全部較弱，這是由于內(nèi)插圖像接近基準(zhǔn)圖像。通過(guò)組合圖像401和4011或通過(guò)組合圖像411和 4016獲得具有最低幅度的3D效果。自然地，本發(fā)明不限于依據(jù)至少一個(gè)基準(zhǔn)圖像的6個(gè)圖像的內(nèi)插，而是也擴(kuò)展至數(shù)目χ個(gè)圖像的內(nèi)插，例如，7、10、20、50、或100或更多圖像。此外，本發(fā)明也不限于提供小于原始3D效果幅度的3D效果幅度的圖像內(nèi)插(S卩，具有小于1的縮放因數(shù))，而也擴(kuò)展至用于獲得比通過(guò)組合基準(zhǔn)圖像獲得的3D效果的幅度更大的幅度的3D效果的圖像內(nèi)插(即， 縮放因數(shù)大于1)。圖5圖示地示出了根據(jù)本發(fā)明特定實(shí)施例的用于實(shí)施本發(fā)明的多媒體終端5的結(jié)構(gòu)。終端5配備了顯示裝置501。終端5包括與程序存儲(chǔ)器連接的中央處理單元502;以
9及接口 508，用于與高比特率數(shù)字網(wǎng)絡(luò)510通信使得能夠傳輸實(shí)況音頻/視頻數(shù)據(jù)。該網(wǎng)絡(luò)是例如遵循IEEE 1394標(biāo)準(zhǔn)的網(wǎng)絡(luò)。終端5還包括紅外信號(hào)接收器503，用于接收來(lái)自遙控器511的信號(hào)；存儲(chǔ)器507，用于數(shù)據(jù)庫(kù)的存儲(chǔ)；以及音頻/視頻解碼邏輯509，用于產(chǎn)生向顯示裝置501傳輸?shù)囊暵?tīng)信號(hào)。遙控器511配備導(dǎo)航鍵丨、丨、一和一，數(shù)字鍵盤(pán)以及 “0K”鍵。也可使用配備移動(dòng)傳感器的回旋(Gyration)類(lèi)型遙控器。終端還包括屏幕上的數(shù)據(jù)顯示電路506，通常被稱為OSD(屏上顯示)電路。OSD 電路506為文字和圖形生成器，其允許菜單、統(tǒng)計(jì)圖表(例如，與顯示的頻道對(duì)應(yīng)的數(shù)字) 的屏上顯示，并且依據(jù)本發(fā)明可以顯示導(dǎo)航菜單。OSD電路接收來(lái)自中央處理單元502以及被設(shè)計(jì)來(lái)生成圖形元素20的顯示信號(hào)的模塊的信息。終端5能夠再現(xiàn)的多媒體文件為視聽(tīng)文件、音頻文件、或圖片。根據(jù)一種變體，由能夠檢測(cè)觀看者姿勢(shì)的裝置替換遙控器511。然后由終端5的專(zhuān)用模塊或非專(zhuān)用模塊分析姿勢(shì)，以便將其解釋為對(duì)于設(shè)置菜單的圖形元素的導(dǎo)航指令。根據(jù)另一種變體，由能夠注冊(cè)語(yǔ)音指令的微類(lèi)型裝置替換遙控器。然后由終端5的專(zhuān)用模塊或非專(zhuān)用模塊分析組成語(yǔ)音指令的聲音，以便將其解釋為對(duì)于設(shè)置菜單的圖形元素的導(dǎo)航指令。圖6示出了根據(jù)本發(fā)明第一非限制性特定有利實(shí)施例的、在多媒體終端5中實(shí)施的、用于顯示設(shè)置菜單的方法。在初始化步驟60期間，更新了終端的不同參數(shù)。然后，在步驟61期間，在顯示屏幕類(lèi)型(例如，LCD或等離子)或投影屏幕類(lèi)型的顯示裝置上顯示包括具有三個(gè)空間維數(shù)的圖形菜單的設(shè)置菜單。設(shè)置菜單插入至顯示裝置上顯示的3D視頻內(nèi)容或3D圖像中。圖形元素的空間維之一根據(jù)深度方向擴(kuò)展，有利地，根據(jù)在顯示裝置上顯示的3D視頻內(nèi)容或3D圖像的深度方向擴(kuò)展。有利地，在借助于指令引入裝置輸入用戶的第一指令時(shí)，顯示設(shè)置菜單，所述指令引入裝置例如遙控器、語(yǔ)音識(shí)別裝置或再次例如姿勢(shì)識(shí)別裝置。在顯示圖形元素時(shí)，發(fā)起第一超時(shí)(持續(xù)時(shí)間等于例如1、2、 3、4或5秒)，在其結(jié)束時(shí)如果沒(méi)有檢測(cè)到用戶動(dòng)作，則清空?qǐng)D形元素的顯示。然后在步驟62期間，在圖形元素上顯示表示至少一個(gè)深度信息項(xiàng)的設(shè)置。有利地，設(shè)置表示在顯示的3D圖像中包括的物體的深度最小值與最大值。根據(jù)一種變體，設(shè)置表示3D圖像的物體的平均深度。有利地，通過(guò)借助于指令引入裝置輸入的第二用戶指令來(lái)初始化設(shè)置的顯示。在顯示設(shè)置時(shí)，發(fā)起第二超時(shí)(持續(xù)時(shí)間等于例如1、2、3、4或5秒)， 在其結(jié)束時(shí)，如果沒(méi)有檢測(cè)到用戶動(dòng)作，則清空?qǐng)D形元素的顯示。該設(shè)置有利地表示當(dāng)觀看者(或用戶)沒(méi)有修改設(shè)置時(shí)而在參數(shù)被默認(rèn)設(shè)置時(shí)的3D視頻內(nèi)容(或3D圖像)的3D 效果的幅度。通過(guò)指令的輸入，觀看者修改3D圖像的深度設(shè)置，對(duì)深度設(shè)置進(jìn)行的修改在設(shè)置菜單的圖形元素上顯示。在第二超時(shí)過(guò)期時(shí)，如果沒(méi)有檢測(cè)到用戶指令，則該設(shè)置和設(shè)置菜單的圖形元素從屏幕上消失。為了使設(shè)置菜單重現(xiàn)，觀看者輸入新的第一指令。根據(jù)一種變體，通過(guò)第二用戶指令的輸入來(lái)對(duì)設(shè)置菜單的顯示作出命令。圖7示出了根據(jù)本發(fā)明第二非限制性特定有利實(shí)施例的、在多媒體終端5中實(shí)施的、用于顯示設(shè)置菜單的方法。在初始化步驟70期間，更新終端的不同參數(shù)。然后，在步驟71期間，在顯示裝置上顯示設(shè)置菜單。該步驟71與關(guān)于圖6描述的步驟61 —致并且在此不進(jìn)一步描述。然后，在步驟72期間，用戶(或觀看者)執(zhí)行特定姿勢(shì)以便對(duì)他正在觀看的3D視頻內(nèi)容或3D圖像的深度設(shè)置作出指令。例如由配備深度檢測(cè)器的相機(jī)捕捉姿勢(shì)，并且通過(guò)多媒體終端的專(zhuān)用模塊或非專(zhuān)用模塊來(lái)分析相機(jī)記錄的信息，以便從對(duì)所觀看的3D圖像的深度設(shè)置作出指令的視角來(lái)對(duì)其進(jìn)行解釋。姿勢(shì)與例如用戶雙手之間的距離對(duì)應(yīng)。一旦運(yùn)動(dòng)結(jié)束通過(guò)相機(jī)以及多媒體終端模塊確定雙手隔開(kāi)的距離，雙手隔開(kāi)的距離被解釋為與用戶期望的3D效果的幅度對(duì)應(yīng)。根據(jù)一種變體，用戶執(zhí)行的姿勢(shì)與左手朝向右(或右手朝向左)的掠動(dòng)對(duì)應(yīng)，多媒體模塊將該姿勢(shì)解釋為指針移開(kāi)的指令，從而指針從設(shè)置菜單的圖形元素上的一個(gè)深度設(shè)置等級(jí)到另一個(gè)深度設(shè)置等級(jí)。然后，在步驟73期間，用戶輸入指令來(lái)選擇圖形元素的一個(gè)或多個(gè)部分，每個(gè)部分與特定的設(shè)置等級(jí)相關(guān)聯(lián)，即，與深度設(shè)置等級(jí)對(duì)應(yīng)。在用戶指令與用戶姿勢(shì)對(duì)應(yīng)的情況下，通過(guò)特定姿勢(shì)(例如一只手從上到下的運(yùn)動(dòng))來(lái)對(duì)部分的選擇(即，設(shè)置等級(jí)的選擇) 作出命令。根據(jù)一種變體，通過(guò)任何其它指令部件對(duì)一個(gè)或幾個(gè)設(shè)置等級(jí)的選擇作出命令， 例如通過(guò)按壓遙控器的鍵(例如“0K”鍵)或通過(guò)語(yǔ)音碼(例如詞“SELECTION”)的發(fā)音。 幾個(gè)設(shè)置等級(jí)的選擇有利地與期望的3D效果的幅度設(shè)置相關(guān)聯(lián)，即，與深度的不同或如用戶觀看到的前景的物體與背景的物體之間的距離相關(guān)聯(lián)。換言之，幾個(gè)等級(jí)的選擇與表示與3D圖像的最小深度對(duì)應(yīng)的第一深度信息項(xiàng)的第一設(shè)置、以及表示與3D圖像的最大深度對(duì)應(yīng)的第二深度信息項(xiàng)的第二設(shè)置對(duì)應(yīng)，最大深度與最小深度之間的差與將要在顯示裝置上顯示的3D圖像的3D效果的幅度對(duì)應(yīng)。最后，在步驟74期間，如關(guān)于圖6在步驟62中描述的，顯示用戶命令的圖形元素的部分或多個(gè)部分的設(shè)置。有利地，對(duì)于用戶對(duì)其執(zhí)行了深度設(shè)置的3D圖像，其內(nèi)容被根據(jù)用戶命令的設(shè)置進(jìn)行了修改。然后，與在圖形元素上顯示用戶的設(shè)置同時(shí)地，顯示與向其應(yīng)用了該設(shè)置的原始3D圖像的內(nèi)容對(duì)應(yīng)的新3D圖像。新3D圖像的生成有利地依據(jù)由立體視覺(jué)生成3D圖像的左圖像和右圖像中的至少一個(gè)、通過(guò)視差補(bǔ)償內(nèi)插來(lái)獲得，內(nèi)插圖像替換基準(zhǔn)圖像之一以便由立體視覺(jué)生成新3D圖像。自然地，本發(fā)明不限于先前描述的實(shí)施例。具體地，本發(fā)明不限于顯示設(shè)置菜單的方法，而擴(kuò)展至實(shí)施該方法的多媒體終端， 并且擴(kuò)展至包括實(shí)施顯示方法的多媒體終端的顯示裝置。本發(fā)明也涉及包括3D多媒體內(nèi)容的設(shè)置菜單的PIP(畫(huà)中畫(huà))顯示的圖像處理的方法。
權(quán)利要求
1.一種顯示設(shè)置菜單的方法，其特征在于，所述方法包括以下步驟顯示(61、71)包括三維圖形元素(20)的所述設(shè)置菜單，所述三維圖形元素(20)的維度之一根據(jù)深度方向(ζ)擴(kuò)展，輸入表示至少一個(gè)深度信息項(xiàng)的至少一項(xiàng)設(shè)置(203、204、205)，根據(jù)所述深度方向 (ζ)將所述至少一項(xiàng)設(shè)置應(yīng)用于所述圖形元素(20)的顯示。
2.如權(quán)利要求1所述的方法，其特征在于，其包括以下步驟選擇(73)所述圖形元素 (20)的至少一部分，所選擇的至少一部分(203、204、205)與所述至少一項(xiàng)設(shè)置相關(guān)聯(lián)。
3.如權(quán)利要求1至2中的一項(xiàng)所述的方法，其特征在于，其包括以下步驟顯示至少一個(gè)三維圖像，所述至少一個(gè)三維圖像的深度取決于所述至少一項(xiàng)設(shè)置，在所述至少一項(xiàng)設(shè)置(203、204、205)應(yīng)用于圖形元素(20)的顯示之后，進(jìn)行所述至少一個(gè)圖像的顯示。
4.如權(quán)利要求1至2中的一項(xiàng)所述的方法，其特征在于，其包括以下步驟顯示至少一個(gè)三維圖像，所述至少一個(gè)三維圖像的深度取決于所述至少一項(xiàng)設(shè)置，與所述至少一項(xiàng)設(shè)置(203、204、205)應(yīng)用于圖形元素(20)的顯示同時(shí)地，進(jìn)行所述至少一個(gè)圖像的顯示。
5.如權(quán)利要求1至2中的一項(xiàng)所述的方法，其特征在于，所述至少一項(xiàng)設(shè)置表示與將要顯示的圖像的最小深度對(duì)應(yīng)的第一深度信息項(xiàng)，并且表示與所述將要顯示的圖像的最大深度對(duì)應(yīng)的第二深度信息項(xiàng)。
6.如權(quán)利要求1至2中的一項(xiàng)所述的方法，其特征在于，所述至少一項(xiàng)設(shè)置表示與將要顯示的圖像的平均深度對(duì)應(yīng)的深度信息項(xiàng)。
7.如權(quán)利要求1至2中的一項(xiàng)所述的方法，其特征在于，其包括以下步驟分析(72)用戶姿勢(shì)，解釋分析的結(jié)果以便控制所述至少一項(xiàng)設(shè)置。
8.如權(quán)利要求7所述的方法，其特征在于，所述姿勢(shì)的分析包括以下步驟確定用戶形體的兩個(gè)確定部分隔開(kāi)的距離，所確定的距離與所述至少一項(xiàng)設(shè)置相關(guān)聯(lián)。
全文摘要
本發(fā)明涉及一種顯示設(shè)置菜單的方法。為了最優(yōu)化由觀看者進(jìn)行的設(shè)置的圖形表示，該方法包括以下步驟顯示包括三維圖形元素(20)的設(shè)置菜單，所述三維圖形元素(20)的維度之一根據(jù)深度方向(z)擴(kuò)展；在所述圖形元素上顯示表示至少一個(gè)深度信息項(xiàng)的至少一項(xiàng)設(shè)置(203、204、205)。
文檔編號(hào)H04N13/00GK102238408SQ201110112639
公開(kāi)日2011年11月9日 申請(qǐng)日期2011年5月3日 優(yōu)先權(quán)日2010年5月3日
發(fā)明者塞爾溫.蒂鮑德, 蒂里.博里爾, 迪迪爾.多延 申請(qǐng)人:湯姆森特許公司