專利名稱：三維圖像處理設(shè)備和三維圖像處理方法
技術(shù)領(lǐng)域：
實(shí)施方式主要涉及三維圖像處理設(shè)備和三維圖像處理方法。
背景技術(shù)：
近年來(lái)，已經(jīng)開發(fā)和發(fā)布了可以用于觀看三維圖像的圖像處理器(在下文中也被描述為三維圖像處理器)。一些三維圖像處理器采用集成成像方式(也被稱為集成成像方 式)，在該系統(tǒng)中具有視差的多個(gè)圖像(多視點(diǎn)圖像)的像素分散地排列在一個(gè)圖像(在下文中被描述為合成圖像)中，且使用雙凸透鏡等控制來(lái)自構(gòu)成上述合成圖像的像素的光束軌跡，以使觀看者感知三維圖像。集成成像方式具有觀看三維圖像無(wú)需專門眼鏡的優(yōu)勢(shì)，但是存在可以將圖像識(shí)別為三維體(在下文中被描述為視域(visual field))的區(qū)域(field)是有限的問(wèn)題。當(dāng)用戶位于視域之外時(shí)，由于出現(xiàn)所謂的背面圖、色度亮度干擾等，用戶無(wú)法將圖像識(shí)別為三維體。由于這個(gè)原因，提出了一種三維圖像處理器，其中安裝了相機(jī)，使得從相機(jī)所成像的圖像中檢測(cè)到用戶，判斷檢測(cè)到的用戶的位置是否位于視域內(nèi)，并基于判斷結(jié)果控制三維圖像。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)方面提供了一種三維圖像處理設(shè)備，該設(shè)備包括成像模塊，被配置為對(duì)包括顯示器前方的區(qū)域進(jìn)行成像，顯示器顯示三維圖像；面部檢測(cè)模塊，被配置為從成像模塊成像的圖像中檢測(cè)用戶的面部；以及控制器，被配置為當(dāng)面部檢測(cè)模塊無(wú)法檢測(cè)到用戶的面部時(shí)，通知無(wú)法檢測(cè)到該面部，以及控制顯示器顯示表明在其中三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。本發(fā)明另一方面還提供了一種三維圖像處理設(shè)備，包括成像模塊，被配置為對(duì)包括顯示器前方的區(qū)域進(jìn)行成像，顯示器顯示三維圖像；檢測(cè)模塊，被配置為從成像模塊成像的圖像中檢測(cè)用戶；以及控制器，被配置為當(dāng)檢測(cè)模塊無(wú)法檢測(cè)到用戶時(shí)，通知無(wú)法檢測(cè)到用戶，以及控制顯示器顯示表明在其中三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。本發(fā)明的另一方面還提供了一種三維圖像處理方法，包括從成像模塊所成像的圖像中檢測(cè)用戶的面部，其中，成像模塊對(duì)包括顯示器前方的區(qū)域進(jìn)行成像；以及當(dāng)用戶的面部無(wú)法檢測(cè)時(shí)，通知無(wú)法檢測(cè)到該面部，并控制顯示器顯示表明在其中三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。


圖I是根據(jù)實(shí)施方式的三維圖像處理器的結(jié)構(gòu)圖。圖2是示出了在顯示屏上顯示的圖像實(shí)例的視圖。圖3是示出了在顯示屏上顯示的圖像實(shí)例的視圖。圖4是示出了根據(jù)實(shí)施方式的三維圖像處理器的操作的流程圖。
具體實(shí)施例方式在下文中，將參考附圖描述實(shí)施方式。(實(shí)施方式)根據(jù)實(shí)施方式的三維圖像處理器(三維圖像處理設(shè)備)包括成像模塊、顯示器、面部檢測(cè)模塊和控制器，其中，成像模塊被配置為對(duì)包括顯示器前方的區(qū)域成像，顯示器被·配置為顯示三維圖像，面部檢測(cè)模塊被配置為從成像模塊成像的圖像中檢測(cè)用戶的面部，以及控制器被配置為當(dāng)面部檢測(cè)模塊無(wú)法檢測(cè)到用戶的面部時(shí)，通知無(wú)法檢測(cè)到用戶的面部，以及控制顯示器顯示表明在其中三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。圖I是根據(jù)實(shí)施方式的三維圖像處理設(shè)備100 (在下文中被描述為三維圖像處理器100)的結(jié)構(gòu)圖。三維圖像處理器100例如是數(shù)字電視。三維圖像處理器100通過(guò)集成成像方式將三維圖像呈現(xiàn)給用戶，其中，集成成像方式將具有視差的多個(gè)圖像(多視點(diǎn)圖像)的像素分散地排列在一個(gè)圖像(在下文中被描述為合成圖像)中，并使用雙凸透鏡控制來(lái)自構(gòu)成上述合成圖像的像素的光束軌跡，以使觀看者感知三維圖像。(三維圖像處理器100的結(jié)構(gòu))根據(jù)該實(shí)施方式的三維圖像處理器100包括調(diào)諧器101、調(diào)諧器102、調(diào)諧器103、PSK (相移鍵控法)解調(diào)器104、0FDM(正交頻分多路)解調(diào)器105、模擬解調(diào)器106、信號(hào)處理模塊107、圖形處理模塊108、OSD (屏幕顯不)信號(hào)生成模塊109、聲音處理模塊110、揚(yáng)聲器111、圖像處理模塊112、顯示器113、控制器114、操作模塊115 (操作接收模塊)、光接收模塊116(操作接收模塊)、終端117、通信Ι/F(接口)118以及相機(jī)模塊119。調(diào)諧器101，基于來(lái)自控制器114的控制信號(hào)，從用于接收BS/CS數(shù)據(jù)廣播的天線I接收的衛(wèi)星數(shù)字電視廣播中選擇期望信道的廣播信號(hào)。調(diào)諧器101將所選的廣播信號(hào)輸出至PSK解調(diào)器104。PSK解調(diào)器104，基于來(lái)自控制器114的控制信號(hào)，解調(diào)從調(diào)諧器101輸入的廣播信號(hào)，并將經(jīng)解調(diào)的廣播信號(hào)輸出至信號(hào)處理模塊107。調(diào)諧器102，基于來(lái)自控制器114的控制信號(hào)，從用于接收地球廣播的天線2接收的地球數(shù)字電視廣播信號(hào)中選擇期望信道的數(shù)字廣播信號(hào)。調(diào)諧器102將所選的數(shù)字廣播信號(hào)輸出至OFDM解調(diào)器105。OFDM解調(diào)器105，基于來(lái)自控制器114的控制信號(hào)，解調(diào)從調(diào)諧器102輸入的數(shù)字廣播信號(hào)，并將經(jīng)解調(diào)的數(shù)字廣播信號(hào)輸出至信號(hào)處理模塊107。調(diào)諧器103，基于來(lái)自控制器114的控制信號(hào)，從用于接收地球廣播的天線2接收的地球模擬電視廣播信號(hào)中選擇期望信道的模擬廣播信號(hào)。調(diào)諧器103將所選的模擬廣播信號(hào)輸出至模擬解調(diào)器106。模擬解調(diào)器106，基于來(lái)自控制器114的控制信號(hào)，解調(diào)從調(diào)諧器103輸入的模擬廣播信號(hào)，并將經(jīng)解調(diào)的數(shù)字廣播信號(hào)輸出至信號(hào)處理模塊107。信號(hào)處理模塊107由從PSK解調(diào)器104、OFDM解調(diào)器105以及模擬解調(diào)器106輸入的經(jīng)解調(diào)的廣播信號(hào)生成圖像信號(hào)和聲音信號(hào)。信號(hào)處理模塊107將圖像信號(hào)輸出至圖形處理模塊108。信號(hào)處理模塊107還將聲音信號(hào)輸出至聲音處理模塊110。
OSD信號(hào)生成模塊109，基于來(lái)自控制器114的控制信號(hào)，生成OSD信號(hào)，并將OSD信號(hào)輸出至圖形處理模塊108。圖形處理模塊108生成與信號(hào)處理模塊107基于來(lái)自控制器114的指令輸出的圖像信號(hào)的兩個(gè)視差或九個(gè)視差相對(duì)應(yīng)的多條圖像數(shù)據(jù)(多視點(diǎn)圖像數(shù)據(jù))。圖形處理模塊108將生成的多視點(diǎn)圖像離散地排列在一個(gè)圖像中，從而將其轉(zhuǎn)換為具有兩個(gè)視差或九個(gè)視差的合成圖像。圖形處理模塊108進(jìn)一步將由OSD信號(hào)生成模塊109生成的OSD信號(hào)輸出至圖像處理模塊112。圖像處理模塊112將由圖形處理模塊108轉(zhuǎn)換的合成圖像轉(zhuǎn)換為可以顯示在顯示器113的形式，然后將經(jīng)轉(zhuǎn)換的合成圖像輸出至顯示器113，使其顯示三維圖像。圖像處理模塊112將輸入的OSD信號(hào)轉(zhuǎn)換為可以在顯示器113上顯示的形式，然后將經(jīng)轉(zhuǎn)換的OSD 信號(hào)輸出至顯示器113，使其顯示與OSD信號(hào)對(duì)應(yīng)的圖像。顯示器113是用于顯示集成成像方式的三維圖像的顯示器，包括用于控制來(lái)自像素的光束軌跡的雙凸型透鏡。聲音處理模塊110將輸入的聲音信號(hào)轉(zhuǎn)換為可以由揚(yáng)聲器111再現(xiàn)的形式,然后將經(jīng)轉(zhuǎn)換的聲音信號(hào)輸出至揚(yáng)聲器111，使其再現(xiàn)聲音。在操作模塊115中，排列了用于操作三維圖像處理器100的多個(gè)操作鍵(例如，光標(biāo)鍵、確定(OK)鍵、回退(返回)鍵、顏色鍵(紅色、綠色、黃色、藍(lán)色)等等)。用戶按下上述操作鍵，從而與所按操作鍵對(duì)應(yīng)的操作信號(hào)輸出至控制器114。光接收模塊116接收從遠(yuǎn)程控制器3傳送的紅外信號(hào)。在遠(yuǎn)程控制器3，排列了用于操作三維圖像處理器100的多個(gè)操作鍵(例如，光標(biāo)鍵、確定(OK)鍵、回退(返回)鍵、顏色鍵(紅色、綠色、黃色、藍(lán)色)等等)。用戶按下上述的操作鍵，從而發(fā)出與所按下操作鍵對(duì)應(yīng)的紅外信號(hào)。光接收模塊116接收從遠(yuǎn)程控制器3發(fā)出的紅外信號(hào)。光接收模塊116將與所接收的紅外信號(hào)對(duì)應(yīng)的操作信號(hào)輸出至控制器114。用戶可以操作操作模塊115或遠(yuǎn)程控制器3，使三維圖像處理器100執(zhí)行不同的操作和改變?nèi)S圖像處理器100的設(shè)置。例如，用戶可以改變?nèi)S圖像處理器100的視差、自動(dòng)跟蹤、警報(bào)屏幕顯示等的設(shè)置。對(duì)于視差的設(shè)置，用戶可以設(shè)置是以兩個(gè)視差還是以九個(gè)視差觀看三維圖像。由用戶選擇的視差的設(shè)置存儲(chǔ)在控制器114的非易失性存儲(chǔ)器114c。應(yīng)當(dāng)注意，上面所述的視差數(shù)(兩個(gè)視差或九個(gè)視差)是實(shí)例，可以使用其他視差數(shù)(例如，四個(gè)視差或六個(gè)視差)。對(duì)于自動(dòng)跟蹤的設(shè)置，用戶可以設(shè)置是打開還是關(guān)閉自動(dòng)跟蹤。當(dāng)自動(dòng)跟蹤打開時(shí)，視域自動(dòng)地形成在基于相機(jī)模塊119成像的圖像計(jì)算出的用戶的位置。當(dāng)自動(dòng)跟蹤打開時(shí)，每預(yù)定時(shí)間(例如，每數(shù)十秒到數(shù)分鐘)計(jì)算用戶的位置，視域形成在所計(jì)算出的用戶位置。另一方面，當(dāng)自動(dòng)跟蹤關(guān)閉時(shí)，當(dāng)用戶對(duì)準(zhǔn)時(shí)視域形成在在用戶位置。應(yīng)當(dāng)注意，如下所述形成視域。例如，當(dāng)希望視域在顯示器113的前-后方向移動(dòng)時(shí)，通過(guò)增加或減少顯示屏與雙凸型透鏡的開口模塊的孔之間的距離可以使視域在顯示器113的前-后方向移動(dòng)。當(dāng)距離增加時(shí)，視域朝著顯示器113的后面移動(dòng)。另一方面，當(dāng)距離減少時(shí)，視域朝著顯示器113的前面移動(dòng)。當(dāng)希望視域在顯示器113的右-左方向移動(dòng)時(shí)，通過(guò)使顯示圖像左右移動(dòng)使視域在顯示器113的右-左方向移動(dòng)。通過(guò)向左移動(dòng)顯示圖像，視域移動(dòng)到顯示器113的左側(cè)。另一方面，通過(guò)向右移動(dòng)顯示圖像，視域移動(dòng)到顯示器113的右邊。對(duì)于警報(bào)屏幕顯示的設(shè)置，可以設(shè)置是否要顯示稍后描述的警報(bào)屏幕(參見圖2)。當(dāng)警報(bào)屏幕打開時(shí)，在顯示 器113上顯示稍后描述的警報(bào)屏幕(參見圖2)。另一方面，當(dāng)警報(bào)屏幕顯示關(guān)閉時(shí)，不在顯示器113上顯示稍后描述的警報(bào)屏幕(參見圖2)。終端117是用于連接外部終端(例如，USB存儲(chǔ)器、DVD存儲(chǔ)器和再現(xiàn)裝置、互聯(lián)網(wǎng)服務(wù)器、個(gè)人計(jì)算機(jī)等)的USB終端、LAN終端、HDMI終端、或iLINK終端。通信I/F 118是與連接到終端117的上述的外部終端的通信接口。通信I/F 118轉(zhuǎn)換控制器114和上述的外部終端之間的控制信號(hào)和數(shù)據(jù)格式等。相機(jī)模塊119設(shè)置在三維圖像處理器100的下前側(cè)或上前側(cè)。相機(jī)模塊119包括成像元件119a、面部檢測(cè)模塊11%、非易失性存儲(chǔ)器119c以及位置計(jì)算模塊119d。成像元件119a是例如CMOS圖像傳感器或CXD圖像傳感器。成像元件119a對(duì)包括三維圖像處理器100前方的區(qū)域(field)成像。面部檢測(cè)模塊119b從由成像元件119a成像的圖像中檢測(cè)用戶的面部。面部檢測(cè)模塊11%為所檢測(cè)的用戶的面部提供唯一編號(hào)(ID)。對(duì)于面部檢測(cè)，可以使用已知方法。例如，面部識(shí)別方法被粗略地分類為比較視覺(jué)特征的直接幾何方法和數(shù)字化圖像并將數(shù)值與模型進(jìn)行比較的統(tǒng)計(jì)方法。在該實(shí)施方式中可以使用任何一種方法檢測(cè)面部。在面部檢測(cè)模塊11%不能檢測(cè)到面部的情況下，非易失性存儲(chǔ)器119c存儲(chǔ)在不能檢測(cè)到面部時(shí)的圖像。不能檢測(cè)到面部的可能情況包括例如為了操作遠(yuǎn)程控制器3用戶往下看的情況和用戶與坐在其旁邊的另一個(gè)用戶說(shuō)話的情況。存儲(chǔ)在非易失性存儲(chǔ)器119c的圖像在顯示器113上顯示，因此，用戶能夠容易地理解和推測(cè)為何面部檢測(cè)失敗。應(yīng)當(dāng)注意，對(duì)于面部檢測(cè)的失敗，需要從由成像元件119a成像的圖像中檢測(cè)用戶的面部(例如，每數(shù)秒鐘執(zhí)行一次)，如果面部檢測(cè)連續(xù)多次(例如，3次)失敗，則判斷面部檢測(cè)已經(jīng)失敗。位置計(jì)算模塊119d計(jì)算已經(jīng)由面部檢測(cè)模塊119b檢測(cè)出面部的用戶的位置坐標(biāo)。對(duì)于用戶的位置坐標(biāo)的計(jì)算，可以使用已知方法。例如，可以基于由面部檢測(cè)模塊11%檢測(cè)出的面部的右眼到左眼的距離和從所成像圖像的中心到面部中心(右眼和左眼之間的中間)的坐標(biāo)計(jì)算已經(jīng)檢測(cè)出面部的用戶的位置坐標(biāo)。由所成像圖像的中心到面部中心的坐標(biāo)，可以計(jì)算在上下方向和左右方向(x_y平面)上用戶的位置。進(jìn)一步，由面部的右眼到左眼的距離，可以計(jì)算從成像元件119a到用戶的距離。通常，人類的右眼和左眼之間的距離是大約65mm，因此如果發(fā)現(xiàn)右眼和左眼之間的距離，那么可以計(jì)算從成像元件119a到用戶的距離。進(jìn)一步，位置計(jì)算模塊119d為關(guān)于計(jì)算出的位置坐標(biāo)的數(shù)據(jù)提供與面部檢測(cè)模塊11%提供的ID相同的ID。應(yīng)當(dāng)注意，只需要將位置坐標(biāo)識(shí)別為三維坐標(biāo)數(shù)據(jù)，并且位置坐標(biāo)可以通過(guò)任何一種一般已知的坐標(biāo)系統(tǒng)(例如，正交坐標(biāo)系統(tǒng)、極坐標(biāo)系統(tǒng)、球坐標(biāo)系統(tǒng))表述。當(dāng)在由成像元件119a成像的圖像中不能檢測(cè)出用戶的面部時(shí)，相機(jī)模塊119將警報(bào)信號(hào)和存儲(chǔ)在非易失性存儲(chǔ)器119c中的在不能檢測(cè)到面部時(shí)的圖像輸出至控制器114。另一方面，當(dāng)能夠檢測(cè)到用戶的面部時(shí)，相機(jī)模塊119輸出由位置計(jì)算模塊119d計(jì)算出的坐標(biāo)和由面部檢測(cè)模塊11%提供的ID。應(yīng)當(dāng)注意，可以由稍后描述的控制器114執(zhí)行用戶的面部檢測(cè)和所檢測(cè)的面部(用戶)的位置坐標(biāo)計(jì)算?？刂破?14包括ROM (只讀存儲(chǔ)器)114a、RAM (隨機(jī)存取存儲(chǔ)器)114b、非易失性存儲(chǔ)器114c以及CPU 114d。在ROM 114a中，存儲(chǔ)由CPU114d執(zhí)行的控制程序。RAM 114b用作CPU 114d的工作區(qū)。在非易失性存儲(chǔ)器114c中，存儲(chǔ)各種設(shè)置信息(例如，關(guān)于上述視差、跟蹤、警報(bào)屏幕顯示的設(shè)置信息)、視域信息等。視域信息是轉(zhuǎn)變?yōu)槿S坐標(biāo)數(shù)據(jù)的實(shí)際空間中的視域分布。關(guān)于兩個(gè)視差和九個(gè)視差的視域信息存儲(chǔ)在非易失性存儲(chǔ)器114c中?？刂破?14控制三維圖像處理器100。具體地，控制器114基于從操作模塊115和光接收模塊116輸入的操作信號(hào)和存儲(chǔ)在非易失性存儲(chǔ)器114c中的設(shè)置信息控制三維圖像處理器100的操作。在下文中，將描述控制器114的典型控制操作。(視差數(shù)的控制)
當(dāng)存儲(chǔ)在非易失性存儲(chǔ)器114c中的視差是兩個(gè)視差時(shí)，控制器114指示圖形處理模塊108由從信號(hào)處理模塊107輸出的圖像信號(hào)生成兩個(gè)視差的圖像數(shù)據(jù)。當(dāng)存儲(chǔ)在非易失性存儲(chǔ)器114c中的視差是九個(gè)視差時(shí)，控制器114指示圖形處理模塊108由從信號(hào)處理模塊107輸出的圖像信號(hào)生成九個(gè)視差的圖像數(shù)據(jù)。(跟蹤控制)當(dāng)存儲(chǔ)在非易失型存儲(chǔ)器114c中的自動(dòng)跟蹤打開時(shí)，控制器114在每預(yù)定時(shí)間(例如，數(shù)十秒到數(shù)分鐘)根據(jù)相機(jī)模塊119成像的圖像計(jì)算用戶的位置?？刂破?14控制顯示器113的像素的光束軌跡，使得視域形成在計(jì)算出的位置。當(dāng)存儲(chǔ)在非易失型存儲(chǔ)器114c中的自動(dòng)跟蹤關(guān)閉時(shí)，當(dāng)用戶操作操作模塊115或遠(yuǎn)程控制器3時(shí)，控制器114根據(jù)相機(jī)模塊119成像的圖像計(jì)算用戶的位置，從而直接形成視域?？刂破?14控制顯示器113的像素的光束的軌跡，從而在計(jì)算出的位置形成視域。(警報(bào)屏幕的顯示)當(dāng)從相機(jī)模塊119傳送警報(bào)信號(hào)時(shí)，控制器114指示OSD信號(hào)生成模塊109生成通知不能檢測(cè)到面部的圖像信號(hào)，并且顯示器113顯示該圖像信號(hào)。圖2是在顯示器113實(shí)際顯示的圖像。如圖2中所示，不能檢測(cè)到面部的“跟蹤(面部檢測(cè))失敗”的消息和提示隨后操作“按下[藍(lán)色]以檢查三維觀看位置”的消息呈現(xiàn)在位于顯示器113下面的顯示框201中。進(jìn)一步，在顯示框202中，顯示了“按下[確定]”。當(dāng)用戶按下操作模塊115或遠(yuǎn)程控制器3上的藍(lán)色鍵時(shí)，在顯示器113上顯示圖3中的稍后描述的觀看位置檢查屏幕。當(dāng)用戶按下操作模塊115或遠(yuǎn)程控制器3上的確定鍵時(shí)，隱藏圖2中的框201、202和框201、202中的消息。當(dāng)用戶已經(jīng)將警報(bào)屏幕顯示設(shè)置為關(guān)閉時(shí)，不顯示圖2中所示的圖像。(觀看位置檢查屏幕的顯示)當(dāng)在顯示器113上顯示圖2中示出的警報(bào)屏幕，然后用戶按下操作模塊115或遠(yuǎn)程控制器3上的藍(lán)色鍵時(shí)，控制器114指示OSD信號(hào)生成模塊109生成用于檢查三維圖像的觀看位置的圖像信號(hào)，并且指示顯示器113顯示該圖像信號(hào)。盡管在該實(shí)施方式中為移動(dòng)至觀看位置檢查屏幕的操作分配了藍(lán)色鍵，但是可以分配其他操作鍵。圖3是在顯示器113上實(shí)際顯示的圖像視圖。如圖3中所示，在顯示器113上顯示顯示框301到顯示框305。在顯示框301到顯示框305中，呈現(xiàn)了用戶觀看視域內(nèi)的三維圖像所需的各種信息。
在顯示框301中，顯示了用戶為了在用戶可將圖像識(shí)別為三維體的區(qū)域(也就是視域)內(nèi)觀看到圖像所需的項(xiàng)。在顯示框302中，顯示出由相機(jī)模塊119的成像元件119a成像的圖像。用戶可以根據(jù)顯示框302中顯示的圖像檢查面部的方向和位置以及實(shí)際上是否識(shí)別到面部。當(dāng)識(shí)別到用戶的面部時(shí)，由框環(huán)繞所識(shí)別的用戶的面部。在框上方，顯示出相機(jī)模塊119的面部檢測(cè)模塊11%已經(jīng)提供的ID (在這個(gè)實(shí)施方式中是字母)。在該實(shí)施方式中，框的顯示形式依用戶位于視域內(nèi)部還是位于視域外部而不同。在圖3中所示的實(shí)例中，當(dāng)用戶位于視域內(nèi)部時(shí)，由實(shí)線繪出環(huán)繞用戶的面部的框。當(dāng)用戶位于視域外部時(shí)，由虛線繪出環(huán)繞用戶的面部的框。在圖3中所示的實(shí)例中，我們發(fā)現(xiàn)用戶A、B在視域內(nèi)部，用戶C在視域外部。當(dāng)用戶位于視域外部時(shí)，由于出現(xiàn)所謂的背面圖、色度亮度干擾等，用戶無(wú)法識(shí)將圖像識(shí)別為三維體。在該實(shí)施方式中，框的顯示形式依用戶是否位于視域內(nèi)部而不同，因此能夠容易地檢查用戶的位置是在視域內(nèi)部還是在視域外部。應(yīng)當(dāng)注意，盡管在圖3中所示的實(shí)例中，環(huán)繞用戶的面部的框線類型(實(shí)線、虛線)依用戶的位置是否在視域內(nèi)部而不·同，但是，例如框的形狀(矩形、三角形、圓形等)、顏色等的其他顯示形式可依用戶的位置是否在視域內(nèi)部而不同。即使用這種方式，也能夠容易地識(shí)別用戶的位置是在視域內(nèi)部還是在視域外部?？刂破?14基于位置計(jì)算模塊119d計(jì)算出的用戶的位置坐標(biāo)和存儲(chǔ)在非易失性存儲(chǔ)器114c中的視域信息判斷用戶的位置是否在視域內(nèi)部。在這種情況下，控制器114改變關(guān)于取決于視差數(shù)的設(shè)置是兩個(gè)還是九個(gè)的視域信息。換句話說(shuō)，當(dāng)視差數(shù)的設(shè)置是兩個(gè)視差時(shí)，控制器114參考兩個(gè)視差的視域信息。當(dāng)視差數(shù)的設(shè)置是九個(gè)視差時(shí)，控制器114參考九個(gè)視差的視域信息。在顯示框303中，顯示存儲(chǔ)在非易失性存儲(chǔ)器119c中的在不能檢測(cè)到面部時(shí)的圖像。通過(guò)檢查顯示在顯示框303中的圖像，用戶可以容易地理解為何面部檢測(cè)會(huì)失敗。例如，在圖3中所示的實(shí)例中，可以理解，由于用戶向下看，所以無(wú)法檢測(cè)到面部。在顯示框304中，顯示當(dāng)前的設(shè)置信息。具體地，顯示三維圖像的視差數(shù)是兩個(gè)還是九個(gè)以及自動(dòng)跟蹤是打開還是關(guān)閉。在顯示框305中，可以將三維觀看三維圖像區(qū)域的視域305a (斜紋線部分)、由相機(jī)模塊119的位置計(jì)算模塊119d計(jì)算出的用戶的位置信息(表明用戶的圖標(biāo)、環(huán)繞圖標(biāo)的框)以及ID(字母)顯示為鳥瞰視圖?；诖鎯?chǔ)在非易失性存儲(chǔ)器114c中的視域信息和由位置計(jì)算模塊119d計(jì)算出的位置坐標(biāo)顯示在顯示框305中顯示的鳥瞰視圖。通過(guò)參考在顯示框305中顯示的鳥瞰視圖，用戶可以容易地理解他或她的面部是否被識(shí)別出，當(dāng)識(shí)別出時(shí)，面部位于視域305a內(nèi)部，而且，當(dāng)面部位于視域305a的外部時(shí)，沿哪個(gè)方向移動(dòng)可使面部進(jìn)入視域305a內(nèi)。在該實(shí)施方式中，鳥瞰視圖中表明的用戶的位置信息的顯示形式還依用戶是在視域內(nèi)部還是在視域外部而不同。在圖3中所示的實(shí)例中，當(dāng)用戶在視域內(nèi)部時(shí)，環(huán)繞表明用戶的圖標(biāo)的框由實(shí)線繪出。當(dāng)用戶在視域外部時(shí)，環(huán)繞表明用戶的圖標(biāo)的框由虛線繪出。在圖3中所示的實(shí)例中，發(fā)現(xiàn)用戶A、用戶B在視域內(nèi)部，用戶C在視域外部。應(yīng)當(dāng)注意，盡管在圖3中所示的實(shí)例中環(huán)繞表明用戶的圖標(biāo)的框線類型(實(shí)線、虛線)依用戶的位置是否實(shí)施的視域內(nèi)部而不同，但是，例如框的形狀(矩形、三角形、圓形等)、顏色等的其他顯示形式也可依用戶的位置是否在視域內(nèi)部而不同。在顯示框302中顯示的圖像和顯示框305中顯示的鳥瞰視圖中，對(duì)于同一個(gè)用戶，在上部模塊中顯示相同的字母。因此，即使在存在多個(gè)用戶(即觀看者)時(shí)，單獨(dú)的用戶可以容易地理解用戶所處的位置。應(yīng)當(dāng)注意，盡管在圖3中對(duì)于同一個(gè)用戶顯示相同的字母，但是可以通過(guò)其他方法表明同一個(gè)用戶，例如框的顏色或形狀。顯示框305中的虛線305b表示成像元件119a的成像范圍的邊界。更具體地，由成像元件119a實(shí)際成像的在顯示框302中顯示的范圍是虛線305b的下面的范圍。因此，在顯示框305中可以省略顯示框305的左上范圍和右上范圍的顯示。(測(cè)試圖案的顯示)當(dāng)在顯示器113上顯示圖3中所示的觀看位置檢查屏幕，然后用戶按下操作模塊 115或遠(yuǎn)程控制器3上的藍(lán)色鍵時(shí)，控制器114指示OSD信號(hào)生成模塊109生成用于顯示三維圖像的測(cè)試圖案的圖像信號(hào)，并指示顯示器113顯示該信號(hào)。盡管在該實(shí)施方式中為移動(dòng)至測(cè)試圖案的操作分配了藍(lán)色鍵，但是可以分配其他操作鍵。OSD信號(hào)生成模塊109生成測(cè)試圖案的圖像信號(hào)，并將圖像信號(hào)輸出至顯示器113。三維圖像的測(cè)試圖案顯示在顯示器113上。通過(guò)測(cè)試圖案，用戶可以檢查在當(dāng)前位置是否能夠?qū)@示在顯示器113上的圖像作為三維體進(jìn)行觀看，也就是，是否位于視域內(nèi)部。(視域信息的更新)每次由自動(dòng)跟蹤或用戶的操作改變視域時(shí)，控制器114就再計(jì)算新視域的分布，并更新存儲(chǔ)在非易失性存儲(chǔ)器114c中的視域信息。(三維圖像處理器100的操作)圖4是示出了三維圖像處理器100的操作的流程圖。在下文中，將參考圖4描述三維圖像處理器100的操作。相機(jī)模塊119通過(guò)成像元件119a對(duì)三維圖像處理器100的前部成像(步驟S101)。面部檢測(cè)模塊11%從成像元件119a成像的圖像中檢測(cè)面部(步驟S102)。當(dāng)可以檢測(cè)到面部時(shí)(在步驟S102是“是”)，相機(jī)模塊119返回至步驟SlOl的操作。當(dāng)面部檢測(cè)模塊119b不能檢測(cè)到面部時(shí)(在步驟S102是“否”)，相機(jī)模塊119向控制器114傳送警報(bào)信號(hào)。一旦接收到警報(bào)信號(hào)，控制器114參照非易失性存儲(chǔ)器114c中存儲(chǔ)的警報(bào)屏幕顯示的設(shè)置，并檢查警報(bào)屏幕顯示的設(shè)置是否是打開的(步驟S103)。當(dāng)警報(bào)顯示屏幕顯示器的設(shè)置是打開的(在步驟S103是“是”)，那么控制器114指示OSD信號(hào)生成模塊109生成通知不能檢測(cè)到面部的圖像信號(hào)，并指示顯示器113顯示出該圖像信號(hào)。OSD信號(hào)生成模塊109基于來(lái)自控制器114的指令生成圖像信號(hào)，并將圖像信號(hào)輸出至顯示器113。在顯示器113上，顯示出圖2中所示的警報(bào)屏幕(步驟S104)。當(dāng)警報(bào)屏幕顯示的設(shè)置是關(guān)閉的(在步驟S103是“否”)，那么控制器114執(zhí)行稍后描述的步驟S106的操作。在顯示警報(bào)屏幕之后，控制器114判斷用戶是否按下了操作模塊115或遠(yuǎn)程控制器3上的藍(lán)色鍵(步驟S105)?？刂破?14依賴于控制器114是否已經(jīng)接收到與按下藍(lán)色鍵相對(duì)應(yīng)的操作信號(hào)做出判斷。當(dāng)已經(jīng)按下顏色鍵時(shí)(在步驟S105是“是”)，控制器114生成用于檢查三維圖像的觀看位置的圖像信號(hào)，并指示顯示器113顯示出該圖像信號(hào)。OSD信號(hào)生成模塊109基于來(lái)自控制器114的指令生成圖像信號(hào)，并將圖像信號(hào)輸出至顯示器113。在顯示器113上，顯示了圖3中示出的觀看位置檢查屏幕(步驟S106)。當(dāng)還未按下顏色鍵時(shí)(在步驟S105是“否”)，控制器114等待，直到按下顏色鍵。用戶檢查在顯示器113上顯示的觀看位置檢查屏幕，檢查用戶是否位于能夠三維識(shí)別三維圖像的區(qū)域(視域)內(nèi)，如果用戶不位于視域內(nèi)部，那么用戶移動(dòng)以便于其位置位于視域內(nèi)部。在顯示了觀看位置屏幕之后，控制器114判斷是否已經(jīng)按下了操作模塊115遠(yuǎn)程控制器3上的藍(lán)色鍵(步驟S107)。控制器114依賴于其是否已經(jīng)接收到與按下藍(lán)色鍵相對(duì)應(yīng)的操作信號(hào)做出判斷。當(dāng)已經(jīng)按下顏色鍵時(shí)(在步驟S107是“是”)，控制器114指示OSD信號(hào)生成模塊109生成用于顯示三維圖像的測(cè)試圖案的圖像信號(hào)，并指示顯示器113顯示出該圖像信號(hào)。OSD信號(hào)生成模塊109生成測(cè)試圖案的圖像信號(hào)，并將其輸出至顯示器113。在顯示器113上，顯示出三維圖像的測(cè)試圖案(步驟S108)。當(dāng)還未按下顏色鍵時(shí)(在步驟S107是“否”)，控制器114等待，直到按下顏色鍵。用戶檢查用戶實(shí)際上是否能夠三維觀看顯示器113上顯示的圖像(步驟109)。當(dāng)用戶可以三維觀看測(cè)試圖案時(shí)(在步驟S109是“是”)，用戶操作操作模塊115或遠(yuǎn)程控制器3上的確定鍵結(jié)束該操作。另一方面，當(dāng)用戶不能三維觀看測(cè)試圖案時(shí)(在步驟S109是“否”)，用戶操作操作模塊115或遠(yuǎn)程控制器3上的回退(返回)鍵，返回步驟S106的操作，并再次檢查觀看位置。如上所述，當(dāng)用戶的面部檢測(cè)已經(jīng)失敗時(shí)，在根據(jù)實(shí)施方式的三維圖像處理器100中的顯示器113上顯示圖2中所示的警報(bào)屏幕。因此，用戶能夠立刻意識(shí)到還未檢測(cè)到他或她的面部。進(jìn)一步，警報(bào)屏幕的顯示可以由設(shè)置打開或關(guān)閉，使得用戶更方便。在根據(jù)實(shí)施方式的三維圖像處理器100中，在顯示器113上顯示圖3中所示的觀看位置檢查屏幕。在觀看位置檢查屏幕的顯示框302中，顯示了由相機(jī)模塊119成像的圖像，以及當(dāng)已經(jīng)識(shí)別到用戶的面部時(shí)，由框環(huán)繞已識(shí)別的用戶的面部。因此，用戶可以容易 地檢查他或她的面部的方向和位置以及實(shí)際上是否識(shí)別到面部。進(jìn)一步，框的顯示形式(例如，形狀(矩形、三角形、圓形等)、顏色、框的線條種類(實(shí)線、虛線等))依用戶位于視域內(nèi)部還是位于視域外部而不同，用戶能夠容易地檢查用戶的位置是在視域外部還是在視域內(nèi)部。在觀看位置檢查屏幕的顯示框303中，顯示出不能檢測(cè)到面部時(shí)的圖像。因此，用戶能夠容易地理解為何面部檢測(cè)失敗。進(jìn)一步，在觀看位置檢查屏幕的顯示框304中，顯示出當(dāng)前的設(shè)置信息。因此，用戶能夠容易地得知當(dāng)前的設(shè)置狀態(tài)。而且，在觀看位置檢查屏幕的顯示框305中，將作為可以三維觀看三維圖像的區(qū)域的視域305a(斜紋線模塊)，和由位置計(jì)算模塊119d計(jì)算出的用戶的位置信息(表明用戶的圖標(biāo)、環(huán)繞圖標(biāo)的框)顯示為鳥瞰視圖。對(duì)于每個(gè)用戶的位置信息，提供的ID顯示在上部模塊中。由于環(huán)繞表明用戶的圖標(biāo)的框的顯示形式(例如，形狀(矩形、三角形、圓形等)、顏色、框的線條的種類(實(shí)線、虛線等))依用戶位于視域內(nèi)部還是視域外部而不同，所以用戶能夠容易地檢查用戶的位置是位于視域外部還是位于視域內(nèi)部。因此，通過(guò)參考在顯示框305中顯示的鳥瞰視圖，用戶能夠容易地理解他或她的面部是否被識(shí)別出，當(dāng)識(shí)別出時(shí)，面部位于視域305a內(nèi)部，并且，當(dāng)面部位于視域305a外部時(shí)，在哪個(gè)方向上移動(dòng)可使面部進(jìn)入視域305a內(nèi)。在顯示框302中顯示的圖像和顯示框305中顯示的鳥瞰視圖中，為同一個(gè)用戶顯示相同的ID。因此，即使當(dāng)存在多個(gè)用戶(即觀看者)時(shí)，單獨(dú)的用戶也能夠容易地理解用戶所處的位置。進(jìn)一步，通過(guò)執(zhí)行顯示圖3之后的預(yù)定操作，測(cè)試圖案顯示在顯示器113上。用戶通過(guò)測(cè)試圖案可以檢查用戶實(shí)際上是否可以三維觀看在顯示器113上顯示的圖像，使得用戶更方便。(其他的實(shí)施方式)
盡管已經(jīng)描述了某些實(shí)施方式，但是僅僅是通過(guò)實(shí)例的方式呈現(xiàn)這些實(shí)施方式，這些實(shí)施例并非旨在限定本發(fā)明的保護(hù)范圍。實(shí)際上，本文中所描述的新穎的實(shí)施方式可以是以多種其他形式的實(shí)施方式；而且，在不偏離本發(fā)明的精神的情況下，可以對(duì)本文中描述的實(shí)施方式進(jìn)行替代和改變。所附的權(quán)利要求及其等價(jià)物旨在涵蓋落在本發(fā)明的保護(hù)范圍和精神內(nèi)的這些形式或修改。盡管已經(jīng)描述了三維圖像處理器100，例如，在上述實(shí)施方式中以數(shù)字電視為例，本發(fā)明適用于向用戶呈現(xiàn)三維圖像的裝置(例如，PC(個(gè)人計(jì)算機(jī))、便攜式電話、平板個(gè)人電腦、游戲機(jī)等)和輸出圖像信號(hào)給呈現(xiàn)三維圖像的顯示器的信號(hào)處理器(例如，STB (機(jī)頂盒))。進(jìn)一步，盡管用戶的視域和用戶位置之間的關(guān)系已經(jīng)作為上述實(shí)施方式中的鳥瞰視圖(參考圖3)呈現(xiàn)給用戶，但是只要能夠理解用戶視域和用戶位置之間的位置關(guān)系，也可以使用除了鳥瞰視圖以外的其他視圖。進(jìn)一步，盡管在上述的實(shí)施方式中檢測(cè)用戶的面部、計(jì)算用戶的位置信息，但是可以使用其他的方法檢測(cè)用戶。在這種情況下，例如，可以檢測(cè)除了用戶的面部之外的模塊部分(例如，用戶的肩膀、上身等)。
權(quán)利要求
1.一種三維圖像處理設(shè)備，包括 成像模塊，被配置為對(duì)包括顯示器前方的區(qū)域進(jìn)行成像，所述顯示器顯示三維圖像； 面部檢測(cè)模塊，被配置為從所述成像模塊成像的圖像中檢測(cè)用戶的面部；以及 控制器，被配置為當(dāng)所述面部檢測(cè)模塊無(wú)法檢測(cè)到所述用戶的面部時(shí)，通知無(wú)法檢測(cè)到所述面部，以及控制所述顯示器顯示表明在其中所述三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。
2.根據(jù)權(quán)利要求I所述的設(shè)備，還包括 操作接收模塊，被配置為接收第一指令操作，以顯示所述第一圖像， 其中，當(dāng)所述操作接收模塊接收所述第一指令操作時(shí)，所述控制器控制所述顯示器顯示所述第一圖像。
3.根據(jù)權(quán)利要求I所述的設(shè)備，還包括 位置計(jì)算模塊，被配置為計(jì)算已由所述面部檢測(cè)模塊檢測(cè)出其面部的所述用戶的位置， 其中，當(dāng)由所述位置計(jì)算模塊計(jì)算出的所述用戶的位置位于在其中所述三維圖像被識(shí)別為三維體的所述區(qū)域外部時(shí)，所述控制器控制所述顯示器顯示所述面部被檢測(cè)出，以及所述用戶的位置在所述三維圖像在其中被識(shí)別為三維體的所述區(qū)域的外部。
4.根據(jù)權(quán)利要求3所述的設(shè)備， 其中，所述控制器控制所述顯示器在所述第一圖像上顯示由所述位置計(jì)算模塊計(jì)算出的所述用戶的位置。
5.根據(jù)權(quán)利要求I所述的設(shè)備， 其中，所述控制器控制所述顯示器顯示由所述成像模塊成像的圖像。
6.根據(jù)權(quán)利要求3所述的設(shè)備， 其中，所述控制器依據(jù)由所述位置計(jì)算模塊計(jì)算出的所述用戶的位置是否位于在其中所述三維圖像被識(shí)別為三維體的所述區(qū)域內(nèi)部，控制所述顯示器以不同的顯示形式顯示由所述成像模塊成像的圖像中的所述用戶。
7.根據(jù)權(quán)利要求4所述的設(shè)備， 其中，所述控制器依據(jù)由所述位置計(jì)算模塊計(jì)算出的所述用戶的位置是否位于在其中所述三維圖像被識(shí)別為三維體的所述區(qū)域內(nèi)部，控制所述顯示器在所述第一圖像上以不同的顯示形式顯示所述用戶的位置信息。
8.根據(jù)權(quán)利要求5所述的設(shè)備， 其中，所述控制器控制所述顯示器以相關(guān)聯(lián)的方式顯示在要顯示的由所述成像模塊成像的圖像中的所述用戶和要在所述第一圖像上顯示的所述用戶的位置。
9.根據(jù)權(quán)利要求2所述的設(shè)備， 其中，所述操作接收模塊接收第二指令操作，以顯示測(cè)試圖案，用于檢查所述三維圖像是否可識(shí)別為三維體；以及 其中，當(dāng)所述操作接收模塊接收所述第二指令操作時(shí)，所述控制器控制所述顯示器顯示所述測(cè)試圖案。
10.根據(jù)權(quán)利要求I所述的設(shè)備， 其中，當(dāng)所述用戶的面部無(wú)法檢測(cè)時(shí)，所述控制器控制所述顯示器顯示在所述面部無(wú)法檢測(cè)時(shí)的第二圖像。
11.一種三維圖像處理設(shè)備，包括 成像模塊，被配置為對(duì)包括顯示器前方的區(qū)域進(jìn)行成像，所述顯示器顯示三維圖像；檢測(cè)模塊，被配置為從所述成像模塊成像的圖像中檢測(cè)用戶；以及控制器，被配置為當(dāng)所述檢測(cè)模塊無(wú)法檢測(cè)到所述用戶時(shí)，通知無(wú)法檢測(cè)到所述用戶，以及控制所述顯示器顯示表明在其中所述三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。
12.根據(jù)權(quán)利要求11所述的設(shè)備， 其中，所述控制器依據(jù)所述用戶的位置是否處于在其中所述三維圖像被識(shí)別為三維體的所述區(qū)域內(nèi)部，控制所述顯示器以不同的顯示形式顯示由所述成像模塊成像的圖像以及顯示由所述成像模塊成像的圖像中的所述用戶。
13.根據(jù)權(quán)利要求11所述的設(shè)備， 其中，所述控制器依據(jù)所述用戶的位置是否處于在其中所述三維圖像被識(shí)別為三維體的所述區(qū)域內(nèi)部，控制所述顯示器在所述第一圖像上以不同的顯示形式顯示所述用戶的位置信息。
14.一種三維圖像處理方法，包括 從成像模塊所成像的圖像中檢測(cè)用戶的面部，其中，所述成像模塊對(duì)包括顯示器前方的區(qū)域進(jìn)行成像；以及 當(dāng)所述用戶的面部無(wú)法檢測(cè)時(shí)，通知無(wú)法檢測(cè)到所述面部，并控制所述顯示器顯示表明在其中所述三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。
全文摘要
本發(fā)明公開了一種三維圖像處理設(shè)備和三維圖像處理方法。在一個(gè)實(shí)施方式中，三維圖像處理設(shè)備包括成像模塊，被配置為對(duì)包括顯示器前方的區(qū)域進(jìn)行成像；面部檢測(cè)模塊，被配置為從由所述成像模塊成像的圖像中檢測(cè)用戶的面部；以及控制器，被配置為當(dāng)面部檢測(cè)模塊無(wú)法檢測(cè)到用戶的面部時(shí)，通知無(wú)法檢測(cè)到該面部，并控制所述顯示器顯示表明在其中三維圖像被識(shí)別為三維體的區(qū)域的第一圖像。
文檔編號(hào)H04N13/00GK102970553SQ20121011963
公開日2013年3月13日 申請(qǐng)日期2012年4月20日 優(yōu)先權(quán)日2011年8月31日
發(fā)明者桑原一貴 申請(qǐng)人:株式會(huì)社東芝