專利名稱：圖像處理方法、圖像處理裝置以及顯示裝置的制作方法
圖像處理方法、圖像處理裝置以及顯示裝置技術(shù)領(lǐng)域
本公開涉及一種圖像處理方法、圖像處理裝置以及顯示裝置。
背景技術(shù)：
已知，利用左眼圖像(L圖像)和右眼圖像(R圖像)的立體圖像(原始圖像)以及視差信息(parallax information)來生成所需的生成相位的插值圖像。所生成的插值圖像作為多視點圖像中的一個單視點圖像而被顯示在可立體顯示的顯示裝置上的預(yù)定位置處。
原始圖像的視差信息表示立體圖像的深度方向有關(guān)的信息。例如，可以通過提取L 圖像和R圖像在水平方向上的偏移量作為視差，以獲取原始圖像的視差信息。當(dāng)生成在立體圖像之間進(jìn)行差值而得的插值圖像時使用該視差。然而，當(dāng)利用從L圖像和R圖像提取的視差圖(disparity map)來生成插值圖像時，在某些情況下，會因為視差提取誤差而生成插值誤差。其中一個插值誤差的實例是，已繪制了表示前景的像素的插值圖像的坐標(biāo)被表示背景的像素覆蓋。結(jié)果，前景會被插值圖像的一部分所侵蝕，并且插值圖像的質(zhì)量劣化。
為了解決這個問題，日本專利申請公開號JP-A-2010-78768公開了一種技術(shù)，其中，當(dāng)利用視差來生成圖像時，執(zhí)行寫入是從擁有更大深度值的像素(即，具有更深深度的像素)開始的，因而能夠避免前景的像素被背景的像素所覆蓋。發(fā)明內(nèi)容
然而，利用日本專利申請公開號JP-A-2010-78768所公開的技術(shù)，對原始圖像中的每個像素都要進(jìn)行視差大小的比較。結(jié)果，處理負(fù)載加大，而且該技術(shù)效率不高。
此外，例如，當(dāng)通過動態(tài)規(guī)劃(DP)匹配來提取L圖像與R圖像之間的視差時，如圖1所示，如果一個物體被繪制在原始圖像L和R中的每一個中，L圖像和R圖像的視差圖L 和R中的區(qū)域La與Lb是遮擋區(qū)，在該區(qū)中，L圖像和R圖像的左右圖像之間沒有對應(yīng)關(guān)系。 因此，一般在遮擋區(qū)中，得不到視差值或出現(xiàn)誤差的可能性很高。所以，在這種情況下，即使按照日本專利申請公開號JP-A-2010-78768中所公開的那樣，對原始圖像中的所有像素都進(jìn)行視差大小比較，在該視差本身中出現(xiàn)提取誤差的可能性也會很高。結(jié)果，前景的像素被背景的像素覆蓋的這個現(xiàn)象不能完全避免。
鑒于此，需要一種可減少視差提取誤差并且生成高質(zhì)量圖像的圖像處理方法、圖像處理裝置以及顯示裝置。
根據(jù)本公開的一個實施方式，提供了一種圖像處理方法，包括獲取原始圖像；以及，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系，來生成該區(qū)域中像素的視差信息，所述至少兩個像素臨近或接近該區(qū)域中的像素，并且被包括在從其提取或獲取視差信息的像素中。
根據(jù)本公開的另一實施方式，提供了一種圖像處理裝置，包括獲取部，獲取原始圖像；生成部，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素， 根據(jù)至少兩個像素的視差信息的大小關(guān)系，來生成該區(qū)域中像素的視差信息，所述至少兩個像素臨近或接近該區(qū)域中的像素，并且被包括在從其提取或獲取視差信息的像素中。
根據(jù)本公開的另一實施方式，提供了一種顯示裝置，包括獲取部，獲取原始圖像； 生成部，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系，來生成該區(qū)域中像素的視差信息，所述至少兩個像素臨近或接近該區(qū)域中的像素，并且被包括在從其提取或獲取視差信息的像素中；以及顯示控制部，利用所生成的視差信息來控制原始圖像的顯示。
如上所述，根據(jù)本公開實施方式的圖像處理，可減少視差提取誤差從而生成高質(zhì)量圖像。


圖1是示出視差圖內(nèi)的遮擋區(qū)的圖2是說明根據(jù)比較例的遮擋區(qū)插值法以及根據(jù)本公開的實施方式的遮擋區(qū)插值法的圖3是示出利用圖2所示的插值法對遮擋區(qū)進(jìn)行插值所得到的結(jié)果的圖4是根據(jù)本公開的實施方式的圖像處理裝置的功能配置圖5是示出根據(jù)本公開的實施方式中執(zhí)行的圖像處理的流程圖6是示出根據(jù)本公開的實施方式中執(zhí)行的視差圖生成處理的流程圖7是示出插值前后的視差值的實例的圖8是說明根據(jù)第一變形例的遮擋區(qū)插值法的圖；
圖9是說明根據(jù)第一變形例的插值法的圖10是說明根據(jù)第二變形例的遮擋區(qū)插值法的圖；以及
圖11是說明根據(jù)第二變形例的插值法的圖。
具體實施方式
在下文中，本公開的優(yōu)選實施方式將會根據(jù)附圖被詳細(xì)描述。注意，在此說明書和附圖中，實質(zhì)上有相同功能和結(jié)構(gòu)的結(jié)構(gòu)元素，被標(biāo)有相同的參考數(shù)字，并且省略了關(guān)于這些結(jié)構(gòu)元素的重復(fù)說明。
注意，會按照以下順序進(jìn)行說明。
1.介紹
1.1.視差與遮擋
2.本公開的實施方式
2.1.遮擋區(qū)插值法的比較
2. 2.比較結(jié)果
2. 3.圖像處理裝置的功能
2.4.圖像處理裝置的操作
2. 5.有利效果的實例
3.第一變形例
4.第二變形例
1.介紹
1.1.視差與遮擋
首先,將會簡要說明視差(disparity)和遮擋區(qū)(occlusion area)。作為原始圖像的L圖像與R圖像的視差信息表示有關(guān)立體圖像深度方向的信息。例如，可以通過提取L 圖像和R圖像在水平方向上的偏移量作為視差，從而獲得視差信息。注意，雖然在下文中， 提取視差圖作為視差信息，但不一定使用圖格式。此外，視差信息不限于表示L圖像與R圖像在水平方向上的偏移量的視差，并且它也可以是表示L圖像與R圖像在垂直方向上的偏移量的信息或其他深度信息。
例如，當(dāng)使用DP匹配來生成L圖像與R圖像的視差圖時，圖1所示的視差圖L與 R的區(qū)域La與Lb是遮擋區(qū)，即，不能被相機(jī)在視覺上識別的區(qū)域，因為有物體存在于前景中。在這種遮擋區(qū)中，L圖像與R圖像的左圖和右圖之間沒有對應(yīng)關(guān)系。因此，在遮擋區(qū)中，一般來說，得不到視差值(在這種情況下，一初始值被設(shè)定作為視差值)或者生成誤差的可能性很高。所以，當(dāng)生成插值圖像時，不能首先進(jìn)行圖像生成的計算，并且插值圖像會退化。這樣，如果是利用遮擋區(qū)的實際視差值來生成插值圖像，則不僅會生成前景像素被背景像素覆蓋的現(xiàn)象，還會生成插值圖像退化的現(xiàn)象。為了解決這個問題，下文首先將說明一種遮擋區(qū)插值法以進(jìn)一步減少視差提取誤差。
2.本公開的實施方式
2.1.遮擋區(qū)插值法的比較
圖2是示出關(guān)于原始圖像在水平方向的給定直線上X坐標(biāo)的視差值的圖。圖2的上部示出根據(jù)比較例的插值法，而圖2的下部示出根據(jù)本公開實施方式的插值法。在上部示出的比較例中，遮擋區(qū)線性連接至該遮擋區(qū)的左右視差值，并且該遮擋區(qū)的視差也由此線性插值來估計。
另一方面，在下部示出的本公開實施方式中，搜索遮擋區(qū)的左右區(qū)域從而獲取了左右視差值?；谒@取的左右視差值之間的大小關(guān)系，確定表不更深深度的視差值，所確定的值被設(shè)定為遮擋區(qū)的視差值。在本公開的實施方式中，定義左右視差值中較小的值表示更深的深度。因此，左右視差值中較小的值(例如，圖2中左視差值)被估計作為遮擋區(qū)的視差值。
注意，視差值之間的大小關(guān)系以及前景或背景的確定根據(jù)如何定義表示視差值的數(shù)值而改變。例如，同本公開的實施方式相比，如果定義視差值，使得表示前景的數(shù)值小于表示背景的數(shù)值，則上述控制之間的關(guān)系以及視差值之間的大小關(guān)系就會反轉(zhuǎn)。更具體地， 因為左右視差值中較大的數(shù)值代表了更深的深度，所以左右視差值中較大的數(shù)值(如圖2 中所示的右視差值)就被估計作為遮擋區(qū)的視差值。
注意，雖然在圖2中只示出視差圖的一條水平線，但是視差提取處理是對包含在原始圖像中的多條水平線執(zhí)行的，并且插值處理也是對每一條存在遮擋區(qū)的線執(zhí)行的。
2. 2.比較結(jié)果
圖3示出利用圖2中的兩種遮擋區(qū)插值法所得到的結(jié)果。在比較結(jié)果時，在上部示出的比較例中，背景與前景中的物體之間的邊界線在遮擋區(qū)中變得模糊。與此相比，在下部示出的本公開實施方式中，背景與前景中的物體之間的邊界線很清晰，并且前景沒有被背景所覆蓋，這樣就避免了視差提取誤差。基于上述內(nèi)容發(fā)現(xiàn)，當(dāng)利用根據(jù)本公開實施方式的遮 擋區(qū)插值法時，可更準(zhǔn)確地確定遮擋區(qū)的視差值，從而生成高質(zhì)量圖像。
鑒于此，下文中將會逐步闡述應(yīng)用本公開實施方式中遮擋區(qū)插值法(圖像處理方法)的圖像處理裝置的操作與功能。2. 3.圖像處理裝置的功能
首先，將會參照圖4說明根據(jù)本公開實施方式的圖像處理裝置10的功能配置。根據(jù)本公開實施方式的圖像處理裝置10包括獲取部105、生成部110、圖像處理部115、存儲部 120以及顯示控制部125。
獲取部105獲取內(nèi)容的L圖像與R圖像的立體圖像(原始圖像)。可獲取的內(nèi)容信息只包括立體圖像的視頻信號，或者包括立體圖像的視頻信號和視差值，如同在計算機(jī)圖形學(xué)(CG)中。
當(dāng)獲取部105獲取L圖像與R圖像后，生成部110會基于L圖像與R圖像水平方向的偏移量來提取視差值，并生成視差圖。
注意，視差圖只是視差信息的一個實例，視差信息不一定要用圖格式來表達(dá)。生成部110將會對所獲取的立體圖像的遮擋區(qū)中的像素進(jìn)行插值處理，遮擋區(qū)是不從中提取或獲取視差信息的區(qū)域。更具體地，生成部110根據(jù)臨近遮擋區(qū)的左右像素的視差值之間的大小關(guān)系，來確定遮擋區(qū)中的像素的視差。
還要注意，當(dāng)獲取部105 —并獲取視差以及立體圖像時，如果存在遮擋區(qū)，則生成部110根據(jù)本實施方式的插值法來提取視差。通過此種做法，可降低視差提取誤差從而生成高質(zhì)量圖像。
圖像處理部115從L圖像與R圖像的立體圖像并且從各圖像的視差圖生成期望相位(生成相位)的插值圖像。
存儲部120存儲所生成的視差圖與插值圖像。
顯示控制部125利用所生成的視差值來控制原始圖像以及插值圖像的顯示。通過此種做法，可以在顯示器上以立體方式顯示多視點圖像。注意，顯示器不一定以立體方式顯示多視點圖像的內(nèi)容，還可以執(zhí)行2D顯示。顯示器可以是能夠在3D顯示和2D顯示之間進(jìn)行切換的顯示器，或者是能夠同時對各預(yù)定區(qū)域進(jìn)行3D顯示和2D顯示的顯示器。
注意，生成部110、圖像處理部115與顯示控制部125的功能例如可以通過中央處理器(CPU)(未圖示)根據(jù)存儲在存儲部120中的程序來運行而實現(xiàn)。程序可以是通過被存儲在存儲介質(zhì)上而提供的、并且經(jīng)由驅(qū)動器(未圖示)被讀入存儲部120的程序。此外，程序可以是從網(wǎng)上下載并且被存儲在存儲部120中的程序。此外，為了能夠?qū)崿F(xiàn)上述各部分的功能，可使用數(shù)字信號處理器(DSP)來代替CPU。存儲部120可以使用，例如，半導(dǎo)體存儲器、磁盤、或者隨機(jī)存取存儲器(RAM)、或是使用光盤的只讀存儲器(ROM)等來實現(xiàn)。此外， 上述各部分的功能可被實現(xiàn)為使得各部分使用軟件來運行，或者可被實現(xiàn)為使得各部分使用硬件來運行。
2. 4.圖像處理裝置的操作
接下來，將會參照圖5說明根據(jù)本公開實施方式的圖像處理裝置10的操作。圖5 是示出根據(jù)本公開實施方式的圖像處理的流程圖。
當(dāng)圖像處理開始時，在步驟S205中，獲取部105獲取L圖像與R圖像的立體圖像。 接下來，在步驟S210中，生成部110從L圖像與R圖像生成視差圖，圖6示出了詳細(xì)的生成處理。
在視差圖生成處理中，在步驟S305，生成部110提取視差或者輸入由獲取部105所獲取的視差值。例如，生成部Iio生成了 L圖像的視差圖與R圖像的視差圖。例如，圖7的上部示出對遮擋區(qū)進(jìn)行插值前L圖像(或R圖像)的視差值。視差代表了 L圖像與R圖像之間的偏移量。所以，例如，如果視差值是“20”，這表示，與由“20”表示的視差對應(yīng)的L圖像的影像信息，和在水平方向上從L圖像的坐標(biāo)偏移了 20個像素的R圖像的與由“20”表示的視差對應(yīng)的R圖像的影像信息，是同一視頻。而且，在本實施方式中，視差值“O”表示背景，并且表示在L圖像與R圖像之間沒有偏移。與大于“O”的視差值對應(yīng)的圖像表示前景。 此外，雖然在本實施方式中，每一個視差值的初始值都被設(shè)定為“-1”，但是初始值不局限于本例。
在步驟S310中，從左端像素開始進(jìn)行處理。例如，對于圖7中上部示出的水平線 (插值前的視差值)，像素編號(像素編號)為I的左端像素的視差被提取。在步驟S315中， 生成部110判斷左端像素是否在遮擋區(qū)中。關(guān)于左端像素是否在遮擋區(qū)中的判斷是基于視差值是否是初始值“-1”來確定的。在遮擋區(qū)中，沒有與L圖像和R圖像中的一個對應(yīng)的圖像。所以，遮擋區(qū)是不能生成視差值的區(qū)域，因此，其視差值保持為初始值“-1”。
所以，當(dāng)確定了視差值不是“-1”時，生成部110判斷出確定目標(biāo)像素位于遮擋區(qū)夕卜，沒有必要進(jìn)行插值處理。在步驟S320中，生成部110將確定目標(biāo)像素向右移一個像素。 以此方式，生成部110在確定目標(biāo)像素每次右移一個像素的同時重復(fù)步驟S315和步驟S320 中的處理，直到判斷出視差值為“-1”。
對于圖7上部示出的水平線，生成部110重復(fù)步驟S315和步驟S320，直到像素編號達(dá)到“7”。當(dāng)像素編號達(dá)到“7”時，生成部判斷出視差值為“-1”，并且處理前進(jìn)至步驟 S325，以對遮擋區(qū)的視差值執(zhí)行插值處理。
在步驟S325中，首先，為了比較鄰近遮擋區(qū)的左右像素的視差值的大小，生成部 Iio將相鄰于遮擋區(qū)的左側(cè)像素(即6號像素)的視差值存儲為Left dspval。下一步，在步驟S330中，生成部110將確定目標(biāo)像素右移一個像素。在步驟S335中，生成部判斷確定目標(biāo)像素是否 在遮擋區(qū)中。當(dāng)判斷出視差值為“-1”時，確定目標(biāo)像素位于遮擋區(qū)中，并且然后，處理返回到步驟S330。生成部110在確定目標(biāo)像素每次右移一個像素的同時重復(fù)步驟 S330與步驟S335中的處理，直到判斷出視差值不為“-1”。
當(dāng)判斷出視差值不為“-1”時，處理轉(zhuǎn)到步驟S340，并且生成部110將相鄰于遮擋區(qū)的右側(cè)像素(即11號像素)的視差值存儲為Right_dspval。接下來，在步驟S345中，生成部110比較相鄰于遮擋區(qū)的左右像素的視差值Left_dspval和Right_dspval的大小。當(dāng)確定結(jié)果是Left_dspval的值小于Right_dspval的值時,生成部110就判定與遮擋區(qū)相鄰的左側(cè)像素的像素是背景，而與遮擋區(qū)相鄰的右側(cè)像素是前景。處理進(jìn)行到步驟S350，被確定作為背景的值Left_dSpval代替作為遮擋區(qū)的視差值。另一方面，當(dāng)確定結(jié)果是Right_ dspval的值小于Left_dspval的值時，生成部就判定與遮擋區(qū)相鄰的右側(cè)像素是背景，與遮擋區(qū)相鄰的左側(cè)像素是前景。處理進(jìn)行到步驟S355，并且被確定作為背景的值Right_ dspval代替作為遮擋區(qū)的視差值。
在圖7的上部的情況下，6號像素的Left_dspval值是“0”，11號像素的Right_ dspval值是“20”。因此，生成部110判定與遮擋區(qū)相鄰的左側(cè)6號像素是背景，與遮擋區(qū)相鄰的右側(cè)11號像素是前景，生成部110用被確定作為背景的Left_dSpval值“O”來替代遮擋區(qū)的視差值。結(jié)果，圖7下部中由水平線示出的插值后的遮擋區(qū)的視差值被改為“O”， 這與鄰接遮擋區(qū)的左側(cè)6號像素有相同的視差值。結(jié)果，可避免因遮擋區(qū)的視差提取誤差而導(dǎo)致的遮擋區(qū)中背景覆蓋前景，并且可避免前景的侵蝕。
接下來，處理前進(jìn)至圖6示出的步驟S360。在遮擋區(qū)中，生成部110用遮擋區(qū)的右像素的視差值來替代左像素的視差值Left_dspval,并且進(jìn)行存儲。然后,處理進(jìn)行至步驟S365，生成部110判斷在同一條線上是否有更右邊的像素。當(dāng)存在像素時，生成部在步驟 S370中將確定目標(biāo)像素右移一個像素，并且處理返回到步驟S315。生成部重復(fù)步驟S315 到步驟S370的處理，直到在步驟S365判斷出在同一條線上沒有更右邊的像素。當(dāng)在步驟 S365判斷出在同一條線上沒有更右邊的像素時，生成部110結(jié)束此處理。
回到圖5，在上面的遮擋區(qū)插值處理被應(yīng)用至L圖像與R圖像的視差圖生成之后， 步驟S215中L圖像的插值圖像生成處理和步驟S220中R圖像的插值圖像生成處理被執(zhí)行。 詳細(xì)地說，圖像處理部115從L圖像和R圖像的立體圖像以及從各圖像的視差圖，生成期望相位(生成相位)的插值圖像，然后結(jié)束此圖像處理。所生成的視差圖與插值圖像被存儲在存儲部120中。
2. 5.有利效果的實例
如上所述，遮擋區(qū)的視差很可能難以精確得到。而另一方面，遮擋區(qū)很可能是被前景中的物體所遮擋的背景區(qū)域。基于此理論，搜索遮擋區(qū)左右的區(qū)域，并且確定相鄰于遮擋區(qū)的視差有效區(qū)域。然后，在左右視差有效區(qū)域的視差值中，表示更深深度的視差值代替了遮擋區(qū)的視差值。
以此方式，基于左右視差值之間的大小關(guān)系確定表示更深深度的視差值，并且所確定的視差值被設(shè)定作為遮擋區(qū)的視差值。這樣，例如如圖3所示，背景與前景中的物體之間的界限變得清晰，并且前景沒有被背景所覆蓋，從而降低了視差提取誤差。因此，利用根據(jù)本公開實施方式的遮擋區(qū)插值法，可更準(zhǔn)確地確定遮擋區(qū)的視差值，并且可生成和顯示高質(zhì)量圖像。
注意到，在本實施方式中，遮擋區(qū)的左右區(qū)域被搜索，并且基于相鄰于遮擋區(qū)的視差有效區(qū)域中的像素(圖7中的6號像素與11號像素)的視差值之間的大小關(guān)系，表示更深深度的視差值代替了遮擋區(qū)的視差值。然而，不限于此實例，在接近遮擋區(qū)的像素(例如圖 7中的5號像素與12號像素)中，表示更深深度的視差值也可以代替遮擋區(qū)的視差值。
此外，在本實施方式中，遮擋區(qū)的左右區(qū)域被搜索。然而，不限于此實例，遮擋區(qū)的上下區(qū)域可被搜索，并且基于相鄰或接近遮擋區(qū)的像素的視差值之間的大小關(guān)系，表示更深深度的視差值可以代替遮擋區(qū)的視差值。
3.第一變形例
在下文中，將參照圖8與圖9來闡述本公開的上述實施方式的第一變形例。在本公開的上述實施方式中，如圖2下部所示，遮擋區(qū)中的所有視差值被設(shè)定為一樣的值，即左右視差值中表示更深深度的視差值。然而，在圖8所示的第一變形例中，遮擋區(qū)的視差值可以用貝塞爾曲線(Bezier curve)進(jìn)行插值。
具體來講，生成部110利用遮擋區(qū)以及遮擋區(qū)兩端的視差值(點P0、P1、P2和P3的坐標(biāo)的視差值)，應(yīng)用貝塞爾曲線對遮擋區(qū)進(jìn)行插值。在這里，將參照圖9說明貝塞爾曲線的一種算法，其中使用由四個控制點P0、P1、P2和P3代表的三階貝塞爾曲線。
點PO、P1、P2和P3是給出的控制點。此處，為了從貝塞爾曲線的點PO獲得在比例為t (0〈t〈l)的位置上的點的坐標(biāo)，執(zhí)行以下計算。
1.首先，算出將三條線段PO-Pl、P1_P2和P2-P3分別以t: l_t比例分開的三個點 P4、P5和P6。該三條線段通過順序地連接控制點而獲得。
2.然后，算出將兩條線段P4-P5和P5-P6再次分別以比例t: l_t比例分開的點P7 與P8。該兩條線段通過順序地連接控制點P4、P5和P6而獲得。
3.最后，算出將連接P7和P8兩點的線段P7-P8再次以比例t: l_t比例分開的點 P9。計算出的點P9被設(shè)定為貝塞爾曲線上的一個點。
4.在0〈t〈l的范圍內(nèi)，重復(fù)進(jìn)行從I到3的處理，這樣，將獲得具有四個控制點PO、 P1、P2和P3的三階貝塞爾曲線。
相比于根據(jù)本實施方式的利用水平線進(jìn)行遮擋區(qū)插值的方法，或相比于根據(jù)比較例的利用斜線進(jìn)行遮擋區(qū)插值的方法，根據(jù)第一變形例，會更平滑地表現(xiàn)深度變化。即便在遮擋區(qū)中發(fā)生視差提取誤差，視差值也不會迅速改變，并且因此能夠在插值圖像中掩蓋誤差。而且，相比于根據(jù)比較例利用斜線進(jìn)行遮擋區(qū)插值的方法，能夠降低背景覆蓋前景的幾率以及視差提取誤差。同時，即便當(dāng)由于遮擋區(qū)兩端上的視差值之間的差而使得直線的傾斜具有較大值時，插值也可以順利執(zhí)行。
4.第二變形例
在下文中，將參照圖10和圖11說明本公開的上述實施方式的第二變形例。在第一變形例中，貝賽爾曲線被用來估計遮擋區(qū)的視差值。相比之下，在第二變形例中，如圖10 所示，sigmoid曲線(sigmoid curve, S形曲線)被用來估計遮擋區(qū)的視差值。
現(xiàn)在,來說明sigmoid曲線。sigmoid函數(shù)是實函數(shù)，由圖11中的表達(dá)式(I)表示，并且由圖11 (當(dāng)增益為5時的sigmoid曲線)的上部中示出的圖中的曲線表示。注意， 表達(dá)式(I)中的“a”稱為增益。
狹義上講，當(dāng)由圖11中的表達(dá)式(2)表示的增益“a”等于I時，sigmoid函數(shù)表示標(biāo)準(zhǔn)sigmoid函數(shù)。標(biāo)準(zhǔn)sigmo id函數(shù)由圖11下部的圖中的曲線表示。
在下文中，將會描述廣義上的sigmoid函數(shù)。而對于標(biāo)準(zhǔn)sigmoid函數(shù),可代入 a= I ο
術(shù)語sigmoid也可被稱為sigmoid曲線,意味著與希臘字母σ (表達(dá)式(I)和表達(dá)式(2)中的“S”)的形狀相似的形狀。注意，當(dāng)簡單地使用術(shù)語sigmoid或者sigmoid曲線時，通常它們均指代與sigmoid函數(shù)具有類似特性的一類函數(shù)(累積正態(tài)分布函數(shù)、龔帕茲函數(shù)等)。
根據(jù)第二變形例，當(dāng)遮擋區(qū)兩端的傾斜是平的時，與用水平線或者斜線對遮擋區(qū)進(jìn)行插值的方法相比，能夠平滑地對遮擋區(qū)進(jìn)行插值并且能平滑地表現(xiàn)深度變化。所以，即便假設(shè)遮擋區(qū)兩端的物體邊界位于遮擋區(qū)的中心，也可以掩蓋插值圖像的生成誤差，并且能夠獲得具有高圖像質(zhì)量的插值圖像。
在上文中，參考附圖詳細(xì)說明了本公開的實施方式。但是，本公開的技術(shù)范圍不限于上述實例。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計需求和其他因素，在所附權(quán)利要求或其等價物范圍內(nèi)，可以進(jìn)行各種修改、組合、子組合以及更改。
例如，在上述實施方式中，水平方向的偏移量被提取出來作為視差。然而，本公開并不限于此實例。例如，在本公開中，垂直方向的偏移量也可以被提取出來作為視差。
例如，在上述實施方式中，左眼圖像(L圖像)和右眼圖像(R圖像)是原始圖像的實例。然而，本實施方式并不限于此實例，如果原始圖像是以不同角度捕獲的兩個圖像就足夠了。
另外，本技術(shù)可以配置如下。
(I) 一種圖像處理方法，包括
獲取原始圖像；以及
對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述至少兩個像素與所述區(qū)域中的像素相鄰或接近并且被包括在從其提取或獲取視差信息的像素中。
(2)根據(jù)(I)的圖像處理方法，其中
對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的所述區(qū)域中的像素， 根據(jù)兩端上的像素的視差信息的大小關(guān)系·生成所述區(qū)域中的像素的視差信息，所述兩端上的像素與所述區(qū)域中的像素相鄰并且被包括在從其提取或獲取與所述區(qū)域中的像素同一條線的視差信息的像素中。
(3 )根據(jù)(I)或(2 )的圖像處理方法，進(jìn)一步包括
基于所述視差信息的大小關(guān)系，確定兩側(cè)上的與所述區(qū)域中的像素相鄰或接近的像素的影像信息在深度方向上的前后關(guān)系，
其中，當(dāng)判斷出一側(cè)上的像素的影像信息與另一側(cè)上的像素的影像信息相比更處于背景中時，使用所述一側(cè)上的像素的視差信息作為所述區(qū)域中的像素的視差信息。
(4)根據(jù)(I)到(3)中任何一個的圖像處理方法，其中，
對于所獲取的原始圖像在水平方向上的每條線，生成所述區(qū)域中的像素的視差信肩、O
(5 )根據(jù)(I)到(4 )中任何一個的圖像處理方法，其中，
通過生成所述區(qū)域中的像素的視差信息來創(chuàng)建根據(jù)所獲取的原始圖像的視差圖。
(6)根據(jù)(I)、(2)、(4)和(5)中任何一個的圖像處理方法，其中，
基于所述視差信息的大小關(guān)系，使用貝塞爾曲線和sigmoid曲線中的一個來生成所述區(qū)域中的像素的視差信息。
(7) 一種圖像處理裝置，包括
獲取部，獲取原始圖像；以及
生成部，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述至少兩個像素與所述區(qū)域中的像素相鄰或接近并且被包括在從其提取或獲取視差信息的像素中。
(8)—種顯示裝置，包括
獲取部，獲取原始圖像；
生成部，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述至少兩個像素與所述區(qū)域中的像素相鄰或接近并且被包括在從其提取或獲取視差信息的像素中；以及
顯示控制部，使用所生成的視差信息控制所述原始圖像的顯示。
本申請包含的主題涉及于2011年7月21日向日本專 利局提交的日本在先專利申請JP 2011-159802中所公開的主題，其全部內(nèi)容通過引用結(jié)合于此。
權(quán)利要求
1.一種圖像處理方法，包括 獲取原始圖像；以及 對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述至少兩個像素與所述區(qū)域中的像素相鄰或接近并且被包括在從其提取或獲取視差信息的像素中。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其中， 對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的所述區(qū)域中的像素，根據(jù)兩端上的像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述兩端上的像素與所述區(qū)域中的像素相鄰并且被包括在從其提取或獲取與所述區(qū)域中的像素同一條線的視差信息的像素中。
3.根據(jù)權(quán)利要求1所述的圖像處理方法，進(jìn)一步包括 基于所述視差信息的大小關(guān)系，確定兩側(cè)上的與所述區(qū)域中的像素相鄰或接近的像素的影像信息在深度方向上的前后關(guān)系， 其中，當(dāng)判斷出一側(cè)上的像素的影像信息與另一側(cè)上的像素的影像信息相比更處于背景中時，使用所述一側(cè)上的像素的視差信息作為所述區(qū)域中的像素的視差信息。
4.根據(jù)權(quán)利要求1所述的圖像處理方法，其中， 對于所獲取的原始圖像在水平方向上的每條線，生成所述區(qū)域中的像素的視差信息。
5.根據(jù)權(quán)利要求1所述的圖像處理方法，其中， 通過生成所述區(qū)域中的像素的視差信息來創(chuàng)建根據(jù)所獲取的原始圖像的視差圖。
6.根據(jù)權(quán)利要求1所述的圖像處理方法，其中， 基于所述視差信息的大小關(guān)系，使用貝塞爾曲線和sigmoid曲線中的一個來生成所述區(qū)域中的像素的視差信息。
7.根據(jù)權(quán)利要求1所述的圖像處理方法，其中， 所述原始圖像是以不同角度捕獲的兩個圖像。
8.一種圖像處理裝置，包括 獲取部，獲取原始圖像；以及 生成部，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述至少兩個像素與所述區(qū)域中的像素相鄰或接近并且被包括在從其提取或獲取視差信息的像素中。
9.一種顯示裝置，包括 獲取部，獲取原始圖像； 生成部，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述至少兩個像素與所述區(qū)域中的像素相鄰或接近并且被包括在從其提取或獲取視差信息的像素中；以及 顯示控制部，使用所生成的視差信息控制所述原始圖像的顯示。
全文摘要
提供了一種圖像處理方法、圖像處理裝置以及顯示裝置。該圖像處理方法包括獲取原始圖像；以及，對于所獲取的原始圖像內(nèi)的未被從中提取或獲取視差信息的區(qū)域中的像素，根據(jù)至少兩個像素的視差信息的大小關(guān)系生成所述區(qū)域中的像素的視差信息，所述至少兩個像素與所述區(qū)域中的像素相鄰或接近并且被包括在從其提取或獲取視差信息的像素中。
文檔編號G06T7/00GK103024406SQ20121023752
公開日2013年4月3日 申請日期2012年7月9日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者大井拓哉, 小森谷陽多, 石川貴規(guī), 土場健太郎, 仁紙勉 申請人:索尼公司