專利名稱:圖像處理設(shè)備、圖像處理方法及程序的制作方法
技術(shù)領(lǐng)域:
本公開涉及圖像處理設(shè)備、圖像處理方法及程序。特別地,本公開涉及能夠生成多視點圖像的圖像處理設(shè)備、圖像處理方法及程序,其中,多視點圖像可以以簡單的方式,根據(jù)由二維圖像形成的輸入圖像,來實現(xiàn)多個視點的裸眼三維立體視覺。
背景技術(shù):
在現(xiàn)有技術(shù)中,已提出了用于生成兩個立體圖像的技術(shù),其中可根據(jù)單個圖像實現(xiàn)立體視覺(參見JP-A-2010-63083)。根據(jù)JP-A-2010-63083中提出的技術(shù),使用簡單的差分濾波器等對從輸入圖像中提取的特征量進(jìn)行非線性變換,從而生成增強信號,以及可通過將增強信號加到輸入信號 上和從輸入信號減去增強信號,來生成可實現(xiàn)立體視覺的右眼圖像和左眼圖像。
發(fā)明內(nèi)容
然而,由于通過上述方法僅生成右眼圖像和左眼圖像這兩種圖像,所以不可能生成多視點圖像,其中,作為由裸眼立體視覺圖像顯示裝置代表的多視點顯示裝置(例如,柱狀透鏡型裝置或視差屏障型裝置)的輸入信號,多視點圖像是必要的。考慮到這些情況做出了本公開,特別地,本公開提供了如下技術(shù),該技術(shù)能夠以簡單的方式,根據(jù)由二維圖像形成的輸入圖像,來適當(dāng)?shù)厣啥嘁朁c的裸眼三維立體視覺圖像。根據(jù)本公開的實施例,提供了一種圖像處理設(shè)備,其根據(jù)由二維圖像信號形成的輸入圖像信號生成多個視點圖像,使得視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。根據(jù)本公開的實施例,提供了一種圖像處理設(shè)備,其包括多個提取單元、多個增強處理單元和多個第一圖像生成單元。多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號。多個增強處理單元對多個特征量信號中的每個執(zhí)行增強處理,并且生成多個增強信號。多個第一圖像生成單元通過將多個增強信號加到輸入圖像信號上,來針對多個增強信號中的每個生成第一視點圖像。多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,使得按照被加到輸入圖像信號上的增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。根據(jù)本公開的實施例的圖像處理設(shè)備還可包括多個第二圖像生成單元,第二圖像生成單元通過從輸入信號中減去多個增強信號,來針對多個增強信號中的每個生成第二視點圖像。這里,多個提取單元可提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,使得按照被加到輸入圖像信號上或從輸入圖像信號減去的增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。在根據(jù)本公開的實施例的圖像處理設(shè)備中,當(dāng)以在預(yù)定方向上連續(xù)相鄰的像素為單位依次提供輸入圖像信號時,第一圖像生成單元可通過將增強信號加到當(dāng)前像素的輸入圖像信號上,來生成第一視點圖像。根據(jù)本公開的實施例,提供了一種圖像處理方法,其包括由多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,該提取被執(zhí)行多次,其中提取單元提取由二維圖像形成的輸入圖像信號的空間特征量信號;由多個增強處理單元對多個特征量信號中的每個執(zhí)行增強處理并且生成多個增強信號,該增強處理被執(zhí)行多次,其中增強處理單元通過對多個特征量信號中的每個執(zhí)行增強處理來生成多個增強信號;以及由多個第一圖像生成單元通過將多個增強信號加到輸入圖像信號上,來針對多個增強信號中的每個生成第一視點圖像,該生成被執(zhí)行多次,其中第一圖像生成單元通過將多個增強信號加到輸入圖像信號上,來針對多個增強信號中的每個生成第一視點圖像。通過使得多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號來執(zhí)行提取,使得按照被加到輸入圖像信號上的增強信號的相加值的大小的順序獲得的視點圖像的視點 之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。根據(jù)本公開的實施例,提供了一種使得計算機能夠控制圖像處理設(shè)備的程序。圖像處理設(shè)備包括多個提取單元,其提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號;多個增強處理單元,其對多個特征量信號中的每個執(zhí)行增強處理,并且生成多個增強信號;以及多個第一圖像生成單元,其通過將多個增強信號加到輸入圖像信號上,來針對多個增強信號中的每個生成第一視點圖像。多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,使得按照被加到輸入圖像信號上的增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。該程序使得計算機能夠執(zhí)行如下操作,該操作包括由多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,該提取被執(zhí)行多次,其中提取單元提取由二維圖像形成的輸入圖像信號的空間特征量信號;由多個增強處理單元對多個特征量信號中的每個執(zhí)行增強處理并且生成多個增強信號,該增強處理被執(zhí)行多次,其中增強處理單元通過對多個特征量信號中的每個執(zhí)行增強處理來生成多個增強信號;以及由多個第一圖像生成單元通過將多個增強信號加到輸入圖像信號上,來針對多個增強信號中的每個生成第一視點圖像,該生成被執(zhí)行多次,其中第一圖像生成單元通過將多個增強信號加到輸入圖像信號上,來針對多個增強信號中的每個生成第一視點圖像。通過使得多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號來執(zhí)行提取,使得按照被加到輸入圖像信號上的增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。在根據(jù)本公開的實施例的圖像處理設(shè)備中,可根據(jù)由二維圖像信號形成的輸入圖像信號生成多個視點圖像,使得視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
在根據(jù)本公開的實施例的圖像處理設(shè)備中,可提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,并且可通過對多個特征量信號中的每個執(zhí)行增強處理來生成多個增強信號,以及可通過將多個增強信號加到輸入圖像信號上,來針對多個增強信號中的每個生成第一視點圖像。在圖像處理設(shè)備中,可提取由二維圖像信號形成的輸入圖像信號的多個空間特征量,使得按照被加到輸入圖像信號上的增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。根據(jù)本公開的實施例的圖像處理設(shè)備可為分立裝置,或者可被配置為用于執(zhí)行成像處理的塊。根據(jù)本公開的實施例,可以以簡單的方式,根據(jù)二維輸入圖像生成裸眼的多視點三維立體視覺圖像。
圖I是圖示現(xiàn)有技術(shù)中的立體圖像生成單元的配置的圖;圖2是圖示現(xiàn)有技術(shù)中的立體圖像生成處理的圖;圖3是圖示根據(jù)本公開的第一實施例的圖像處理設(shè)備的多視點圖像生成單元的配置示例的圖;圖4是圖示由圖3的多視點圖像生成單元執(zhí)行的多視點圖像生成處理的圖;圖5是圖示非線性變換處理的圖;圖6是圖示由圖3的多視點圖像生成單元執(zhí)行的多視點圖像生成處理的流程圖;圖7是圖示由圖3的多視點圖像生成單元生成的多視點圖像導(dǎo)致的串?dāng)_的圖;圖8是圖示根據(jù)本公開的第二實施例的圖像處理設(shè)備的多視點圖像生成單元的配置示例的圖;圖9是圖示由圖8的多視點圖像生成單元執(zhí)行的多視點圖像生成處理的圖;圖10是圖示由圖8的多視點圖像生成單元執(zhí)行的多視點圖像生成處理的流程圖;圖11是圖示由圖8的多視點圖像生成單元生成的多視點圖像導(dǎo)致的串?dāng)_的圖;以及圖12是圖示通用個人計算機的配置示例的圖。
具體實施例方式在下文中,將參考附圖詳細(xì)描述本公開的優(yōu)選實施例。注意,在本說明書和附圖中,用相同的附圖標(biāo)記表示具有基本上相同功能和結(jié)構(gòu)的結(jié)構(gòu)部件,并且省略這些結(jié)構(gòu)部件的重復(fù)說明。在下文中,將描述本公開的實施例。另外,將按照下面的順序進(jìn)行說明。I.第一實施例2.第二實施例(如下情況的配置示例在該情況下,單個濾波器系數(shù)序列未形成關(guān)于其中心系數(shù)值的奇對稱)I.第一實施例
[現(xiàn)有技術(shù)中的裸眼三維立體視覺圖像]在描述根據(jù)本公開實施例的生成裸眼三維立體視覺圖像的多視點圖像生成單元之前,將描述JP-A-2010-63083中公開的生成三維立體視覺圖像的原理。圖I示出現(xiàn)有技術(shù)中的立體圖像生成單元I的配置,其中,該立體圖像生成單元I根據(jù)由二維圖像形成的輸入圖像生成裸眼三維立體視覺圖像。立體圖像生成單元I包括濾波器11、非線性變換部分12、加法器13和減法器14。濾波器11對由二維圖像形成的輸入圖像執(zhí)行差分濾波處理,以便提取特征量信號。非線性變換部分12通過對特征量信號進(jìn)行非線性變換,來輸出增強信號。加法器13將增強信號加到輸入圖像上,以便輸出左眼圖像信號。減法器14從輸入圖像減去增強信號,以便輸出右眼圖像信號。 如果要以立體視覺觀看根據(jù)右眼圖像信號和左眼圖像信號獲得的右眼圖像和左眼圖像,則必要的條件可為右眼圖像與左眼圖像之間存在適合于立體視覺的信號差。在下文中,右眼圖像與左眼圖像之間的信號差被稱為左視點與右視點之間的信號差。例如,在濾波器11使用如下線性總和來處理目標(biāo)像素的情況下,假設(shè)特征量信號被表示為[-1,0,1],其中,該線性總和是通過將包括與目標(biāo)像素左相鄰和與目標(biāo)像素右相鄰的三個像素分別乘以系數(shù)[-1,0,I]獲得的。另外,假設(shè)當(dāng)輸入信號為1、2、3、4等時,非線性變換部分12的輸出信號被表示為lu、2u、3u、4u等。另外,稍后將詳細(xì)描述非線性變換部分12中的輸入信號與輸出信號之間的關(guān)系。在這種情況下,如圖2所不,對應(yīng)于輸入圖像的每個像素的增強信號針對左眼圖像被表示為[-U,O, u],并且針對右眼圖像被表示為[u,0,-u]。所以,如圖2所示,左眼輸出圖像被表示為[-U,1,u],而右眼輸出圖像被表示為[U,1,-U]。因此,通過從左眼輸出信號減去右眼輸出信號,將左視點與右視點之間的信號差表示為[-2u, O, 2u]。換言之,當(dāng)如此表示的左視點與右視點之間的信號差被適當(dāng)?shù)卦O(shè)定為[_2u,O, 2u]時,可以生成能夠根據(jù)二維圖像實現(xiàn)裸眼三維立體視覺的左眼輸出信號和右眼輸出信號。然而,如上所述,在JP-A-2010-63083中公開的方法中,由于僅生成右眼圖像和左眼圖像這兩種圖像,所以不可能生成多視點圖像,其中,作為由裸眼立體視覺圖像顯示裝置代表的多視點顯示裝置(例如,柱狀透鏡型裝置或視差屏障型裝置)的輸入信號,多視點圖像是必要的。[由根據(jù)本公開實施例的圖像處理設(shè)備形成的多視點圖像生成單元的配置示例]所以,將參考圖3描述能夠生成多視點圖像的多視點圖像生成單元的配置示例,該多視點圖像可用于由裸眼立體視覺圖像顯示裝置代表的多視點顯示裝置,例如柱狀透鏡型裝置或視差屏障型裝置。如圖3所示,多視點圖像生成單元31包括第一濾波器51至第四濾波器54、非線性變換部分61至64、加法器71至74和減法器75至78。四種類型的濾波器,即可為具有不同濾波器系數(shù)的FIR濾波器的第一濾波器51至第四濾波器54,通過對作為輸入信號的二維圖像執(zhí)行濾波器處理來獲得特征量信號,并且將獲得的特征量信號提供到非線性變換部分61至64中的對應(yīng)的非線性變換部分。非線性變換部分61至64對提供的特征量信號執(zhí)行相同非線性特征的非線性處理,然后生成增強信號。非線性變換部分61將生成的增強信號提供到加法器71和減法器78。非線性變換部分62將生成的增強信號提供到加法器72和減法器77。非線性變換部分63將生成的增強信號提供到加法器73和減法器76。非線性變換部分64將生成的增強信號提供到加法器74和減法器75。加法器71至74分別將提供的增強信號加到輸入信號上,然后輸出第一至第四視點輸出信號。減法器75至78分別從輸入信號中減去所提供的增強信號,然后輸出第六至第九視點輸出圖像。另外,輸入圖像被無改變地輸出為第五視點輸出信號。換言之,多視點圖像生成單元31根據(jù)由單個二維圖像形成的輸入圖像,生成九種類型的各自具有不同視點的第一至第九輸出信號。[圖3的多視點圖像生成單元的第一濾波器至第四濾波器的濾波器系數(shù)]接下來,將參考圖4描述第一濾波器51至第四濾波器54的濾波器系數(shù)。另外,各個視點對應(yīng)于與圖4的圓圈中表示的數(shù)字相對應(yīng)的位置,并且被稱為視點I至視點9。假設(shè),當(dāng)相鄰視點之間的距離R為I時,被設(shè)定為如下圖像的左眼圖像信號和右眼圖像信號為 兩視點輸出信號,其中,在該圖像中,裸眼三維立體視覺對各個視點來說是可能的;在兩視點輸出信號中,與設(shè)定在對應(yīng)于各個視點的輸入圖像的位置處的圖像相鄰的視點之間的距離為2。換言之,對應(yīng)于視點5處的輸入圖像的輸出信號為設(shè)定在視點5的位置處的第五視點輸出信號。另外,視點5處的左眼圖像信號和右眼圖像信號分別為第四視點輸出信號和第六視點輸出信號。類似地,對應(yīng)于視點4處的輸入圖像的輸出信號為設(shè)定在視點4的位置處的第四視點輸出信號。另外,視點4處的左眼圖像信號和右眼圖像信號分別為第三視點輸出信號和第五視點輸出信號。另外,對應(yīng)于視點3處的輸入圖像的輸出信號為設(shè)定在視點3的位置處的第三視點輸出信號。另外,視點3處的左眼圖像信號和右眼圖像信號分別為第二視點輸出信號和第四視點輸出信號。而且,對應(yīng)于視點2處的輸入圖像的輸出信號為設(shè)定在視點2的位置處的第二視點輸出信號。另外,視點2處的左眼圖像信號和右眼圖像信號分別為第一視點輸出信號和第三視點輸出信號。另外,對應(yīng)于視點6處的輸入圖像的輸出信號為設(shè)定在視點6的位置處的第六視點輸出信號。另外,視點6處的左眼圖像信號和右眼圖像信號分別為第五視點輸出信號和第七視點輸出信號。另外,對應(yīng)于視點7處的輸入圖像的輸出信號為設(shè)定在視點7的位置處的第七視點輸出信號。另外,視點7處的左眼圖像信號和右眼圖像信號分別為第六視點輸出信號和第八視點輸出信號。另外,對應(yīng)于視點8處的輸入圖像的輸出信號為設(shè)定在視點8的位置處的第八視點輸出信號。另外,視點8處的左眼圖像信號和右眼圖像信號分別為第七視點輸出信號和第九視點輸出信號。另外,視點a處的輸出信號用C_a表示,并且視點a處的輸出信號與視點b處的輸出信號之間的差用D_ab表不。換言之,各個視點處的左眼圖像信號和右眼圖像信號基于如下假設(shè)全部都旨在實現(xiàn)裸眼三維立體視覺,因此各個視點處的左眼圖像信號和右眼圖像信號的視點之間的信號差相同。所以,第一濾波器51至第四濾波器54的濾波器系數(shù)被設(shè)定為使得視點之間的各個信號差相同。因此,第一濾波器51至第四濾波器54的濾波器系數(shù)可基于如下約束條件來考慮視點之間的信號差相同。
例如,在生成視點4至視點6的特征量信號的第一濾波器51使用將抽頭系數(shù)[-1,0, I]作為濾波器系數(shù)的3抽頭FIR濾波器的情況下,并且當(dāng)輸入為1、2、3、4、…時,非線性變換的輸出為u、2u、3u、4u、…,針對單元輸入I的視點4至視點6處的輸出信號C_4至輸出信號C_6用下面的等式(I)至(3)表示。C_4=[-u, I, u](I)C_5=
(2)C_6=[u, I, -u](3)所以,根據(jù)下面的過程分別獲得用于生成視點I至視點3和視點7至視點9處的輸出信號c_l至輸出信號C_3和輸出信號C_7至輸出信號C_9。這里,u是通過非線性變換生成的值,并且其細(xì)節(jié)將在稍后描述。換言之,視點4處的輸出信號與視點6處的輸出信號之間的差D_46等于視點4處的輸出信號C_4與視點6處的輸出信號C_6之間的差,因此差D_46被表不為下面的等式(4)中所表示的。D_46=C_4_C_6= [-U,I, u]-[u, I, -u] = [_2u, O, 2u](4) 基于約束條件,視點3處的輸出信號C_3與視點5處的輸出信號C_5之間的差D_3 5等于差D_46,因此建立了下面的等式(5)的關(guān)系。D_35=C_3_C_5=D_46(5)如果等式(5)被重寫為下面的等式(6),則獲得視點3處的輸出信號C_3。C_3=D_46+C_5= [_2u, O, 2u] +
= [_2u, I, 2u](6)另外,基于約束條件,視點2處的輸出信號C_2與視點4處的輸出信號C_4之間的差D_24等于差D_46,因此建立了下面的等式(7)的關(guān)系。D_24=C_2_C_4=D_46(7)如果等式(7)被重寫為下面的等式(8),則獲得了視點2處的輸出信號C_2。C_2=D_46+C_4= [_2u, O, 2u] + [_u, I, u] = [_3u, I, 3u](8)另外,基于約束條件,視點I處的輸出信號C_1與視點3處的輸出信號C_3之間的差D_13等于差D_46,因此建立了下面的等式(9)的關(guān)系。D_13=C_1-C_3=D_46(9)如果等式(9)被重寫為下面的等式(10),則獲得了視點I處的輸出信號C_l。C_1=D_46+C_3= [_2u, O, 2u] + [_2u, 1,2u] = [_4u, I, 4u](10)另外,基于約束條件,視點5處的輸出信號C_5與視點7處的輸出信號C_7之間的差D_57等于差D_46,因此建立了下面的等式(11)的關(guān)系。D_57=C_5_C_7=D_46(11)如果等式(11)被重寫為下面的等式(12),則獲得了視點7處的輸出信號C_7。C_7=C_5-D_46= [O, I, O]-[_2u, O, 2u] = [2u, I, _2u](12)另外,基于約束條件,視點6處的輸出信號C_6與視點8處的輸出信號C_8之間的差D_68等于差D_46,因此建立了下面的等式(13)的關(guān)系。
D_68=C_6-C_8=D_46(13)如果等式(13)被重寫為下面的等式(14),則獲得了視點8處的輸出信號C_8。C_8=C_6_D_46= [u, I, -u]-[_2u, O, 2u] = [3u, I, _3u](14)
另外,基于約束條件,視點7處的輸出信號C_7與視點9處的輸出信號C_9之間的差D_79等于差D_46,因此建立了下面的等式(15)的關(guān)系。D_79=C_7_C_9=D_46(15)如果等式(15)被重寫為下面的等式(16),則獲得了視點9處的輸出信號C_9。C_9=C_7-D_46= [2u, I, _2u] -[_2u, 0,2u] = [4u, I, _4u] (16)在非線性變換部分61至非線性變換部分64中以相同的非線性變換執(zhí)行各個視點處的輸出信號c_l至輸出信號C_9,然后輸出信號為通過將輸入信號加到輸出信號C_1至輸出信號C_9上而獲得的值,因此通過從輸出信號C_1至輸出信號C_9減去輸入信號并且通過執(zhí)行逆非線性變換來獲得濾波器系數(shù)。另外,由于具有立體效果的增強信號的幅度主要在低水平(level) ,該區(qū)域中的非線性變換和逆非線性變換可近似為線性變換。換言之,例如,如果用于非線性變換部分61至非線性變換部分64的非線性變換的函數(shù)y=f (X)為由圖5所示的曲線定義的函數(shù),例如在增強信號的幅度大的范圍中的輸出y=f (X) =Au (由圖中的長短交替的虛線箭頭表示的)的情況下,輸入為非線性的,因此其不導(dǎo)致χ=Α。然而,當(dāng)幅度在低水平并且位于原點附近(例如由圖中的實線箭頭表示的范圍)時,非線性函數(shù)可近似為線性函數(shù),因此當(dāng)輸出y=u或2u時,對應(yīng)的輸入基本上可為I或2。換言之,如果非線性變換部分61至非線性變換64的輸入為X,非線性變換部分61至非線性變換64的輸出為y,用于非線性變換部分61至非線性變換部分64的非線性變換的函數(shù)為y=f (X),并且用于逆非線性變換的函數(shù)被定義為x=f ’ (y),則當(dāng)輸入X為1、2、3和4時,用下面的等式(17)至(20)來表示與非線性變換有關(guān)的等式。u=f (I)(17)2u=f (2)(18)3u=f (3)(19)4u=f (4)(20)所以,用下面的等式(21)至(24)來表示與逆非線性變換有關(guān)的等式。l=f, (u)(21)2=f, (2u)(22)3=f, (3u)(23)4=f, (4u)(24)由于這個原因,第一濾波器51至第四濾波器54的濾波器系數(shù)被獲得為下面的等式(25)至(28)。第一濾波器51的濾波器系數(shù)=[-4,0,4](25)第二濾波器52的濾波器系數(shù)=[-3,0,3](26)第三濾波器53的濾波器系數(shù)=[_2,O, 2](27)第四濾波器54的濾波器系數(shù)=[_1,O, I](28)因此,可見濾波器系數(shù)基本上形成關(guān)于第一視點輸出信號至第九視點輸出信號中的第五視點輸出信號的奇對稱。如上所述,通過設(shè)置濾波器系數(shù)使得視點之間的信號差通常為不變的,可以生成這樣的多視點圖像其中,通常優(yōu)化的裸眼三維立體視覺在任意視點處都是可能的。另外,無需說,濾波器系數(shù)可為其它濾波器系數(shù),只要滿足由相鄰視點之間的距離設(shè)定的約束條件即可。[由圖3的多視點圖像生成單元執(zhí)行的多視點圖像生成處理]接下來,將參考圖6的流程圖描述由圖3的多視點圖像生成單元執(zhí)行的多視點圖像生成處理。在步驟SI,多視點圖像生成單元31將計數(shù)器X和y初始化為零(O),并且計數(shù)器x
和y用于管理像素位置。在步驟S2,多視點圖像生成單元31將目標(biāo)像素的像素位置設(shè)定為(X,y)。在步驟S3,多視點圖像生成單元31將計數(shù)器η (未示出)初始化為零(0),并且計數(shù)器η用來管理視點位置。
在步驟S4,多視點圖像生成單元31確定計數(shù)器η是否為0,并且例如,由于計數(shù)器η在處理開始時為0,所以處理前進(jìn)到步驟S5。在步驟S5,多視點圖像生成單元31將輸入信號的目標(biāo)像素的圖像信號無改變地輸出為第五視點輸出信號,并且處理前進(jìn)到步驟S13。在步驟S13,多視點圖像生成單元31將計數(shù)器η (未示出)增一(1),并且處理前進(jìn)到步驟S4。另外,在步驟S4,例如,如果計數(shù)器η不為0,則處理前進(jìn)到步驟S6。在步驟S6,多視點圖像生成單元31控制來自于第一濾波器51至第四濾波器54中的對應(yīng)于計數(shù)器η的第η個濾波器,從而通過使用上述濾波器系數(shù)的濾波處理,根據(jù)輸入圖像的目標(biāo)像素的信號來生成特征量信號。多視點圖像生成單元31將由第η個濾波器生成的特征量信號提供到非線性變換部分61至非線性變換部分64中的對應(yīng)的非線性變換部分(60+η)。在步驟S7,多視點圖像生成單元31控制非線性變換部分(60+η),使得通過對特征量執(zhí)行非線性變換處理來生成增強信號,然后將生成的增強信號提供到加法器(70+η)和減法器(79-η)。在步驟S8,多視點圖像生成單元31控制加法器(70+η),使得通過將增強信號加到輸入信號上,來生成第η個視點輸出信號。換言之,通過該處理,根據(jù)計數(shù)器η的值依次生成第一視點輸出信號至第四視點輸出信號。在步驟S9,加法器(70+η)輸出所生成的第η個視點輸出信號。在步驟S10,多視點圖像生成單元31控制減法器(79-η),使得通過從輸入信號減去增強信號來輸出第(10-η)個視點輸出信號。換言之,通過該處理,根據(jù)計數(shù)器η的值依次生成第九視點輸出信號至第六視點輸出信號。在步驟S11,減法器(79-η)輸出所生成的第(10-η)個視點輸出信號。在步驟S12,多視點圖像生成單元31確定計數(shù)器η是否為4,即是否生成了所有的視點輸出信號,并且如果未生成所有的視點輸出信號,則處理前進(jìn)到步驟S13。也就是說,重復(fù)執(zhí)行步驟S4、和步驟S6至步驟S13的處理,直至生成了所有的視點輸出信號。另外,如果在步驟S12確定計數(shù)器η為4并且生成了所有的視點輸出信號,則處理前進(jìn)到步驟S14。在步驟S14,多視點圖像生成單元31確定計數(shù)器X是否等于xmax,即位置是否為水平方向上的圖像的端部分,并且如果計數(shù)器X不等于Xmax,即位置不為水平方向上的圖像的端部分,則處理前進(jìn)到步驟S15。
在步驟S15,多視點圖像生成單元31將計數(shù)器X增1,并且處理返回到步驟S2。 另外,在步驟S14,如果計數(shù)器X等于xmax,則多視點圖像生成單元31在步驟S16將計數(shù)器X初始化為0,并且處理前進(jìn)到步驟S17。在步驟S17,多視點圖像生成單元31確定計數(shù)器y是否等于ymax,即位置是否為垂直方向上的圖像的端部分,并且如果計數(shù)器y不等于ymax,即 位置不為垂直方向上的圖像的端部分,則在步驟S18將計數(shù)器y增1,并且處理返回到步驟S2。另外,在步驟S17,如果確定計數(shù)器y等于ymax,并且完成了整個圖像的處理,則處
理結(jié)束。利用上述處理,生成了由第一視點圖像至第九視點圖像形成的多視點圖像。另外,盡管描述了圖3的多視點圖像生成單元31生成對應(yīng)于九種類型的視點的多視點圖像的示例,但是可存在如下配置通過增加或減少分別對應(yīng)于第一濾波器51至第四濾波器54、非線性變換部分61至非線性變換部分64、加法器71至加法器74和減法器75至減法器78的濾波器、非線性變換部分、加法器和減法器的相應(yīng)數(shù)量,來生成對應(yīng)于不同數(shù)量的類型的多視點圖像。另外,在第一視點圖像至第九視點圖像中,如果相鄰視點之間的信號差等于預(yù)定值,并且只要兩個視點圖像具有等于預(yù)定值兩倍的值,即例如上述[_2u,O, 2u],則任意兩個圖像分別形成左眼輸出信號和右眼輸出信號。因此,即使在多個視點處也可以實現(xiàn)裸眼三維立體視覺。[由圖3的多視點圖像生成單元生成的多視點圖像的串?dāng)_的影響]一般,在多視點顯示裝置中,由于其結(jié)構(gòu),難以完全僅將一個視點圖像呈現(xiàn)給觀看者,并且可能無法避免基本上以給定的比率觀看特定視點的兩側(cè)上的視點圖像的圖像(在下文中被稱為“相鄰視點圖像”)。該現(xiàn)象被稱為串?dāng)_,類似于音頻信號的泄漏。這里,將參考圖7描述在如下情況下的視點之間的信號差存在來自于由圖3的多視點圖像生成單元31生成的多視點圖像的相鄰視點的串?dāng)_。如圖7所示,除了第四視點輸出信號之外,作為相鄰視點圖像的第三視點輸出信號和第五視點輸出信號通常處在以給定比率呈現(xiàn)給左眼的狀態(tài),其中第四視點輸出信號為要原始呈現(xiàn)給觀看者作為左眼圖像的圖像。另外,除了第六視點輸出信號之外,作為相鄰視點圖像的第五視點輸出信號和第七視點輸出信號以給定比率呈現(xiàn)給右眼,其中第六視點輸出信號為要原始呈現(xiàn)給觀看者作為右眼圖像的圖像。在圖7中,如果相鄰視點圖像與要原始呈現(xiàn)的圖像的比率為P,在視點5處,如下面的等式(29)所示地獲得視點之間的差0_&13,差D_ab為呈現(xiàn)給左眼作為左眼視點a的圖像的輸出信號C_a’與呈現(xiàn)給右眼作為右眼視點b的圖像的輸出信號C_b’之間的差。D_ab=C_a, _C_b’(29)這里,各個視點a和b處的輸出信號C_alPC_b’可分別被替換為下面的等式(30)和(31)所示的。C_a,=pXC_a-l+(l_2Xp) XC_a+pXC_a+l(30)C_b’ =pXC_b-l+(l_2Xp) XC_b+pXC_b+l(31)另外,由于視點之間的差為2,可由下面的等式(32)給出視點a和b之間的關(guān)系。b=a+R=a+2(32)
通過使用該關(guān)系,等式(31)可被重寫為下面的等式(33)。C_b’ =pXC_a+l+(l_2Xp) XC_a+2+pXC_a+3(33)所以,用下面的等式(34)來表示考慮了串?dāng)_的影響的視點之間的信號差D_ab。D_ab={pXC_a-l+(l_2Xp) X C_a+p X C_a+1}-{pXC_a+l+(l-2Xp) X C_a+2+p X C_a+3}=pX (C_a—I—C_a+1) + (C_a—C_a+2)-2 X p X (C_a_C_a+2)+pX (C_a+l_C_a+3)= (p+1-2 X p+p) X [_2u, 0,2u] ( ·.· C_a-l-C_a+l=C_a-C_a+2=C_a+l_C_a+3= [_2u, 0,2u])=[-2u, 0, 2u](34)如等式(34)所示,視點之間的信號差D_ab為不依賴于串?dāng)_的比率p的值。換言之,由圖3的多視點圖像生成單元31生成的多視點圖像通??杀3忠朁c之間的不變的信號差,而不管發(fā)生在相鄰視點之間的串?dāng)_的數(shù)量或位置,因此通??梢詫崿F(xiàn)優(yōu)化的三維立體視覺。2.第二實施例[使用之前目標(biāo)像素的增強信號的多視點圖像生成單元的配置示例]盡管在以上說明中描述了濾波器系數(shù)序列形成關(guān)于中心系數(shù)值的奇對稱的情況的配置示例,但是即使在濾波器系數(shù)序列沒有形成關(guān)于中心系數(shù)值的奇對稱的情況下,也可通過考慮系數(shù)值的配置來實現(xiàn)三維立體視覺。圖8示出在濾波器系數(shù)沒有形成關(guān)于中心系數(shù)值的奇對稱的情況下的多視點圖像生成單元31的配置示例。另外,在圖8的多視點圖像生成單元31中,與圖3的多視點圖像生成單元31的組成部件具有相同功能的組成部件被給予相同的附圖標(biāo)記,并且將適當(dāng)?shù)厥÷云湔f明。換言之,圖8的多視點圖像生成單元與圖3的多視點圖像生成單元31的不同之處在于,取代第一濾波器51至第四濾波器54和減法器75至加法器78,提供了第一濾波器81至第四濾波器87和加法器91至加法器94。第一濾波器81至第四濾波器84基本上具有與第一濾波器51至第四濾波器54類似的功能,但是其相應(yīng)的濾波器系數(shù)彼此不同。加法器91至加法器94具有與加法器71至加法器74相同的功能。[圖8的多視點圖像生成單元的第一至第四濾波器的濾波器系數(shù)]如圖9所示,例如,在生成視點4至6的特征量信號的第一濾波器81使用將抽頭系數(shù)[-1,1,0]作為濾波器系數(shù)的3抽頭FIR濾波器的情況下,并且當(dāng)輸入為1、2、3、4、…時,非線性變換的輸出為u、2u、3u、4u、···,則針對單位輸入I的視點4至視點6處的輸出信 號C_4至輸出信號C_6由下面的等式(35)至(37)來表不。C_4=[-u, 1+u, O](35)C_5=
(36)C_6=
(37)所以,分別根據(jù)下面的處理來獲得生成視點I至視點3和視點7至視點9處的輸出信號c_l至輸出信號C_3和輸出信號C_7至輸出信號C_9的濾波器系數(shù)。
換言之,視點4處的輸出信號與視點6處的輸出信號之間的差D_46等于視點4處的輸出信號C_4與視點6處的輸出信號C_6之間的差,因此差D_46被表不為下面的等式
(38)所示的。D_46=C_4_C_6= [-U,1+u, 0]-
= [-u, 0, u](38)基于約束條件,視點3處的輸出信號C_3與視點5處的輸出信號C_5之間的差D_3 5等于差D_46,因此建立了下面的等式(39)的關(guān)系。D_35=C_3_C_5=D_46(39)·
如果等式(39)被重寫為下面的等式(40),則獲得視點3處的輸出信號C_3。C_3=D_46+C_5= [_u, O, u] +
= [_u, I, u](40)另外,基于約束條件,視點2處的輸出信號C_2與視點4處的輸出信號C_4之間的差D_24等于差D_46,因此建立了下面的等式(41)的關(guān)系。D_24=C_2_C_4=D_46(41)如果等式(41)被重寫為下面的等式(42),則獲得視點2處的輸出信號C_2。C_2=D_46+C_4= [_u, O, u] + [_u, 1+u, 0] = [~2u, 1+u, u](42)另外,基于約束條件,視點I處的輸出信號C_1與視點3處的輸出信號C_3之間的差D_13等于差D_46,因此建立了下面的等式(43)的關(guān)系。D_13=C_1-C_3=D_46(43)如果等式(43)被重寫為下面的等式(44),則獲得視點I處的輸出信號C_l。C_1=D_46+C_3=[_u, O, u] + [_u, I, u] = [_2u, I, 2u](44)另外,基于約束條件,視點5處的輸出信號C_5與視點7處的輸出信號C_7之間的差D_57等于差D_46,因此建立了下面的等式(45)的關(guān)系。D_57=C_5_C_7=D_46(45)如果等式(45)被重寫為下面的等式(46),則獲得視點7處的輸出信號C_7。C_7=C_5_D_46= [O, I, O]-[_u, O, u] = [u, I, _u](46)另外,基于約束條件,視點6處的輸出信號C_6與視點8處的輸出信號C_8之間的差D_68等于差D_46,因此建立了下面的等式(47)的關(guān)系。D_68=C_6-C_8=D_46(47)如果等式(47)被重寫為下面的等式(48),則獲得視點8處的輸出信號C_8。C_8=C_6-D_46= [O, 1+u, -u]-[-u, 0, u] = [u, 1+u, _2u](48)另外,基于約束條件,視點7處的輸出信號C_7與視點9處的輸出信號C_9之間的差D_79等于差D_46,因此建立了下面的等式(49)的關(guān)系。D_79=C_7_C_9=D_46(49)如果等式(49)被重寫為下面的等式(50),則獲得視點9處的輸出信號C_9。C_9=C_7_D_46= [u, I, -u]-[-u, O, u] = [2u, I, _2u](50)與非線性變換部分61至非線性變換部分64有關(guān)的非線性變換具有與上述等式
(17)至(24)類似的關(guān)系。由于這個原因,獲得如下面等式(51)至(54)所示的第一濾波器81至第四濾波器84的濾波器系數(shù)。第一濾波器81的濾波器系數(shù)=[-2,0,2](51)
第二濾波器82的濾波器系數(shù)=[_2,I, I](52)第三濾波器83的濾波器系數(shù)=[_1,O, I](53)第四濾波器84的濾波器系數(shù)=[_1,1,O](54)另外,可使用與用于獲得第一濾波器81至第四濾波器84的濾波器系數(shù)的方法類似的方法,來獲得第五濾波器85至第八濾波器系數(shù)88的濾波器系數(shù),因此獲得如下面的等式(55)至(58)所示的第五濾波器85至第八濾波器系數(shù)88的濾波器系數(shù)。第五濾波器85的濾波器系數(shù)=
(55)第六濾波器86的濾波器系數(shù)=[1,0,_1](56)第七濾波器87的濾波器系數(shù)=[1,I, -2](57)第八濾波器88的濾波器系數(shù)=[2,0,-2](58)如上所述,通過設(shè)定濾波器系數(shù)使得視點之間的信號差通常為不變的,可以生成這樣的多視點圖像其中,優(yōu)化的裸眼三維立體視覺在任何時間和任何視點都是可能的。因此,即使在多個視點處也可以實現(xiàn)裸眼的三維立體視覺。另外,無需說,濾波器系數(shù)可為其它濾波器系數(shù),只要滿足由相鄰視點之間的距離設(shè)定的約束條件即可。[由圖8的多視點圖像生成單元執(zhí)行的多視點圖像生成處理] 接下來,將參考圖10的流程圖描述由圖8的多視點圖像生成單元31執(zhí)行的多視點圖像生成處理。另外,在圖10的流程圖中,步驟S31至步驟S49的處理中除步驟S40至步驟S42中的處理之外的處理類似于參考圖6的流程圖描述的步驟SI至步驟S18的處理中除步驟SlO中的處理之外的處理,因此將省略其描述。換言之,在步驟S40,多視點圖像生成單元31控制來自于第一濾波器81至第八濾波器88中的對應(yīng)于計數(shù)器η的第(9-η)個濾波器,使得通過使用上述濾波器系數(shù)的濾波處理,根據(jù)輸入圖像的目標(biāo)像素的信號來生成特征量信號。多視點圖像生成單元31將第(9-η)個濾波器所生成的特征量信號提供到非線性變換部分61至非線性變換部分68中的對應(yīng)的非線性變換部分(69-η)。在步驟S41,多視點圖像生成單元31控制非線性變換部分(69-η),使得通過對特征量信號執(zhí)行非線性變換處理來生成增強信號,并且將生成的增強信號提供到加法器(95-η)。在步驟S42,多視點圖像生成單元31控制加法器(95_η),使得通過將增強信號加到輸入圖像上,來生成第(10-η)個視點輸出信號。換言之,通過該處理,根據(jù)計數(shù)器η的值依次生成第九視點輸出信號至第六視點輸出信號。利用上述處理,生成了多視點圖像。另外,盡管描述了圖8的多視點圖像生成單元31生成對應(yīng)于九種類型的視點的多視點圖像的示例,但是可存在如下配置通過增加或減少分別對應(yīng)于第一濾波器81至第八濾波器88、非線性變換部分61至非線性變換部分68、加法器71至加法器74和加法器91至加法器94的濾波器、非線性變換部分、和加法器的相應(yīng)數(shù)量,來生成對應(yīng)于不同數(shù)量的類型的多視點圖像。另外,在第一視點圖像至第九視點圖像中,如果相鄰視點之間的信號差等于預(yù)定值,并且只要兩個視點圖像具有等于預(yù)定值兩倍的值,即例如上述[-U,O, u],則任意兩個圖像分別形成左眼輸出信號和右眼輸出信號。因此,即使在多個視點處也可以實現(xiàn)裸眼三維立體視覺。另外,在以水平方向上相鄰的像素為單位依次執(zhí)行處理的情況下,當(dāng)位于水平方向上的開始位置或最后位置處的像素變成目標(biāo)像素時,由于之前目標(biāo)像素或下一目標(biāo)像素不是相鄰像素,所以當(dāng)位于水平方向上的開始位置或最后位置處的像素變成目標(biāo)像素時,之前目標(biāo)像素或下一目標(biāo)像素也可被當(dāng)作當(dāng)前像素。[由圖8的多視點圖像生成單元生成的多視點圖像的串?dāng)_的影響]這里,將參考圖11描述在如下情況下的視點之間的信號差存在來自于由圖8的多視點圖像生成單元31生成的多視點圖像的相鄰視點的串?dāng)_。根據(jù)上述等式(34)獲得相鄰視點之間的串?dāng)_。通過將圖8的多視點圖像生成單元31的第一濾波器81至第四濾波器84濾波器系數(shù)代入等式(34),如下面的等式(59)—樣獲得視點之間的信號差D_ab,其中考慮了由圖8的多視點圖像生成單元31獲得的視點之間的串?dāng)_。D_ab={pXC_a-l+(l_2Xp) X C_a+p X C_a+1}-{pXC_a+1+ (1-2Xp) XC_a+2+pXC_a+3} =p X (C_a—I-C_a+1) + (C_a—C_a+2)-2 X p X (C_a_C_a+2)+pX (C_a+l_C_a+3)= (p+1-2 X p+p) X [-u, 0, u]( ... C_a_l_C_a+l=C_a_C_a+2=C_a+l_C_a+3= [_u, 0, u])=[-u,0,u](59)如等式(59)所示,視點之間的信號差D_ab成為不依賴于串?dāng)_的比率p的值。換言之,由圖8的多視點圖像生成單元31生成的多視點圖像通??杀3忠朁c之間的不變的信號差,而不管發(fā)生在相鄰視點之間的串?dāng)_的數(shù)量或位置,因此通??梢詫崿F(xiàn)優(yōu)化的三維立體視覺。如上所述,在本公開的實施例中,可以以簡單的處理來生成適合于立體視覺的多視點圖像,并且通??梢詫崿F(xiàn)優(yōu)化的三維立體視覺而不依賴于當(dāng)顯示多視點圖像時發(fā)生的串?dāng)_的數(shù)量。上述處理序列可由硬件來執(zhí)行或可由軟件來執(zhí)行。當(dāng)處理序列以軟件來執(zhí)行時,構(gòu)成軟件的程序從記錄介質(zhì)安裝到集成有專用硬件的計算機,或例如通過安裝各種程序能夠執(zhí)行各種功能的通用個人計算機。圖12示出通用個人計算機的配置示例。個人計算機中嵌入有CPU(中央處理單元)1001。CPU1001經(jīng)由總線1004連接到輸入/輸出接口 1005。總線1004連接到ROM (只讀存儲器)1002和RAM (隨機訪問存儲器)1003。輸入/輸出接口 1005連接到輸入單元1006、輸出單元1007、存儲單元1008和通信單元1009。輸入單元1006包括諸如鍵盤和鼠標(biāo)的輸入裝置,用戶使用輸入裝置輸入操作命令。輸出單元1007將處理操作屏幕或處理結(jié)果圖像輸出到顯示裝置。存儲單元1008包括存儲程序或各種數(shù)據(jù)的硬盤驅(qū)動器。通信單元1009包括LAN (局域網(wǎng))適配器等,并且經(jīng)由因特網(wǎng)所代表的網(wǎng)絡(luò)來執(zhí)行通信處理。另外,輸入/輸出接口 1005連接到驅(qū)動器1010,驅(qū)動器1010從可移除介質(zhì)1011中讀取數(shù)據(jù)或?qū)?shù)據(jù)寫入到可移除介質(zhì)1011,可移除介質(zhì)1011例如為磁盤(包括軟盤)、光盤(包括⑶-ROM (緊湊盤只讀存儲器)和DVD (數(shù)字多功能盤))、磁光盤(包括MD (迷你盤))或半導(dǎo)體存儲器。CPU1001根據(jù)存儲在R0M1002中的程序來執(zhí)行各種處理,或者從諸如磁盤、光盤、磁光盤或半導(dǎo)體存儲器的可移除介質(zhì)中讀取的程序安裝在存儲單元1008中,并且從存儲單元1008裝載到RAM 1003。RAM 1003也適當(dāng)?shù)卮鎯PU 1001為執(zhí)行各種處理所需要的
數(shù)據(jù)等。另外,在本說明書中,描述記錄在記錄介質(zhì)上的程序的步驟不僅包括根據(jù)描述的順序以時間序列執(zhí)行的處理,而且包括甚至不需要以時間序列執(zhí)行的并行或獨立地執(zhí)行的處理。另外,本技術(shù)也可如下配置(I) 一種圖像處理設(shè)備,包括
多個提取單元,其提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號;多個增強處理單元,其通過對所述多個特征量信號中的每個執(zhí)行增強處理來生成多個增強信號;以及多個第一圖像生成單元,其通過將所述多個增強信號加到所述輸入圖像信號上,來針對所述多個增強信號中的每個生成第一視點圖像,其中,所述多個提取裝置提取由二維圖像信號形成的所述輸入圖像的多個空間特征量,使得按照被加到所述輸入圖像信號上的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。(2)根據(jù)(I)所述的圖像處理設(shè)備,還包括多個第二圖像生成單元,其通過從所述輸入圖像信號減去所述多個增強信號,來針對所述多個增強信號中的每個生成第二視點圖像,其中,所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的多個空間特征量,使得按照被加到所述輸入圖像信號上或從所述輸入圖像信號減去的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。(3)根據(jù)(I)或(2)所述的圖像處理設(shè)備,其中,當(dāng)以預(yù)定方向上連續(xù)相鄰的像素為單位依次提供所述輸入圖像信號時,所述第一圖像生成單元通過將增強信號加到當(dāng)前像素的所述輸入圖像信號上,來生成所述第一視點圖像,并且所述第二圖像生成單元通過從緊接在所述當(dāng)前信號之前被處理的像素的所述輸入圖像信號中減去所述增強信號,來生成所述第二視點圖像。(4) 一種圖像處理方法,包括由多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,所述提取被執(zhí)行多次,其中所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的所述多個空間特征量信號;由多個增強處理單元對多個特征量信號中的每個執(zhí)行增強處理并且生成多個增強信號,所述增強處理被執(zhí)行多次,其中所述多個增強處理單元通過對所述多個特征量信號中的每個執(zhí)行增強處理來生成所述多個增強信號;以及由多個第一圖像生成單元通過將所述多個增強信號加到所述輸入信號上,來針對所述多個增強信號中的每個生成第一視點圖像,所述生成被執(zhí)行多次,其中所述多個第一圖像生成單元通過將所述多個增強信號加到所述輸入圖像信號上,來針對所述多個增強信號中的每個生成所述第一視點圖像,其中,通過使得所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的多個空間特征量來執(zhí)行所述提取,使得按照被加到所述輸入圖像信號的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
(5) 一種使得計算機能夠控制圖像處理設(shè)備的程序,所述圖像處理設(shè)備包括多個提取單元,其提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號;多個增強處理單元,其對所述多個特征量信號中的每個執(zhí)行增強處理并且生成多個增強信號;以及多個第一圖像生成單元,其通過將所述多個增強信號加到所述輸入圖像信號上,來針對所述多個增強信號中的每個生成第一視點圖像,其中,所述多個提取裝置提取由二維圖像信號形成的所述輸入圖像的多個空間特征量,使得按照被加到所述輸入圖像信號上的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像,以及其中,所述程序使得所述計算機能夠執(zhí)行如下操作,所述操作包括由所述多個提取單元提取由所述二維圖像信號形成的所述輸入圖像信號的所述多個空間特征量信號,所述提取被執(zhí)行多次;由所述多個增強處理單元對所述多個特征量信號中的每個執(zhí)行所述增強處理并且生成所述多個增強信號,所述增強處理被執(zhí)行多次;以及由所述多個第一圖像生成單元通過將所述多個增強信號加到所述輸入信號上,來針對所述多個增強信號中的每個生成所述第一視點圖像,所述生成被執(zhí)行多次,其中,通過使得所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的多個空間特征量來執(zhí)行所述提取,使得按照被加到所述輸入圖像信號上的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解,可根據(jù)設(shè)計需要或其它因素來進(jìn)行各種變型、組合、子組合和修改,只要其在所附權(quán)利要求或其等同內(nèi)容的范圍內(nèi)即可。本公開包括與2011年7月21日在日本專利局提交的日本優(yōu)先權(quán)專利申請JP2011-159485中公開的主題有關(guān)的主題,其全部內(nèi)容通過引用合并于此。
權(quán)利要求
1.一種圖像處理設(shè)備, 其中,所述圖像處理設(shè)備根據(jù)由二維圖像信號形成的輸入圖像信號生成多個視點圖像,使得視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
2.一種圖像處理設(shè)備,包括 多個提取單元,其提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號; 多個增強處理單元,其通過對所述多個特征量信號中的每個執(zhí)行增強處理來生成多個增強信號;以及 多個第一圖像生成單元,其通過將所述多個增強信號加到所述輸入圖像信號上,來針對所述多個增強信號中的每個生成第一視點圖像, 其中,所述多個提取裝置提取由二維圖像信號形成的所述輸入圖像的多個空間特征量,使得按照被加到所述輸入圖像信號上的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備,還包括 多個第二圖像生成單元,其通過從所述輸入圖像信號減去所述多個增強信號,來針對所述多個增強信號中的每個生成第二視點圖像, 其中,所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的多個空間特征量,使得按照被加到所述輸入圖像信號上或從所述輸入圖像信號減去的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
4.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備, 其中,當(dāng)以預(yù)定方向上連續(xù)相鄰的像素為單位依次提供所述輸入圖像信號時,所述第一圖像生成單元通過將增強信號加到當(dāng)前像素的所述輸入圖像信號上,來生成所述第一視點圖像。
5.—種圖像處理方法,包括 由多個提取單元提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號,所述提取被執(zhí)行多次,其中所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的所述多個空間特征量信號; 由多個增強處理單元對多個特征量信號中的每個執(zhí)行增強處理并且生成多個增強信號,所述增強處理被執(zhí)行多次,其中所述多個增強處理單元通過對所述多個特征量信號中的每個執(zhí)行增強處理來生成所述多個增強信號;以及 由多個第一圖像生成單元通過將所述多個增強信號加到所述輸入信號上,來針對所述多個增強信號中的每個生成第一視點圖像,所述生成被執(zhí)行多次,其中所述多個第一圖像生成單元通過將所述多個增強信號加到所述輸入圖像信號上,來針對所述多個增強信號中的每個生成所述第一視點圖像, 其中,通過使得所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的多個空間特征量來執(zhí)行所述提取,使得按照被加到所述輸入圖像信號上的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
6.一種使得計算機能夠控制圖像處理設(shè)備的程序,所述圖像處理設(shè)備包括 多個提取單元,其提取由二維圖像信號形成的輸入圖像信號的多個空間特征量信號;多個增強處理單元,其對所述多個特征量信號中的每個執(zhí)行增強處理并且生成多個增強信號;以及 多個第一圖像生成單元,其通過將所述多個增強信號加到所述輸入圖像信號上,來針對所述多個增強信號中的每個生成第一視點圖像, 其中,所述多個提取裝置提取由二維圖像信號形成的所述輸入圖像的多個空間特征量,使得按照被加到所述輸入圖像信號上的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像,以及其中,所述程序使得所述計算機能夠執(zhí)行如下操作,所述操作包括 由所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的所述多個空間特征量信號,所述提取被執(zhí)行多次; 由所述多個增強處理單元對所述多個特征量信號中的每個執(zhí)行所述增強處理并且生成所述多個增強信號,所述增強處理被執(zhí)行多次;以及 由所述多個第一圖像生成單元通過將所述多個增強信號加到所述輸入信號上,來針對所述多個增強信號中的每個生成所述第一視點圖像,所述生成被執(zhí)行多次, 其中,通過使得所述多個提取單元提取由二維圖像信號形成的所述輸入圖像信號的多個空間特征量來執(zhí)行所述提取,使得按照被加到所述輸入圖像信號上的所述增強信號的相加值的大小的順序獲得的視點圖像的視點之間的信號差為預(yù)定值,并且視點之間的所述信號差等于所述預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
全文摘要
本申請?zhí)峁┝艘环N圖像處理設(shè)備、圖像處理方法及程序。圖像處理設(shè)備根據(jù)由二維圖像信號形成的輸入圖像信號生成多個視點圖像,使得視點之間的信號差為預(yù)定值,并且視點之間的信號差等于預(yù)定值兩倍的兩個視點圖像均形成用于實現(xiàn)三維立體視覺的左眼圖像和右眼圖像。
文檔編號H04N13/02GK102905152SQ20121024424
公開日2013年1月30日 申請日期2012年7月13日 優(yōu)先權(quán)日2011年7月21日
發(fā)明者土田祐司 申請人:索尼公司