專利名稱：圖像處理器、圖像顯示裝置和圖像拍攝裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種生成三維圖像的圖像處理器、一種包括該圖像處理器的圖像顯示裝置、以及一種包括該圖像處理器的圖像拍攝裝置。
背景技術(shù)：
提出了一種設(shè)備，利用并排布置的左眼和右眼攝像機(jī)同時(shí)拍攝相同對(duì)象(在下文中簡(jiǎn)單稱作同一對(duì)象)的圖像，通過對(duì)兩個(gè)攝像機(jī)生成的兩個(gè)圖像數(shù)據(jù)(在下文中，簡(jiǎn)單稱作圖像)執(zhí)行不同圖像處理，來生成三維圖像(也被稱作立體圖像)(參見專利文獻(xiàn)I)。通過交疊兩個(gè)圖像而生成的圖像之間間隙被稱作視差。該視差根據(jù)攝像機(jī)到對(duì)象的距離而變化。
例如，假定兩個(gè)攝像機(jī)置于一條直線上，其中，兩個(gè)攝像機(jī)的光軸平行布置以拍攝同一對(duì)象的圖像。在這種情況下，如果對(duì)象相距較遠(yuǎn)，則對(duì)象的視差基本上為零。隨著攝像機(jī)與對(duì)象之間距離的縮短，對(duì)象的視差增大。因此，如果基于包括具有較大視差的對(duì)象在內(nèi)的兩個(gè)圖像生成和輸出三維圖像從而進(jìn)行顯示，則對(duì)象的投影量增加(看起來更接近)，并且三維效果增強(qiáng)。然而，如果增大的視差大于特定級(jí)別，則左眼感知到的圖像不會(huì)與右眼感知到的圖像融合，出現(xiàn)雙圖像，不可能實(shí)現(xiàn)立體觀看(融合界限)。已知由于過度視差而引起的雙圖像引起視覺疲勞。因此。為了舒適地觀看三維圖像，在顯示圖像時(shí)必須限制對(duì)象的深度(投影、下壓)。該限制在非專利文獻(xiàn)I中公開。例如，專利文獻(xiàn)I公開了一種生成三維圖像而不會(huì)由于過度視差而導(dǎo)致生成雙圖像的技術(shù)。在專利文獻(xiàn)I中公開的技術(shù)中，對(duì)深度范圍進(jìn)行非線性控制，使得在觀察者的三維可觀看范圍內(nèi)顯示三維圖像，以生成觀察者易于以三維方式觀看到的圖像?，F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I :日本待審專利公開No. 2005-91508非專利文獻(xiàn)非專利文獻(xiàn)I :3D consortium 3DC Safety Guidelines, URL http://www. 3dc.gr. jp/jp/scmt_wg_rep/3dc_guidelinej_200812. pdf

發(fā)明內(nèi)容
本發(fā)明要解決的問題如果期望實(shí)現(xiàn)一種增強(qiáng)的三維效果的主對(duì)象不具有接近最大與最小可拍攝視差之間的中間值的視差，則存在無法充分獲取主對(duì)象的三維效果的問題。具體參照?qǐng)D16和17描述該問題。圖16是主對(duì)象1600、主對(duì)象1601和背景1602的示意圖，并且從攝像機(jī)(未示出)到主對(duì)象1600的距離最短，按照主對(duì)象1601和背景1602的順序，到攝像機(jī)的距離增大。
如上所述，針對(duì)通過置于一條直線上的兩個(gè)攝像機(jī)拍攝主對(duì)象1600、1601和背景1602而獲取的圖像，執(zhí)行不同圖像處理，以生成三維圖像，輸出該三維圖像以在三維圖像顯示裝置(在下文中，簡(jiǎn)單稱作顯示裝置)上顯示。由于到攝像機(jī)的距離按照主對(duì)象1600、1601和背景1602的順序增大，因此當(dāng)Y表示主對(duì)象1600的視差，β表示主對(duì)象1601的視差時(shí)，滿足Y > β。假定主對(duì)象1600的視差Y和主對(duì)象1601的視差β不是接近最大與最小可拍攝視差之間的中間值的視差。背景1602位于到攝像機(jī)最遠(yuǎn)的距離，因此背景1602具有最小視差α。圖17是當(dāng)通過對(duì)拍攝圖16中所示主對(duì)象1600、1601和背景1602而獲取的圖像執(zhí)行不同圖像處理生成三維圖像時(shí)觀看者感知到的并在顯示裝置的顯示平面P上顯示的三維圖像的狀態(tài)的示意圖。顯示平面P上的字符“a”指示顯示平面的位置。在位置1700附近感知到主對(duì)象1600 ;在位置1701附近感知到主對(duì)象1601 ;并且在位置1702附近感知到背景1602。當(dāng)以這樣的方式在顯示平面P上顯示圖16中所示主對(duì)象1600、1601和背景1602的三維圖像時(shí),觀察者感知到三維圖像,使得主對(duì)象1600和1601被下壓(depressed)在背景1602附近。因此，無法充分獲取對(duì)象的三維效果，導(dǎo)致將削弱的三維效果感知作為三維圖像。具體地，當(dāng)主對(duì)象的視差與背景或前景的視差基本上相同時(shí)，主對(duì)象的三維效果顯著劣化。本發(fā)明的目的是解決上述問題，并且提供一種圖像處理器，生成觀察者易于以三維方式觀看到并難以引起觀察者疲勞的三維圖像，并可以容易地調(diào)節(jié)三維圖像中任意部分的三維效果。解決問題的手段本發(fā)明的第一技術(shù)手段是一種圖像處理器，使用來自一個(gè)視點(diǎn)的捕獲圖像和與捕獲圖像相對(duì)應(yīng)的視差圖像作為輸入，以基于捕獲圖像和視差圖像生成三維圖像，該圖像處理器包括視差校正部，用于在預(yù)定范圍內(nèi)校正視差圖像的視差；以及主對(duì)象確定部，用于確定捕獲圖像的至少一個(gè)主對(duì)象，其中圖像處理器對(duì)視差圖像的視差進(jìn)行轉(zhuǎn)換，使得與主對(duì)象確定部所確定的至少一個(gè)主對(duì)象的圖像相對(duì)應(yīng)的視差達(dá)到預(yù)定值，并基于根據(jù)經(jīng)轉(zhuǎn)換的視差和捕獲圖像的視差圖像來生成三維圖像。本發(fā)明的第二技術(shù)手段是一種圖像處理器，使用通過從兩個(gè)觀看位置拍攝同一對(duì)象而獲取的兩個(gè)捕獲圖像作為輸入，以基于捕獲圖像生成三維圖像，該圖像處理器包括視差計(jì)算部，用于根據(jù)兩個(gè)圖像計(jì)算視差；視差校正部，用于在預(yù)定范圍內(nèi)校正視差計(jì)算部所計(jì)算的視差；以及主對(duì)象確定部，用于確定捕獲圖像的至少一個(gè)主對(duì)象，其中圖像處理器對(duì)視差計(jì)算部所計(jì)算的視差進(jìn)行轉(zhuǎn)換，使得與主對(duì)象確定部所確定的至少一個(gè)主對(duì)象相對(duì)應(yīng)的視差達(dá)到預(yù)定值，并基于經(jīng)轉(zhuǎn)換的視差和捕獲圖像生成三維圖像。第三技術(shù)手段是第一或第二技術(shù)手段的圖像處理器，其中，基于規(guī)定了輸入視差與輸出視差之間的關(guān)系的線性函數(shù)，將視差圖像的視差轉(zhuǎn)換為預(yù)定值，并通過連接具有不同斜率的多個(gè)線段來做出示出了輸入視差與輸出視差之間的關(guān)系的圖。第四技術(shù)手段是第一至第三技術(shù)手段中任一個(gè)的圖像處理器，其中，預(yù)定值是零或基于零的預(yù)定范圍內(nèi)的值。
第五技術(shù)手段是第一至第四技術(shù)手段中任一個(gè)的圖像處理器，包括模糊處理部，用于基于視差圖像和捕獲圖像，對(duì)與具有等于或小于第一預(yù)定值或等于或大于第二預(yù)定值的視差的對(duì)象相對(duì)應(yīng)的捕獲圖像的像素值執(zhí)行模糊處理。第六技術(shù)手段是第五技術(shù)手段的圖像處理器，其中，模糊處理部與捕獲圖像中主對(duì)象的視差的絕對(duì)值成比例地增加與主對(duì)象的像素值相對(duì)應(yīng)的模糊量。第七技術(shù)手段是一種圖像顯示裝置，包括第一至第六技術(shù)手段中任一個(gè)的圖像處理器。第八技術(shù)手段是一種圖像拍攝裝置，包括第一至第六技術(shù)手段中任一個(gè)的圖像處理器。本發(fā)明的效果本發(fā)明的圖像處理器生成觀察者易于以三維方式觀看到并難以引起觀察者疲勞的三維圖像，并且可以通過視差轉(zhuǎn)換容易地調(diào)節(jié)三維圖像中任意部分的三維效果，并且可以容易地增強(qiáng)三維效果并改變主對(duì)象的深度感知。


圖I是第一實(shí)施例中描述的圖像處理器的功能框圖。圖2是用于說明視差圖像的圖。圖3是對(duì)視差歸一化的視差校正等式的圖。圖4是削減視差的視差校正等式的圖。圖5是當(dāng)觀察者觀看顯示裝置時(shí)左圖像與右圖像之間的視差和深度量的關(guān)系圖。圖6是說明當(dāng)以設(shè)置為零并且增加/減小到正值/負(fù)值的視差顯示對(duì)象時(shí)觀察者如何感知對(duì)象的示意圖。圖7是對(duì)通過歸一化校正的視差執(zhí)行視差轉(zhuǎn)換的視差轉(zhuǎn)換等式的圖。圖8是對(duì)通過削減校正的視差執(zhí)行視差轉(zhuǎn)換的視差轉(zhuǎn)換等式的圖。圖9是對(duì)通過削減校正的視差執(zhí)行視差轉(zhuǎn)換的視差轉(zhuǎn)換等式的圖。圖10是觀看者感知到的視差轉(zhuǎn)換之后的三維圖像的狀態(tài)的示意圖。圖11是第二實(shí)施例中描述的圖像處理器的功能框圖。圖12是視差擴(kuò)大的示例的圖。圖13是對(duì)通過歸一化校正的視差執(zhí)行視差轉(zhuǎn)換的視差轉(zhuǎn)換等式的圖。圖14是第三實(shí)施例中描述的圖像處理器的功能框圖。圖15是削減視差的視差校正等式的圖。圖16是主對(duì)象和背景的示意圖。圖17是觀察者感知到的三維圖像的狀態(tài)的示意圖。
具體實(shí)施例方式[第一實(shí)施例]現(xiàn)在參照附圖詳細(xì)描述本發(fā)明。附圖中的配置夸張地示出以便于理解，并且具有與實(shí)際配置不同的間隔和尺寸。圖I是第一實(shí)施例中描述的本發(fā)明的圖像處理器100的功能框圖。
圖像處理器100包括視差校正部101、主對(duì)象確定部102、視差轉(zhuǎn)換部103和圖像生成部104，并且使用來自一個(gè)視點(diǎn)的捕獲圖像和與捕獲圖像相對(duì)應(yīng)的視差圖像作為輸入，以基于捕獲圖像和視差圖像來生成三維圖像。向視差校正部101輸入從外部設(shè)備(未示出)等輸入的視差圖像。向主對(duì)象確定部102和圖像生成部104輸入從外部設(shè)備等輸入的捕獲圖像。視差校正部101在預(yù)定范圍內(nèi)校正輸入視差圖像的視差，并向視差轉(zhuǎn)換部103輸出存儲(chǔ)經(jīng)校正視差的視差圖像。稍后描述視差圖像。主對(duì)象確定部102確定輸入的捕獲圖像的主對(duì)象，并向視差轉(zhuǎn)換部103輸出主對(duì)象的位置信息。視差轉(zhuǎn)換部103基于從主對(duì)象確定部102輸入的主對(duì)象的位置信息，從自視差校正部101輸入的視差圖像中提取與主對(duì)象的圖像相對(duì)應(yīng)的(經(jīng)校正)視差。視差轉(zhuǎn)換部 103基于預(yù)定的轉(zhuǎn)換等式來轉(zhuǎn)換提取的視差，并向圖像生成部104輸出存儲(chǔ)經(jīng)轉(zhuǎn)換視差的視差圖像。具體地，視差轉(zhuǎn)換部103對(duì)視差圖像的視差進(jìn)行轉(zhuǎn)換，使得與主對(duì)象確定部102所確定的主對(duì)象的圖像相對(duì)應(yīng)的視差達(dá)到預(yù)定值。預(yù)定值是當(dāng)在三維顯示裝置上顯示主對(duì)象時(shí)使得在顯示屏上或附近顯示主對(duì)象的值。具體地，例如，預(yù)定值是零、或者基于零的預(yù)定范圍內(nèi)的值。預(yù)定值是可調(diào)節(jié)的。因此，對(duì)視差進(jìn)行轉(zhuǎn)換，使得主對(duì)象的三維效果增強(qiáng)。圖像生成部104基于輸入的視差圖像和輸入的捕獲圖像生成左眼圖像(左圖像)和右眼圖像(右圖像)，并且向顯示裝置(未示出)輸出圖像。因此，圖像生成部104基于使用視差轉(zhuǎn)換部103轉(zhuǎn)換的視差的視差圖像、以及捕獲圖像來生成三維圖像。在下文中詳細(xì)描述功能框的細(xì)節(jié)。首先，參照?qǐng)D2描述輸入至視差校正部101的視差圖像。圖2 (A)是攝像機(jī)202和203拍攝對(duì)象201的狀態(tài)的示意圖。攝像機(jī)202和203的光軸(虛線)平行，并且攝像機(jī)202和203置于一條直線上。圖2(B)是左側(cè)攝像機(jī)202所拍攝的對(duì)象201的捕獲圖像204 (在下文中稱作左圖像)以及右側(cè)攝像機(jī)203所拍攝的對(duì)象201的捕獲圖像(下文中稱作右圖像)205的示意圖。圖2 (C)是示意性示出了通過將右圖像205與左圖像204交疊而獲取的圖像，以及圖2(D)示出了視差圖像206。如圖2(C)所示，將右圖像205中的對(duì)象201 (矩形虛線)相對(duì)于左圖像204中的對(duì)象201 (矩形虛線)向左移動(dòng)X個(gè)像素。X個(gè)像素對(duì)應(yīng)于對(duì)兩個(gè)捕獲圖像(左圖像204和右圖像205)中同一對(duì)象201的間隙加以指示的視差。視差圖像意味著針對(duì)每個(gè)像素對(duì)應(yīng)于對(duì)象的像素存儲(chǔ)視差的圖像，所述視差指示從兩個(gè)觀看位置拍攝的同一對(duì)象的兩個(gè)捕獲圖像中同一對(duì)象的間隙。在上述示例中，針對(duì)視差圖像的每個(gè)像素，對(duì)應(yīng)于左圖像204的對(duì)象存儲(chǔ)對(duì)象的視差。圖2⑶示意性示出了在視差圖像206的像素206a中存儲(chǔ)對(duì)象201的視差X的狀態(tài)。視差圖像206的另一像素206b也存儲(chǔ)了左圖像204的對(duì)象的與像素206b相對(duì)應(yīng)的視差。視差可以基于像素或距離。視差校正部101校正視差圖像的視差，以抑制過度視差。按照稍后描述的公知方法來執(zhí)行視差校正。視差校正方法包括兩個(gè)典型方法。一個(gè)方法是對(duì)視差進(jìn)行歸一化，另一個(gè)方法是削減視差。視差歸一化的特征在于，保留總深度關(guān)系，而不使視差飽和；而視差削減的特征在于，保持視差在三維可觀看范圍的對(duì)象的深度量。圖3示出了利用歸一化方法執(zhí)行視差校正的示例，圖4示出了利用削減方法執(zhí)行視差校正的不例。圖3示出了歸一化視差的視差校正等式的圖，并且該視差校正方法由(等式I)表
[等式I]
權(quán)利要求
1.一種圖像處理器，使用來自一個(gè)視點(diǎn)的捕獲圖像和與捕獲圖像相對(duì)應(yīng)的視差圖像作為輸入，以基于捕獲圖像和視差圖像生成三維圖像，所述圖像處理器包括 視差校正部，用于在預(yù)定范圍內(nèi)校正視差圖像的視差；以及 主對(duì)象確定部，用于確定捕獲圖像的至少一個(gè)主對(duì)象，其中 所述圖像處理器對(duì)視差圖像的視差進(jìn)行轉(zhuǎn)換，使得與主對(duì)象確定部所確定的至少一個(gè)主對(duì)象的圖像相對(duì)應(yīng)的視差達(dá)到預(yù)定值；并基于根據(jù)經(jīng)轉(zhuǎn)換的視差和捕獲圖像的視差圖像來生成三維圖像。
2.一種圖像處理器，使用通過從兩個(gè)觀看位置拍攝同一對(duì)象而獲取的兩個(gè)捕獲圖像作為輸入，以基于捕獲圖像生成三維圖像，所述圖像處理器包括 視差計(jì)算部，用于根據(jù)兩個(gè)圖像計(jì)算視差； 視差校正部，用于在預(yù)定范圍內(nèi)校正視差計(jì)算部所計(jì)算的視差；以及 主對(duì)象確定部，用于確定捕獲圖像的至少一個(gè)主對(duì)象，其中 所述圖像處理器對(duì)視差計(jì)算部所計(jì)算的視差進(jìn)行轉(zhuǎn)換，使得與主對(duì)象確定部所確定的至少一個(gè)主對(duì)象相對(duì)應(yīng)的視差達(dá)到預(yù)定值；并基于經(jīng)轉(zhuǎn)換的視差和捕獲圖像生成三維圖像。
3.根據(jù)權(quán)利要求I或2所述的圖像處理器，其中，基于規(guī)定了輸入視差與輸出視差之間的關(guān)系的線性函數(shù)，將視差圖像的視差轉(zhuǎn)換為預(yù)定值，并通過連接具有不同斜率的多個(gè)線段來做出示出了輸入視差與輸出視差之間的關(guān)系的圖。
4.根據(jù)權(quán)利要求I至3中任一項(xiàng)所述的圖像處理器，其中，預(yù)定值是零或基于零的預(yù)定范圍內(nèi)的值。
5.根據(jù)權(quán)利要求I至4中任一項(xiàng)所述的圖像處理器，包括模糊處理部，用于基于視差圖像和捕獲圖像，對(duì)與具有等于或小于第一預(yù)定值或等于或大于第二預(yù)定值的視差的對(duì)象相對(duì)應(yīng)的捕獲圖像的像素值執(zhí)行模糊處理。
6.根據(jù)權(quán)利要求5所述的圖像處理器，其中，模糊處理部與捕獲圖像中主對(duì)象的視差的絕對(duì)值成比例地增加與主對(duì)象的像素值相對(duì)應(yīng)的模糊量。
7.一種圖像顯示裝置，包括權(quán)利要求I至6中任一項(xiàng)中定義的圖像處理器。
8.一種圖像拍攝裝置，包括權(quán)利要求I至6中任一項(xiàng)中定義的圖像處理器。
全文摘要
公開了一種圖像處理器，生成觀察者易于以三維方式觀看到并難以引起觀察者疲勞的三維圖像，并且易于調(diào)節(jié)三維圖像中任意部分的三維效果。視差校正部101在預(yù)定范圍內(nèi)校正輸入視差圖像的視差，并向視差轉(zhuǎn)換部103輸出存儲(chǔ)經(jīng)校正視差的視差圖像。視差轉(zhuǎn)換部103轉(zhuǎn)換視差圖像的視差，使得與主對(duì)象確定部102所確定的主對(duì)象的圖像相對(duì)應(yīng)的視差達(dá)到預(yù)定值，并且向圖像生成部104輸出轉(zhuǎn)換后獲得的視差圖像。圖像生成部104基于輸入的視差圖像和輸入的捕獲圖像，生成左眼圖像和右眼圖像，并且向顯示裝置輸出圖像。因此，對(duì)視差進(jìn)行了轉(zhuǎn)換，使得主對(duì)象的三維效果增強(qiáng)。
文檔編號(hào)H04N13/02GK102939764SQ20118002591
公開日2013年2月20日 申請(qǐng)日期2011年5月24日 優(yōu)先權(quán)日2010年5月26日
發(fā)明者澀久奈保, 德井圭 申請(qǐng)人:夏普株式會(huì)社