專利名稱：立體圖像拍攝裝置以及立體圖像拍攝方法
技術(shù)領(lǐng)域：
本發(fā)明涉及具 有左右一對(duì)攝像部的立體圖像拍攝裝置以及立體圖像拍攝方法，詳細(xì)而言，涉及用于矯正由左右一對(duì)攝像部的光軸偏移引起的左眼用、右眼用圖像的偏移以確保左眼用、右眼用攝像部的拍攝的同時(shí)性的技術(shù)。
背景技術(shù)：
以往，公知由左右一對(duì)攝像部拍攝被攝體，并從所得到的左右圖像得到立體圖像的雙視野式立體照相機(jī)。然而，左右一對(duì)的攝像部，一般無(wú)法避免二者間的垂直方向、水平方向的光軸偏移。在本案中，垂直方向的光軸偏移是問(wèn)題。為了矯正由垂直方向的光軸引起的左眼用、右眼用圖像的垂直方向的位置偏移，以往，公知以下技術(shù)控制為通過(guò)檢測(cè)該偏移，并向多軸轉(zhuǎn)臺(tái)中的機(jī)械性的各驅(qū)動(dòng)部反饋檢測(cè)偏移量，從而例如調(diào)整左眼用、右眼用攝像部的俯角、仰角，以消除偏移。這是機(jī)械性的偏移矯正(例如參照專利文獻(xiàn)I)。而且，公知在各攝像部中組裝通過(guò)變更拍攝倍率的透鏡來(lái)構(gòu)成變焦透鏡的變倍透鏡。此時(shí)，由于變倍透鏡而會(huì)增加左眼用、右眼用圖像的垂直方向位置偏移。為了矯正由該倍率誤差引起的左眼用、右眼用圖像的位置偏移，而控制為通過(guò)檢測(cè)該偏移，并向變倍透鏡驅(qū)動(dòng)機(jī)構(gòu)反饋檢測(cè)偏移量，以消除倍率誤差。這也是機(jī)械性的偏移矯正(例如參照專利文獻(xiàn)2) ο現(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)I JP特開平5-130646號(hào)公報(bào)專利文獻(xiàn)2 JP特開平9-133852號(hào)公報(bào)
發(fā)明概要發(fā)明所要解決的技術(shù)問(wèn)題專利文獻(xiàn)1、2的現(xiàn)有技術(shù)都是進(jìn)行機(jī)械性調(diào)整的技術(shù)，該調(diào)整自然有局限性，無(wú)法完全修正是實(shí)際狀況。這是由于即使作為左右一對(duì)攝像部而準(zhǔn)備相同構(gòu)造的攝像部，也必然會(huì)伴有個(gè)體差異。此外，由安裝的誤差引起的光軸偏移也不可避免。而且，由于歷時(shí)性變化或伴隨移動(dòng)的振動(dòng)等，而會(huì)在兩個(gè)攝像部之間產(chǎn)生光軸偏移，若這樣合成立體圖像，則無(wú)法得到合適的立體圖像。尤其，在使用通過(guò)進(jìn)行行單位讀取的卷簾快門進(jìn)行工作的M0S(Metal OxideSemiconductor :金屬氧化物半導(dǎo)體)型的圖像傳感器時(shí)，若產(chǎn)生基于光軸的左眼用、右眼用圖像的偏移，則作為立體圖像用的視差圖像讀取的左眼用、右眼用圖像的位置上的匹配度變得不匹配，會(huì)產(chǎn)生基于立體效果的不適感，或?qū)ρ蹘?lái)明顯的疲勞。在是移動(dòng)被攝體的情況下，不適合的現(xiàn)象更會(huì)被放大。此外，在伴隨望遠(yuǎn)變焦的情況下，不匹配的程度會(huì)增加。針對(duì)因該卷簾快門導(dǎo)致的問(wèn)題，專利文獻(xiàn)1、2并未認(rèn)識(shí)到，當(dāng)然也就未涉及到任何對(duì)策。發(fā)明內(nèi)容
本發(fā)明是鑒于此而做出的，其目的在于，即使在左右一對(duì)的攝像部之間產(chǎn)生垂直方向的光軸偏移，也能可靠地矯正該偏移而確保左眼用、右眼用攝像部的拍攝的同時(shí)性、并在左右圖像之間無(wú)偏移的優(yōu)質(zhì)的立體圖像。解決技術(shù)問(wèn)題的手段本發(fā)明通過(guò)講述如下的方法來(lái)解決上述問(wèn)題。以下，《1》、《2》、《3》…等帶有括號(hào)的數(shù)字稱為[專利請(qǐng)求的范圍]的請(qǐng)求項(xiàng)號(hào)碼。這些帶括號(hào)的數(shù)字，為了說(shuō)明，在以下的記載中，不一定按連續(xù)編碼，有時(shí)會(huì)打亂順序，改變先后?！禝》本發(fā)明，在如下的考察的基礎(chǔ)上解決上述問(wèn)題。其宗旨在于，將圖像中的偏移即空間上的位移置換為驅(qū)動(dòng)定時(shí)的調(diào)整這一時(shí)間上的位移來(lái)進(jìn)行調(diào)整這樣的技術(shù)思想。使用圖I來(lái)進(jìn)行說(shuō)明。由于是立體圖像拍攝裝置，因此，作為前提，具有左眼用、右眼用攝像部1L、1R; 幀同步地驅(qū)動(dòng)控制這兩個(gè)攝像部1L、1R中的各圖像傳感器2L、2R的幀同步驅(qū)動(dòng)控制部3 ;以及對(duì)由左眼用、右眼用攝像部1L、1R獲取的左右拍攝圖像進(jìn)行圖像處理而生成成為立體圖像合成源的視差圖像的照相機(jī)處理部4。幀同步驅(qū)動(dòng)控制部3，在左眼用、右眼用攝像部1L、1R在工作頻率中對(duì)匹配進(jìn)行補(bǔ)償。而且，具有垂直定時(shí)調(diào)整器5，該垂直定時(shí)調(diào)整器5針對(duì)通過(guò)左眼用、右眼用攝像部1L、IR得到的左眼用、右眼用拍攝圖像PL、PR，當(dāng)由于在圖像傳感器2L、2R產(chǎn)生的光軸偏移而在左眼用、右眼用拍攝圖像PL、PR中產(chǎn)生空間上的偏移即垂直方向偏移時(shí)，用于矯正該偏移。該垂直定時(shí)調(diào)整器5構(gòu)成為以左眼用、右眼用拍攝圖像PL、PR中的被攝體像AL、AR的取景(frimming)位置的垂直方向偏移量接近于零的方式,在巾貞同步驅(qū)動(dòng)控制部3中調(diào)整圖像傳感器2L、2R的驅(qū)動(dòng)定時(shí)。此時(shí)，將對(duì)左眼用、右眼用圖像傳感器2L、2R之中任一者的驅(qū)動(dòng)定時(shí)進(jìn)行調(diào)整作為原則。不過(guò)，圖像傳感器的驅(qū)動(dòng)定時(shí)的調(diào)整，構(gòu)成為在任何圖像傳感器均可。這是因?yàn)榧葧?huì)有右眼用拍攝圖像PR相對(duì)于左眼用拍攝圖像PL沿垂直方向向下偏移的情況，相反地，也會(huì)有左眼用拍攝圖像PL相對(duì)于右眼用拍攝圖像PR沿垂直方向向下偏移的情況，因而為了能夠與這兩種情況對(duì)應(yīng)。即，左眼用、右眼用圖像傳感器2L、2R的驅(qū)動(dòng)定時(shí)的調(diào)整，構(gòu)成為能夠相互獨(dú)立實(shí)施。以下，更具體地進(jìn)行說(shuō)明。若在用左眼用攝像部IL與右眼用攝像部IR同時(shí)拍攝相同被攝體的狀態(tài)下，兩個(gè)攝像部1L、1R有垂直方向的光軸偏移，則在同一定時(shí)下的左眼用拍攝圖像PL與右眼用拍攝圖像PR中會(huì)產(chǎn)生空間上的偏移即垂直方向的偏移。使用圖2來(lái)進(jìn)行說(shuō)明。這是對(duì)由卷簾快門進(jìn)行的讀取的處理進(jìn)行示意。附圖的水平方向是時(shí)間軸，考慮為從左側(cè)向右側(cè)時(shí)間前進(jìn)。用矩形表示的左眼用、右眼用拍攝圖像PL、PR，相對(duì)于通常的描述方法，以逆時(shí)針?lè)较蛐D(zhuǎn)90度的狀態(tài)描述。即，兩個(gè)拍攝圖像PL、PR，以其空間上的垂直方向軸成為時(shí)間軸方向的方式在附圖上被展開。附圖的縱方向與兩個(gè)拍攝圖像PL、PR的空間上的水平方向?qū)?yīng)。包含(+1)的這樣的圖的標(biāo)記(細(xì)節(jié)將使用圖5在后面描述)，是卷簾快門方式的MOS圖像傳感器中特有的標(biāo)記，在規(guī)定時(shí)間的曝光剛結(jié)束之后的來(lái)自圖像傳感器的圖像數(shù)據(jù)的讀取處理中，與以行單位在畫面垂直方向(圖的右方向)上依次進(jìn)行讀取相對(duì)應(yīng)。而且，行單位的行是指沿圖的縱方向的像素組I列。AL是左眼用拍攝圖像PL中的讀取對(duì)象的被攝體像，AR是右眼用拍攝圖像PR中的讀取對(duì)象的被攝體像。分別在兩個(gè)拍攝圖像PL、PR中，被攝體像AL、AR越向下側(cè)(右側(cè))，時(shí)間越前進(jìn)。
當(dāng)前，假設(shè)如圖2(a)所示，由于左眼用、右眼用圖像傳感器2L、2R的光軸偏移而相對(duì)于圖像傳感器的攝像面，在相同時(shí)刻的同一被攝體的一幀內(nèi)的位置(AL、AR)，在右眼用拍攝圖像PR中比左眼用拍攝圖像PL更向垂直方向下側(cè)(圖的右方向)位移。即，相對(duì)于左眼用拍攝圖像PL中的被攝體像AL，右眼用拍攝圖像PR中的被攝體像AR沿垂直方向向下偏移。附圖示例中，At是將左眼用拍攝圖像PL內(nèi)的被攝體像AL的取景位置的右眼用拍攝圖像PR內(nèi)的被攝體像AR的取景位置的垂直方向偏移量換算為時(shí)間上的偏移時(shí)間量。如此，若將左右的被攝體像AL、AR位置偏移的兩個(gè)拍攝圖像PL、PR直接作為視差圖像而合成立體圖像，則作為立體圖像會(huì)產(chǎn)生伴隨垂直偏移的不良。因此，目標(biāo)是如圖3(b)所示那樣在垂直方向(圖的橫向時(shí)間軸方向)上使左眼用、右眼用圖像中所附的圖案匹配。因此，首先，如圖2(b)所示，為了相對(duì)于左眼用、右眼用拍攝圖像PL、PR中的被攝體像AL、AR的取景位置檢測(cè)出垂直方向偏移量而設(shè)定左右整理區(qū)域TL、TR。這是空間上的范圍限制。設(shè)定左右整理區(qū)域TL、TR,以使左眼用整理區(qū)域TL內(nèi)的被攝體像AL的相對(duì)位 置關(guān)系與右眼用整理區(qū)域TR內(nèi)的被攝體像AR的相對(duì)位置關(guān)系等效。這些左眼用、右眼用整理圖像？1^了1 ，如圖2((3)所示，在空間上，以整理區(qū)域TL、TR為基準(zhǔn)處于等效的相位關(guān)系。然而，空間上處于等效相位關(guān)系，不是完善的解決方案。這是由于仍殘留有時(shí)間上的偏移的問(wèn)題。解決該點(diǎn)是本發(fā)明的最大要點(diǎn)。以下，詳細(xì)進(jìn)行說(shuō)明。當(dāng)從左眼用圖像傳感器2L讀取左眼用整理圖像PTL，從右眼用圖像傳感器2R讀取右眼用整理圖像PTR時(shí)，如圖2(b)所示，若使用單一共同的讀取開始脈沖SP，則光軸相對(duì)上方的右眼用整理圖像PTR良好，而光軸相對(duì)下方的左眼用整理圖像PTL相對(duì)于右眼用整理圖像PTR會(huì)成為在時(shí)間上的偏移(前方偏移)場(chǎng)景的圖像。這是因?yàn)槿鐖D2(c)所示，左眼用整理圖像PTL內(nèi)的被攝體像AL是時(shí)刻ts te的范圍內(nèi)的圖像(附圖下側(cè)的虛線)，而相對(duì)于此,右眼用整理圖像PTR內(nèi)的被攝體像AR是時(shí)刻(ts+At) (te+At)的范圍內(nèi)的圖像(附圖上側(cè)的實(shí)線)。這兩個(gè)被攝體像AL、AR，成為在時(shí)間上偏移的場(chǎng)景的圖像。況且，若被攝體為移動(dòng)被攝體，則兩個(gè)被攝體像AL、AR還會(huì)在位置(坐標(biāo))、輪廓形狀、尺寸等方面上不同，與本來(lái)應(yīng)取出的被攝體像更增加了不同點(diǎn)，若合成為立體圖像，則會(huì)被識(shí)別為未克服偏移，而在移動(dòng)速度與移動(dòng)方向上更靠里的位置發(fā)生變化的非自然的有不適感的圖像。這是要解決的問(wèn)題的細(xì)節(jié)。因此，在本發(fā)明中，如圖3(a)所示，在左眼用整理圖像PTL的讀取中，使用與右眼用整理圖像PTR的讀取開始脈沖SP不同的、比該讀取開始脈沖SP在時(shí)間上延遲了 Λ t的讀取開始脈沖SP'從該標(biāo)準(zhǔn)的讀取開始脈沖SP延遲時(shí)間At而生成讀取開始脈沖SP*是垂直定時(shí)調(diào)整器5的作用。結(jié)果，如圖3(b)所示，光軸相對(duì)下方的左眼用整理圖像PTL，成為相對(duì)于右眼用整理圖像PTR在時(shí)間上實(shí)質(zhì)無(wú)偏移的相同場(chǎng)景的圖像。因此，若將該左眼用整理圖像PTL與右眼用整理圖像PTR作為視差圖像而合成立體圖像，則成為消除了偏移的立體圖像。圖3(b)中，位于上側(cè)的右眼側(cè)被攝體像AR相當(dāng)于時(shí)刻(ts+At) (te+At),位于下側(cè)的左眼側(cè)被攝體像AL也相當(dāng)于時(shí)刻(ts+At) (te+At)，于是左右的整理圖像PTL、PTR在垂直方向的位置關(guān)系上是匹配的。并且，雖然已是重申，但還是要說(shuō)，其主要原因在于，如圖3(a)所示，使用比上側(cè)的讀取開始脈沖SP在時(shí)間上延遲了 At的讀取開始脈沖 SP*。在上述中，雖然將拍攝圖像相對(duì)位于下方側(cè)的圖像傳感器假設(shè)為左眼用圖像傳感器2L，當(dāng)然，與此相反，有時(shí)也將拍攝圖像相對(duì)位于下方側(cè)的圖像傳感器設(shè)為右眼用圖像傳感器2R。此時(shí)，可以對(duì)稱地考慮將上述進(jìn)行左右置換。在本發(fā)明中，由于垂直定時(shí)調(diào)整器5的作用，通過(guò)調(diào)整兩個(gè)圖像傳感器2L、2R的驅(qū)動(dòng)定時(shí)這樣在時(shí)間上的要素，從而將相同時(shí)刻的同一被攝體的視差圖像用的左眼用、右眼用兩個(gè)拍攝圖像(整理圖像PTL、PTR)中的空間上的位置關(guān)系變換為等效?，F(xiàn)有技術(shù)的解決方法，為了將垂直方向偏移這樣空間上的位移調(diào)整為接近于零，當(dāng)然，還是使用相同量綱的空間上的位置調(diào)整來(lái)進(jìn)行的。這是機(jī)械性的調(diào)整。由于是機(jī)械的調(diào)整，因此無(wú)論如何都有局限性，極度的微調(diào)整是困難的。然而，在本發(fā)明中，完全轉(zhuǎn)變了上述構(gòu)想，為了將垂直方向偏移這樣的空間上的位移調(diào)整為接近于零，而使用量綱不同的時(shí)間上的位移即定時(shí)調(diào)整來(lái)進(jìn)行。 現(xiàn)有技術(shù)情況下的機(jī)械性調(diào)整，是在獲取被攝體的光學(xué)像之前的狀態(tài)下的被攝體與攝像設(shè)備的空間上相對(duì)的位置關(guān)系的調(diào)整。若進(jìn)行表述，則這是“外調(diào)整”。相對(duì)于此，在本發(fā)明中，是獲取被攝體的光學(xué)像并進(jìn)行了電子化之后的狀態(tài)下的調(diào)整。這是“內(nèi)調(diào)整”。在外調(diào)整中，無(wú)論如何往往原因與結(jié)果之間會(huì)產(chǎn)生不一致，但若為內(nèi)調(diào)整，則原因與結(jié)果的關(guān)系接近，根本上會(huì)得到解決。如上所述，通過(guò)將圖像中的偏移即空間上的位移置換并調(diào)整為驅(qū)動(dòng)定時(shí)的調(diào)整這樣的時(shí)間的位移，從而在構(gòu)成視差圖像的左眼用、右眼用圖像中，能夠矯正垂直方向偏移。作為以上的結(jié)果，即使在左眼用、右眼用攝像部1L、1R之間產(chǎn)生垂直方向的光軸偏移，也能夠可靠地對(duì)其進(jìn)行矯正，并得到在左眼用、右眼用的兩個(gè)拍攝圖像之間確保了在空間上垂直方向無(wú)偏移的拍攝的同時(shí)性的顯示用/記錄用的視差圖像，得到優(yōu)良品質(zhì)的立體圖像。即，能夠超越現(xiàn)有技術(shù)的情況下所確認(rèn)的因機(jī)械性調(diào)整所導(dǎo)致的伴隨個(gè)體差的局限性，能夠進(jìn)行更高精度的調(diào)整。綜上所述，本發(fā)明的立體圖像拍攝裝置具有左眼用拍攝部1L，其具有左眼用圖像傳感器2L ；右眼用攝像部IR，其具有右眼用圖像傳感器2R ；幀同步驅(qū)動(dòng)控制部3，其幀同步地驅(qū)動(dòng)控制所述左眼用、右眼用圖像傳感器2L、2R ；照相機(jī)處理部4，其對(duì)由所述左眼用攝像部IL獲取到的左眼用拍攝圖像PL、和由所述右眼用攝像部IR獲取到的右眼用拍攝圖像PR進(jìn)行圖像處理，來(lái)生成所述左眼用拍攝圖像PL和所述右眼用拍攝圖像PR的視差圖像；和垂直定時(shí)調(diào)整器5，按照使所述左眼用拍攝圖像PL中的被攝體像的取景位置與所述右眼用拍攝圖像PR中的被攝體像的取景位置之間的垂直方向偏移量接近于零的方式，在所述幀同步驅(qū)動(dòng)控制部3中調(diào)整所述左眼用、右眼用圖像傳感器2L、2R的驅(qū)動(dòng)定時(shí)。《18》與上述《I》的立體圖像拍攝裝置關(guān)聯(lián)，本發(fā)明的立體圖像拍攝方法，作為必需的處理過(guò)程而包括求出由具有左眼用圖像傳感器2L的左眼用攝像部IL得到的左眼用攝像圖像PL中的被攝體像的取景位置、與由具有右眼用圖像傳感器的右眼用攝像部IR得到的右眼用攝像圖像PR中的被攝體像的取景位置之間的垂直方向偏移量的第I步驟；根據(jù)所述垂直方向偏移量，來(lái)調(diào)整所述左眼用、右眼用圖像傳感器2L、2R的驅(qū)動(dòng)定時(shí)的第2步驟；以行單位依次讀取由按照調(diào)整后的所述驅(qū)動(dòng)定時(shí)驅(qū)動(dòng)的所述左眼用、右眼用圖像傳感器2L、2R獲取到的曝光結(jié)束后的圖像數(shù)據(jù)的第3步驟。根據(jù)上述《1》、《18》的結(jié)構(gòu)，在左右一對(duì)攝像部1L、1R之間即使產(chǎn)生了垂直方向的光軸偏移，也能夠通過(guò)由垂直定時(shí)調(diào)整器5進(jìn)行的電子定時(shí)調(diào)整可靠地矯正偏移，且通過(guò)該矯正，得到在左眼用、右眼用攝像圖像之間確保了空間上無(wú)垂直方向的偏移的拍攝的同時(shí)性的顯示用/記錄用的視差圖像，能夠得到優(yōu)良品質(zhì)的立體圖像。發(fā)明效果
根據(jù)本發(fā)明，在左右一對(duì)攝像部之間，即使產(chǎn)生了垂直方向的光軸偏移，也能夠可靠地矯正它，且得到在左眼用、右眼用拍攝圖像之間確保了空間上無(wú)垂直方向的偏移的拍攝的同時(shí)性的顯示用/記錄用的視差圖像，得到優(yōu)良品質(zhì)的立體圖像。即，以相同方式準(zhǔn)備的左右一對(duì)攝像部與是否伴有個(gè)體差無(wú)關(guān)，而通過(guò)基于垂直定時(shí)調(diào)整器的電子定時(shí)調(diào)整，得到在左眼用、右眼用拍攝圖像之間確保了空間上無(wú)垂直方向的偏移的拍攝的同時(shí)性的顯示用/記錄用的視差圖像，能夠得到優(yōu)良品質(zhì)的立體圖像。


圖I是表示本發(fā)明的立體圖像拍攝裝置的基本結(jié)構(gòu)的方框圖。圖2是本發(fā)明中的卷簾快門的讀取定時(shí)調(diào)整的示意圖(之一)。圖3是本發(fā)明中的卷簾快門的讀取定時(shí)調(diào)整的示意圖(之二)。圖4是表示本發(fā)明的實(shí)施方式中的垂直定時(shí)調(diào)整器的具體結(jié)構(gòu)的方框圖。圖5是一般的卷簾快門的曝光及讀取的處理的示意圖。圖6是表示本發(fā)明的實(shí)施例中的立體圖像拍攝裝置的結(jié)構(gòu)的方框圖。圖7是本發(fā)明的實(shí)施例中的左眼用、右眼用拍攝圖像的垂直方向偏移的情形的說(shuō)明圖。圖8是本發(fā)明的實(shí)施例中的針對(duì)垂直方向偏移的讀取定時(shí)的控制的說(shuō)明圖。圖9是用于說(shuō)明本發(fā)明的實(shí)施例中的與圖7對(duì)應(yīng)的動(dòng)作的時(shí)序表。圖10是用于說(shuō)明本發(fā)明的實(shí)施例中的與圖8對(duì)應(yīng)的動(dòng)作的時(shí)序表。圖11是表示本發(fā)明的實(shí)施例中的監(jiān)視顯示器的左眼用、右眼用拍攝圖像的顯示的情形的圖(之一)。圖12是表示本發(fā)明的實(shí)施例中的監(jiān)視顯示器的左眼用、右眼用拍攝圖像的顯示的情形的圖(之二)。圖13是表示本發(fā)明的實(shí)施例中的臉部區(qū)域檢測(cè)的情形的圖。圖14是表示本發(fā)明的實(shí)施例中的立體圖像拍攝裝置的動(dòng)作的流程圖。圖15是表示本發(fā)明的實(shí)施例中的整理區(qū)域調(diào)整的途中階段的圖。圖16是表示本發(fā)明的實(shí)施例中的照相機(jī)系統(tǒng)的情形的立體圖(之一)。圖17是表示本發(fā)明的實(shí)施例中的照相機(jī)系統(tǒng)的情形的立體圖(之二)。
具體實(shí)施例方式上述的《I》的結(jié)構(gòu)的本發(fā)明的立體圖像拍攝裝置以及關(guān)聯(lián)的《18》的立體圖像拍攝方法，在如下實(shí)施方式中還能夠進(jìn)一步很好地展開?！?》在上述《I》中，說(shuō)明了整理區(qū) 域TL、TR0該整理區(qū)域TL、TR，終究要求出驅(qū)動(dòng)定時(shí)所需要的延遲量。驅(qū)動(dòng)定時(shí)的延遲量，雖然通過(guò)其它方法也能被求出，但若設(shè)定整理區(qū)域TL、TR,則容易求出延遲量。即，作為優(yōu)選方式，垂直定時(shí)調(diào)整器5被構(gòu)成為求出按照使相同時(shí)刻的同一被攝體的相對(duì)位置關(guān)系在所述左眼用拍攝圖像PL和所述右眼用拍攝圖像PR中為相同的方式被設(shè)定的左右整理區(qū)域TL、TR的偏移量，在幀同步驅(qū)動(dòng)控制部3中設(shè)定與所求出的偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量。而且，針對(duì)整理，沿垂直方向向下側(cè)位移的圖像中，可以將從上邊起相當(dāng)于垂直方向偏移量的行數(shù)份的圖像數(shù)據(jù)作為無(wú)效數(shù)據(jù)。《3》接著對(duì)圖像傳感器中的電子快門的方式進(jìn)行討論。左右一對(duì)攝像部1L、1R中的圖像傳感器2L、2R中具有用于曝光控制的電子快門。M0S(Metal Oxide Semiconductor)圖像傳感器時(shí)的電子快門是以卷簾快門方式為標(biāo)準(zhǔn)。此外，(XD(Charge Coupled Device)圖像傳感器時(shí)的電子快門是以全局快門為標(biāo)準(zhǔn)。CXD圖像傳感器的全局快門方式，由于是全像素同時(shí)進(jìn)行快門動(dòng)作的方式，因此若通過(guò)左右圖像傳感器使驅(qū)動(dòng)同步，則即使假設(shè)左眼用、右眼用圖像在垂直方向上產(chǎn)生位置偏移，也沒(méi)有時(shí)間上的偏移。因此，只要在左眼用、右眼用圖像中預(yù)先使整理一致，就沒(méi)有問(wèn)題。有問(wèn)題的是以行單位依次讀取的MOS圖像傳感器的卷簾快門方式。上述圖2、圖3是卷簾快門方式下的說(shuō)明(與圖5相同)。當(dāng)左眼用、右眼用攝像部1L、1R的圖像傳感器2L、2R為卷簾快門方式的MOS圖像傳感器時(shí)，本發(fā)明，尤其會(huì)有效地發(fā)揮其技術(shù)性意義。綜上所述，在上述《I》、《2》的結(jié)構(gòu)中，所述左眼用、右眼用圖像傳感器2L、2R是作為用于曝光控制的電子快門而具有卷簾快門的MOS圖像傳感器。上述《I》的發(fā)明，其構(gòu)想的基礎(chǔ)，本來(lái)就是卷簾快門方式的MOS圖像傳感器。然而，《I》的發(fā)明，作為用于曝光控制的電子快門并不必將卷簾快門作為必要條件?！?》的發(fā)明也同樣?！禝》、《2》的發(fā)明在這樣的條件下成立。相對(duì)于此，在本項(xiàng)《3》中，限定了應(yīng)用性更高的規(guī)格。即，進(jìn)行行單位的讀取的卷簾快門的MOS圖像傳感器適合于上述《I》、《2》的由垂直定時(shí)調(diào)整器5進(jìn)行的來(lái)自各圖像傳感器2L、2R的讀取開始脈沖SP的定時(shí)調(diào)整。本發(fā)明適合應(yīng)用于這樣的卷簾快門方式的圖像傳感器，《4》在上述《I》 《3》的結(jié)構(gòu)中，針對(duì)由垂直定時(shí)調(diào)整器5進(jìn)行調(diào)整的驅(qū)動(dòng)定時(shí)，將其作為垂直同步信號(hào)的定時(shí)，在此基礎(chǔ)上，垂直定時(shí)調(diào)整器5，優(yōu)選在拍攝圖像中的被攝體像取景位置相對(duì)位于上方側(cè)(光軸向下方偏移的一側(cè))的圖像傳感器中，將其垂直同步信號(hào)的定時(shí)設(shè)為從同步基準(zhǔn)信號(hào)的定時(shí)起延遲與對(duì)應(yīng)于垂直方向偏移量的行數(shù)相匹配的垂直掃描期間。此時(shí)，在拍攝圖像中的被攝體像取景位置相對(duì)位于下方側(cè)的圖像傳感器中，其垂直同步信號(hào)的定時(shí)與同步基準(zhǔn)信號(hào)的定時(shí)一致。由此，被攝體像取景位置為上方側(cè)(光軸下方側(cè))的圖像傳感器的垂直同步信號(hào)的定時(shí)，會(huì)比被攝體像取景位置為下方側(cè)(光軸上方側(cè))的圖像傳感器的垂直同步信號(hào)的定時(shí)延遲了相當(dāng)于垂直方向偏移量的垂直掃描期間。
左眼用攝像部IL中的圖像傳感器2L和右眼用攝像部IR中的圖像傳感器2R，其驅(qū)動(dòng)也根據(jù)成為定時(shí)的基準(zhǔn)的垂直同步信號(hào)而被驅(qū)動(dòng)。在此，將兩者的垂直同步信號(hào)設(shè)為彼此獨(dú)立地被整理調(diào)整。成為這兩個(gè)圖像傳感器2L、2R的垂直同步信號(hào)源的共享信號(hào)為同步基準(zhǔn)信號(hào)。以該根本的同步基準(zhǔn)信號(hào)為基準(zhǔn)，被攝體像取景位置為下方側(cè)(光軸上方側(cè))的圖像傳感器的垂直同步信號(hào)的定時(shí)與同步基準(zhǔn)信號(hào)設(shè)為相同定時(shí)，并使被攝體像取景位置為上方側(cè)(光軸下方側(cè))的圖像傳感器的垂直同步信號(hào)的定時(shí)延遲于同步基準(zhǔn)信號(hào)。該延遲量At相當(dāng)于與左眼用、右眼用拍攝圖像PL、PR中的被攝體像AL、AR的取景位置的垂直方向偏移量Ah對(duì)應(yīng)的行數(shù)所匹配的垂直掃描時(shí)間。而且，有時(shí)將延遲量At換算為設(shè)定顯示模式(VGA等的分辨率規(guī)格)中的行數(shù)。通過(guò)這樣進(jìn)行控制，當(dāng)在左眼用、右眼用拍攝圖像PL、PR中的被攝體像AL、AR的取景位置產(chǎn)生了垂直方向偏移時(shí)，將該垂直方向偏移量調(diào)整為接近于零，能夠使視差圖像用的左眼用、右眼用拍攝圖像(取景圖像PTL、PTR)具有無(wú)垂直方向偏移的匹配性。例如，如圖2、圖3所例示，左眼用拍攝圖像PL的被攝體像AL的取景位置設(shè)為相對(duì) 向上方進(jìn)行了位移。此時(shí)，在拍攝圖像的被攝體像的取景位置相對(duì)位于上方側(cè)(光軸下方偵 的左眼用圖像傳感器2L中，使讀取開始定時(shí)延遲。如此，在構(gòu)成視差圖像的左眼用、右眼用圖像中，會(huì)消除垂直方向的偏移，且被調(diào)整為左眼側(cè)被攝體像AL的空間上及時(shí)間上的位置關(guān)系與右眼側(cè)被攝體像AR的空間上及時(shí)間上的位置關(guān)系相同。與上述相反，將右眼用拍攝圖像PR設(shè)為向相對(duì)位于上方位移。此時(shí)，在拍攝圖像的被攝體像的取景位置相對(duì)位于上方側(cè)的右眼用圖像傳感器2R中使讀取的開始定時(shí)延遲。這樣，在構(gòu)成視差圖像的左眼用、右眼用圖像中，消除垂直方向的偏移，且將左眼側(cè)被攝體像AL的空間上及時(shí)間上的位置關(guān)系調(diào)整為與右眼側(cè)被攝體像AR的空間上及時(shí)間上的位置關(guān)系相同。如上所述，在任何情況下，視差圖像用的左眼用、右眼用拍攝圖像(取景圖像PTL、PTR)中的被攝體像AL、AR的空間上及時(shí)間上的位置關(guān)系被調(diào)整為等同。此外，圖像中的偏移即空間上的位移，被置換并調(diào)整為讀取開始定時(shí)的延遲這樣的時(shí)間上的位移。這個(gè)因?yàn)?，垂直定時(shí)調(diào)整器5構(gòu)成為如下的方式相互獨(dú)立地對(duì)左眼用、右眼用圖像傳感器2L、2R的垂直同步信號(hào)進(jìn)行定時(shí)調(diào)整?！?》在上述《3》、《4》的結(jié)構(gòu)中，針對(duì)左眼用、右眼用MOS圖像傳感器2L、2R中的驅(qū)動(dòng)定時(shí)的方式，構(gòu)成為如下方式電子快門開始脈沖ESSP(快門脈沖)以及讀取開始脈沖SP的定時(shí)與該MOS圖像傳感器的垂直同步信號(hào)的延遲并行地延遲相同時(shí)間。電子快門開始脈沖ESSP是如下的脈沖通過(guò)該脈沖的輸出，以行單位依次對(duì)伴隨被攝體光學(xué)像的入射的電荷的積蓄隨時(shí)進(jìn)行復(fù)位，且從解除脈沖的定時(shí)起設(shè)為曝光時(shí)間(積蓄時(shí)間)的開始。讀取開始脈沖SP是以該脈沖為起點(diǎn)，以行單位依次進(jìn)行讀取，并使用該周期來(lái)確定一幀期間(一場(chǎng)期間)的脈沖。從電子快門開始脈沖ESSP的脈沖解除的定時(shí)至下一個(gè)讀取開始脈沖SP的定時(shí)之前相當(dāng)于曝光時(shí)間。具有這樣功能的電子快門開始脈沖ESSP以及讀取開始脈沖SP是以垂直同步信號(hào)為基準(zhǔn)而生成的脈沖。因此，在使垂直同步信號(hào)延遲時(shí)，優(yōu)選與它聯(lián)動(dòng)地使電子快門開始脈沖ESSP和讀取開始脈沖SP都自然延遲相同時(shí)間?！?》在上述《I》 《5》的結(jié)構(gòu)中，垂直定時(shí)調(diào)整器5構(gòu)成為在將垂直方向偏移量換算為行數(shù)偏移量的基礎(chǔ)上，針對(duì)在所述左眼用、右眼用拍攝圖像PL、PR之中獲取被攝體像取景位置比一方相對(duì)位于上方側(cè)的另一方的所述左眼用圖像傳感器2L或所述右眼用圖像傳感器2R，將所述行數(shù)偏移量設(shè)定為所述驅(qū)動(dòng)定時(shí)的延遲量。垂直方向偏移量被認(rèn)為帶有垂直方向的像素?cái)?shù)。圖像傳感器的驅(qū)動(dòng)定時(shí)的調(diào)整以行數(shù)為基準(zhǔn)來(lái)進(jìn)行。若FullifflD (1920 X 1080)、VGA (640 X 480)、QVGA (320 X 240)等顯示模式(分辨率規(guī)格)發(fā)生變化，則控制上被延遲的行數(shù)也發(fā)生變化。因此，需要與分辨率規(guī)格相符的行數(shù)換算。如此，將根據(jù)垂直方向偏移量換算得到的行數(shù)偏移量(延遲量信息)反饋給相應(yīng)一方的圖像傳感器(光軸下偏移，圖像上偏移的圖像傳感器)，以提供匹配控制。《7》在上述《I》 《6》中，為了從垂直定時(shí)調(diào)整器5經(jīng)由幀同步驅(qū)動(dòng)控制部3對(duì)相應(yīng)一方的圖像傳感器賦予驅(qū)動(dòng)定時(shí)的調(diào)整指示，需要發(fā)送與偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量At。因此，要使垂直定時(shí)調(diào)整器5具有驅(qū)動(dòng)定時(shí)的延遲量At的送出功能。本項(xiàng)將該驅(qū)動(dòng)定時(shí)的延遲量At的送出功能設(shè)為基于人為的手動(dòng)操作(基于該立體圖像拍攝裝置的操作者的手動(dòng)操作)的功能。
《8》本項(xiàng)代替上述《7》的手動(dòng)操作，將與偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量At的送出功能設(shè)為自動(dòng)的反饋方式?！?》如上所述,至于垂直方向偏移以及垂直方向偏移量Ah的把握與垂直匹配的指示，有手動(dòng)方式和自動(dòng)方式。在本項(xiàng)中考慮手動(dòng)方式。使監(jiān)視器顯示左眼用拍攝圖像PL與右眼用拍攝圖像PR。該監(jiān)視器顯示的拍攝圖像，可以是原始的圖像數(shù)據(jù)，也可以是顯示用縮小尺寸或取景后的圖像數(shù)據(jù)。在該顯示狀態(tài)下，操作者把握左眼側(cè)被攝體像AL與右眼側(cè)被攝體像AR是否在垂直方向上發(fā)生了偏移、以及當(dāng)發(fā)生了偏移時(shí)該垂直方向偏移量Ah是怎樣的量，在此基礎(chǔ)上，操作者通過(guò)對(duì)操作器6(參照?qǐng)DI)進(jìn)行操作者手動(dòng)操作，使操作器以偏移量接近于零的方式，生成用于調(diào)整任一方的圖像傳感器圖像的取景區(qū)域的位置的偏移調(diào)整指示信號(hào)，進(jìn)而將該偏移調(diào)整指示信號(hào)發(fā)送給圖像的整理區(qū)域的位置調(diào)整器(搭載于照相機(jī)處理部等)。取景圖像的偏移減少的狀態(tài)例如被顯示在監(jiān)視器中。操作者一邊確認(rèn)顯示，一邊在垂直方向偏移量成為零之前進(jìn)行調(diào)整指示的作業(yè)。通過(guò)變更取景位置，圖像的垂直方向的位置匹配結(jié)束的時(shí)刻的偏移調(diào)整指示信號(hào)，為了調(diào)整下一個(gè)讀取開始定時(shí)，發(fā)送給垂直定時(shí)調(diào)整器5，在此，執(zhí)行上述的調(diào)整動(dòng)作。通過(guò)該調(diào)整，包括左眼側(cè)被攝體像AL的左眼用整理區(qū)域TL與包括右眼側(cè)被攝體像AR的右眼用整理區(qū)域TR的垂直方向偏移量減少。該減少的情形例如被顯示在監(jiān)視器中。最終，左眼用整理區(qū)域TL與右眼用整理區(qū)域TR的垂直方向偏移量Ah成為零，在左眼用、右眼用拍攝圖像之間得到確保了空間上的無(wú)垂直方向的偏移的拍攝的同時(shí)性的顯示用/記錄用的視差圖像，能夠得到良好品質(zhì)的立體圖像。綜上所述，該方式在上述《I》 《7》的結(jié)構(gòu)中，還具有操作器，其根據(jù)由該立體圖像拍攝裝置的操作者進(jìn)行的手動(dòng)操作來(lái)生成用于對(duì)所述垂直定時(shí)調(diào)整器5指示所述驅(qū)動(dòng)定時(shí)的調(diào)整的偏移調(diào)整指示信號(hào)，所述垂直定時(shí)調(diào)整器5構(gòu)成為根據(jù)所述偏移調(diào)整指示信號(hào)，在所述幀同步驅(qū)動(dòng)控制部3中調(diào)整所述驅(qū)動(dòng)定時(shí)。據(jù)此，通過(guò)一邊參考圖像顯示的手動(dòng)操作，一邊在左眼用、右眼用拍攝圖像之間得到確?？臻g上的無(wú)垂直方向的偏移的拍攝的同時(shí)性的顯示用/記錄用的視差圖像，能夠得到良好品質(zhì)的立體圖像。《10》手動(dòng)調(diào)整時(shí)，利用照相機(jī)處理部4的功能。在此，照相機(jī)處理部4具有如下功能將與左右整理區(qū)域TL、TR對(duì)應(yīng)的圖像數(shù)據(jù)縮小調(diào)整為監(jiān)視器尺寸，并使各個(gè)被縮小調(diào)整的圖像在監(jiān)視器上按左側(cè)與右側(cè)并排顯示(參照?qǐng)D11)。這可稱為通過(guò)視覺的偏移檢測(cè)功能。對(duì)與左右整理區(qū)域TL、TR對(duì)應(yīng)的圖像數(shù)據(jù)進(jìn)行縮小調(diào)整，是為了將水平方向分成兩部分，使左右兩部分圖像容納在一個(gè)監(jiān)視器尺寸中。使監(jiān)視器上右側(cè)半部的顯示區(qū)域顯示基于右眼用整理圖像PTR的縮小調(diào)整圖像，并使左側(cè)部分的顯示區(qū)域顯示基于左眼用整理圖像PTL的縮小調(diào)整圖像。若在左右一對(duì)攝像部1L、1R中有光軸偏移，則在所顯示的左右兩個(gè)圖像中會(huì)產(chǎn)生垂直方向的偏移。操作者(拍攝者)一邊在監(jiān)視器中確認(rèn)在垂直方向上位置偏移了的兩個(gè)圖像的偏移，一邊通過(guò)操作器6的手動(dòng)操作，消除左眼用、右眼用顯示圖像的垂直方向偏移。
在使用如以上那樣的檢測(cè)功能進(jìn)行手動(dòng)調(diào)整時(shí)，例如，只要按照獲取圖像內(nèi)的共同的水平的被攝體的連續(xù)性的方式，來(lái)上下調(diào)整整理區(qū)域的開始行位置即可?；蛘?，在室夕卜，只要調(diào)整以水平線為基準(zhǔn)的遠(yuǎn)景的風(fēng)景等即可。如此得到的與偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量At被內(nèi)部捕捉，反映為垂直定時(shí)調(diào)整器5中的驅(qū)動(dòng)定時(shí)的延遲量At?；谑謩?dòng)操作的左眼用、右眼用顯示圖像的垂直方向位置匹配，終究會(huì)實(shí)現(xiàn)整理區(qū)域的開始行位置的垂直方向位置匹配?！?1》這項(xiàng)中，代替上述《10》，分別以各二分之一顯示左眼用、右眼用整理圖像PTL、PTR。照相機(jī)處理部4，具有以下功能將與左眼用整理區(qū)域TL對(duì)應(yīng)的圖像數(shù)據(jù)之中左側(cè)半部的圖像數(shù)據(jù)縮小調(diào)整為監(jiān)視器尺寸的二分之一，在監(jiān)視器上顯示于左側(cè)，并且將與右眼用整理區(qū)域TR對(duì)應(yīng)的圖像數(shù)據(jù)之中右側(cè)半部的圖像數(shù)據(jù)縮小調(diào)整為監(jiān)視器尺寸的二分之一，在監(jiān)視器上顯示于右側(cè)(參照?qǐng)D12)。這也可稱為通過(guò)視覺的偏移檢測(cè)功能。若將左側(cè)顯示區(qū)域的二分之一圖像與右側(cè)顯示區(qū)域的二分之一圖像進(jìn)行匹配，則由兩個(gè)圖像匯總為一個(gè)圖案。然而，若在左右一對(duì)攝像部1L、IR中有光軸偏移，則會(huì)在左側(cè)顯示區(qū)域與右側(cè)顯示區(qū)域的邊界線(縱向中心線)的左右產(chǎn)生垂直方向的偏移。操作者(拍攝者)一邊在監(jiān)視器中確認(rèn)在垂直方向上位置偏移了的左半部圖像與右半部圖像的偏移，一邊通過(guò)操作部的手動(dòng)操作，消除左眼用、右眼用顯示圖像的垂直方向偏移。在使用如以上那樣的檢測(cè)功能進(jìn)行手動(dòng)調(diào)整時(shí)，只要一邊確認(rèn)在邊界線(縱向中心線)上被左右分開的被攝體的圖像的邊界處的連續(xù)性的平衡，一邊上下調(diào)整整理區(qū)域的開始行位置即可。例如，當(dāng)將一名被攝體人物像的身體分?jǐn)酁樽蟀肷砗陀野肷?，且左半身像與右半身像沿垂直方向被切斷的狀態(tài)下發(fā)生了偏移時(shí)，通過(guò)手動(dòng)操作使左半身像與右半身像恰好匹配的調(diào)整，由于包含臉部地得到一個(gè)人的身體的左右平衡，因此，對(duì)操作者而言，成為比較容易理解的工作。如此得到的與偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量At被內(nèi)部捕捉，反映為驅(qū)動(dòng)定時(shí)的延遲量At?；谑謩?dòng)操作的左眼用、右眼用顯示圖像的垂直方向位置匹配，終究會(huì)實(shí)現(xiàn)整理區(qū)域的開始行位置的垂直方向位置匹配?！?2、13》這項(xiàng)中，在上述《10》、《11》中，垂直定時(shí)調(diào)整器5使用將左眼用整理區(qū)域TL的開始行的位置信息與右眼用整理區(qū)域TR的開始行的位置信息的差分換算為時(shí)間而得到的延遲量作為驅(qū)動(dòng)定時(shí)的延遲量At。以左右整理區(qū)域的開始行位置為依據(jù)來(lái)進(jìn)行垂直方向偏移的矯正?！?4》這項(xiàng)中，將垂直方向偏移以及垂直方向偏移量Ah的把握和垂直匹配的指示設(shè)為自動(dòng)方式。使用圖4來(lái)進(jìn)行說(shuō)明。作為垂直定時(shí)調(diào)整器5的結(jié)構(gòu)要素而設(shè)置左眼用、右眼用關(guān)注點(diǎn)坐標(biāo)計(jì)算器7L、7R ;垂直方向偏移量計(jì)算器8 ;延遲量計(jì)算器9 ;和驅(qū)動(dòng)定時(shí)設(shè)定器10。左眼用關(guān)注點(diǎn)坐標(biāo)計(jì)算器7L，用于計(jì)算出左眼用拍攝圖像PL中的被攝體像AL的關(guān)注點(diǎn)QL(人物的臉部的眼睛、口等)的垂直方向坐標(biāo)YL。此外，右眼用關(guān)注點(diǎn)坐標(biāo)計(jì)算器7R，用于計(jì)算出右眼用拍攝圖像PR中的被攝體像AR的關(guān)注點(diǎn)QR的垂直方向坐標(biāo)YR。垂直方向偏移量Ah是能夠通過(guò)(YL-YR)進(jìn)行捕捉的(Ah = YL-YR)。垂直方向偏移量計(jì)算器8用于根據(jù)關(guān)注點(diǎn)QL、QR的垂直方向坐標(biāo)YL、YR的差分來(lái)計(jì)算垂直方向偏移量Ah。其中，當(dāng)Ah > O時(shí)，左眼用拍攝圖像PL中的被攝體像AL比右眼用拍攝圖像PR中的被攝體像AR沿垂直方向更向下位移，當(dāng)Ah < O時(shí)，右眼用拍攝圖像PR中的被攝體像 AR比左眼用拍攝圖像PL中的被攝體像AL沿垂直方向更向下位移。而且，可以將被減數(shù)項(xiàng)目和減數(shù)項(xiàng)目設(shè)定為與上述相反(Ah = YR-YL)。當(dāng)以像素?cái)?shù)表示垂直方向偏移量時(shí)，其也成為行數(shù)。該垂直方向上的行數(shù)(像素?cái)?shù))的差分，與驅(qū)動(dòng)定時(shí)的延遲時(shí)間對(duì)應(yīng)。即，能夠通過(guò)運(yùn)算根據(jù)垂直方向偏移量Ah求出驅(qū)動(dòng)定時(shí)的延遲量At。延遲量計(jì)算器9用于將垂直方向偏移量Ah換算為以時(shí)間為單位的驅(qū)動(dòng)定時(shí)的延遲量At。將系數(shù)設(shè)為α，At =α · Ah( = a . (YL-YR))0當(dāng)該延遲量Λ t為正時(shí)，設(shè)為使針對(duì)右眼用拍攝圖像PR的驅(qū)動(dòng)定時(shí)延遲，相反，當(dāng)延遲量Λ t為負(fù)時(shí)，設(shè)為使針對(duì)左眼用拍攝圖像PL的驅(qū)動(dòng)定時(shí)延遲。驅(qū)動(dòng)定時(shí)設(shè)定器10用于對(duì)幀同步驅(qū)動(dòng)控制部3設(shè)定加入了驅(qū)動(dòng)定時(shí)的延遲量At的驅(qū)動(dòng)定時(shí)。綜上所述，在本項(xiàng)中，在上述《I》 《12》中，垂直定時(shí)調(diào)整器5，具有左右關(guān)注點(diǎn)坐標(biāo)計(jì)算器7L、7R，其在分別提取了所述左眼用拍攝圖像PL中的左側(cè)關(guān)注點(diǎn)QL與所述右眼用拍攝圖像PR中的右側(cè)關(guān)注點(diǎn)QR的基礎(chǔ)上，計(jì)算出所述左側(cè)、右側(cè)關(guān)注點(diǎn)QL、QR各個(gè)垂直方向坐標(biāo)；垂直方向偏移量計(jì)算器8，其根據(jù)所述左側(cè)關(guān)注點(diǎn)QL的垂直方向坐標(biāo)YL與所述右側(cè)關(guān)注點(diǎn)QR的垂直方向坐標(biāo)YR的差分，計(jì)算出所述垂直方向偏移量Ah ；延遲量計(jì)算器9，其將基于垂直方向偏移量計(jì)算器8的垂直方向偏移量Ah換算為以時(shí)間為單位的延遲量At ;和驅(qū)動(dòng)定時(shí)設(shè)定器10，其對(duì)幀同步驅(qū)動(dòng)控制部3設(shè)定加入了所述驅(qū)動(dòng)定時(shí)的延遲量At的驅(qū)動(dòng)定時(shí)?！?9》這項(xiàng)是如下方式將上述《18》的立體圖像拍攝方法作為與上述《13》的立體圖像拍攝裝置關(guān)聯(lián)的立體圖像拍攝方法，而且，所述第I步驟具有在同一畫面中左右并排顯示所述左眼用拍攝圖像PL與所述右側(cè)拍攝圖像PR的第1-1步驟；在所述同一畫面所顯示的所述左眼用、右眼用拍攝圖像PL、PR各自中，設(shè)定按照使相同時(shí)刻的同一被攝體的相對(duì)位置關(guān)系在所述左眼用拍攝圖像PL與所述右眼用拍攝圖像PR中呈相同的方式設(shè)定的整理區(qū)域TL、TR的第1-2的步驟；在所述左眼用、右眼用拍攝圖像各自的所述整理區(qū)域TL、TR中，提取關(guān)注點(diǎn)QL、QR的第1-3的步驟；和在所述左眼用拍攝圖像PL的所述關(guān)注點(diǎn)QL與所述右眼用拍攝圖像PR的所述關(guān)注點(diǎn)QR之間檢測(cè)所述垂直方向偏移量Ah的第1-4的步驟。根據(jù)上述《14》、《19》的結(jié)構(gòu)，由于反饋與垂直方向偏移量Ah對(duì)應(yīng)的延遲量At的驅(qū)動(dòng)定時(shí)，因此，即使在左右一對(duì)攝像部1L、1R之間產(chǎn)生垂直方向的光軸偏移，也能夠在通過(guò)基于垂直定時(shí)調(diào)整器5的電子的并且自動(dòng)的定時(shí)調(diào)整而可靠地矯正了偏移的基礎(chǔ)上，獲得在左眼用、右眼用拍攝圖像之間確保了空間上無(wú)垂直方向的偏移的拍攝的同時(shí)性的顯示用/記錄用的視差圖像，因此，能夠得到優(yōu)良品質(zhì)的立體圖像?！?0》這項(xiàng)是如下方式在上述《19》的立體圖像拍攝方法中，所述第1-4的步驟， 為了將所述左眼用拍攝圖像QL的所述整理區(qū)域TL與所述右眼用拍攝圖像QR的所述整理區(qū)域TR之中的一方的位置與另一方的位置匹配，而通過(guò)檢測(cè)在垂直方向移動(dòng)該一方時(shí)的移動(dòng)量來(lái)檢測(cè)所述垂直方向偏移量Ah。《21》這項(xiàng)是如下方式在上述《19》的立體圖像拍攝方法中，所述第1-4的步驟，通過(guò)計(jì)算所述左眼用拍攝圖像PL的所述整理區(qū)域TL中的所述關(guān)注點(diǎn)QL所屬的行的行號(hào)，與所述右眼用拍攝圖像PR的所述整理區(qū)域TR中的所述關(guān)注點(diǎn)QR所屬的行的行號(hào)之間的差分來(lái)檢測(cè)所述垂直方向偏移量Ah?！?5》是如下一個(gè)優(yōu)選方式在上述《14》中，還具有臉部區(qū)域檢測(cè)器，其檢測(cè)所述左眼用、右眼用拍攝圖像QL、PR中的被攝體的臉部區(qū)域，所述關(guān)注點(diǎn)坐標(biāo)計(jì)算器7L、7R，將由所述臉部區(qū)域檢測(cè)器檢測(cè)出的所述臉部區(qū)域內(nèi)的特定部位設(shè)定為所述左側(cè)、右側(cè)關(guān)注點(diǎn)QL、PR?！?2》是如下的方式在上述《19》 《21》的立體圖像拍攝方法中，作為所述關(guān)注點(diǎn)而使用所述左眼用、右眼用拍攝圖像中的被攝體的臉部區(qū)域的特定部位?！?6》在所述左眼用、右眼用攝像部1L、1R中，大多使用在其光學(xué)系統(tǒng)中具有變倍功能的變焦透鏡。在左眼用、右眼用攝像部1L、1R具有變焦透鏡中的變倍透鏡的規(guī)格中，左眼用、右眼用攝像部1L、1R各自的變倍透鏡構(gòu)成為彼此聯(lián)動(dòng)。無(wú)論是向望遠(yuǎn)側(cè)移動(dòng)或是向廣角側(cè)移動(dòng)，若在左右產(chǎn)生倍率誤差，則在左眼用、右眼用圖像中會(huì)產(chǎn)生不匹配，若作為立體圖像而被合成，則無(wú)法得到合適的圖像。變倍透鏡望遠(yuǎn)變焦時(shí)，左眼用、右眼用圖像的不匹配程度增加。若考慮到這樣的情況，則將上述《I》的結(jié)構(gòu)應(yīng)用到左眼用、右眼用攝像部1L、1R伴隨變倍透鏡時(shí)的立體圖像拍攝裝置中會(huì)有非常大的意義。綜上所述，本項(xiàng)是如下方式在上述《I》 《16》的結(jié)構(gòu)中，所述左眼用、右眼用攝像部1L、1R分別具備具有變倍透鏡的光學(xué)系統(tǒng)，所述左眼用攝像部IL的所述變倍透鏡與所述右眼用攝像部IR的所述變倍透鏡構(gòu)成為彼此聯(lián)動(dòng)。而且，變倍透鏡，一般而言，大多是沿光軸往返移動(dòng)的類型，但本項(xiàng)并不局限于此，可以是以往返移動(dòng)以外的方式發(fā)揮倍率可變功能的透鏡。
《17》在上述《16》的結(jié)構(gòu)中，若兩個(gè)攝像部的變倍透鏡的變焦比率發(fā)生變化，則對(duì)兩個(gè)圖像的垂直方向偏移量Ah會(huì)產(chǎn)生變化。本項(xiàng)對(duì)該偏移變化進(jìn)行調(diào)整。具體而言，將相對(duì)于最廣角側(cè)的圖像的最望遠(yuǎn)側(cè)的倍率設(shè)為η倍，將最廣角側(cè)的偏移量行數(shù)設(shè)為L(zhǎng)w，將最望遠(yuǎn)側(cè)的偏移量行數(shù)設(shè)為L(zhǎng)t。任意倍率b的偏移量行數(shù)Lb，考慮到vrn 與η倍相當(dāng)?shù)腎邊的變化量倍率b下的I邊的變化量(是指η的平方根)，而成為
權(quán)利要求
1.一種立體圖像拍攝裝置，具有 左眼用攝像部，其具有左眼用圖像傳感器； 右眼用攝像部，其具有右眼用圖像傳感器； 幀同步驅(qū)動(dòng)控制部，其幀同步地對(duì)所述左眼用、右眼用圖像傳感器進(jìn)行驅(qū)動(dòng)控制； 照相機(jī)處理部，其對(duì)由所述左眼用攝像部獲取到的左眼用拍攝圖像和由所述右眼用攝像部獲取到的右眼用拍攝圖像進(jìn)行圖像處理，來(lái)生成所述左眼用拍攝圖像與所述右眼用拍攝圖像的視差圖像；和 垂直定時(shí)調(diào)整器，其在所述幀同步驅(qū)動(dòng)控制部中調(diào)整所述左眼用、右眼用圖像傳感器的驅(qū)動(dòng)定時(shí)，以使所述左眼用拍攝圖像中的被攝體像的取景位置與所述右眼用拍攝圖像中的被攝體像的取景位置之間的垂直方向偏移量接近于零。
2.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器構(gòu)成為根據(jù)所述視差圖像來(lái)求出按照使相同時(shí)刻的同一被攝體的相對(duì)位置關(guān)系在所述左眼用拍攝圖像與所述右眼用拍攝圖像中呈相同的方式設(shè)定的左右一對(duì)整理區(qū)域之間的偏移量，且在所述幀同步驅(qū)動(dòng)控制部中設(shè)定與求出的偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量。
3.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述左眼用、右眼用圖像傳感器，是具有作為用于曝光控制的電子快門的卷簾快門的金屬氧化物半導(dǎo)體圖像傳感器。
4.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述驅(qū)動(dòng)定時(shí)包括垂直同步信號(hào)的輸出定時(shí)， 所述垂直定時(shí)調(diào)整器構(gòu)成為在用于獲取所述左側(cè)、右眼用拍攝圖像之中被攝體像取景位置比一方相對(duì)位于更上方側(cè)的另一方的所述左眼用圖像傳感器或所述右眼用圖像傳感器中，使所述垂直同步信號(hào)的輸出定時(shí)從同步基準(zhǔn)信號(hào)的定時(shí)延遲相當(dāng)于與所述垂直方向偏移量對(duì)應(yīng)的行數(shù)的垂直掃描期間。
5.根據(jù)權(quán)利要求3所述的立體圖像拍攝裝置，其特征在于， 所述驅(qū)動(dòng)定時(shí)包括所述卷簾快門的快門脈沖與讀取開始脈沖的輸出定時(shí)， 所述垂直定時(shí)調(diào)整器構(gòu)成為與所述左眼用、右眼用圖像傳感器的垂直同步信號(hào)的延遲并行地使所述快門脈沖與所述讀取開始脈沖延遲相同時(shí)間。
6.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器，構(gòu)成為在將所述垂直方向偏移量換算為行數(shù)偏移量的基礎(chǔ)上，對(duì)獲取在所述左眼用、右眼用拍攝圖像之中被攝體像取景位置比一方相對(duì)位于更上方側(cè)的另一方的所述左眼用圖像傳感器或所述右眼用圖像傳感器，設(shè)定所述行數(shù)偏移量作為所述驅(qū)動(dòng)定時(shí)的延遲量。
7.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器構(gòu)成為能夠通過(guò)由該立體圖像拍攝裝置的操作者進(jìn)行的手動(dòng)操作，將所述驅(qū)動(dòng)定時(shí)的調(diào)整量發(fā)送給所述幀同步驅(qū)動(dòng)控制部。
8.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器構(gòu)成為能夠自動(dòng)地將所述驅(qū)動(dòng)定時(shí)的調(diào)整量發(fā)送給所述幀同步驅(qū)動(dòng)控制部。
9.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述立體圖像拍攝裝置還具有操作器，其根據(jù)由該立體圖像拍攝裝置的操作者進(jìn)行的手動(dòng)操作來(lái)生成用于對(duì)所述垂直定時(shí)調(diào)整器指示所述驅(qū)動(dòng)定時(shí)的調(diào)整的偏移調(diào)整指示信號(hào)， 所述垂直定時(shí)調(diào)整器根據(jù)所述調(diào)整指示信號(hào)，在所述幀同步驅(qū)動(dòng)控制部中調(diào)整所述驅(qū)動(dòng)定時(shí)。
10.根據(jù)權(quán)利要求9所述的立體圖像拍攝裝置，其特征在于， 所述立體圖像拍攝裝置還具有監(jiān)視器，其顯示所述第一、第二拍攝圖像， 所述照相機(jī)處理部具有如下功能將與按照使相同時(shí)刻的同一被攝體的相對(duì)位置關(guān)系在左右呈相同的方式設(shè)定的左右一對(duì)整理區(qū)域?qū)?yīng)的左右一對(duì)整理圖像縮小調(diào)整為監(jiān)視器尺寸，并在所述監(jiān)視器上按左側(cè)與右側(cè)并排顯示縮小調(diào)整后的所述左右一對(duì)整理圖像。
11.根據(jù)權(quán)利要求9所述的立體圖像拍攝裝置，其特征在于， 所述立體圖像拍攝裝置還具有監(jiān)視器，其顯示所述第一、第二拍攝圖像， 所述照相機(jī)處理部具有如下功能將按照使相同時(shí)刻的同一被攝體的相對(duì)位置關(guān)系在左右呈相同的方式設(shè)定的左右一對(duì)的整理區(qū)域之中位于與左側(cè)整理區(qū)域?qū)?yīng)的左側(cè)整理圖像的左側(cè)半部的左側(cè)1/2圖像縮小調(diào)整為監(jiān)視器尺寸的二分之一，在所述監(jiān)視器上在左側(cè)顯示縮小調(diào)整后的所述左側(cè)1/2圖像，并且將左右一對(duì)整理區(qū)域之中位于與右側(cè)整理區(qū)域?qū)?yīng)的右側(cè)整理圖像的右側(cè)半部的右側(cè)1/2圖像縮小調(diào)整為監(jiān)視器尺寸的二分之一，在所述監(jiān)視器上在右側(cè)顯示縮小調(diào)整后的所述右側(cè)1/2圖像。
12.根據(jù)權(quán)利要求10所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器，作為所述驅(qū)動(dòng)定時(shí)的延遲量而使用將所述左眼用整理區(qū)域的開始行的位置信息與所述右眼用整理區(qū)域的開始行的位置信息的差分換算為時(shí)間而得到的延遲量。
13.根據(jù)權(quán)利要求11所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器，作為所述驅(qū)動(dòng)定時(shí)的延遲量而使用將所述左眼用整理區(qū)域的開始行的位置信息與所述右眼用整理區(qū)域的開始行的位置信息的差分換算為時(shí)間而得到的延遲量。
14.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器，具有 關(guān)注點(diǎn)坐標(biāo)計(jì)算器，其在分別提取了所述左眼用拍攝圖像中的左側(cè)關(guān)注點(diǎn)和所述右眼用拍攝圖像中的右側(cè)關(guān)注點(diǎn)的基礎(chǔ)上，計(jì)算出所述左側(cè)、右側(cè)關(guān)注點(diǎn)各自的垂直方向坐標(biāo)； 垂直方向偏移量計(jì)算器，其根據(jù)所述左側(cè)關(guān)注點(diǎn)的垂直方向坐標(biāo)與所述右側(cè)關(guān)注點(diǎn)的垂直方向坐標(biāo)的差分來(lái)計(jì)算所述垂直方向偏移量； 延遲量計(jì)算器，其將所述垂直方向偏移量換算為以時(shí)間為單位的延遲量；和 驅(qū)動(dòng)定時(shí)設(shè)定器，其對(duì)所述幀同步驅(qū)動(dòng)控制部設(shè)定加入了所述延遲量的所述驅(qū)動(dòng)定時(shí)。
15.根據(jù)權(quán)利要求14所述的立體圖像拍攝裝置，其特征在于， 所述立體圖像拍攝裝置還具有臉部區(qū)域檢測(cè)器，其檢測(cè)所述左眼用、右眼用拍攝圖像中的被攝體的臉部區(qū)域， 所述關(guān)注點(diǎn)坐標(biāo)計(jì)算器，對(duì)所述左側(cè)、右側(cè)關(guān)注點(diǎn)設(shè)定由所述臉部區(qū)域檢測(cè)器檢測(cè)出的所述臉部區(qū)域內(nèi)的特定部位。
16.根據(jù)權(quán)利要求I所述的立體圖像拍攝裝置，其特征在于， 所述左眼用、右眼用攝像部分別具有包括變倍透鏡的光學(xué)系統(tǒng)，所述左眼用攝像部的所述變倍透鏡與所述右眼用攝像部的所述變倍透鏡構(gòu)成為彼此聯(lián)動(dòng)。
17.根據(jù)權(quán)利要求16所述的立體圖像拍攝裝置，其特征在于， 所述垂直定時(shí)調(diào)整器根據(jù)所述變倍透鏡的變焦比率的變化，使所述驅(qū)動(dòng)定時(shí)的延遲量可變。
18.—種立體圖像拍攝方法，包括 第I步驟，求出由具有左眼用圖像傳感器的左眼用攝像部得到的左眼用拍攝圖像中的被攝體像的取景位置、與由具有右眼用圖像傳感器的右眼用攝像部得到的右眼用拍攝圖像中的被攝體像的取景位置之間的垂直方向偏移量； 第2步驟，根據(jù)所述垂直方向偏移量來(lái)調(diào)整所述左眼用、右眼用圖像傳感器的驅(qū)動(dòng)定時(shí)；和 第3步驟，以行單位依次讀取由按照調(diào)整后的所述驅(qū)動(dòng)定時(shí)進(jìn)行驅(qū)動(dòng)的所述左眼用、右眼用圖像傳感器獲取到的曝光結(jié)束后的圖像數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的立體圖像拍攝方法，其特征在于， 所述第I步驟包括 第1-1步驟，在同一畫面中按左右并排顯示所述左眼用拍攝圖像和所述右側(cè)拍攝圖像； 第1-2步驟，在所述同一畫面所顯示的所述左眼用、右眼用拍攝圖像各自中，設(shè)定按照使相同時(shí)刻的同一被攝體的相對(duì)位置關(guān)系在所述左眼用拍攝圖像與所述右眼用拍攝圖像中呈相同的方式設(shè)定的整理區(qū)域； 第1-3步驟，在所述左眼用、右眼用拍攝圖像各自的所述整理區(qū)域中，提取關(guān)注點(diǎn)；和第1-4步驟，在所述左眼用拍攝圖像的所述關(guān)注點(diǎn)與所述右眼用拍攝圖像的所述關(guān)注點(diǎn)之間檢測(cè)所述垂直方向偏移量。
20.根據(jù)權(quán)利要求19所述的立體圖像拍攝方法，其特征在于， 所述第1-4步驟，為了將所述左眼用拍攝圖像的所述整理區(qū)域和所述右眼用拍攝圖像的所述整理區(qū)域之中的一方的位置與另一方的位置匹配，而通過(guò)檢測(cè)在垂直方向上移動(dòng)該一方時(shí)的移動(dòng)量來(lái)檢測(cè)所述垂直方向偏移量。
21.根據(jù)權(quán)利要求18所述的立體圖像拍攝方法，其特征在于， 所述第1-4步驟，通過(guò)計(jì)算所述左眼用拍攝圖像的所述整理區(qū)域中的所述關(guān)注點(diǎn)所屬的行的行號(hào)、與所述右眼用拍攝圖像的所述整理區(qū)域中的所述關(guān)注點(diǎn)所屬的行的行號(hào)之間的差分，來(lái)檢測(cè)所述垂直方向偏移量。
22.根據(jù)權(quán)利要求19所述的立體圖像拍攝方法，其特征在于， 作為所述關(guān)注點(diǎn)而使用所述左眼用、右眼用拍攝圖像中的被攝體的臉部區(qū)域的特定部位。
23.根據(jù)權(quán)利要求18所述的立體圖像拍攝方法，其特征在于，還包括 第4步驟，開始所述左眼用、右眼用拍攝圖像的拍攝； 第5步驟，讀取所述左眼用、右眼用拍攝圖像； 第6步驟，在所述左眼用、右眼用拍攝圖像中分別對(duì)整理區(qū)域進(jìn)行初始設(shè)定； 第7步驟，在所述左眼用、右眼用拍攝圖像的整理區(qū)域中，分別提取關(guān)注點(diǎn)； 第8步驟，在所述左眼用拍攝圖像的所述關(guān)注點(diǎn)與所述右眼用拍攝圖像的所述關(guān)注點(diǎn)之間確認(rèn)有無(wú)垂直方向偏移； 第9步驟，在有所述垂直方向偏移時(shí)，在垂直方向上調(diào)整所述左眼用拍攝圖像的整理區(qū)域與所述右眼用拍攝圖像的整理區(qū)域之中的一方的位置； 第10步驟，在所述垂直方向偏移的偏移量收斂為零之前，反復(fù)所述第7 第9步驟；和第11步驟，將在所述垂直方向偏移的偏移量成為零時(shí)的所述第9步驟中的所述一方的整理區(qū)域的垂直方向的調(diào)整量，保存為與在所述第8步驟中檢測(cè)出的所述垂直方向偏移的偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量。
24.根據(jù)權(quán)利要求23所述的立體圖像拍攝方法，其特征在于， 還包括 第12步驟，判定所述左眼用、右眼用圖像傳感器具有的電子快門是否為卷簾快門；和 第13步驟，若在所述第12步驟中判定為所述電子快門為所述卷簾快門，則對(duì)在所述第12步驟中判定為所述電子快門為所述卷簾快門的所述左眼用、右眼用圖像傳感器設(shè)定與所述偏移量對(duì)應(yīng)的驅(qū)動(dòng)定時(shí)的延遲量。
全文摘要
本發(fā)明是提供一種立體圖像拍攝裝置。照相機(jī)處理部對(duì)由左眼用攝像部獲取到的左眼用拍攝圖像和由右眼用攝像部獲取到的右眼用拍攝圖像進(jìn)行圖像處理，來(lái)生成左眼用拍攝圖像與右眼用拍攝圖像的視差圖像。垂直定時(shí)調(diào)整器，在幀同步驅(qū)動(dòng)控制部中調(diào)整左眼用、右眼用圖像傳感器的驅(qū)動(dòng)定時(shí)，以使左眼用拍攝圖像中的被攝體像的取景位置與右眼用拍攝圖像中的被攝體像的取景位置之間的垂直方向偏移量接近于零。
文檔編號(hào)G03B35/08GK102860016SQ20118001988
公開日2013年1月2日 申請(qǐng)日期2011年3月24日 優(yōu)先權(quán)日2010年4月19日
發(fā)明者秦野敏信 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社