專利名稱：使用cmos圖像傳感器的立體成像系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般地涉及立體成像系統(tǒng)，并且更具體地涉及使用兩個(gè)CMOS圖像傳感器的立體成像系統(tǒng)。
背景技術(shù)：
由于人的雙眼相距大約6-7厘米，兩只眼睛看物體時(shí)是從不同角度看到的兩個(gè)稍有差別的圖象，大腦將這兩個(gè)具有視察的圖象合成后形成立體的感覺，因此“立體圖像”通俗的講就是利用人們兩眼視覺差別和光學(xué)折射原理在一個(gè)平面內(nèi)使人們可直接看到一幅三維立體圖，畫中事物既可以凸出于畫面之外，也可以深藏其中。隨著光學(xué)、微電子學(xué)以及計(jì)算機(jī)技術(shù)的發(fā)展，根據(jù)人眼“雙目視差立體成像”原理，形成了多種三維立體成像與立體顯示技術(shù)。常見的做法是，在攝像時(shí)用兩個(gè)鏡頭模仿人眼雙目視差立體成像過程同時(shí)攝像， 然后分別存儲(chǔ)獲得的兩幅圖像，最后經(jīng)諸如計(jì)算機(jī)等處理設(shè)備將這兩幅圖像的數(shù)據(jù)合成得到立體影像輸出。在目前圖像系統(tǒng)的數(shù)字?jǐn)z像技術(shù)中，CMOS (互補(bǔ)金屬氧化物場(chǎng)效應(yīng)管)圖像傳感器是近些年來發(fā)展較快的新型圖像傳感器。采用CMOS技術(shù)，可將圖像采集單元和信號(hào)處理單元集成到同一塊芯片上。CMOS圖像傳感器具有體積小、集成度高、功耗低、抗干擾能力強(qiáng)和易于控制等優(yōu)點(diǎn)，所以廣泛應(yīng)用于攝像頭、掃描儀、可視電話、視頻會(huì)議和視頻監(jiān)控等領(lǐng)域中。20世紀(jì)80年代，英國(guó)愛丁堡大學(xué)成功地制造出了世界上第一塊單片CMOS圖像傳感器件。目前，CMOS圖像傳感器正在得到廣泛的應(yīng)用，具有很強(qiáng)的市場(chǎng)競(jìng)爭(zhēng)力和廣闊地發(fā)展前景。因此，可將CMOS圖像傳感器用在立體成像系統(tǒng)中，即用兩個(gè)CMOS圖像傳感器同時(shí)捕獲圖像。但是，在將現(xiàn)有的CMOS圖像傳感器用于拍攝立體圖像或視頻時(shí)，由于兩個(gè)圖像傳感器很難做到完全同步，通常需要借助外部的影像控制處理芯片來保證左右圖像是同時(shí)拍攝的，或者左右視頻的拍攝是同步進(jìn)行的，以此達(dá)到最佳的拍攝效果。另外，利用現(xiàn)有的獨(dú)立無關(guān)的CMOS傳感器分別拍攝左右影響之后，需要專門的軟件或硬件平臺(tái)對(duì)影像進(jìn)行處理來獲得不同格式的立體影像輸出，這將使系統(tǒng)結(jié)構(gòu)復(fù)雜，并且使制造成本增加，或無法實(shí)時(shí)獲得立體影像數(shù)據(jù)。

發(fā)明內(nèi)容
本發(fā)明的目標(biāo)是解決用現(xiàn)有的CMOS圖像傳感器拍攝立體影像時(shí)兩個(gè)傳感器同步控制困難的問題。本發(fā)明的另一目標(biāo)是解決現(xiàn)有的圖像傳感器無法直接輸出立體影像的問題。為實(shí)現(xiàn)上述目標(biāo)，本發(fā)明提供了用于立體成像的CMOS圖像傳感器，所述CMOS圖像傳感器包括感光陣列、行列譯碼單元、像素控制及時(shí)序生成單元、模擬信號(hào)處理單元、模數(shù)轉(zhuǎn)換單元以及數(shù)字圖像處理及合成單元。所述數(shù)字圖像處理及合成單元接收所述模數(shù)轉(zhuǎn)換單元產(chǎn)生的第一數(shù)字影像數(shù)據(jù)，并且所述CMOS圖像傳感器從外部成像裝置接收第二數(shù)字影像數(shù)據(jù)和對(duì)應(yīng)的同步信號(hào)。隨后，所述數(shù)字圖像處理及合成單元響應(yīng)所述同步信號(hào)將所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)合成而得到立體影像輸出。在一些實(shí)施例中，所述數(shù)字圖像處理及合成單元被實(shí)現(xiàn)為包括數(shù)字圖像處理模塊以及立體影像合成模塊。在一些實(shí)施例中，所述數(shù)字圖像處理及合成單元還內(nèi)置存儲(chǔ)器。所述存儲(chǔ)器被用于緩存所述第一數(shù)字影像數(shù)據(jù)和所述第二數(shù)字影像數(shù)據(jù)中的一個(gè)以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。在一些實(shí)施例中，所述CMOS圖像傳感器還包括子控制接口。所述子控制接口用于與所述外部成像裝置通信。一般情況下，所述外部成像裝置也是CMOS圖像傳感器，其可以是通用的CMOS圖像傳感器，也可以是專門設(shè)計(jì)的CMOS圖像傳感器。 在一些實(shí)施例中，如果所述第二數(shù)字影像數(shù)據(jù)的格式與所述第一數(shù)字影像數(shù)據(jù)的格式不同，則通過所述數(shù)字圖像處理及合成單元對(duì)所述第一或第二數(shù)字影像數(shù)據(jù)進(jìn)行色彩空間變換使兩者的格式一致。本發(fā)明所提供的CMOS圖像傳感器可以按紅藍(lán)格式、左右格式(side-by-side)、點(diǎn)對(duì)點(diǎn)格式(dot-by-dot)和逐幀格式(frame-by-frame)中的一種格式產(chǎn)生立體影像輸出。本發(fā)明還提供了立體成像系統(tǒng)，該立體成像系統(tǒng)包括第一 CMOS圖像傳感器和第二 CMOS圖像傳感器。所述第一 CMOS圖像傳感器包括感光陣列、行列譯碼單元、像素控制及時(shí)序生成單元、模擬信號(hào)處理單元、模數(shù)轉(zhuǎn)換單元以及數(shù)字圖像處理及合成單元。在使用中，所述第一 CMOS圖像傳感器通過所述數(shù)字圖像處理及合成單元接收所述模數(shù)轉(zhuǎn)換單元產(chǎn)生的第一數(shù)字影像數(shù)據(jù)，并且從所述第二 CMOS圖像傳感器接收第二數(shù)字影像數(shù)據(jù)和對(duì)應(yīng)的同步信號(hào)。所述數(shù)字圖像處理及合成單元響應(yīng)所述同步信號(hào)將所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)合成而得到立體影像輸出。在一些實(shí)施例中，所述第一 CMOS圖像傳感器在所述數(shù)字圖像處理及合成單元中包括數(shù)字圖像處理模塊以及立體影像合成模塊。所述立體成像系統(tǒng)中的第一和第二 CMOS 圖像傳感器可以共用所述數(shù)字圖像處理模塊。在一些實(shí)施例中，所述第一 CMOS圖像傳感器在所述數(shù)字圖像處理及合成單元中包括存儲(chǔ)器，第一 CMOS圖像傳感器通過所述存儲(chǔ)器緩存所述第一數(shù)字影像數(shù)據(jù)和所述第二數(shù)字影像數(shù)據(jù)中的一個(gè)以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。在一些實(shí)施例中，所述第一 CMOS圖像傳感器具有子控制接口，并且所述第一 CMOS 圖像傳感器通過所述子控制接口與所述第二 CMOS圖像傳感器進(jìn)行通信。通過所述子控制接口進(jìn)行通信包括所述第一 CMOS圖像傳感器通過所述子控制接口向所述第二 CMOS傳感器發(fā)送控制信號(hào)，所述控制信號(hào)可用于啟動(dòng)所述第二 CMOS圖像傳感器以及用于設(shè)置所述第二 CMOS圖像傳感器的參數(shù)，例如曝光時(shí)間等。所述第二 CMOS圖像傳感器在產(chǎn)生所述第二數(shù)字影像數(shù)據(jù)之后通過所述子控制接口向所述第一 CMOS傳感器發(fā)送所述同步信號(hào)，并且所述第一 CMOS圖像傳感器基于所述同步信號(hào)來調(diào)整向所述第二 CMOS圖像傳感器發(fā)送所述控制信號(hào)的時(shí)間以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。在另一些實(shí)施例中，對(duì)所述第一 CMOS圖像傳感器的控制與對(duì)第二 CMOS圖像傳感器的控制相互獨(dú)立，即在所述第一和第二 CMOS圖像傳感器之間沒有相互通信而由同一個(gè)外部設(shè)備來控制這兩個(gè)CMOS圖像傳感器的操作，諸如啟動(dòng)、復(fù)位等。僅由所述第二 CMOS圖像傳感器單向地向所述第一 CMOS圖像傳感器發(fā)送數(shù)字影像數(shù)據(jù)和同步信號(hào)。本發(fā)明還提供了立體成像方法，所述方法包括以下步驟第一 CMOS圖像傳感器響應(yīng)外部啟動(dòng)信號(hào)產(chǎn)生第一數(shù)字影像數(shù)據(jù)，并根據(jù)所述外部啟動(dòng)信號(hào)產(chǎn)生用于控制第二 CMOS 圖像傳感器的控制信號(hào)；所述第二 CMOS圖像傳感器響應(yīng)所述控制信號(hào)產(chǎn)生第二數(shù)字影像數(shù)據(jù)，并將所述第二數(shù)字影像數(shù)據(jù)和對(duì)應(yīng)的同步信號(hào)發(fā)送至所述第一 CMOS圖像傳感器；以及所述第一 CMOS圖像傳感器響應(yīng)所述同步信號(hào)將所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)合成而得到立體影像輸出。在一些實(shí)施例中，所述方法還包括所述第一 CMOS圖像傳感器基于所述同步信號(hào)來調(diào)整向所述第二 CMOS圖像傳感器發(fā)送所述控制信號(hào)的時(shí)間以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步的步驟。在一些實(shí)施例中，所述方法還包括所述第一 CMOS圖像傳感器緩存所述第一數(shù)字影像數(shù)據(jù)和所述第二數(shù)字影像數(shù)據(jù)中的一個(gè)以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步的步驟。與現(xiàn)有技術(shù)相比，本發(fā)明提供的CMOS圖像傳感器以及使用其的立體成像系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，操作靈活，并且能夠很好地解決立體成像時(shí)左右影像同步問題。在使用所述立體成像系統(tǒng)時(shí)，可以根據(jù)所用的顯示裝置來配置對(duì)應(yīng)的立體影像輸出格式，實(shí)時(shí)驅(qū)動(dòng)顯示裝置或錄制立體影像。由于集成了立體影像合成功能，不需要外接復(fù)雜的控制處理電路，因而可以做到即插即用。構(gòu)成所述立體成像系統(tǒng)的兩個(gè)CMOS圖像傳感器可以形成類此主從設(shè)備的關(guān)系，從而使其中一個(gè)CMOS圖像傳感器的結(jié)構(gòu)大大簡(jiǎn)化，例如可以在其中一個(gè)CMOS圖像傳感器中省去數(shù)字圖像處理模塊，而由另一個(gè)CMOS圖像傳感器對(duì)合成立體圖像所需的全部影像信號(hào)進(jìn)行處理。在簡(jiǎn)化設(shè)備的同時(shí)，這也有利于兩路影像信號(hào)的同步并且顯著地節(jié)省存儲(chǔ)空間。值得注意的是，本發(fā)明所提供的設(shè)備、系統(tǒng)及方法除了輸出立體的三維影像外，也可以根據(jù)需要輸出二維影像，容易地實(shí)現(xiàn)二維影像與三維影像的切換。下面將結(jié)合具體實(shí)施例來描述本發(fā)明的方法。


圖1是常規(guī)的CMOS圖像傳感器的結(jié)構(gòu)框圖；圖2是根據(jù)本發(fā)明的CMOS圖像傳感器的結(jié)構(gòu)框圖；圖3示出根據(jù)本發(fā)明的立體成像系統(tǒng)的實(shí)施例；以及圖4a、4b和如示出根據(jù)本發(fā)明的立體成像系統(tǒng)的另一實(shí)施例，其中圖如是根據(jù)本發(fā)明的立體成像系統(tǒng)的框圖，圖4b是其中的CMOS圖像傳感器2的結(jié)構(gòu)框圖，而圖如是其中的CMOS圖像傳感器1中的數(shù)字圖像處理及合成單元的結(jié)構(gòu)框圖。
具體實(shí)施例方式為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)更加明顯易懂，以下結(jié)合附圖和具體實(shí)施例進(jìn)一步詳細(xì)描述本發(fā)明。需要說明的是，附圖中的各結(jié)構(gòu)只是示意性的而不是限定性的，以使本領(lǐng)域普通技術(shù)人員最佳地理解本發(fā)明的原理，其不一定按比例繪制。圖1示出了常規(guī)的CMOS圖像傳感器100的結(jié)構(gòu)框圖。參照?qǐng)D1，CMOS圖像傳感器100包括像素控制及時(shí)序生成單元11、行列譯碼單元12、感光陣列13、模擬信號(hào)處理單元 14、模數(shù)轉(zhuǎn)換單元15以及數(shù)字圖像處理單元16。在使用中，外界光照射感光陣列13，發(fā)生光電效應(yīng)，由此在像素單元內(nèi)產(chǎn)生相應(yīng)的電荷。行列譯碼單元12根據(jù)需要，選通相應(yīng)的行像素單元。行像素單元內(nèi)的圖像信號(hào)通過各自所在列的信號(hào)總線傳輸?shù)綄?duì)應(yīng)的模擬信號(hào)處理單元14以及模數(shù)轉(zhuǎn)換單元15，轉(zhuǎn)換成數(shù)字影像數(shù)據(jù)輸出。模擬信號(hào)處理單元14的主要功能是對(duì)信號(hào)進(jìn)行放大處理，并且提高信噪比。另外，為了獲得質(zhì)量合格的實(shí)用成像裝置，一般的CMOS圖像傳感器芯片中必須包含各種控制電路，如曝光時(shí)間控制、自動(dòng)增益控制等。 為了使芯片中各部分電路按規(guī)定的節(jié)拍動(dòng)作，必須使用多個(gè)時(shí)序控制信號(hào)。為了便于成像裝置的應(yīng)用，還要求該芯片能輸出一些時(shí)序信號(hào)，如同步信號(hào)、行起始信號(hào)、場(chǎng)起始信號(hào)等。 這些功能一般都在像素控制及時(shí)序生成單元11中執(zhí)行。一般地，在采用CMOS圖像傳感器進(jìn)行取像之后，通常把取得的彩色圖像信號(hào)經(jīng)分色、分別放大校正后得到RGB，再經(jīng)過矩陣變換電路得到亮度信號(hào)Y和兩個(gè)色差信號(hào)R-Y (即 U)、B-Y(即V)，最后發(fā)送端將亮度和色差三個(gè)信號(hào)分別進(jìn)行編碼，用同一信道發(fā)送出去。這種色彩的表示方法就是所謂的YUV色彩空間表示，亦稱YcrCb。就CMOS圖像傳感器100而言，其在進(jìn)行模數(shù)轉(zhuǎn)換之后得到RGB格式的影像信號(hào)，再通過數(shù)字圖像處理單元14進(jìn)行色彩空間變換最后輸出YUV格式的影像信號(hào)。采用YUV色彩空間的重要性是它的亮度信號(hào)Y 和色度信號(hào)U、V是分離的。如果只有Y信號(hào)分量而沒有U、V信號(hào)分量，那么這樣表示的圖像就是黑白灰度圖像。采用YUV空間正是為了用亮度信號(hào)Y解決彩色顯示與黑白顯示的相容問題，使黑白顯示設(shè)備也能接收彩色影像信號(hào)。當(dāng)然，CMOS圖像傳感器100也可以根據(jù)需要輸出數(shù)字RGB信號(hào)，而不一定輸出數(shù)字YUV信號(hào)。CMOS圖像傳感器100通常包括控制寄存器(未示出)以接受外部的控制信息并且響應(yīng)該控制信息進(jìn)行操作。例如，CMOS圖像傳感器可與便攜式終端的主控制模塊相連接， 從該主控制模塊接收控制信號(hào)，諸如啟動(dòng)時(shí)間、曝光時(shí)間長(zhǎng)度、像素復(fù)位等等。圖2是根據(jù)本發(fā)明的CMOS圖像傳感器200的結(jié)構(gòu)框圖。類似于CMOS圖像傳感器 100,CM0S圖像傳感器200也具有像素控制及時(shí)序生成單元21、行列譯碼單元22、感光陣列 23、模擬信號(hào)處理單元M以及模數(shù)轉(zhuǎn)換單元15。除此以外，CMOS圖像傳感器200還包括數(shù)字圖像處理及合成單元沈，可在該單元中實(shí)現(xiàn)與CMOS圖像傳感器100的數(shù)字圖像處理單元 16相同的功能，更重要地，可在該單元中執(zhí)行任何現(xiàn)有技術(shù)中已知的立體影像合成技術(shù)。一方面，所述數(shù)字圖像處理及合成單元26從模數(shù)轉(zhuǎn)換單元25接收CMOS圖像傳感器200本身所獲取的影像的數(shù)據(jù)并對(duì)其進(jìn)行必要的處理。另一方面，所述數(shù)字圖像處理及合成單元26 對(duì)CMOS圖像傳感器200從外部接收另一路數(shù)字影像數(shù)據(jù)進(jìn)行處理，這一路數(shù)字影像數(shù)據(jù)可以是任何格式的，包括RGB和YUV格式。同時(shí)，CMOS圖像傳感器200從外部接收與該另一路數(shù)字影像數(shù)據(jù)對(duì)應(yīng)的同步信號(hào)，該同步信號(hào)可例如指示所述單元可以開始接收對(duì)應(yīng)于一幀影像的外部數(shù)據(jù)。所述數(shù)字圖像處理及合成單元沈響應(yīng)所述同步信號(hào)而接收外部數(shù)字影像數(shù)據(jù)，并根據(jù)所需的輸出格式，將所述兩路信號(hào)合成。類似于CMOS圖像傳感器100，根據(jù)本發(fā)明的CMOS圖像傳感器200也包括控制寄存器(未示出)以接受外部的控制信息并且響應(yīng)該控制信息進(jìn)行操作。所述另一路數(shù)字影像數(shù)據(jù)可以來自于外部的成像裝置，優(yōu)選地其也是CMOS圖像傳感器。所述CMOS圖像傳感器200可以容易地與另一 CMOS圖像傳感器一起協(xié)作獲得立體影像輸出。一般地，該另一 CMOS圖像傳感器可以是如圖1所示的CMOS圖像傳感器100。在這種情況下，CMOS圖像傳感器100和200可例如受同一便攜式終端的主控制模塊控制，響應(yīng)于該主控制模塊的命令大體上同時(shí)從不同角度獲取同一對(duì)象的影像，從而得到兩路數(shù)字影像數(shù)據(jù)。如上所述，CMOS圖像傳感器100將其產(chǎn)生的數(shù)字影像數(shù)據(jù)傳送至所述CMOS圖像傳感器200中的數(shù)字圖像處理及合成單元，最后由CMOS圖像傳感器200產(chǎn)生合成的立體影像輸出，這將在下面結(jié)合圖3進(jìn)一步說明。另外，所述CMOS圖像傳感器200也可以與專門設(shè)計(jì)的CMOS圖像傳感器一起協(xié)作獲得立體影像輸出。這種專門設(shè)計(jì)的CMOS圖像傳感器可以在結(jié)構(gòu)上大大簡(jiǎn)化。在這種情況下，例如便攜式終端的主控制模塊控制可以僅與所述CMOS圖像傳感器200連接并向其發(fā)送控制信號(hào)?？梢栽谒鯟MOS圖像傳感器200上添加子控制接口(如圖2中的虛箭頭所示)，以使所述CMOS圖像傳感器200可以通過該子控制接口向所述專門設(shè)計(jì)的CMOS圖像傳感器發(fā)送相應(yīng)的控制信號(hào)，并根據(jù)其的反饋來調(diào)整該控制信號(hào)。所述專門設(shè)計(jì)的CMOS圖像傳感器在所述CMOS圖像傳感器200的控制下獲取影像。隨后，按先前所描述的過程由CMOS 圖像傳感器200產(chǎn)生合成的立體影像輸出。所述子控制接口可以是本領(lǐng)域中已知的任何通信接口，諸如串行總線，不需要將其實(shí)現(xiàn)為非?？焖俚男盘?hào)接口。將在下面結(jié)合圖進(jìn)一步說明這樣構(gòu)成的立體成像系統(tǒng)。在一些實(shí)施例中，所述數(shù)字圖像處理及合成單元沈包括的獨(dú)立的數(shù)字圖像處理模塊與立體影像合成模塊。優(yōu)選地，所述數(shù)字圖像處理及合成單元26包括存儲(chǔ)器(未示出)，以緩存所述兩路數(shù)字影像數(shù)據(jù)中的一個(gè)來同步例如兩幀圖像。由于直接在CMOS圖像傳感器200中合成兩路信號(hào)，減少了許多額外的傳輸和處理過程，因此大大改善了兩路信號(hào)之間的同步，從而使得該存儲(chǔ)器的存儲(chǔ)容量可以非常小。最差情況下不超過一幀，而通常情況下只需要若干行數(shù)據(jù)的存儲(chǔ)容量。圖3示出根據(jù)本發(fā)明的立體成像系統(tǒng)的實(shí)施例。應(yīng)注意的是，以下對(duì)系統(tǒng)的描述中也包含了對(duì)根據(jù)本發(fā)明的方法的說明，因此為了清楚起見不再重復(fù)對(duì)方法的說明。系統(tǒng) 10包括了 CMOS圖像傳感器1和2。其中，CMOS圖像傳感器2可以是市場(chǎng)上可買到的任何常規(guī)的CMOS圖像傳感器，而CMOS圖像傳感器1是根據(jù)本發(fā)明的圖像傳感器，其具有可直接得到立體影像輸出的數(shù)字圖像處理及合成單元36。在該實(shí)施例中，CMOS圖像傳感器1和2 之間沒有相互通信，僅由CMOS圖像傳感器2向CMOS圖像傳感器1傳送數(shù)字影像數(shù)據(jù)及同步信號(hào)。在使用中，由例如便攜式設(shè)備的主控制模塊(未示出)將諸如啟動(dòng)時(shí)間和曝光時(shí)間的控制信息分別寫入CMOS圖像傳感器1和2的控制寄存器。所述CMOS圖像傳感器1和 2被布置為相距大約6-7厘米，由CMOS圖像傳感器1響應(yīng)所述控制信息而獲取左影像，而由CMOS圖像傳感器2響應(yīng)所述控制信號(hào)獲取右影像，并且各自對(duì)所獲取的影像進(jìn)行處理。 CMOS圖像傳感器1可在其數(shù)字圖像處理及合成單元36中根據(jù)所接收的同步信號(hào)及其內(nèi)部的數(shù)據(jù)完成指示信號(hào)來判斷兩個(gè)圖像傳感器產(chǎn)生的數(shù)字影像數(shù)據(jù)的先后，并將先完成的數(shù)字影像數(shù)據(jù)緩存在所述存儲(chǔ)器中，以等待另一路數(shù)字影像數(shù)據(jù)的到來。接著，經(jīng)同步的兩路數(shù)字影像數(shù)據(jù)在數(shù)字圖像處理及合成單元36中合成。所謂合成，即將兩路數(shù)字影像數(shù)據(jù)的順序調(diào)整為符合特定輸出格式要求。常見的立體影像輸出格式包括紅藍(lán)格式、左右格式、點(diǎn)對(duì)點(diǎn)格式或逐幀格式。如果不要求輸出立體影像，也可以直接輸出二維影像。
在這個(gè)過程中，數(shù)字圖像處理及合成單元36還可以對(duì)從CMOS圖像傳感器2接收的數(shù)字影像數(shù)據(jù)的格式進(jìn)行判斷。例如，傳感器2直接將其模數(shù)轉(zhuǎn)換單元輸出的RGB信號(hào)傳送至傳感器1，而傳感器1已產(chǎn)生YUV格式的信號(hào)，則該數(shù)字圖像處理及合成單元36可利用其數(shù)字圖像處理功能對(duì)RGB信號(hào)進(jìn)行色彩空間變換來使兩者一致以便于合成立體影像輸出。在立體成像系統(tǒng)10中，由于通過兩個(gè)CMOS圖像傳感器中的一個(gè)直接輸出立體影像輸出，從而避免了許多不必要的信號(hào)傳輸和處理步驟，使得信號(hào)之間的同步性能更好，對(duì)信號(hào)的處理更直接和靈活。也使得立體成像系統(tǒng)的結(jié)構(gòu)更加簡(jiǎn)單緊湊，利于小型化的設(shè)計(jì)。圖4a、4b和如示出根據(jù)本發(fā)明的立體成像系統(tǒng)的另一實(shí)施例。在這個(gè)實(shí)施例中， 立體成像系統(tǒng)20中的CMOS圖像傳感器2是專門設(shè)計(jì)的CMOS圖像傳感器，其結(jié)構(gòu)被大大簡(jiǎn)化，這在圖4b中被示出。CMOS圖像傳感器1是根據(jù)本發(fā)明的CMOS圖像傳感器，其具有與外部成像裝置通信的子控制接口，從而可以向CMOS圖像傳感器2發(fā)送控制信息，并從其接收反饋信號(hào)。在使用中，由例如便攜式設(shè)備的主控制模塊(未示出)將諸如啟動(dòng)時(shí)間和曝光時(shí)間的控制信息寫入CMOS圖像傳感器1的控制寄存器。CMOS圖像傳感器1根據(jù)所收到的控制信息而在像素控制及時(shí)序生成單元41中生成對(duì)應(yīng)的用于CMOS圖像傳感器2的控制信息。在一些情況下，可在CMOS圖像傳感器1的控制寄存器中預(yù)存CMOS圖像傳感器2的性能參數(shù)，以便于產(chǎn)生適當(dāng)?shù)目刂菩畔?。更?yōu)選地，CMOS圖像傳感器1可利用CMOS圖像傳感器2的反饋信號(hào)來調(diào)整向傳感器2發(fā)送的控制信息。舉例來說，傳感器1在收到外部的啟動(dòng)命令之后立即向傳感器2發(fā)送啟動(dòng)命令并等待傳感器2傳送回的同步信號(hào)及其內(nèi)部的數(shù)據(jù)完成指示信號(hào)?；谕叫盘?hào)及內(nèi)部數(shù)據(jù)完成指示信號(hào)，傳感器1可判斷兩個(gè)傳感器之間的延遲，從而可以在下次向傳感器2發(fā)送啟動(dòng)命令時(shí)相應(yīng)地提前或滯后。通過這樣的操作，可以非常有利地實(shí)現(xiàn)兩個(gè)傳感器的操作之間的同步，從而大大減小所需要的存儲(chǔ)器容量，特別是在傳感器的影像解析度提高的情況下。立體成像系統(tǒng)20的其他成像步驟與參照?qǐng)D3所描述的大體相同，為了簡(jiǎn)潔起見不在此重復(fù)。在圖4b中示出了 CMOS圖像傳感器2的例子500。不同于常規(guī)的CMOS圖像傳感器，該傳感器500去除了數(shù)字圖像處理單元，僅通過模數(shù)轉(zhuǎn)換單元55產(chǎn)生RGB格式的數(shù)字影像數(shù)據(jù)。在圖4c中示出了根據(jù)本發(fā)明的CMOS圖像傳感器1中的數(shù)字圖像處理及合成單元46的一種實(shí)現(xiàn)。其具有獨(dú)立的數(shù)字圖像處理模塊和立體影像合成模塊，并具有存儲(chǔ)器。 在與圖4b所示的傳感器500 —起構(gòu)成立體成像系統(tǒng)時(shí)，這兩個(gè)傳感器可以共用圖如所示的數(shù)字圖像處理模塊，從而大大節(jié)省了成本。根據(jù)實(shí)際需要，該數(shù)字圖像處理模塊可以將兩路數(shù)字RGB信號(hào)都轉(zhuǎn)換到Y(jié)UV色彩空間，或者直接輸出數(shù)字RGB信號(hào)而不進(jìn)行轉(zhuǎn)換。在立體成像系統(tǒng)20中，由于通過兩個(gè)CMOS圖像傳感器中的一個(gè)傳感器直接控制另一個(gè)傳感器，從而大大提高了兩個(gè)傳感器操作的同步性，非常有利于立體成像，即可以節(jié)省成本也大大提高了成像質(zhì)量和操作的方便性。另外，這樣構(gòu)成的立體成像系統(tǒng)可以容易地實(shí)現(xiàn)模塊化，由于接口簡(jiǎn)單而可以方便地被嵌入各種成像設(shè)備中。應(yīng)當(dāng)說明的是，以上具體實(shí)施方式
僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制。盡管參照上述具體實(shí)施方式
對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，依然可以對(duì)本發(fā)明的具體實(shí)施方式
進(jìn)行修改或?qū)Σ糠旨夹g(shù)特征進(jìn)行等同替換而不脫離本發(fā)明的實(shí)質(zhì)，其均涵蓋在本發(fā)明請(qǐng)求保護(hù)的范圍中。
權(quán)利要求
1.一種用于立體成像的CMOS圖像傳感器，其特征在于，所述CMOS圖像傳感器包括 感光陣列；行列譯碼單元； 像素控制及時(shí)序生成單元； 模擬信號(hào)處理單元； 模數(shù)轉(zhuǎn)換單元；以及數(shù)字圖像處理及合成單元；其中，所述數(shù)字圖像處理及合成單元接收所述模數(shù)轉(zhuǎn)換單元產(chǎn)生的第一數(shù)字影像數(shù)據(jù)，并且所述CMOS圖像傳感器從外部成像裝置接收第二數(shù)字影像數(shù)據(jù)和對(duì)應(yīng)的同步信號(hào)；以及所述數(shù)字圖像處理及合成單元響應(yīng)所述同步信號(hào)將所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)合成而得到立體影像輸出。
2.如權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，所述數(shù)字圖像處理及合成單元包括數(shù)字圖像處理模塊以及立體影像合成模塊。
3.如權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，所述數(shù)字圖像處理及合成單元還包括存儲(chǔ)器，所述存儲(chǔ)器用于緩存所述第一數(shù)字影像數(shù)據(jù)和所述第二數(shù)字影像數(shù)據(jù)中的一個(gè)以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。
4.如權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，所述CMOS圖像傳感器還包括子控制接口，所述子控制接口用于與所述外部成像裝置通信。
5.如權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，其中如果所述第二數(shù)字影像數(shù)據(jù)的格式與所述第一數(shù)字影像數(shù)據(jù)的格式不同，則所述數(shù)字圖像處理及合成單元對(duì)所述第一或第二數(shù)字影像數(shù)據(jù)進(jìn)行色彩空間變換使兩者的格式一致。
6.如權(quán)利要求1所述的CMOS圖像傳感器，其特征在于，其中所述立體影像輸出被配置為紅藍(lán)格式、左右格式、點(diǎn)對(duì)點(diǎn)格式和逐幀格式中的一種格式。
7.一種立體成像系統(tǒng)，其特征在于，所述立體成像系統(tǒng)包括第一 CMOS圖像傳感器和第二 CMOS圖像傳感器，其中所述第一 CMOS圖像傳感器包括感光陣列；行列譯碼單元；像素控制及時(shí)序生成單元；模擬信號(hào)處理單元；模數(shù)轉(zhuǎn)換單元；以及數(shù)字圖像處理及合成單元；其中，所述第一 CMOS圖像傳感器在所述數(shù)字圖像處理及合成單元中接收所述模數(shù)轉(zhuǎn)換單元產(chǎn)生的第一數(shù)字影像數(shù)據(jù)，并且從所述第二 CMOS圖像傳感器接收第二數(shù)字影像數(shù)據(jù)和對(duì)應(yīng)的同步信號(hào)；以及所述數(shù)字圖像處理及合成單元響應(yīng)所述同步信號(hào)將所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)合成而得到立體影像輸出。
8.如權(quán)利要求7所述的立體成像系統(tǒng)，其特征在于，所述第一CMOS圖像傳感器在所述數(shù)字圖像處理及合成單元中包括數(shù)字圖像處理模塊以及立體影像合成模塊。
9.如權(quán)利要求7所述的立體成像系統(tǒng)，其特征在于，其中所述第一和第二CMOS圖像傳感器共用所述數(shù)字圖像處理模塊。
10.如權(quán)利要求7所述的立體成像系統(tǒng)，其特征在于，其中所述第一CMOS圖像傳感器在所述數(shù)字圖像處理及合成單元中包括存儲(chǔ)器，第一 CMOS圖像傳感器通過所述存儲(chǔ)器緩存所述第一數(shù)字影像數(shù)據(jù)和所述第二數(shù)字影像數(shù)據(jù)中的一個(gè)以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。
11.如權(quán)利要求7所述的立體成像系統(tǒng)，其特征在于，其中所述第一CMOS圖像傳感器具有子控制接口，并且所述第一 CMOS圖像傳感器通過所述子控制接口與所述第二 CMOS圖像傳感器進(jìn)行通信。
12.如權(quán)利要求11所述的立體成像系統(tǒng)，其特征在于，其中通過所述子控制接口進(jìn)行通信包括所述第一 CMOS圖像傳感器通過所述子控制接口向所述第二 CMOS傳感器發(fā)送控制信號(hào)；所述第二 CMOS圖像傳感器在產(chǎn)生所述第二數(shù)字影像數(shù)據(jù)之后通過所述子控制接口向所述第一 CMOS傳感器發(fā)送所述同步信號(hào)；以及所述第一 CMOS圖像傳感器基于所述同步信號(hào)來調(diào)整向所述第二 CMOS圖像傳感器發(fā)送所述控制信號(hào)的時(shí)間以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。
13.如權(quán)利要求7所述的立體成像系統(tǒng)，其特征在于，其中對(duì)所述第一CMOS圖像傳感器的控制與對(duì)第二 CMOS圖像傳感器的控制相互獨(dú)立。
14.如權(quán)利要求7所述的立體成像系統(tǒng)，其特征在于，其中如果所述第二數(shù)字影像數(shù)據(jù)的格式與所述第一數(shù)字影像數(shù)據(jù)的格式不同，則所述第一 CMOS圖像傳感器通過所述數(shù)字圖像處理及合成單元對(duì)所述第一或第二數(shù)字影像數(shù)據(jù)進(jìn)行色彩空間變換使兩者的格式一致。
15.如權(quán)利要求7所述的立體成像系統(tǒng)，其特征在于，其中所述立體影像輸出被配置為按紅藍(lán)格式、左右格式、點(diǎn)對(duì)點(diǎn)格式和逐幀格式中的一種格式。
16.一種立體成像方法，其特征在于，所述方法包括以下步驟第一 CMOS圖像傳感器響應(yīng)外部啟動(dòng)信號(hào)產(chǎn)生第一數(shù)字影像數(shù)據(jù)，并根據(jù)所述外部啟動(dòng)信號(hào)產(chǎn)生用于控制第二 CMOS圖像傳感器的控制信號(hào)；所述第二 CMOS圖像傳感器響應(yīng)所述控制信號(hào)產(chǎn)生第二數(shù)字影像數(shù)據(jù)，并將所述第二數(shù)字影像數(shù)據(jù)和對(duì)應(yīng)的同步信號(hào)發(fā)送至所述第一 CMOS圖像傳感器；以及所述第一 CMOS圖像傳感器響應(yīng)所述同步信號(hào)將所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)合成而得到立體影像輸出。
17.如權(quán)利要求16所述的立體成像方法，其特征在于，其中所述第一CMOS圖像傳感器基于所述同步信號(hào)來調(diào)整向所述第二 CMOS圖像傳感器發(fā)送所述控制信號(hào)的時(shí)間以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。
18.如權(quán)利要求16所述的立體成像方法，其特征在于，其中所述第一CMOS圖像傳感器緩存所述第一數(shù)字影像數(shù)據(jù)和所述第二數(shù)字影像數(shù)據(jù)中的一個(gè)以使所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)同步。
19.如權(quán)利要求16所述的立體成像方法，其特征在于，其中如果所述第二數(shù)字影像數(shù)據(jù)的格式與所述第一數(shù)字影像數(shù)據(jù)的格式不同，則所述第一 CMOS圖像傳感器對(duì)所述第一或第二數(shù)字影像數(shù)據(jù)進(jìn)行色彩空間變換使兩者的格式一致。
20.如權(quán)利要求16所述的立體成像方法，其特征在于，其中所述立體影像輸出被配置為按紅藍(lán)格式、左右格式、點(diǎn)對(duì)點(diǎn)格式和逐幀格式中的一種格式。
全文摘要
本發(fā)明提供了一種用于立體成像的CMOS圖像傳感器以及利用該CMOS圖像傳感器的立體成像系統(tǒng)和方法。所述CMOS圖像傳感器包括感光陣列、行列譯碼單元、像素控制及時(shí)序生成單元、模擬信號(hào)處理單元、模數(shù)轉(zhuǎn)換單元以及數(shù)字圖像處理及合成單元。所述數(shù)字圖像處理及合成單元接收所述模數(shù)轉(zhuǎn)換單元產(chǎn)生的第一數(shù)字影像數(shù)據(jù)，并且所述CMOS圖像傳感器從外部成像裝置接收第二數(shù)字影像數(shù)據(jù)和對(duì)應(yīng)的同步信號(hào)；以及所述數(shù)字圖像處理及合成單元響應(yīng)所述同步信號(hào)將所述第一數(shù)字影像數(shù)據(jù)與所述第二數(shù)字影像數(shù)據(jù)合成而得到立體影像。該CMOS圖像傳感器可與常規(guī)的或者專門設(shè)計(jì)的另一CMOS圖像傳感器一起構(gòu)成立體成像系統(tǒng)。
文檔編號(hào)H04N13/00GK102487444SQ20101057082
公開日2012年6月6日 申請(qǐng)日期2010年12月2日 優(yōu)先權(quán)日2010年12月2日
發(fā)明者何光彩, 鐘雄光 申請(qǐng)人:上海立體數(shù)碼科技發(fā)展有限公司