的紅外光1130。紅外光可被反射至被配置為感測紅外光的第二感測單元的全部或一部分。
[0331]因此，由于能夠被光接收單元1100感測的紅外光的總光量較小，所以從紅外光提取的深度圖像的靈敏度和對比度可劣化。
[0332]因此，根據(jù)本發(fā)明，可按照經(jīng)由圖3所示的第一感測單元1110提取不含噪聲的第一深度圖像信息并且將所提取的不含噪聲的第一深度圖像信息與第二深度圖像信息結(jié)合的方式來增強(qiáng)對象的深度圖像的靈敏度和對比度。
[0333]例如，如圖30所示，如果光接收單元1100包括第一感測單元1110和被配置為感測紅外光的第二感測單元1120，該第一感測單元1110包括被配置為感測紅色波長范圍的光的第一感測單元1110的第一像素1112、被配置為感測綠色波長范圍的光的第一感測單元1110的第二像素1114以及被配置為感測藍(lán)色波長范圍的光的第一感測單元1110的第三像素1116，則本發(fā)明可按照經(jīng)由第一感測單元1110提取不含噪聲的第一深度圖像信息并且將所提取的不含噪聲的第一深度圖像信息與第二深度圖像信息結(jié)合的方式來改進(jìn)對象的深度圖像的靈敏度和對比度。
[0334]圖31是圖16的提取第二深度圖像信息的方法的詳細(xì)流程圖。參照圖14所示的第一深度圖像提取單元來說明圖31。
[0335]如圖14和圖31所示，噪聲消除單元2410可在第一時間期間從第一感測單元所感測的紅外光提取第一噪聲值，并且可在第二時間期間從第二感測單元所感測的紅外光提取第二噪聲值。
[0336]在這種情況下，第一噪聲值可對應(yīng)于在第一時間期間除了紅外光以外由第一感測單元感測到的可見光。
[0337]并且，第二噪聲值可對應(yīng)于在第二時間期間除了紅外光以外由第一感測單元感測到的可見光。
[0338]此后，噪聲消除單元2410計算從第二噪聲值減去第一噪聲值而得到的差值，并且可按照將加權(quán)值乘以所述差值的方式計算不含噪聲的深度值[S1682]。
[0339]在這種情況下，第二噪聲值與第一噪聲值之間的差值可對應(yīng)于消除了噪聲的純紅外光的深度值。
[0340]并且，加權(quán)值可對應(yīng)于反映第一感測單元的各個像素的靈敏度特性的值。
[0341]圖32是示出第一感測單元和第二感測單元的光靈敏度特性的曲線圖。
[0342]如圖32所示，根據(jù)光的波長范圍，能夠知道第一感測單元和第二感測單元的光靈敏度特性彼此不同。
[0343]例如，如圖28所示，第一感測單元的各個像素的靈敏度與第二感測單元的靈敏度之間可能存在大約3.5倍的靈敏度差異。
[0344]具體地講，在被配置為感測紅色波長范圍的光的第一感測單元的第一像素、被配置為感測綠色波長范圍的光的第一感測單元的第二像素和被配置為感測藍(lán)色波長范圍的光的第一感測單元的第三像素當(dāng)中，如果對紅光的靈敏度、對綠光的靈敏度和對藍(lán)光的靈敏度彼此相似，則能夠知道被配置為感測紅外光的第二感測單元的靈敏度比第一感測單元的靈敏度高大約3.5倍。
[0345]因此，當(dāng)計算不含噪聲的深度值時，將第二噪聲值與第一噪聲值之間的差值乘以加權(quán)值以消除靈敏度差異。
[0346]此后，比較單元2430可將不含噪聲的深度值與第一感測單元的物理噪聲值進(jìn)行比較，以發(fā)現(xiàn)不含噪聲的深度值是否大于第一感測單元的物理噪聲值[S1683]。
[0347]此后，如果確定不含噪聲的深度值大于第一感測單元的物理噪聲值，則最終深度值確定單元2450可將不含噪聲的深度值確定為第一深度圖像信息的最終深度值[S1684]。
[0348]在這種情況下，如果不含噪聲的深度值大于第一感測單元的物理噪聲值，則可對深度圖像的靈敏度和對比度的增強(qiáng)產(chǎn)生影響。然而，如果不含噪聲的深度值等于或小于第一感測單元的物理噪聲值，則不對深度圖像的靈敏度和對比度的增強(qiáng)產(chǎn)生影響。因此，不含噪聲的深度值可被忽略。
[0349]圖33和圖34是根據(jù)第一深度圖像信息和第二深度圖像信息是否結(jié)合來將深度圖像的對比度彼此比較的示圖。圖33是第一深度圖像信息和第二深度圖像信息未結(jié)合的情況的示圖，圖34是第一深度圖像信息和第二深度圖像信息結(jié)合的情況的示圖。
[0350]如圖33所示，如果利用僅由圖3所示的第二感測單元1120感測的第二深度圖像信息來實現(xiàn)對象的3D圖像，而沒有結(jié)合第一深度圖像信息，則關(guān)于對象的深度圖像信息可能劣化。
[0351]然而，如圖34所示，如果經(jīng)由第一感測單元提取不含噪聲的第一深度圖像信息，經(jīng)由第二感測單元提取第二深度圖像信息，然后將不含噪聲的第一深度圖像信息和第二深度圖像信息結(jié)合，則能夠知道對象的深度圖像的靈敏度和對比度顯著改進(jìn)。
[0352]因此，根據(jù)本發(fā)明，由于能夠利用包括被配置為感測可見光的第一感測單元和被配置為感測紅外光的第二感測單元的光接收單元同時處理彩色圖像和深度圖像，所以配置簡單并且3D圖像處理時間和總成本可降低。
[0353]并且，根據(jù)本發(fā)明，通過按照增加彩色圖像信息的前一幀的結(jié)束時間與下一幀的開始時間之間的紅外光的曝光時間的方式增強(qiáng)深度圖像的靈敏度和對比度，可改進(jìn)三維圖像的深度，其中通過將光接收單元的分辨率從第一分辨率切換為比第一分辨率低的第二分辨率來增加紅外光的曝光時間。
[0354]并且，根據(jù)本發(fā)明，當(dāng)獲得深度圖像信息時，由于不僅可從光接收單元的第二感測單元所感測的紅外光提取深度圖像信息，而且可從光接收單元的第一感測單元所感測的紅外光提取深度圖像信息，所以深度圖像的靈敏度和對比度增強(qiáng)，從而改進(jìn)了 3D圖像的深度。
[0355]盡管參照其優(yōu)選實施方式描述和示出了本發(fā)明，但是對于本領(lǐng)域技術(shù)人員而言將明顯的是，在不脫離本發(fā)明的精神和范圍的情況下，可對本發(fā)明進(jìn)行各種修改和變化。因此，本發(fā)明旨在覆蓋落入所附權(quán)利要求書及其等同物的范圍內(nèi)的本發(fā)明的修改和變化。
[0356]本申請要求提交于2014年10月27日的韓國專利申請N0.10-2014-0146171的在先申請日和優(yōu)先權(quán)，通過引用將其全部內(nèi)容并入本文。
[0357]本申請還要求提交于2013年11月12日的美國臨時申請N0.61/903, 364的利益，通過引用將其全部內(nèi)容并入本文。
【主權(quán)項】
1.一種由數(shù)字裝置處理的三維3D圖像的處理方法，所述數(shù)字裝置包含光接收單元和光發(fā)射單元，其中，所述光接收單元由被配置為感測可見光的第一感測單元和被配置為感測紅外光的第二感測單元構(gòu)成，并且所述光發(fā)射單元發(fā)射所述紅外光，所述方法包括以下步驟: 將所述光接收單元的分辨率從第一分辨率切換為比該第一分辨率低的第二分辨率； 從規(guī)定的對象感測所述可見光和所述紅外光； 在第一時間期間從所述光接收單元的所述第一感測單元所感測的可見光提取彩色圖像信息； 在第二時間期間從所述光接收單元的所述第二感測單元所感測的紅外光提取深度圖像信息； 確定所述對象的所述彩色圖像信息和所述深度圖像信息二者的提取是否完成；以及 如果所述對象的所述彩色圖像信息和所述深度圖像信息二者的提取完成，則基于所提取的彩色圖像信息和深度圖像信息實現(xiàn)所述對象的3D圖像。
2.根據(jù)權(quán)利要求1所述的方法，將所述光接收單元的分辨率從所述第一分辨率切換為比所述第一分辨率低的所述第二分辨率的步驟還包括以下步驟: 接收圖像模式請求信號； 如果所述圖像模式請求信號對應(yīng)于3D圖像模式請求信號，則檢查所述光接收單元的分辨率模式；以及 如果所述光接收單元的分辨率對應(yīng)于所述第一分辨率，則將所述光接收單元的分辨率從所述第一分辨率切換為比所述第一分辨率低的所述第二分辨率。
3.根據(jù)權(quán)利要求2所述的方法，該方法還包括以下步驟: 如果所述圖像模式請求信號對應(yīng)于2D圖像模式請求信號，則檢查所述光接收單元的分辨率模式；以及 如果所述光接收單元的分辨率對應(yīng)于所述第二分辨率，則將所述光接收單元的分辨率從所述第二分辨率切換為比所述第二分辨率高的所述第一分辨率。
4.根據(jù)權(quán)利要求1所述的方法，該方法還包括以下步驟:在感測所述可見光和所述紅外光的步驟之前，在所述第一時間期間通過關(guān)閉所述光發(fā)射單元的操作來不輸出所述紅外光，或者在所述第二時間期間通過打開所述光發(fā)射單元來向所述對象輸出所述紅外光。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述光發(fā)射單元的操作時間對應(yīng)于所述彩色圖像信息的前一幀的結(jié)束時間與下一幀的開始時間之間的時間。
6.根據(jù)權(quán)利要求4所述的方法，其中，重復(fù)地依次執(zhí)行在所述第一時間期間不輸出所述紅外光的步驟和在所述第二時間期間輸出所述紅外光的步驟。
7.根據(jù)權(quán)利要求1所述的方法，其中，重復(fù)地依次執(zhí)行在所述第一時間期間提取所述彩色圖像信息的步驟和在所述第二時間期間提取所述深度圖像信息的步驟。
8.根據(jù)權(quán)利要求1所述的方法，在所述第一時間期間提取所述彩色圖像信息的步驟還包括以下步驟: 在所述第一時間期間檢測由所述第一感測單元感測的所述可見光的光量； 將所檢測到的所述可見光的光量轉(zhuǎn)換為電信號；以及 從所述可見光提取彩色圖像信息。
9.根據(jù)權(quán)利要求1所述的方法，在所述第二時間期間提取所述深度圖像信息的步驟還包括以下步驟: 在所述第二時間期間檢測由所述第二感測單元感測的所述紅外光的光量； 將所檢測到的所述紅外光的光量轉(zhuǎn)換為電信號；以及 從所述紅外光提取深度圖像信息。
10.一種數(shù)字裝置，該數(shù)字裝置包括: 接收單元，該接收單元被配置為接收二維2D或三維3D圖像模式請求信號； 光接收單元，該光接收單元被配置為包含第一感測單元和第二感測單元，該第一感測單元從規(guī)定的對象感測與光譜的可見區(qū)域?qū)?yīng)的可見光，該第二感測單元從規(guī)定的對象感測與光譜的紅外區(qū)域?qū)?yīng)的紅外光； 圖像處理單元，該圖像處理單元被配置為在第一時間期間從所述第一感測單元提取彩色圖像信息并且在第二時間期間從所述第二感測單元提取深度圖像信息； 3D圖像實現(xiàn)單元，該3D圖像實現(xiàn)單元被配置為基于所提取的彩色圖像信息和深度圖像信息實現(xiàn)所述對象的3D圖像；以及 控制單元，如果接收到所述3D圖像模式請求信號，則所述控制單元被配置為檢查所述光接收單元的分辨率模式，如果所述光接收單元的分辨率對應(yīng)于第一分辨率，則所述控制單元被配置為將所述光接收單元的分辨率從所述第一分辨率切換為比所述第一分辨率低的第二分辨率，所述控制單元被配置為控制所述光接收單元、所述圖像處理單元和所述3D圖像實現(xiàn)單元。
11.根據(jù)權(quán)利要求10所述的數(shù)字裝置，其中，所述第一感測單元被配置為包含感測紅光的第一像素、感測綠光的第二像素以及感測藍(lán)光的第三像素。
12.根據(jù)權(quán)利要求10所述的數(shù)字裝置，其中，所述第一感測單元被配置為包含感測黃光的第四像素、感測青光的第五像素以及感測品紅光的第六像素。
13.根據(jù)權(quán)利要求10所述的數(shù)字裝置，其中，所述第一感測單元被配置為包含感測紅光的第一像素、感測綠光的第二像素、感測藍(lán)光的第三像素以及感測白光、黃光、青光和品紅光中的一種的第七像素。
14.根據(jù)權(quán)利要求10所述的數(shù)字裝置，該數(shù)字裝置還包括光發(fā)射單元，該光發(fā)射單元被配置為根據(jù)所述控制單元的控制信號在所述第一時間期間不輸出所述紅外光并且在所述第二時間期間輸出所述紅外光。
15.根據(jù)權(quán)利要求14所述的數(shù)字裝置，其中，所述光發(fā)射單元的操作時間對應(yīng)于所述彩色圖像信息的前一幀的結(jié)束時間與下一幀的開始時間之間的時間。
16.根據(jù)權(quán)利要求14所述的數(shù)字裝置，該數(shù)字裝置還包括定時器，該定時器被配置為根據(jù)所述控制單元的控制信號測量關(guān)閉所述光發(fā)射單元的操作的第一時間以及打開所述光發(fā)射單元的操作的第二時間。
17.根據(jù)權(quán)利要求10所述的數(shù)字裝置，該數(shù)字裝置還包括存儲單元，該存儲單元被配置為存儲由所述圖像處理單元提取的所述彩色圖像信息和所述深度圖像信息。
18.根據(jù)權(quán)利要求10所述的數(shù)字裝置，其中，所述圖像處理單元被配置為包含第一圖像處理單元和第二圖像處理單元，該第一圖像處理單元在所述第一時間期間從所述第一感測單元所感測的可見光提取彩色圖像信息，該第二圖像處理單元在所述第二時間期間從所述第二感測單元所感測的紅外光提取第二深度圖像信息。
19.根據(jù)權(quán)利要求18所述的數(shù)字裝置，其中，所述第一圖像處理單元被配置為包含第一檢測單元、第一轉(zhuǎn)換單元和彩色圖像信息提取單元，該第一檢測單元在所述第一時間期間檢測由所述第一感測單元感測的所述可見光的光量，該第一轉(zhuǎn)換單元將所檢測到的所述可見光的光量轉(zhuǎn)換為電信號，該彩色圖像信息提取單元從所述可見光提取彩色圖像信息。
20.根據(jù)權(quán)利要求18所述的數(shù)字裝置，其中，所述第二圖像處理單元被配置為包含第二檢測單元、第二轉(zhuǎn)換單元和深度圖像信息提取單元，該第二檢測單元在所述第一時間期間檢測由所述第二感測單元感測的所述紅外光的光量，該第二轉(zhuǎn)換單元將所檢測到的所述紅外光的光量轉(zhuǎn)換為電信號，該深度圖像信息提取單元從所述紅外光提取深度圖像信息。
【專利摘要】數(shù)字裝置及其處理三維圖像的方法。本發(fā)明涉及一種能夠獲得彩色圖像和深度圖像二者的數(shù)字裝置以及利用該數(shù)字裝置處理三維圖像的方法。該方法可包括以下步驟：將光接收單元的分辨率從第一分辨率切換為比第一分辨率低的第二分辨率；從規(guī)定對象感測可見光和紅外光；在第一時間期間從光接收單元的第一感測單元所感測的可見光提取彩色圖像信息；在第二時間期間從光接收單元的第二感測單元所感測的紅外光提取深度圖像信息；確定對象的彩色圖像信息和深度圖像信息二者的提取是否完成；以及如果對象的彩色圖像信息的提取和深度圖像信息的提取完成，則基于所提取的彩色圖像信息和深度圖像信息實現(xiàn)對象的3D圖像。
【IPC分類】H04N13-00, H04N21-435, H04N21-434, H04N15-00, H04N21-431
【公開號】CN104702933
【申請?zhí)枴緾N201410645866
【發(fā)明人】姜軫遠(yuǎn), 申允燮, 權(quán)寧滿
【申請人】Lg電子株式會社
【公開日】2015年6月10日
【申請日】2014年11月12日
【公告號】EP2871843A2, EP2871843A3, US20150130908