數(shù)字裝置及其處理三維圖像的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及處理三維圖像的數(shù)字裝置，更具體地講，涉及一種能夠拍攝彩色圖像和深度圖像二者的數(shù)字裝置以及使用該數(shù)字裝置處理三維圖像的方法。
【背景技術(shù)】
[0002]通常，處理3維圖像的數(shù)字裝置可包括被配置為拍攝彩色圖像的彩色相機(jī)以及被配置為拍攝深度圖像的深度相機(jī)。
[0003]在這種情況下，彩色相機(jī)對(duì)應(yīng)于配備有CCD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的相機(jī)。彩色相機(jī)可通過(guò)感測(cè)從接收太陽(yáng)光或閃光的對(duì)象反射的可見(jiàn)光來(lái)拍攝對(duì)象的二維彩色圖像。
[0004]深度相機(jī)可通過(guò)用諸如激光束、紅外光等的光照射對(duì)象并獲得從對(duì)象反射的光來(lái)拍攝對(duì)象的深度圖像。
[0005]在這種情況下，深度可指示從深度相機(jī)至對(duì)象的距離。
[0006]此后，可利用所拍攝的二維彩色圖像和深度圖像獲得對(duì)象的三維圖像。
[0007]然而，由于處理三維圖像的數(shù)字裝置應(yīng)該分別驅(qū)動(dòng)被配置為拍攝彩色圖像的彩色相機(jī)以及被配置為拍攝深度圖像的深度相機(jī)，所以數(shù)字裝置的配置可能復(fù)雜，圖像處理時(shí)間可能花費(fèi)較長(zhǎng)時(shí)間并且總成本也可能增加。
[0008]因此，未來(lái)需要一種能夠拍攝彩色圖像和深度圖像二者的處理三維圖像的數(shù)字裝置。

【發(fā)明內(nèi)容】

[0009]因此，本發(fā)明致力于一種基本上避免了由現(xiàn)有技術(shù)的局限和缺點(diǎn)引起的一個(gè)或更多個(gè)問(wèn)題的設(shè)備及其方法。
[0010]本發(fā)明的一個(gè)實(shí)施方式計(jì)劃的一個(gè)技術(shù)任務(wù)在于提供一種使用能夠拍攝彩色圖像和深度圖像二者的光接收單元的簡(jiǎn)單結(jié)構(gòu)的數(shù)字裝置以及使用該數(shù)字裝置處理三維圖像的方法。
[0011]本發(fā)明的一個(gè)實(shí)施方式計(jì)劃的另一技術(shù)任務(wù)在于提供一種能夠通過(guò)增加紅外光的曝光時(shí)間來(lái)改進(jìn)深度圖像的對(duì)比度的數(shù)字裝置以及使用該數(shù)字裝置處理三維圖像的方法，其中，通過(guò)將光接收單元的分辨率從第一分辨率轉(zhuǎn)換為比第一分辨率低的第二分辨率來(lái)增加紅外光的曝光時(shí)間。
[0012]本發(fā)明的另外的優(yōu)點(diǎn)、目的和特征將部分地在以下描述中闡述，并且部分地將在本領(lǐng)域普通技術(shù)人員研宄以下描述時(shí)變得明顯，或者可通過(guò)本發(fā)明的實(shí)踐而了解。本發(fā)明的目的和其它優(yōu)點(diǎn)可通過(guò)所撰寫(xiě)的說(shuō)明書(shū)及其權(quán)利要求書(shū)以及附圖中具體指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。
[0013]為了實(shí)現(xiàn)這些目的和其它優(yōu)點(diǎn)并且依據(jù)本發(fā)明的目的，如本文具體實(shí)現(xiàn)并廣義描述的，根據(jù)一個(gè)實(shí)施方式，一種數(shù)字裝置處理三維圖像的方法包括以下步驟:將光接收單元的分辨率從第一分辨率切換為比所述第一分辨率低的第二分辨率；從規(guī)定對(duì)象感測(cè)可見(jiàn)光和紅外光；在第一時(shí)間期間從所述光接收單元的第一感測(cè)單元所感測(cè)的可見(jiàn)光提取彩色圖像信息；在第二時(shí)間期間從所述光接收單元的第二感測(cè)單元所感測(cè)的紅外光提取深度圖像信息；確定所述對(duì)象的所述彩色圖像信息和所述深度圖像信息二者的提取是否完成；以及如果所述對(duì)象的所述彩色圖像信息的提取和所述深度圖像信息的提取完成，則基于所提取的彩色圖像信息和深度圖像信息實(shí)現(xiàn)所述對(duì)象的3D圖像。
[0014]為了進(jìn)一步實(shí)現(xiàn)這些目的和其它優(yōu)點(diǎn)并且依據(jù)本發(fā)明的目的，如本文具體實(shí)現(xiàn)并廣義描述的，根據(jù)一個(gè)實(shí)施方式，一種數(shù)字裝置可包括:接收單元，其被配置為接收2維(2D)或3維(3D)圖像模式請(qǐng)求信號(hào)；光接收單元，其被配置為包括從規(guī)定對(duì)象感測(cè)與光譜的可見(jiàn)區(qū)域?qū)?yīng)的可見(jiàn)光的第一感測(cè)單元以及感測(cè)與光譜的紅外區(qū)域?qū)?yīng)的紅外光的第二感測(cè)單元；圖像處理單元，其被配置為在第一時(shí)間期間從所述第一感測(cè)單元提取彩色圖像信息并且在第二時(shí)間期間從所述第二感測(cè)單元提取深度圖像信息；3D圖像實(shí)現(xiàn)單元，其被配置為基于所提取的彩色圖像信息和深度圖像信息實(shí)現(xiàn)所述對(duì)象的3D圖像；以及控制單元，如果接收到所述3D圖像模式請(qǐng)求信號(hào)，則所述控制單元被配置為檢查所述光接收單元的分辨率模式，如果所述光接收單元的分辨率對(duì)應(yīng)于第一分辨率，則所述控制單元被配置為將所述光接收單元的分辨率從所述第一分辨率切換為比所述第一分辨率低的第二分辨率，所述控制單元被配置為控制所述光接收單元、所述圖像處理單元和所述3D圖像實(shí)現(xiàn)單元。
[0015]根據(jù)本發(fā)明的一個(gè)實(shí)施方式，由于可利用包括被配置為感測(cè)可見(jiàn)光的第一感測(cè)單元和被配置為感測(cè)紅外光的第二感測(cè)單元的光接收單元同時(shí)處理彩色圖像和深度圖像二者，所以數(shù)字裝置可簡(jiǎn)單地配置，并且三維圖像處理時(shí)間和總成本可降低。
[0016]根據(jù)本發(fā)明的一個(gè)實(shí)施方式，可通過(guò)按照增加在彩色圖像信息的前一幀的結(jié)束時(shí)間與下一幀的開(kāi)始時(shí)間之間的紅外光的曝光時(shí)間的方式增強(qiáng)深度圖像的靈敏度和對(duì)比度來(lái)改進(jìn)三維圖像的深度，其中，通過(guò)將光接收單元的分辨率從第一分辨率切換為比第一分辨率低的第二分辨率來(lái)增加紅外光的曝光時(shí)間。
[0017]應(yīng)該理解，對(duì)本發(fā)明的以上總體描述和以下詳細(xì)描述均是示例性和說(shuō)明性的，旨在提供對(duì)要求保護(hù)的本發(fā)明的進(jìn)一步說(shuō)明。
【附圖說(shuō)明】
[0018]附圖被包括以提供對(duì)本發(fā)明的進(jìn)一步理解，并且被并入本申請(qǐng)并構(gòu)成本申請(qǐng)的一部分，附圖示出本發(fā)明的實(shí)施方式并與說(shuō)明書(shū)一起用于說(shuō)明本發(fā)明的原理。附圖中:
[0019]圖1是說(shuō)明根據(jù)本發(fā)明的一個(gè)實(shí)施方式的數(shù)字裝置的框圖；
[0020]圖2是說(shuō)明根據(jù)本發(fā)明的不同實(shí)施方式的數(shù)字裝置的框圖；
[0021]圖3是根據(jù)本發(fā)明的數(shù)字裝置的三維圖像處理裝置的框圖；
[0022]圖4a至圖4b是根據(jù)圖3所示的光接收單元的貝爾圖案(bayer pattern)的示圖；
[0023]圖5a至圖5b是光接收單元的單元像素的第一實(shí)施方式的示圖；
[0024]圖6是光接收單元的單元像素的第二實(shí)施方式的示圖；
[0025]圖7a至圖7b是光接收單元的單元像素的第三實(shí)施方式的示圖；
[0026]圖8是光接收單元的單元像素的第四實(shí)施方式的示圖；
[0027]圖9a至圖9b是光接收單元的單元像素的第五實(shí)施方式的示圖；
[0028]圖10是光接收單元的單元像素的第六實(shí)施方式的示圖；
[0029]圖11是圖3的圖像處理單元的框圖；
[0030]圖12是圖11的第一圖像處理單元的框圖；
[0031]圖13是圖11的第二圖像處理單元的框圖；
[0032]圖14是圖11的第二圖像處理單元的不同實(shí)施方式的框圖；
[0033]圖15是圖14的第一深度圖像信息提取單元的框圖；
[0034]圖16和圖17是根據(jù)本發(fā)明的數(shù)字裝置處理三維圖像的方法的流程圖；
[0035]圖18至圖23是說(shuō)明根據(jù)本發(fā)明的數(shù)字裝置的三維圖像處理過(guò)程的示意圖；
[0036]圖24是根據(jù)時(shí)間的光發(fā)射單元的開(kāi)/關(guān)的示圖；
[0037]圖25是根據(jù)時(shí)間的圖像處理單元的圖像信息處理的示圖；
[0038]圖26是圖16的提取彩色圖像信息的方法的詳細(xì)流程圖；
[0039]圖27是圖16的提取深度圖像信息的方法的詳細(xì)流程圖；
[0040]圖28是第一深度圖像信息和第二深度圖像信息未結(jié)合的貝爾圖案的示圖；
[0041]圖29是由光接收單元感測(cè)的紅外光的分布的示圖；
[0042]圖30是第一深度圖像信息和第二深度圖像信息結(jié)合的貝爾圖案的示圖；
[0043]圖31是圖16的提取第二深度圖像信息的方法的詳細(xì)流程圖；
[0044]圖32是示出第一感測(cè)單元和第二感測(cè)單元的靈敏度特性的曲線圖；
[0045]圖33和圖34是根據(jù)第一深度圖像信息和第二深度圖像信息是否結(jié)合來(lái)將深度圖像的對(duì)比度彼此比較的示圖。
【具體實(shí)施方式】
[0046]現(xiàn)在將參照附圖根據(jù)本文公開(kāi)的示例性實(shí)施方式給出詳細(xì)描述。為了參照附圖簡(jiǎn)要描述，可向相同或等同的組件提供相同或相似的標(biāo)號(hào)，其描述將不再重復(fù)。通常，諸如“模塊”和“單元”的后綴可用于指代元件或組件。本文中使用這種后綴僅是為了方便說(shuō)明書(shū)的描述，后綴本身并非旨在給出任何特殊含義或功能。在本公開(kāi)中，為了簡(jiǎn)明，本領(lǐng)域普通技術(shù)人員熟知的內(nèi)容通常被省略。使用附圖來(lái)幫助容易地理解各種技術(shù)特征，應(yīng)該理解，本文所呈現(xiàn)的實(shí)施方式不受附圖的限制。因此，本公開(kāi)應(yīng)該被解釋為擴(kuò)展至附圖中具體示出的形式以外的任何更改形式、等同形式和替代形式。
[0047]在以下描述中，參照【附圖說(shuō)明】根據(jù)本發(fā)明的各種實(shí)施方式。
[0048]圖1是根據(jù)本發(fā)明的實(shí)施方式的數(shù)字接收器的示意圖。
[0049]數(shù)字接收器200可包括網(wǎng)絡(luò)接口 201、TCP/IP管理器202、服務(wù)傳送管理器203、SI (系統(tǒng)信息、服務(wù)信息或信令信息)解碼器204、解復(fù)用器205、音頻解碼器206、視頻解碼器207、顯示A/V和OSD (屏幕顯示)模塊208、服務(wù)控制管理器209、服務(wù)發(fā)現(xiàn)管理器210、SI和元數(shù)據(jù)數(shù)據(jù)庫(kù)(DB) 211、元數(shù)據(jù)管理器212、應(yīng)用管理器等。
[0050]網(wǎng)絡(luò)接口 201可通過(guò)網(wǎng)絡(luò)接收或發(fā)送包括服務(wù)數(shù)據(jù)的IP分組。換言之，網(wǎng)絡(luò)接口201可通過(guò)網(wǎng)絡(luò)從與其連接的服務(wù)器接收包括用于SNS的文本數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)和視頻數(shù)據(jù)以及服務(wù)和應(yīng)用中的至少一個(gè)的IP分組。[0051 ] TCP/IP管理器202可參與發(fā)送給數(shù)字接收器200的IP分組和從數(shù)字接收器200發(fā)送來(lái)的IP分組的傳送，即，源與目的地之間的分組傳送。TCP/IP管理器202可根據(jù)適當(dāng)協(xié)議將接收的分組分類，并將分類的分組輸出給服務(wù)傳送管理器205、服務(wù)發(fā)現(xiàn)管理器210、服務(wù)控制管理器209和元數(shù)據(jù)管理器212。
[0052]服務(wù)傳送管理器203可控制服務(wù)數(shù)據(jù)的分類和處理。服務(wù)傳送管理器203可例如利用實(shí)時(shí)協(xié)議/實(shí)時(shí)控制協(xié)議(RTP/RTCP)控制實(shí)時(shí)流數(shù)據(jù)。換言之，在服務(wù)管理器213的控制下，服務(wù)傳送管理器203可根據(jù)RTP解析基于RTP發(fā)送的實(shí)時(shí)流數(shù)據(jù)分組，并將解析的數(shù)據(jù)分組發(fā)送給解復(fù)用器205或者將解析的數(shù)據(jù)分組存儲(chǔ)在SI和元數(shù)據(jù)DB 211中。服務(wù)傳送管理器203可基于RTP將網(wǎng)絡(luò)接收信息反饋給服務(wù)器。
[0053]解復(fù)用器205可通過(guò)分組標(biāo)識(shí)符(PID)過(guò)濾來(lái)從接收的分組解復(fù)用音頻數(shù)據(jù)、視頻數(shù)據(jù)、SI，并將解復(fù)用的數(shù)據(jù)發(fā)送給對(duì)應(yīng)處理器，即，音頻/視頻解碼器206/207和SI解碼器204。
[0054]SI解碼器204可解析和/或解碼諸如節(jié)目特定信息(PSI)、節(jié)目和系統(tǒng)信息協(xié)議(PSIP)、數(shù)字視頻廣播-服務(wù)信息(DVB-SI)等的SI數(shù)據(jù)。
[0055]SI解碼器204可將解析和/或解碼的SI數(shù)據(jù)存儲(chǔ)在SI和元數(shù)據(jù)DB 211中。存儲(chǔ)在SI和元數(shù)據(jù)DB 211中的SI數(shù)據(jù)可被需要SI數(shù)據(jù)的組件讀取或提取并使用。還可從SI和元數(shù)據(jù)DB 211讀取EPG數(shù)據(jù)。這將在下面詳細(xì)描述。
[0056]音頻解碼器206和視頻解碼器207分別可對(duì)由解復(fù)用器205解復(fù)用的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。解碼的音頻數(shù)據(jù)和視頻數(shù)據(jù)可通過(guò)顯示單元208提供給用戶。
[0057]應(yīng)用管理器可包括服務(wù)管理器213和用戶接口(UI)管理器214，管理數(shù)字接收器200的總體狀態(tài)，提供UI，并管理其它管理器。
[0058]UI管理器214可接收來(lái)自用戶的鍵輸入，并通過(guò)OSD提供與鍵輸入所對(duì)應(yīng)的接收器操作有關(guān)的圖形用戶界面(GUI)。
[0059]服務(wù)管理器213可控制并管理諸如服務(wù)傳送管理器203、服務(wù)發(fā)現(xiàn)管理器210、服務(wù)控制管理器209和元數(shù)據(jù)管理器212的服務(wù)相關(guān)管理器。
[0060]服務(wù)管理器213可配置信道映射并使得能夠基于該信道映射應(yīng)用戶的請(qǐng)求進(jìn)行信道控制。
[0061]服務(wù)管理器213可從SI解碼器204接收與信道對(duì)應(yīng)的服務(wù)信息，并將選擇的信道的音頻/視頻PID設(shè)定給解復(fù)用器205以控制解復(fù)用器205的解復(fù)用程序。
[0062]當(dāng)用戶請(qǐng)求SNS時(shí)，應(yīng)用管理器可配置OSD圖像或者控制OSD圖像的配置，以在屏幕的預(yù)定區(qū)域上提供用于SNS的窗口。應(yīng)用管理器可配置OSD圖像或者控制OSD圖像的配置，使得可考慮其它服務(wù)(例如，廣播服務(wù))來(lái)應(yīng)用戶的請(qǐng)求確定并提供SNS窗口。換言之，當(dāng)數(shù)字接收器200可通過(guò)屏幕上的圖像提供服務(wù)(例如，SNS)時(shí)，數(shù)字接收器200可配置該圖像，使得可考慮與其它服務(wù)的關(guān)系、優(yōu)先級(jí)等適當(dāng)?shù)貞?yīng)對(duì)請(qǐng)求。
[0063]應(yīng)用管理器可從相關(guān)外部服務(wù)器(例如，SNS提供服務(wù)器或者制造商提供的服務(wù)器)接收用于SNS的數(shù)據(jù)并將接收的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中，使得應(yīng)用戶的請(qǐng)求使用所述數(shù)據(jù)來(lái)配置OSD以提供SNS，并且可通過(guò)屏幕的預(yù)定區(qū)域提供SNS。另外，數(shù)字接收器200可按照類似方式將在服務(wù)期間由用戶輸入的與服務(wù)有關(guān)的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中，使得使用所述數(shù)據(jù)來(lái)配置服務(wù)，并且如果需要，將所述數(shù)據(jù)處理成另一數(shù)字接收器所需的形式并將所處理的數(shù)據(jù)發(fā)送給所述另一數(shù)字接收器或相關(guān)服務(wù)服務(wù)器。
[0064]另外，當(dāng)用戶在使用SNS的同時(shí)做出請(qǐng)求時(shí)，應(yīng)用管理器、控制器或數(shù)字接收器可控制執(zhí)行與用戶的請(qǐng)求對(duì)應(yīng)的信息或動(dòng)作。例如，當(dāng)用戶在使用SNS的同時(shí)選擇另一用戶的輸入數(shù)據(jù)或者與該輸入數(shù)據(jù)對(duì)應(yīng)的區(qū)域時(shí)，應(yīng)用管理器、控制器或數(shù)字接收器可控制執(zhí)行用于處理所選擇的數(shù)據(jù)或區(qū)域的第一處理和/或第二處理，并控制以適當(dāng)形式輸出第一結(jié)果和/或第二結(jié)果。第一結(jié)果和/或第二結(jié)果可包括信息、動(dòng)作、相關(guān)Π等，并且按照諸如文本、圖像、音頻/視頻數(shù)據(jù)等的各種形式來(lái)配置。第一結(jié)果和/或第二結(jié)果可手動(dòng)地或者由數(shù)字接收器自動(dòng)地提供并執(zhí)行。
[0065]當(dāng)用戶通過(guò)拖放將第一結(jié)果(例如，圖像數(shù)據(jù))移至廣播節(jié)目或廣播服務(wù)輸出區(qū)域時(shí)，數(shù)字接收器可利用電子節(jié)目指南(EPG)或電子服務(wù)指南(ESG)(以下稱作“廣播指南”)(即，搜索引擎)對(duì)與第一結(jié)果有關(guān)的數(shù)據(jù)執(zhí)行第二處理(例如，搜索處理)，以提供第二結(jié)果。這里，第二結(jié)果可按照與用作搜索引擎的廣播指南類似的形式提供，或者作為單獨(dú)配置的UI提供。當(dāng)以廣播指南的形式提供第二結(jié)果時(shí)，可利用第二結(jié)果提供其它數(shù)據(jù)。在這種情況下，第二結(jié)果可按照與其它數(shù)據(jù)相區(qū)分的方式配置，以使得用戶能夠容易地識(shí)別出第二數(shù)據(jù)。為了將第二結(jié)果與其它數(shù)據(jù)相區(qū)分，第二結(jié)果可被高亮、加陰影線并以3維(3D)形式