根據(jù)具有陰影的光度立體技術(shù)的3d重構(gòu)的制作方法
【專利說明】
[0001] 相關(guān)申請
[0002] 2013年9月16日提交的美國臨時(shí)專利申請No. 61/878,401的內(nèi)容，其整體以引用方 式并入本文中。
技術(shù)領(lǐng)域 [0003] 與【背景技術(shù)】
[0004] 在其中的一些實(shí)施例中，本發(fā)明涉及圖像處理，并且更具體地，但非排他性地，涉 及基于光度立體技術(shù)的圖像處理。
[0005] 光度立體技術(shù)(PS)已經(jīng)成為用于三維(3D)對象獲取技術(shù)的強(qiáng)有力工具。常規(guī)PS方 法通過分析表面如何反射從多個(gè)方向入射的光來估計(jì)表面取向。已知的PS方法已經(jīng)公開在 S.Barsky 和 M.Petrou，模式分析和機(jī)器智能（pattern analysis and machine intelligence)，IEEE Transactions on，2003，25(10):1239-1252;R.Mecca和J.D.Durou， 2011，圖像分析和處理（Image Analysis and Processing)_ICIAP 2011_16th International Confer enc e，Ravenna，I ta I y，第286-29 5 頁；以及R · Onn and A.M.Bruckstein,1990,International Journal of Computer Vision，5(l):105-113。
[0006] 常規(guī)地，PS采用兩步處理，其中在第一步中，為整個(gè)表面計(jì)算表面的法向矢量方 向，以及在第二步中，所計(jì)算的方向用于計(jì)算表面的高度。

【發(fā)明內(nèi)容】

[0007] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種處理場景的圖像的集合的方法。該集 合由限定圖像平面的多個(gè)圖像元素(picture-element)表示，并且該圖像由不同空間強(qiáng)度 分布但是相對于場景的相同視點(diǎn)來表征。該方法包括:對于至少一些圖像元素中的每個(gè)，獨(dú) 立地選擇平行于圖像平面的方向，基于所選擇的方向構(gòu)建加權(quán)矢量場，并基于所構(gòu)建的加 權(quán)矢量場計(jì)算在場景中的表面垂直于圖像平面的高度。該方法進(jìn)一步包括基于高度重構(gòu)表 面的三維空間表示。
[0008] 根據(jù)本發(fā)明的一些實(shí)施例，表面在該集合的至少一個(gè)圖像中被部分阻擋，并且其 中方向的選擇包括識別相鄰于障礙的圖像元素并針對所識別的圖像元素選擇障礙的切線 方向。
[0009] 根據(jù)本發(fā)明的一些實(shí)施例，方向的選擇包括選擇從圖像元素指向還未由該方法訪 問（visit)的鄰近圖像元素的方向。
[0010] 根據(jù)本發(fā)明的一些實(shí)施例，加權(quán)矢量場的構(gòu)建包括:計(jì)算用于集合的圖像對的矢 量，從而提供候選矢量的集合;從候選矢量的集合選擇矢量對，所述矢量對與至少一個(gè)其它 的候選矢量對相比更正交于彼此；以及基于所選擇的方向和基于所選擇的矢量對計(jì)算加權(quán) 矢量場。
[0011] 根據(jù)本發(fā)明的一些實(shí)施例，該方法包括將三維空間表示與參考空間表示相比較， 以及基于所述比較識別表面。
[0012 ]根據(jù)本發(fā)明的一些實(shí)施例，表面為個(gè)體的面部的表面。
[0013]根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種成像的方法。該方法包括:從多個(gè)位置 依次照明場景;從相同視點(diǎn)獲取表面的每個(gè)照明處的場景的至少一個(gè)圖像，從而提供場景 的圖像的集合。該方法進(jìn)一步包括通過執(zhí)行如上所述的方法并且可任選地執(zhí)行如下進(jìn)一步 詳細(xì)說明的方法分析圖像。
[0014] 根據(jù)本發(fā)明的一些實(shí)施例，圖像的集合為場景圖像的集合。
[0015] 根據(jù)本發(fā)明的一些實(shí)施例，圖像的集合為內(nèi)窺鏡圖像的集合。
[0016] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種檢查對象的表面的方法。該方法包括 通過執(zhí)行以上描述的方法使對象表面成像，并且分析三維空間表示，從而檢查對象的表面。
[0017] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種用于圖像處理的計(jì)算機(jī)軟件產(chǎn)品。該 計(jì)算機(jī)軟件產(chǎn)品包括由數(shù)據(jù)處理器可讀取的非易失性存儲器介質(zhì)。該存儲器介質(zhì)存儲程序 指令，當(dāng)存儲器介質(zhì)由數(shù)據(jù)處理器讀取時(shí)，引起數(shù)據(jù)處理器接收圖像的集合并且執(zhí)行如上 所述的方法和可任選地執(zhí)行如下進(jìn)一步詳細(xì)說明的方法。
[0018] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種用于成像的系統(tǒng)。該系統(tǒng)包括:照明系 統(tǒng)，用于從多個(gè)位置照明場景；圖像傳感器，用于從相同視點(diǎn)中獲取在表面每個(gè)照明處的場 景的至少一個(gè)圖像，從而提供場景圖像的集合；以及數(shù)據(jù)處理器，具有電子電路和由電路可 讀取的非易失性存儲器介質(zhì)。存儲器介質(zhì)存儲程序指令，當(dāng)存儲器介質(zhì)由電路讀取時(shí)引起 電路接收圖集合并且執(zhí)行如上所述的方法和任選地執(zhí)行如下進(jìn)一步詳細(xì)說明的方法。
[0019] 根據(jù)本發(fā)明的一些實(shí)施例，照明系統(tǒng)和圖像傳感器被安裝在內(nèi)窺鏡上。
[0020] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種便攜式設(shè)備，其包括如上所述的成像 系統(tǒng)和可任選地包括如下進(jìn)一步詳細(xì)說明的成像系統(tǒng)。
[0021] 根據(jù)本發(fā)明的一些實(shí)施例，便攜式設(shè)備選自由以下項(xiàng)所組成的組:移動電話、智能 電話、平板設(shè)備、移動數(shù)字照相機(jī)、穿戴式照相機(jī)、便攜式媒體播放器、便攜式游戲設(shè)備、便 攜式數(shù)字助理設(shè)備和便攜式導(dǎo)航設(shè)備。
[0022] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種處理場景的內(nèi)窺鏡圖像的集合的方 法，該集合由限定圖像平面的多個(gè)圖像元素表示，該圖像由不同光強(qiáng)度空間分布但是相對 于場景的相同視點(diǎn)來表征。該方法包括:獲得場景中的對應(yīng)于種子圖像元素的位置的深度； 對于除了種子圖像元素的至少一些圖像元素的每個(gè)圖像元素，將深度與圖像元素相關(guān)聯(lián)， 獨(dú)立地選擇平行于圖像平面的方向，基于所選擇的方向和相關(guān)聯(lián)的深度構(gòu)建加權(quán)矢量場， 以及基于所構(gòu)建的加權(quán)矢量場計(jì)算在場景中表面垂直于圖像平面的高度。該方法進(jìn)一步包 括基于高度重構(gòu)表面的三維空間表示。
[0023] 根據(jù)本發(fā)明的一些實(shí)施例，加權(quán)矢量場是根據(jù)相對于深度的非線性的參數(shù)化而計(jì) 算。
[0024] 根據(jù)本發(fā)明的一些實(shí)施例，加權(quán)矢量場是根據(jù)與深度成反比的參數(shù)化而計(jì)算。 [0025]根據(jù)本發(fā)明的一些實(shí)施例，該方法包括針對光衰減校正圖像元素的強(qiáng)度值。
[0026]根據(jù)本發(fā)明的一些實(shí)施例，校正包括計(jì)算光衰減系數(shù)，并且將強(qiáng)度值乘以光衰減 系數(shù)。
[0027]根據(jù)本發(fā)明的一些實(shí)施例，校正包括計(jì)算由于通過光傳播的距離引起的光衰減。 [0028]根據(jù)本發(fā)明的一些實(shí)施例，校正包括計(jì)算光的徑向衰減。
[0029]根據(jù)本發(fā)明的一些實(shí)施例，表面在集合的至少一個(gè)圖像中被部分阻擋，以及其中 方向的選擇包括識別相鄰于障礙的圖像元素并且針對所識別的圖像元素選擇障礙的切線 方向。
[0030] 根據(jù)本發(fā)明的一些實(shí)施例，方向的選擇包括選擇從圖像元素指向還未由該方法訪 問的鄰近圖像元素的方向。
[0031] 根據(jù)本發(fā)明的一些實(shí)施例，加權(quán)矢量場由以下方法構(gòu)建:計(jì)算用于該集合的圖像 對的矢量，從而提供候選矢量集合;從候選矢量的集合中選擇矢量對，所述矢量對與至少一 個(gè)其它候選矢量對相比更正交于彼此；以及基于所選擇的方向和基于所選擇的矢量對計(jì)算 加權(quán)矢量場。
[0032] 根據(jù)本發(fā)明的一些實(shí)施例，圖像元素沿著擴(kuò)展的波前而動態(tài)選擇。
[0033] 根據(jù)本發(fā)明的一些實(shí)施例，高度的計(jì)算是根據(jù)前向數(shù)值方案。
[0034] 根據(jù)本發(fā)明的一些實(shí)施例，該前向數(shù)值方案為前向逆風(fēng)(upwind)方案。
[0035] 根據(jù)本發(fā)明的一些實(shí)施例，該前向數(shù)值方案為前向半拉格朗日方案。
[0036]根據(jù)本發(fā)明的一些實(shí)施例，該方法包括基于空間表示構(gòu)建場景的三維圖。
[0037] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種成像的方法。該方法包括:使用內(nèi)窺鏡 用于從多個(gè)位置依次照亮場景;從相同視點(diǎn)中獲取在表面每個(gè)照明處的場景的至少一個(gè)圖 像，從而提供場景圖像的集合；以及執(zhí)行如上描繪的方法并且可任選地執(zhí)行如下詳細(xì)說明 的方法。
[0038] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種用于圖像處理的計(jì)算機(jī)軟件產(chǎn)品。計(jì) 算機(jī)軟件產(chǎn)品包括由數(shù)據(jù)處理器可讀取的非易失性存儲器介質(zhì)，存儲器介質(zhì)存儲程序指 令，當(dāng)存儲器介質(zhì)由數(shù)據(jù)處理器讀取時(shí)引起數(shù)據(jù)處理器接收圖像集合并且執(zhí)行如上描繪的 方法和可任選性地執(zhí)行如下詳細(xì)說明的方法。
[0039] 根據(jù)本發(fā)明一些實(shí)施例的方面，提供了一種用于成像的系統(tǒng)。該系統(tǒng)包括：內(nèi)窺 鏡，其被安裝有照明系統(tǒng)和圖像傳感器，所述照明系統(tǒng)經(jīng)配置用于從多個(gè)位置照明場景，所 述圖像傳感器用于從所述相同視點(diǎn)中獲取在所述表面的每個(gè)照明處的所述場景的至少一 個(gè)圖像，從而提供場景圖像的集合。該系統(tǒng)進(jìn)一步包括數(shù)據(jù)處理器，其具有電子電路和由該 電路可讀取的非易失性存儲器介質(zhì)，其中該存儲器介質(zhì)存儲程序指令，當(dāng)存儲器介質(zhì)由電 路讀取時(shí)引起電路接收圖像集合并且執(zhí)行如上描繪的方法和可任選性地執(zhí)行如下詳細(xì)說 明的方法。
[0040] 除非另有限定，本文中使用的所有技術(shù)和/或科學(xué)術(shù)語具有如由本發(fā)明所屬的本 領(lǐng)域一個(gè)普通技術(shù)人員普遍理解的相同含義。盡管類似或等效于本文中描述那些的方法和 材料能夠用于本發(fā)明實(shí)施例的實(shí)踐或測試中，但是示例性方法和/材料在以下描述。在沖突 的情況下，包括限定的本專利說明書將會控制。此外，材料、方法以及示例僅是示例性的并 且不旨在成為必要的限制。
[0041] 本發(fā)明實(shí)施例的方法和/或系統(tǒng)的實(shí)施方式能夠涉及人工、自動或它們的組合來 執(zhí)行或完成所選擇任務(wù)。此外，根據(jù)本發(fā)明方法和/或系統(tǒng)的實(shí)施例的實(shí)際儀器和裝備，各 種所選擇任務(wù)可以由以下項(xiàng)而實(shí)施:使用操作系統(tǒng)的硬件、軟件或固件或它們的組合。 [0042]例如，用于執(zhí)行根據(jù)本發(fā)明實(shí)施例的所選擇任務(wù)的硬件可以作為芯片或電路而實(shí) 施。作為軟件，根據(jù)本發(fā)明實(shí)施例的所選擇任務(wù)可以作為由使用任何合適操作系統(tǒng)的計(jì)算 機(jī)執(zhí)行的多個(gè)軟件指令而實(shí)施。在本發(fā)明的示例性實(shí)施例中，根據(jù)如本文中所描述的方法 和/或系統(tǒng)的示例性實(shí)施例的一個(gè)或更多個(gè)任務(wù)是由數(shù)據(jù)處理器執(zhí)行的，諸如用于執(zhí)行多 個(gè)指令的計(jì)算平臺?？扇芜x地，數(shù)據(jù)處理器包括用于存儲指令和/或數(shù)據(jù)的易失性存儲器 和/或非易失性存儲器，例如，用于存儲指令和/或數(shù)據(jù)的磁性硬盤和/或可移除媒體?？扇?選地，也提供了網(wǎng)絡(luò)連接。也可任選地提供了顯示器和/或諸如鍵盤或鼠標(biāo)的用戶輸入設(shè) 備。
【附圖說明】
[0043] 本文中參考附圖僅通過示例的方式描述了本發(fā)明的一些實(shí)施例?，F(xiàn)詳細(xì)地具體參 考附圖，強(qiáng)調(diào)的是，所示細(xì)節(jié)是通過示例方式并且為了本發(fā)明實(shí)施例的例示討論的目的。在 這點(diǎn)上，結(jié)合附圖的描述使得本領(lǐng)域技術(shù)人員顯而易見的是如何實(shí)踐本發(fā)明的實(shí)施例。
[0044] 在附圖中：
[0045] 圖1為示出照明矢量和它們分量的示意圖；
[0046] 圖2為適用于根據(jù)本發(fā)明一些實(shí)施例處理場景的圖像集合的方法的流程圖；
[0047] 圖3為適用于根據(jù)本發(fā)明一些實(shí)施例構(gòu)建加權(quán)矢量場的過程的流程圖；
[0048] 圖4為適用于根據(jù)本發(fā)明一些實(shí)施例成像的方法的流程圖；
[0049] 圖5為用于根據(jù)本發(fā)明一些實(shí)施例成像的系統(tǒng)的示意圖；
[0050] 圖6為用于在本發(fā)明的實(shí)施例中成像的系統(tǒng)的示意圖，其中，在內(nèi)窺鏡上安裝照明 系統(tǒng)和圖像傳感器；
[0051] 圖7為根據(jù)本發(fā)明一些實(shí)施例示出對應(yīng)于矩形網(wǎng)格的方向集合的示意圖；
[0052]圖8為根據(jù)本發(fā)明一些實(shí)施例能夠采用的波前擴(kuò)展過程的示意圖。
[0053]圖9A至圖9C示出在根據(jù)本發(fā)明一些實(shí)施例執(zhí)行的合成圖像處理實(shí)驗(yàn)中使用的初 始圖像；
[0054]圖IOA至圖IOC根據(jù)本發(fā)明一些實(shí)施例示出在具有不同噪聲水平的情況下從圖9A 至9C的圖像重構(gòu)的噪聲三維表面。
[0055]圖IlA至圖IlC示出在根據(jù)本發(fā)明一些實(shí)施例執(zhí)行的圖像處理實(shí)驗(yàn)中使用的具有 合成陰影的半身像的三個(gè)真實(shí)圖像集合；
[0056]圖12示出如根據(jù)本發(fā)明一些實(shí)施例從圖IlA至圖IlC的圖像中重構(gòu)的表面；
[0057]圖13A至圖13C示出在根據(jù)本發(fā)明一些實(shí)施例執(zhí)行的圖像處理實(shí)驗(yàn)中使用的硬幣 的三個(gè)合成圖像的集合；
[0058]圖14示出如根據(jù)本發(fā)明一些實(shí)施例從圖13