用于多拍攝裝置系統(tǒng)中圖像變形參數(shù)的運行時調(diào)整的系統(tǒng)、方法和計算機程序產(chǎn)品的制作方法
【專利摘要】用于在不中斷視頻處理流水線的情況下確定當(dāng)前使用的變形參數(shù)是否適合于多拍攝裝置系統(tǒng)的方法、系統(tǒng)和計算機程序產(chǎn)品?？纱_定新的變形參數(shù)，其中這些參數(shù)促使用這些新參數(shù)矯正的圖像具有期望的幾何性質(zhì)。該確定可在不中斷視頻處理流水線的情況下做出?？纱_定變形參數(shù)，例如使得兩個拍攝裝置的極線是水平的且被正確對準(zhǔn)（如下文限定），并且可以確定由兩個拍攝裝置觀察的點的度量3D位置并且該度量3D位置是準(zhǔn)確的。
【專利說明】用于多拍攝裝置系統(tǒng)中圖像變形參數(shù)的運行時調(diào)整的系統(tǒng)、方法和計算機程序產(chǎn)品

【技術(shù)領(lǐng)域】
[0001]本文描述的系統(tǒng)、方法和計算機程序產(chǎn)品涉及圖像處理。

【背景技術(shù)】
[0002]在許多多拍攝裝置視頻處理流水線中，由成像器產(chǎn)生的圖像(原始圖像)在流水線中被進(jìn)一步處理之前被變形(warp)。進(jìn)行該變形使得所得的圖像具有有用幾何性質(zhì)，例如無畸變、具有方形像素、具有對準(zhǔn)的極線，等。這些變形圖像可稱為“矯正圖像”。
[0003]允許保持這些性質(zhì)的變形參數(shù)取決于拍攝裝置的配置，其包括:個體拍攝裝置的光學(xué)性質(zhì)(例如，焦距、主點和畸變參數(shù))和/或拍攝裝置的相對位置和/或拍攝裝置在場景中的位置。變形參數(shù)可典型地在操作多拍攝裝置系統(tǒng)之前使用校準(zhǔn)過程計算，在該校準(zhǔn)過程期間拍攝裝置可放置在一個或多個受控環(huán)境中，從而通常看到已知校準(zhǔn)目標(biāo)。多拍攝裝置系統(tǒng)的正確操作可取決于使用合適的變形參數(shù)。
[0004]如果拍攝裝置的光學(xué)性質(zhì)改變或如果拍攝裝置相對于其他拍攝裝置的位置改變，則可必須重新計算變形參數(shù)。否則，變形圖像所假設(shè)的光學(xué)性質(zhì)可不再保持并且可損害多拍攝裝置系統(tǒng)的功能性。找到新的變形參數(shù)，其確保用這些新參數(shù)矯正的圖像具有期望的幾何性質(zhì)，這則可能是必要的。這可通過再次運行校準(zhǔn)過程來進(jìn)行，這將需要中斷多拍攝裝置系統(tǒng)的操作并且可能需要物理操縱拍攝裝置。像這樣的中斷因為它們使系統(tǒng)不太實用并且弓I起增加的操作成本而是不可取的。
[0005]單或多拍攝裝置系統(tǒng)的自校準(zhǔn)有時是可能的。自校準(zhǔn)指的是在無受控環(huán)境中(例如在不使用固定校準(zhǔn)目標(biāo)的情況下)一些或全部變形參數(shù)的計算。這些方法大體上針對的是不保持固定變形參數(shù)的拍攝裝置，因為這些拍攝裝置設(shè)計成具有有意移動光學(xué)元件(例如具有可變聚散度的立體拍攝裝置或具有變焦透鏡的拍攝裝置)。在這些系統(tǒng)上，以計算資源、幀速率和/或延遲為代價，基本上不斷地執(zhí)行自校準(zhǔn)。
[0006]對于設(shè)計具有固定光學(xué)元件(例如，相對于彼此剛性被保持的透鏡和成像器，透鏡焦距固定并且在成像單元之間具有剛性的相對定位)的多拍攝裝置系統(tǒng)，預(yù)期變形參數(shù)在使用期間不會急劇改變。因此，不斷執(zhí)行自校準(zhǔn)是無用的并且將在計算資源、幀速率和/或延遲方面招致增加的成本。然而，對多拍攝裝置系統(tǒng)的物理沖擊或其他環(huán)境效應(yīng)(例如大的溫度改變)可能對系統(tǒng)引入改變，這將需要重新計算一些變形參數(shù)。

【專利附圖】

【附圖說明】
[0007]圖1是根據(jù)實施例的多拍攝裝置成像系統(tǒng)的框圖。
[0008]圖2是圖示實施例的處理的流程圖。
[0009]圖3a是根據(jù)實施例包括診斷模塊的多拍攝裝置成像系統(tǒng)的框圖。
[0010]圖3b是根據(jù)備選實施例包括診斷模塊的多拍攝裝置成像系統(tǒng)的框圖。
[0011]圖4是圖示根據(jù)實施例基于未對準(zhǔn)檢測來確定變形參數(shù)是否需要調(diào)整的流程圖。
[0012]圖5是圖示根據(jù)備選實施例基于未對準(zhǔn)檢測來確定變形參數(shù)是否需要調(diào)整的流程圖。
[0013]圖6是圖示根據(jù)實施例確定變形參數(shù)在度量立體視覺系統(tǒng)的環(huán)境中是否需要調(diào)整的流程圖。
[0014]圖7是圖示根據(jù)實施例基于光學(xué)畸變檢測確定變形參數(shù)是否需要調(diào)整的流程圖。
[0015]圖8是根據(jù)實施例包括調(diào)整模塊的多拍攝裝置成像系統(tǒng)的框圖。
[0016]圖9是圖示根據(jù)實施例調(diào)整變形參數(shù)的流程圖。
[0017]圖10是圖示根據(jù)實施例響應(yīng)于極線未對準(zhǔn)來調(diào)整變形參數(shù)的流程圖。
[0018]圖11是圖示根據(jù)實施例在度量立體視覺系統(tǒng)的環(huán)境中調(diào)整變形參數(shù)的流程圖。
[0019]圖12是圖示根據(jù)實施例響應(yīng)于光學(xué)畸變調(diào)整變形參數(shù)的流程圖。
[0020]圖13是圖示根據(jù)實施例的本文描述的過程的控制的流程圖。
[0021]圖14是圖示本文描述的系統(tǒng)的實施例的操作的時序圖。
[0022]圖15是圖示本文描述的系統(tǒng)的實施例的操作的時序圖，其中光學(xué)系統(tǒng)經(jīng)受漂移。
[0023]圖16是圖示本文描述的系統(tǒng)的軟件實施例的框圖。
[0024]圖17圖示其中可實現(xiàn)實施例的信息系統(tǒng)。
[0025]圖18圖示其中可實現(xiàn)實施例的移動信息設(shè)備。
[0026]在圖中，標(biāo)號的最左邊數(shù)字指示標(biāo)號第一次出現(xiàn)所在的圖。

【具體實施方式】
[0027]現(xiàn)在參考圖描述實施例，其中類似的標(biāo)號指示相同或功能上相似的要素。盡管論述了具體配置和設(shè)置，應(yīng)該理解這只是為了說明性目的而進(jìn)行。相關(guān)領(lǐng)域內(nèi)技術(shù)人員將認(rèn)識到可以使用其他配置和設(shè)置而不偏離描述的范圍。也可以在除了本文論述的之外的多種其他系統(tǒng)和應(yīng)用中采用此文，這對相關(guān)領(lǐng)域內(nèi)技術(shù)人員將是明顯的。
[0028]本文描述用于在不中斷視頻處理流水線的情況下確定當(dāng)前使用的變形參數(shù)是否適合于多拍攝裝置系統(tǒng)的方法、系統(tǒng)和計算機程序產(chǎn)品。可確定新的變形參數(shù)，其中這些參數(shù)促使用這些新參數(shù)矯正的圖像具有期望的幾何性質(zhì)。該確定可在不中斷視頻處理流水線的情況下做出?？纱_定變形參數(shù)，例如使得兩個拍攝裝置的極線是水平的且正確對準(zhǔn)(如下文限定的)，并且可以確定由兩個拍攝裝置觀察的點的度量3D位置并且它是準(zhǔn)確的。
[0029]描述的系統(tǒng)和處理可在視頻處理流水線的環(huán)境中操作。圖1示出這樣的系統(tǒng)的圖:該系統(tǒng)可非限制性地包括:
-一個或多個光學(xué)系統(tǒng)110，例如透鏡，
-成像器120，其可使由透鏡形成的圖像數(shù)字化，從而產(chǎn)生原始圖像130，
-變形級140 (也叫作矯正器)，其可將原始圖像130變換成矯正圖像150，
-光學(xué)圖像處理和分析級160，在此期間，圖像可進(jìn)一步變換并且可提取其他信息，以及
-多圖像處理和分析級，在此期間，來自所有成像器120的處理圖像和其他信息170可以被處理，從而產(chǎn)生最終輸出190。
[0030]該圖僅是為了說明；本文描述的系統(tǒng)和處理也可應(yīng)用于圖示的設(shè)置的變化形式。一個可能變化形式可以是其中存在單個光學(xué)系統(tǒng)的系統(tǒng)，在該情況下可能缺乏多圖像處理和分析級。另一個可能的變化形式可包括插入成像器與變形級之間的圖像處理級。在另一個變化形式中，例如統(tǒng)計或柱狀圖等額外信息可以由成像器傳送到變形級或從變形傳送到圖像處理和分析級。還理解，多拍攝裝置或多光學(xué)系統(tǒng)有時被常用術(shù)語立體拍攝裝置或立體系統(tǒng)所引用，其不意在將實施例限制在確切兩個成像器或拍攝裝置的系統(tǒng)。
[0031]在本文描述的系統(tǒng)中，光學(xué)系統(tǒng)和成像器級可由例如透鏡和互補金屬氧化物半導(dǎo)體(CMOS)成像器等專用物理設(shè)備實現(xiàn)。然而，其他級可采用許多可能方式中的任何一個實現(xiàn)，包括在通用計算系統(tǒng)上的軟件實現(xiàn)、在專門的計算機(例如數(shù)字信號處理器(DSP)或圖形處理器)上的軟件實現(xiàn)、在現(xiàn)場可編程門陣列(FPGA)中、專門的專用集成電路(ASIC)或任何其他信息處理技術(shù)中的實現(xiàn)。
[0032]原始圖像
由成像器和透鏡子系統(tǒng)(即，拍攝裝置)產(chǎn)生的原始圖像可遭受各種類型的畸變。例如，圖像可遭受幾何畸變并且因此，3D直線的2D投影可在圖像中表現(xiàn)為曲線，而不是直線?？赡芪淳_知道焦距和主點。
[0033]矯正圖像
在圖像處理算法和在計算機視覺算法中，可需要輸入圖像的已知幾何性質(zhì)。例如，通常假設(shè)圖像由理想透視拍攝裝置產(chǎn)生，其中線的投影表現(xiàn)為線。此外，焦距和主點通常假設(shè)為已知的。而且在多拍攝裝置系統(tǒng)中，拍攝裝置的相對位置通常也假設(shè)為已知的。在一些情況下，假設(shè)拍攝裝置的圖像平面是并行的。在一些情況下，如在立體視覺系統(tǒng)中和在拍攝裝置陣列中，此外假設(shè)圖像平面與包含拍攝裝置投影中心的平面平行。經(jīng)歷變形過程的圖像可稱為矯正圖像；具有這些需要的幾何性質(zhì)的圖像可適當(dāng)?shù)亟凶鞒C正圖像。
[0034]圖像變形
為了執(zhí)行需要矯正圖像作為輸入的圖像處理算法或計算機視覺算法，使原始圖像變形成矯正圖像，這可是可能的。變形操作可包括計算似乎已經(jīng)由具有算法所需要的所有期望幾何性質(zhì)的拍攝裝置產(chǎn)生的圖像。
[0035]在輸出(矯正)圖像的每個像素處，變形過程可基于輸入原始圖像確定如果像素已經(jīng)由具有算法所需要的所有期望幾何性質(zhì)的拍攝裝置產(chǎn)生的話則該像素將取的值。對于矯正圖像中的每個像素位點，可確定原始圖像中的對應(yīng)位點(其可以是實值而不是整數(shù)值)；該原始圖像位點可能使用數(shù)值內(nèi)插來采樣，從而產(chǎn)生新的圖像值；并且該新的圖像值可寫入矯正圖像。從原始圖像中的像素位點到矯正圖像中的像素位點的映射可叫作“變形”。由于實際原因，變形可通常由它的逆(inverse)所限定并且逆向變形也可叫作“變形”。
[0036]矯正圖像中的像素位點可稱為(i，j)并且原始圖像中的對應(yīng)位點稱為(i’，j’)。使用的逆向映射的示例可包括具有以下形式的投影變換:
P = (a.1 十 a—ijj 十a(chǎn)〗.0 / (aifi 十 a—i^j 十 a—y),
Γ = (a；--? + +aw) / fa3,i 十 a3?j 十 aw—K
其中m、ne {1，2，3}，a?是限定投影變換的系數(shù)。這些系數(shù)可叫作投影映射(或變形)的參數(shù)。3x3矩陣A可用于保持系數(shù)amn。
[0037]另一個常用映射可具有以下形式

【權(quán)利要求】
1.一種用于圖像處理的系統(tǒng)，其包括: 圖像處理流水線，其包括: 相對于彼此剛性定位的兩個或以上輸入成像單元，每個具有透鏡和成像器，其中對于每個成像單元，所述透鏡和成像器相對于彼此剛性定位并且所述透鏡具有固定焦距； 變形模塊，其連接到每個輸入成像單元并且配置成從連接的輸入成像單元接收原始圖像并且輸出矯正圖像；以及 診斷模塊，其配置成確定所述變形模塊使用的當(dāng)前變形參數(shù)是否允許所述變形模塊輸出具有預(yù)定幾何或光學(xué)性質(zhì)的圖像。
2.如權(quán)利要求1所述的系統(tǒng)，其中所述圖像處理流水線進(jìn)一步包括: 調(diào)整模塊，其配置成調(diào)整所述變形參數(shù)使得調(diào)整的變形參數(shù)在被所述變形模塊使用時，所述圖像處理流水線輸出具有預(yù)定幾何或光學(xué)性質(zhì)的圖像。
3.如權(quán)利要求2所述的系統(tǒng)，其中所述診斷模塊包括: 電路邏輯，其配置成通過比較源于所述兩個或以上輸入成像單元的兩個相應(yīng)輸入成像單元的一對圖像中的對應(yīng)特征來檢測極線未對準(zhǔn)。
4.如權(quán)利要求3所述的系統(tǒng)，其中所述調(diào)整模塊包括: 配置成在所述一對圖像上執(zhí)行基于特征的匹配過程的電路邏輯；以及配置成確定變形參數(shù)的電路邏輯，所述變形參數(shù)在連接到所述兩個相應(yīng)輸入成像單元的變形模塊中使用時產(chǎn)生圖像，其中極線在所述圖像的對應(yīng)行上出現(xiàn)。
5.如權(quán)利要求2所述的系統(tǒng)，其中所述診斷模塊包括: 配置成在矯正圖像中識別具有已知幾何性質(zhì)的3D點的投影位點的電路邏輯； 配置成使用所述投影來計算所述3D點的估計位置的電路邏輯；以及 配置成確定所述估計位置是否與所述幾何或光學(xué)性質(zhì)一致的電路邏輯。
6.如權(quán)利要求5所述的系統(tǒng)，其中所述調(diào)整模塊包括: 配置成在由所述兩個或以上輸入成像單元的兩個相應(yīng)輸入成像單元生成的一對圖像中識別3D點的相應(yīng)估計投影位點對的集合的電路邏輯；以及 配置成確定變形參數(shù)的電路邏輯，所述變形參數(shù)在變形過程中使用時使所述3D點的估計位點與實際位點之間的差異最小化。
7.如權(quán)利要求2所述的系統(tǒng)，其中所述診斷模塊包括: 配置成確定由所述兩個或以上輸入成像單元的相應(yīng)輸入成像單元對生成的對應(yīng)特征位點的最小數(shù)量Ntl的電路邏輯，其中如果變形參數(shù)正確則在所述位點將找到對應(yīng)性； 配置成在輸入圖像上執(zhí)行稠密對應(yīng)性過程并且產(chǎn)生總計數(shù)N的對應(yīng)位點的電路邏輯；以及 配置成確定N是否彡N0的電路邏輯。
8.一種圖像處理的方法，其包括: 使用相對于彼此剛性定位的兩個或以上輸入成像單元創(chuàng)建兩個或以上原始圖像，每個輸入成像單元具有透鏡和成像器，其中對于每個成像單元，所述透鏡和成像器相對于彼此剛性定位并且所述透鏡具有固定焦距； 使所述原始圖像變形并且輸出相應(yīng)的矯正圖像；以及 確定所述變形模塊使用的當(dāng)前變形參數(shù)是否產(chǎn)生具有預(yù)定幾何或光學(xué)性質(zhì)的變形圖像。
9.如權(quán)利要求8所述的方法，其進(jìn)一步包括: 調(diào)整所述變形參數(shù)使得在調(diào)整的變形參數(shù)被所述變形使用時，所述矯正圖像具有預(yù)定幾何或光學(xué)性質(zhì)。
10.如權(quán)利要求9所述的方法，其中所述確定包括: 通過比較源于所述兩個或以上輸入成像單元的兩個相應(yīng)輸入成像單元的一對圖像中的對應(yīng)特征來檢測極線未對準(zhǔn)。
11.如權(quán)利要求10所述的方法，其中所述變形參數(shù)的所述調(diào)整包括: 在所述一對圖像上執(zhí)行基于特征的匹配過程；以及 確定變形參數(shù)，所述變形參數(shù)在連接到所述兩個相應(yīng)輸入成像單元的變形模塊中使用時產(chǎn)生圖像，其中極線在所述圖像的對應(yīng)行上出現(xiàn)。
12.如權(quán)利要求9所述的方法，其中所述確定包括: 在矯正圖像中識別具有已知幾何性質(zhì)的3D點的投影的位點； 使用所述投影來計算所述3D點的估計位置；以及 確定所述估計位置是否與所述幾何或光學(xué)性質(zhì)一致。
13.如權(quán)利要求12所述的方法，其中所述變形參數(shù)的所述調(diào)整包括: 在由所述兩個或以上輸入成像單元的兩個相應(yīng)輸入成像單元生成的一對圖像中識別3D點的相應(yīng)估計投影位點對的集合；以及 確定變形參數(shù)，其在變形過程中使用時使所述3D點的估計位點與實際位點之間的差異最小化。
14.如權(quán)利要求9所述的方法，其中所述確定包括: 確定由所述兩個或以上輸入成像單元的相應(yīng)輸入成像單元對生成的對應(yīng)特征位點的最小數(shù)量Ntl，其中如果變形參數(shù)正確則在所述位點處將找到對應(yīng)性； 在輸入圖像上執(zhí)行稠密對應(yīng)性過程并且產(chǎn)生總計數(shù)N的對應(yīng)位點；以及 確定N是否> N。。
15.一種用于圖像處理的計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括至少一個非暫時性計算機可讀介質(zhì)，其具有存儲在其中的計算機程序邏輯，所述計算機程序邏輯包括: 變形邏輯，用于促使處理器使由相對于彼此剛性定位的兩個或以上輸入成像單元創(chuàng)建的原始圖像變形，每個輸入成像單元具有透鏡和成像器，其中對于每個成像單元，所述透鏡和成像器相對于彼此剛性定位并且所述透鏡具有固定焦距；以及輸出相應(yīng)的矯正圖像；以及 診斷邏輯，用于促使所述處理器確定所述變形邏輯使用的當(dāng)前變形參數(shù)是否產(chǎn)生具有預(yù)定幾何或光學(xué)性質(zhì)的變形圖像。
16.如權(quán)利要求15所述的計算機程序產(chǎn)品，其進(jìn)一步包括: 調(diào)整邏輯，用于促使所述處理器調(diào)整所述變形參數(shù)使得在調(diào)整的變形參數(shù)被所述變形邏輯使用時，所述矯正圖像具有預(yù)定幾何或光學(xué)性質(zhì)。
17.如權(quán)利要求16所述的計算機程序產(chǎn)品，其中所述診斷邏輯包括: 用于促使所述處理器通過比較源于所述兩個或以上輸入成像單元的兩個相應(yīng)輸入成像單元的一對圖像中的對應(yīng)特征來檢測極線未對準(zhǔn)的邏輯。
18.如權(quán)利要求17所述的計算機程序產(chǎn)品，其中所述調(diào)整邏輯包括: 用于促使所述處理器在所述一對圖像上執(zhí)行基于特征的匹配過程的邏輯；以及用于促使所述處理器確定變形參數(shù)的邏輯，所述變形參數(shù)在連接到所述兩個相應(yīng)輸入成像單元的變形模塊中使用時產(chǎn)生圖像，其中極線在所述圖像的對應(yīng)行上出現(xiàn)。
19.如權(quán)利要求16所述的計算機程序產(chǎn)品，其中所述診斷邏輯包括: 用于促使所述處理器在矯正圖像中識別具有已知幾何性質(zhì)的3D點的投影位點的邏輯； 用于促使所述處理器使用投影來計算3D點的估計位置的邏輯；以及 用于促使所述處理器確定所述估計位置是否與所述幾何或光學(xué)性質(zhì)一致的邏輯。
20.如權(quán)利要求19所述的計算機程序產(chǎn)品，其中所述調(diào)整邏輯包括: 用于促使所述處理器在由所述兩個或以上輸入成像單元的兩個相應(yīng)輸入成像單元生成的一對圖像中識別3D點的相應(yīng)估計投影位點對的集合的邏輯；以及 用于促使所述處理器確定變形參數(shù)的邏輯，所述變形參數(shù)在變形過程中使用時使3D點的估計位點與實際位點之間的差異最小化。
21.如權(quán)利要求16所述的計算機程序產(chǎn)品，其中所述診斷邏輯包括: 用于促使所述處理器確定由所述兩個或以上輸入成像單元的相應(yīng)輸入成像單元對生成的對應(yīng)特征位點的最小數(shù)量Ntl的邏輯，其中如果變形參數(shù)正確則在所述位點處將找到對應(yīng)性； 用于促使所述處理器在輸入圖像上執(zhí)行稠密對應(yīng)性過程并且產(chǎn)生總計數(shù)N的對應(yīng)位點的邏輯；以及 用于促使所述處理器確定N是否> Ntl的邏輯。
22.一種用于圖像處理的裝置，其包括: 圖像處理流水線，其包括: 相對于彼此剛性定位的兩個或以上輸入成像單元，每個具有透鏡和成像器，其中對于每個成像單元，所述透鏡和成像器相對于彼此剛性定位并且所述透鏡具有固定焦距；用于使從輸入成像單元接收的原始圖像變形并且輸出相應(yīng)矯正圖像的部件；以及用于確定所述變形部件使用的當(dāng)前變形參數(shù)是否允許所述變形部件輸出具有預(yù)定幾何或光學(xué)性質(zhì)的圖像的部件。
23.如權(quán)利要求22所述的裝置，其中所述圖像處理流水線進(jìn)一步包括: 調(diào)整部件，用于調(diào)整所述變形參數(shù)使得調(diào)整的變形參數(shù)在被所述變形部件使用時，所述圖像處理流水線輸出具有所述預(yù)定幾何或光學(xué)性質(zhì)的圖像。
24.如權(quán)利要求23所述的裝置，其中所述確定部件包括: 用于通過比較源于所述兩個或以上輸入成像單元的兩個相應(yīng)輸入成像單元的一對圖像中的對應(yīng)特征來檢測極線未對準(zhǔn)的部件。
25.如權(quán)利要求24所述的裝置，其中所述調(diào)整部件包括: 用于在所述一對圖像上執(zhí)行基于特征的匹配過程的部件；以及用于確定變形參數(shù)的部件，所述變形參數(shù)在被所述變形部件使用時產(chǎn)生圖像，其中極線在所述圖像的對應(yīng)行上出現(xiàn)。
【文檔編號】G06T1/00GK104169965SQ201380017167
【公開日】2014年11月26日 申請日期:2013年3月29日 優(yōu)先權(quán)日:2012年4月2日
【發(fā)明者】E.G.格羅斯曼恩, G.戈多, J.I.伍德菲爾 申請人:英特爾公司