根據(jù)使用陣列源捕捉的低分辨率圖像的基于特征的高分辨率運動估計的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般地涉及數(shù)字圖像中的特征檢測并且更具體地涉及使用陣列相機和超分辨率來提高特征檢測的性能和效率。
【背景技術(shù)】
[0002]在數(shù)字成像和計算機視覺中，特征檢測是基礎(chǔ)操作，其通常是諸如運動估計、穩(wěn)定、圖像配準、對象跟蹤和深度估計之類的基于特征的算法的預(yù)備步驟。這些算法的性能敏感地取決于特征點估計的質(zhì)量。
[0003]各種類型的圖像特征包括邊緣、角或興趣點以及感興趣的斑點(blob)或區(qū)域。邊緣是存在兩個圖像區(qū)域之間的邊界之處的點，并且通常被定義為圖像中具有強梯度幅值的點集合。角或興趣點可以指代圖像中具有局部二維結(jié)構(gòu)的點狀特征。角可以是兩個邊緣的交叉點，或者這樣一個點，對于該點在該點的局部鄰域中存在兩個主要且不同的邊緣方向。興趣點可以是具有良好定義的位置并且可以被魯棒地檢測到的點，諸如角或者局部最大或最小強度的隔離點。感興趣的斑點或區(qū)域可以描述關(guān)于區(qū)域的一類圖像結(jié)構(gòu)，其經(jīng)常包含優(yōu)選點。在這個意義上，許多斑點檢測器也可以被看作興趣點操作器。
[0004]角檢測的一種簡單但是計算密集的方法是使用相關(guān)。其他方法包括Harris&Stephens角檢測算法，該算法使用平方差之和來考慮角分數(shù)關(guān)于方向的微分。
[0005]實現(xiàn)有效的特征檢測部分地依賴于向特征檢測器提供高質(zhì)量數(shù)據(jù)，即，一個或多個高分辨率圖像。

【發(fā)明內(nèi)容】

[0006]根據(jù)本發(fā)明實施例的系統(tǒng)和方法使能了根據(jù)使用陣列相機捕捉的低分辨率圖像的基于特征的高分辨率運動估計。一個實施例包括:使用通過軟件而被配置的處理器對于低分辨率圖像序列執(zhí)行特征檢測以確定(identify)低分辨率圖像序列中的多個檢測到的特征的初始位置，其中至少一個低分辨率圖像序列是從不同角度捕捉的低分辨率圖像序列的集合的一部分；使用通過軟件而被配置的處理器根據(jù)從不同角度捕捉的低分辨率圖像序列的集合來合成高分辨率圖像部分以執(zhí)行超分辨率處理，其中合成的高分辨率圖像部分包含所確定的來自所述低分辨率圖像序列中的多個檢測到的特征；使用通過軟件而被配置的處理器在所述高分辨率圖像部分內(nèi)執(zhí)行特征檢測以確定所述多個檢測到的特征的高精度位置；以及使用通過軟件而被配置的處理器來利用所述多個檢測到的特征的高精度位置估計相機運動。
[0007]在另一實施例中，其中所述檢測到的特征是從由以下各項組成的組中選擇的:邊緣、角和斑點。
[0008]在又一實施例中，對于低分辨率圖像序列執(zhí)行特征檢測還包括在來自所述低分辨率圖像序列的第一幀中檢測特征的位置，以及在來自所述低分辨率圖像序列的第二幀中檢測特征的位置。
[0009]在又一實施例中，在來自所述低分辨率圖像序列的第二幀中檢測特征的位置進一步包括搜索所述低分辨率圖像序列中的第二幀以定位在所述低分辨率圖像序列中的第一幀中檢測到的特征。
[0010]在又一實施例中，搜索來自所述低分辨率圖像序列的第二幀以定位在所述低分辨率圖像序列中的第一幀中檢測到的特征進一步包括:確定在所述低分辨率圖像序列中的第一幀中的給定特征的位置周圍的圖像分塊(patch)，以及使用匹配標準來搜索所述低分辨率圖像序列中的第二幀以尋找相對應(yīng)的圖像分塊。
[0011 ] 在又一實施例中，所述匹配標準包括使誤差距離度量最小化。
[0012]在又一實施例中，在高分辨率圖像部分內(nèi)執(zhí)行特征檢測以確定所述多個檢測到的特征的高精度位置進一步包括:使用包含來自所述低分辨率圖像序列中的第一幀的特征的高分辨率圖像區(qū)域來搜索包含來自所述低分辨率圖像序列中的第二幀的特征的高分辨率圖像區(qū)域以尋找來自所述低分辨率圖像序列中的第一幀的特征。
[0013]在又一實施例中，搜索包含來自所述低分辨率圖像序列中的第二幀的特征的高分辨率圖像區(qū)域以尋找來自所述低分辨率圖像序列中的第一幀的特征進一步包括:使用匹配標準將包含來自所述低分辨率圖像序列中的第二幀的特征的高分辨率圖像區(qū)域與包含來自所述低分辨率圖像序列中的第一幀的特征的高分辨率圖像區(qū)域相比較。
[0014]在又一實施例中，所述匹配標準包括使誤差距離度量最小化。
[0015]在又一實施例中，處理器是還包括成像器陣列的陣列相機的一部分，所述方法還包括使用所述成像器陣列從不同角度捕捉所述低分辨率圖像序列的集合中的至少多個低分辨率圖像序列。
[0016]在又一實施例中，所述多個檢測到的特征的高精度位置以相對于所述低分辨率圖像序列中的幀的像素的大小的子像素精度估計特征位置。
[0017]在又一實施例中，對于低分辨率圖像序列執(zhí)行特征檢測還包括對于多個低分辨率圖像序列執(zhí)行特征檢測，其中每一個序列來自不同角度。
[0018]在又一實施例中，所述低分辨率圖像序列的集合包括在多個不同顏色通道中捕捉的低分辨率圖像序列，并且對于低分辨率圖像序列執(zhí)行特征檢測進一步包括對于每一個顏色通道中的至少一個低分辨率圖像序列執(zhí)行特征檢測。
[0019]另一個實施例包括成像器陣列，以及通過軟件而被配置為控制所述成像器陣列的各種工作參數(shù)的處理器。此外，所述軟件還將所述處理器配置為:捕捉使用所述成像器陣列從不同角度捕捉的低分辨率圖像序列的集合；對于所述低分辨率圖像序列的集合中的低分辨率圖像序列執(zhí)行特征檢測以確定所述低分辨率圖像序列中的多個檢測到的特征的初始位置；根據(jù)從不同角度捕捉的低分辨率圖像序列的集合來合成高分辨率圖像部分，其中所述高分辨率圖像部分包含所確定的來自所述低分辨率圖像序列的多個檢測到的特征；在所述高分辨率圖像部分內(nèi)執(zhí)行特征檢測以確定所述多個檢測到的特征的高精度位置；以及使用所述多個檢測到的特征的高精度位置來估計相機運動。
[0020]在另一實施例中，所述檢測到的特征是從由以下各項組成的組中選擇的:邊緣、角和斑點。
[0021 ] 在又一實施例中，所述處理器還被配置為通過在來自所述低分辨率圖像序列的第一幀中檢測特征的位置以及在來自所述低分辨率圖像序列的第二幀中檢測特征的位置來對于低分辨率圖像序列執(zhí)行特征檢測。
[0022]在又一實施例中，所述處理器通過軟件還被配置為:通過搜索所述低分辨率圖像序列中的第二幀以定位在所述低分辨率圖像序列中的第一幀中檢測到的特征來在所述低分辨率圖像序列中的第二幀中檢測特征的位置。
[0023]在又一實施例中，所述處理器通過軟件還被配置為通過以下操作搜索所述低分辨率圖像序列中的第二幀以定位在所述低分辨率圖像序列中的第一幀中檢測到的給定特征:確定在所述低分辨率圖像序列中的第一幀中的給定特征的位置周圍的圖像分塊；以及使用匹配標準來搜索所述低分辨率圖像序列中的第二幀以尋找相對應(yīng)的圖像分塊。
[0024]在又一實施例中，所述匹配標準包括使誤差距離度量最小化。
[0025]在又一實施例中，所述處理器通過軟件還被配置為:通過使用包含來自所述低分辨率圖像序列中的第一幀的特征的高分辨率圖像區(qū)域來搜索包含來自所述低分辨率圖像序列中的第二幀的特征的高分辨率圖像區(qū)域以尋找來自所述低分辨率圖像序列中的第一幀的特征，在高分辨率圖像部分內(nèi)執(zhí)行特征檢測以確定所述多個檢測到的特征的高精度位置。
[0026]在又一實施例中，所述處理器通過軟件還被配置為:通過使用匹配標準將包含來自所述低分辨率圖像序列中的第二幀的特征的高分辨率圖像區(qū)域與包含來自所述低分辨率圖像序列中的第一幀的特征的高分辨率圖像區(qū)域相比較，搜索包含來自所述低分辨率圖像序列中的第二幀的特征的高分辨率圖像區(qū)域以尋找來自所述低分辨率圖像序列中的第一幀的特征。
[0027]在又一實施例中，所述匹配標準包括使誤差距離度量最小化。
[0028]在又一實施例中，所述多個檢測到的特征的高精度位置以相對于所述低分辨率圖像序列中的幀的像素的大小的子像素精度估計特征位置。
[0029]在又一實施例中，所述成像器陣列中