于)邊緣、角和斑點(diǎn)。通常，特征檢測(cè)算法基于特征的定義來(lái)確定一類(lèi)特征。諸如Harris&Stephens檢測(cè)算法之類(lèi)的角檢測(cè)器可以被用來(lái)確定角。在Harris&Stephens算法中，圖像分塊在指定區(qū)域上被考慮并且被移位。角以?xún)蓚€(gè)分塊之間在所有方向上的平方差的加權(quán)和的大變化為特征。
[0051]參考圖5a，在時(shí)間t捕捉的低分辨率圖像被示出。使用角檢測(cè)算法將圖像中的點(diǎn)140確定為角。類(lèi)似地，在第二低分辨率圖像上運(yùn)行特征檢測(cè)算法以確定(124)圖像中的特征。某個(gè)稍后時(shí)間t+Ι處的第二圖像在圖5b中被示出。第二圖像中的點(diǎn)142被確定為角。
[0052]在本發(fā)明的一些實(shí)施例中，第一幀中的每一個(gè)特征在可能的情況下被匹配到(即確定為對(duì)應(yīng)于)第二幀中的特征。如果該特征已經(jīng)移動(dòng)出第二幀或者已經(jīng)移動(dòng)了顯著距離，則該初始對(duì)應(yīng)關(guān)系可能是不可能的。在其他實(shí)施例中，特征在低分辨率圖像中不被匹配，而是在對(duì)低分辨率圖像的多個(gè)部分(幀)執(zhí)行超分辨率之后被匹配。
[0053]在每一個(gè)幀中選擇(126)每一個(gè)特征周?chē)南袼氐泥徲?。這種鄰域的合適尺寸可以是20像素乘20像素(20x 20)至60像素x 60像素^Ox 60)，然而更小或者更大的鄰域是可能的并且可以由對(duì)圖像執(zhí)行計(jì)算的計(jì)算平臺(tái)的限制決定。另外，鄰域可以是任何形狀的并且不一定是正方形的。特征通?？梢月淙豚徲虻倪吔鐑?nèi)，但是不一定在鄰域中央。
[0054]參考圖5a和5b，在第一幀中的點(diǎn)140周?chē)x擇20x 20像素的鄰域144。類(lèi)似地，在第二幀中的點(diǎn)142周?chē)x擇20x 20像素鄰域146。對(duì)于每一個(gè)鄰域，使用視差信息來(lái)執(zhí)行(128)超分辨率處理以在由相機(jī)陣列中的其他成像器捕捉的低分辨率圖像中應(yīng)用任何必要的像素移位?？梢允褂糜申嚵邢鄼C(jī)生成的低分辨率圖像的子集來(lái)應(yīng)用超分辨率處理。如上面討論的，陣列相機(jī)利用多個(gè)成像器同時(shí)捕捉圖像。從不同角度獲得的低分辨率圖像的子集(即最小為兩個(gè))提供可以在超分辨率處理中使用的視差信息。合適的超分辨率處理可以包括(但不限于)在美國(guó)專(zhuān)利申請(qǐng)序號(hào)12/967，807(通過(guò)以上引用而被結(jié)合)中公開(kāi)的那些。
[0055]如上面討論的，由于視差的影響在由相機(jī)陣列的成像器捕捉的低分辨率圖像中存在差異。為了合成包含指定鄰域的高分辨率圖像部分，通過(guò)確定圖像之間的視差并且向低分辨率圖像的像素應(yīng)用適當(dāng)像素移位來(lái)慮及視差的影響。像素移位可包括將像素移動(dòng)到指定鄰域中和將像素移出指定鄰域。相應(yīng)地，盡管合成的高分辨率圖像中的特定像素鄰域被確定，但是超分辨率算法在校正視差之后可以使用來(lái)自鄰域外部的低分辨率圖像的像素并且排除來(lái)自鄰域內(nèi)的低分辨率圖像的像素。因此，用來(lái)使用超分辨率處理獲得高分辨率圖像的指定鄰域的來(lái)自低分辨率圖像的輸入像素不限于通過(guò)在初始低分辨率圖像對(duì)內(nèi)執(zhí)行特征檢測(cè)來(lái)確定的指定鄰域內(nèi)的像素。指定鄰域只是引導(dǎo)對(duì)于要使用的低分辨率像素的超分辨率處理以合成高分辨率圖像中對(duì)應(yīng)于指定鄰域的部分。用于經(jīng)由可在超分辨率處理中使用的陣列相機(jī)使用視差計(jì)算獲得距離和其他信息的方法包括在題為“Systems andMethods for Parallax Detect1n and Correct1n in images captured Using ArrayCameras”的序號(hào)為61/691，666的美國(guó)專(zhuān)利申請(qǐng)中公開(kāi)的那些，該申請(qǐng)的公開(kāi)內(nèi)容通過(guò)引用而被整體結(jié)合于此。
[0056]由此得到的幀在圖6a和6b中示出。指定鄰域144的超分辨率給出在圖6a中示出的高分辨率40x 40鄰域144’和點(diǎn)140’。低分辨率鄰域146的超分辨率給出在圖6b中示出的高分辨率40x 40鄰域146’和點(diǎn)142’。
[0057]在高分辨率鄰域146’中，點(diǎn)142’的位置略微在其在低分辨率鄰域146中出現(xiàn)之處的右邊。因?yàn)槌直媛驶謴?fù)圖像的實(shí)際高頻內(nèi)容，因此更高分辨率鄰域提供該點(diǎn)的實(shí)際位置的“更真實(shí)”表示。在本發(fā)明的許多實(shí)施例中，高分辨率鄰域144’和146’中的點(diǎn)140’和142’的新計(jì)算的位置可以在匹配(即確定其之間的對(duì)應(yīng)關(guān)系)點(diǎn)140’和142’時(shí)使用。
[0058]參考圖6a和6b，在第一點(diǎn)140’和第二點(diǎn)142’之間形成初始對(duì)應(yīng)關(guān)系?？梢允褂酶鞣N方法來(lái)建立對(duì)應(yīng)關(guān)系。一種常見(jiàn)方法是選擇每一個(gè)點(diǎn)周?chē)姆謮K并且使該分塊與另一圖像中的候選分塊之間的諸如(但不限于)歸一化互相關(guān)之類(lèi)的誤差距離度量最小化。點(diǎn)142’從而被確定為對(duì)應(yīng)于前一幀中的點(diǎn)140’。用于尋找對(duì)應(yīng)關(guān)系的其他方法在本領(lǐng)域中是已知的。
[0059]使用初始對(duì)應(yīng)關(guān)系，可以對(duì)圖像執(zhí)行包括(但不限于)運(yùn)動(dòng)估計(jì)、穩(wěn)定、圖像配準(zhǔn)、對(duì)象跟蹤或深度估計(jì)在內(nèi)的各種基于特征的算法中的任一個(gè)?？梢允褂冒嚓P(guān)特征的像素的高分辨率鄰域來(lái)進(jìn)一步細(xì)化使用特征和對(duì)應(yīng)關(guān)系開(kāi)發(fā)的模型(例如，運(yùn)動(dòng)模型)。
[0060]使用高分辨率鄰域(即高分辨率圖像部分)來(lái)細(xì)化(130)點(diǎn)140’與142’之間的初始對(duì)應(yīng)關(guān)系。細(xì)化可以使用各種方法來(lái)完成，這些方法包括(但不限于)重新計(jì)算一對(duì)相對(duì)應(yīng)的高分辨率鄰域之間的匹配度量(例如，歸一化互相關(guān))。重新計(jì)算匹配度量可以包括尋找高分辨率鄰域144’與146’之間的歸一化互相關(guān)，以及使用該度量來(lái)計(jì)算點(diǎn)142的估計(jì)位置，即后一幀中的點(diǎn)140’的未來(lái)位置。在其他實(shí)施例中，適合于具體應(yīng)用的要求的各種方法中的任一個(gè)可以被使用。
[0061]可以對(duì)于使用初始特征和對(duì)應(yīng)關(guān)系形成的給定模型(諸如用于運(yùn)動(dòng)估計(jì)的運(yùn)動(dòng)模型)使用諸如隨機(jī)樣本一致性(RANSAC)方法之類(lèi)的各種驗(yàn)證過(guò)程。RANSAC方法使用觀察數(shù)據(jù)值的集合、可以適合這些觀察的參數(shù)化模型以及置信參數(shù)。原始數(shù)據(jù)的隨機(jī)子集被迭代地選擇為假設(shè)的內(nèi)點(diǎn)(inlier)并且通過(guò)以下過(guò)程而被測(cè)試:使模型的參數(shù)適合假設(shè)的內(nèi)點(diǎn)，對(duì)照適合的模型來(lái)測(cè)試所有其他數(shù)據(jù)，如果點(diǎn)良好適合估計(jì)的模型則將其包括為假設(shè)內(nèi)點(diǎn)，如果足夠多的點(diǎn)已被分類(lèi)為假設(shè)內(nèi)點(diǎn)則保持估計(jì)的模型，根據(jù)所有假設(shè)內(nèi)點(diǎn)的更新集合來(lái)重新估計(jì)該模型，以及估計(jì)內(nèi)點(diǎn)相對(duì)于該模型的誤差。根據(jù)本發(fā)明的實(shí)施例還可以使用適合于具體應(yīng)用的其他合適驗(yàn)證過(guò)程。
[0062]盡管在圖4中示出了特定處理，但是根據(jù)本發(fā)明的實(shí)施例可以使用用于檢測(cè)低分辨率陣列幀中的特征并且對(duì)這些特征使用超解析區(qū)域來(lái)細(xì)化特征對(duì)應(yīng)關(guān)系的各種處理的任一個(gè)。雖然在此討論的圖和處理示出了圖像中的單個(gè)角，但是本發(fā)明的實(shí)施例可以對(duì)包括各種類(lèi)型的多個(gè)特征的圖像進(jìn)行操作。
[0063]盡管上面的描述包含許多特異性，但是這些不應(yīng)當(dāng)被理解為限制本發(fā)明的范圍，而應(yīng)理解為僅提供對(duì)本發(fā)明的當(dāng)前優(yōu)選實(shí)施例中的某些的例示。各種其他實(shí)施例在其范圍內(nèi)是可能的。
【主權(quán)項(xiàng)】
1.一種用于根據(jù)多個(gè)低分辨率圖像來(lái)執(zhí)行基于特征的高分辨率運(yùn)動(dòng)估計(jì)的方法，包括: 使用通過(guò)軟件而被配置的處理器(108)對(duì)于低分辨率圖像序列執(zhí)行特征檢測(cè)(122，124)以確定(126)所述低分辨率圖像序列中的多個(gè)檢測(cè)到的特征的初始位置，其中至少一個(gè)低分辨率圖像序列是從不同角度捕捉的低分辨率圖像序列的集合的一部分； 使用通過(guò)軟件而被配置的處理器(108)根據(jù)從不同角度捕捉的低分辨率圖像序列的集合來(lái)合成(128)高分辨率圖像部分以執(zhí)行超分辨率處理，其中合成的高分辨率圖像部分包含所確定的來(lái)自所述低分辨率圖像序列的多個(gè)檢測(cè)到的特征； 使用通過(guò)軟件而被配置的處理器(108)在所述高分辨率圖像部分內(nèi)執(zhí)行特征檢測(cè)(129)以確定(130)所述多個(gè)檢測(cè)到的特征的高精度位置；以及 使用通過(guò)軟件而被配置的處理器(108)來(lái)利用所述多個(gè)檢測(cè)到的特征的高精度位置估計(jì)相機(jī)運(yùn)動(dòng)。
2.如權(quán)利要求1所述的方法，其中，所述檢測(cè)到的特征是從由以下各項(xiàng)組成的組中選擇的:邊緣、角和斑點(diǎn)。
3.如權(quán)利要求1所述的方法，其中，對(duì)于低分辨率圖像序列執(zhí)行特征檢測(cè)(122，124)進(jìn)一步包括: 在來(lái)自所述低分辨率圖像序列的第一幀中檢測(cè)特征的位置(122);以及 在來(lái)自所述低分辨率圖像序列的第