處理圖像中的缺陷對(duì)象的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及處理圖像中的缺陷對(duì)象的方法和裝置。具體地，本發(fā)明涉及處理掃描的膠片(film)中的刮痕和污垢對(duì)象的方法和裝置。
【背景技術(shù)】
[0002]雖然通過膠片的電影(mot1n picture)發(fā)行正在衰退，但是仍然有大量的模擬膠片的檔案需要被轉(zhuǎn)移到數(shù)字域(digital domain)。有價(jià)值的資產(chǎn)的長(zhǎng)期歸檔仍然通過膠片來(lái)進(jìn)行。將來(lái)也存在用于在膠片上保留數(shù)字?jǐn)?shù)據(jù)的技術(shù)。
[0003]如今，將圖像信息從模擬轉(zhuǎn)移到數(shù)字域的技術(shù)解決方案不僅可用于專業(yè)電影膠片工業(yè)，而且可用于半專業(yè)和業(yè)余的市場(chǎng)。這些解決方案通?；谀z片掃描。
[0004]在掃描模擬膠片時(shí)，存在許多問題影響圖像質(zhì)量，諸如刮痕和灰塵的存在。對(duì)抗刮痕和污垢的一種解決方案是紅外線清潔。其需要對(duì)膠片進(jìn)行另外的IR掃描，并且利用如下事實(shí):多數(shù)彩色膠片對(duì)紅外光是透明的，而灰塵和刮痕則不是。在膠片對(duì)紅外光不透明的情況下，例如金屬銀黑白膠片或具有青層(cyan layer)的彩色膠片，可以使用暗場(chǎng)照明來(lái)檢測(cè)刮痕和污垢。兩種方法都需要第二光源以及具有長(zhǎng)得多的曝光時(shí)間的另外的掃描。從IR或暗場(chǎng)掃描，生成缺陷遮片(defect matte)，其描述需要數(shù)字復(fù)原的圖像區(qū)域。
[0005]作為替代，濕門掃描(wet gate scanning)固有地去除灰塵并且使用折射率接近膠片的折射率的化學(xué)清潔溶劑來(lái)修復(fù)刮痕。但是，主要缺點(diǎn)是處理在該處理中所涉及的有毒化學(xué)品的成本。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目標(biāo)是提出一種處理圖像中的缺陷對(duì)象而不使用另外的光源或額外的曝光的解決方案。
[0007]根據(jù)本發(fā)明，處理圖像中的缺陷對(duì)象的方法包括:
[0008]-取回(retrieve)圖像的光場(chǎng)捕獲(lightfield capture)；
[0009]-從光場(chǎng)捕獲生成中心視圖以及兩個(gè)或多個(gè)側(cè)視圖；以及
[0010]-通過比較中心視圖與兩個(gè)或多個(gè)側(cè)視圖來(lái)確定圖像中的缺陷對(duì)象。
[0011]因此，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)在其中存儲(chǔ)有使得能夠處理圖像中的缺陷對(duì)象的指令，所述指令在被計(jì)算機(jī)執(zhí)行時(shí)使計(jì)算機(jī):
[0012]-取回圖像的光場(chǎng)捕獲；
[0013]-從光場(chǎng)捕獲生成中心視圖以及兩個(gè)或多個(gè)側(cè)視圖；以及
[0014]-通過比較中心視圖與兩個(gè)或多個(gè)側(cè)視圖來(lái)確定圖像中的缺陷對(duì)象。
[0015]另外，在一個(gè)實(shí)施例中，被配置為處理圖像中的缺陷對(duì)象的裝置包括:
[0016]-光場(chǎng)信息取回單元，被配置為取回圖像的光場(chǎng)捕獲；
[0017]-視圖生成器，被配置為從光場(chǎng)捕獲生成中心視圖以及兩個(gè)或多個(gè)側(cè)視圖；以及
[0018]-缺陷確定單元，被配置為通過比較中心視圖與兩個(gè)或多個(gè)側(cè)視圖來(lái)確定圖像中的缺陷對(duì)象。
[0019]在另一個(gè)實(shí)施例中，被配置為處理圖像中的缺陷對(duì)象的裝置包括處理設(shè)備以及將指令存儲(chǔ)于其中的存儲(chǔ)設(shè)備，所述指令在被處理設(shè)備執(zhí)行時(shí)使所述裝置:
[0020]-取回圖像的光場(chǎng)捕獲；
[0021]-從光場(chǎng)捕獲生成中心視圖以及兩個(gè)或多個(gè)側(cè)視圖；以及
[0022]-通過比較中心視圖與兩個(gè)或多個(gè)側(cè)視圖來(lái)確定圖像中的缺陷對(duì)象。
[0023]本發(fā)明的想法是使用4D全光(plenoptic)相機(jī)而不是傳統(tǒng)的2D相機(jī)來(lái)掃描模擬運(yùn)動(dòng)或靜止圖片膠片。因?yàn)檫@種相機(jī)能夠在從不同方向到達(dá)的光線之間進(jìn)行區(qū)分，所以它適合于使用不同的視圖來(lái)檢測(cè)小的刮痕和污垢對(duì)象。與上述的已知方法不同，不需要另外的照明或額外的曝光。圖像的光場(chǎng)捕獲直接從相機(jī)取回或者是從存儲(chǔ)單元取回的已經(jīng)可用的光場(chǎng)捕獲。
[0024]在一個(gè)實(shí)施例中，為了比較中心視圖與兩個(gè)或多個(gè)側(cè)視圖，使用在校準(zhǔn)過程期間確定的單應(yīng)(homographic)變換將兩個(gè)或多個(gè)側(cè)視圖投影到中心視圖上。不同視圖之間的幾何關(guān)系對(duì)于每個(gè)像素是固定的。因?yàn)橥哥R系統(tǒng)的性質(zhì)以及膠片與傳感器之間的距離是已知的，所以可以通過校準(zhǔn)來(lái)取回幾何結(jié)構(gòu)。校準(zhǔn)允許計(jì)算將不同視圖投影到基準(zhǔn)圖像平面上的變換。然后通過組合被投影的兩個(gè)或多個(gè)側(cè)視圖來(lái)估計(jì)中心圖像，并且通過計(jì)算適當(dāng)?shù)木嚯x度量來(lái)比較估計(jì)的中心圖像與中心視圖。
[0025]在一個(gè)實(shí)施例中，距離度量是絕對(duì)差的和、平方差的和以及峰值信噪比中的一個(gè)。可以容易地為每個(gè)像素確定這些距離度量。如果對(duì)應(yīng)差異的絕對(duì)值在某個(gè)閾值之上，則將像素標(biāo)記為屬于缺陷對(duì)象。
[0026]在一個(gè)實(shí)施例中，使用像素間(pixel-wise)中值來(lái)組合被投影的兩個(gè)或多個(gè)側(cè)視圖。這有效地去除不同位置處的刮痕和污垢對(duì)象，但是保留圖像內(nèi)容。當(dāng)然，代替中值，可以使用用于健壯的離群值去除的任何其他方法。
[0027]在一個(gè)實(shí)施例中，對(duì)光場(chǎng)捕獲的不同色彩通道單獨(dú)地執(zhí)行中心視圖與兩個(gè)或多個(gè)側(cè)視圖的比較。取決于缺陷對(duì)象的類型和性質(zhì)，并不是所有的色彩通道都以相同的方式受缺陷對(duì)象所影響。因此，單獨(dú)地分析不同的色彩通道允許確定關(guān)于缺陷對(duì)象的另外的信息。
[0028]有利地，在缺陷遮片中識(shí)別缺陷對(duì)象。由此，可以使得缺陷信息可用于進(jìn)一步的處理階段。
[0029]在一個(gè)實(shí)施例中，通過用估計(jì)的中心圖像的像素替換所確定的缺陷對(duì)象的像素來(lái)生成校正的中心視圖。通過根據(jù)不同的視圖來(lái)重構(gòu)損失的信息，由光場(chǎng)捕獲傳達(dá)的圖像信息允許從膠片掃描去除刮痕和污垢對(duì)象，而不損失信息。
【附圖說明】
[0030]圖1示出膠片掃描設(shè)備的原理布局；
[0031]圖2例示使用標(biāo)準(zhǔn)相機(jī)將焦平面中的對(duì)象成像到傳感器平面中；
[0032]圖3圖示圖2的情況，但是在焦平面之前具有小的對(duì)象；
[0033]圖4示出污垢對(duì)象和刮痕在中心視圖和八個(gè)側(cè)視圖中的位置；
[0034]圖5圖示圖4的中心視圖的示例性缺陷遮片；
[0035]圖6示出在使用從側(cè)視圖得出的估計(jì)進(jìn)行校正之后的圖4的中心視圖；
[0036]圖7例示灰塵顆粒如何影響掃描膠片的色彩通道；
[0037]圖8例示刮痕如何影響掃描膠片的色彩通道；
[0038]圖9示意性地例示用于處理圖像中的缺陷對(duì)象的根據(jù)本發(fā)明實(shí)施例的方法；
[0039]圖10示意性地例示被配置為執(zhí)行根據(jù)本發(fā)明的方法的裝置的第一實(shí)施例；以及
[0040]圖11示意性地例示被配置為執(zhí)行根據(jù)本發(fā)明的方法的裝置的第二實(shí)施例。
【具體實(shí)施方式】
[0041]為了更好地理解，現(xiàn)在將參考附圖、在下面的描述中更詳細(xì)地解釋本發(fā)明。應(yīng)當(dāng)理解的是，本發(fā)明并不局限于這些示例性的實(shí)施例，也可以適宜地組合和/或修改指定的特征，而不脫離如在所附的權(quán)利要求書中定義的本發(fā)明的范圍。
[0042]在下文中，參考將本發(fā)明應(yīng)用于膠片掃描。但是，本發(fā)明同樣可應(yīng)用于其他領(lǐng)域，例如全光顯微鏡、縮微平片的對(duì)象檢測(cè)以及全光靜止圖片成像的領(lǐng)域中的對(duì)象檢測(cè)問題。
[0043]圖1示出用于將模擬圖像轉(zhuǎn)移到數(shù)字域的膠片掃描設(shè)備I的原理布局。設(shè)備I可以被劃分成三個(gè)主要部分，即:光源2，單色或白色的；待掃描的對(duì)象3，亦即膠片；以及光捕獲設(shè)備4，亦即具有透鏡和數(shù)字傳感器的相機(jī)，灰色或彩色的。當(dāng)前技術(shù)水平的膠片掃描儀使用在膠片的表面上聚焦的傳統(tǒng)的2D相機(jī)。在圖2中圖示該情況。通過集成來(lái)自某個(gè)位置的在每個(gè)方向上射中(hit)透鏡7的所有光束，將焦平面5處的光強(qiáng)度映射到傳感器平面6上的對(duì)應(yīng)的感光元件。
[0044]從圖3可以看出，在膠片的表面上的小的對(duì)象8 (例如刮痕或污垢顆粒)阻止許多光線射中透鏡7。但是，來(lái)自對(duì)象8下面的攜帶信息的某些有角度的射線仍然撞擊在透鏡7上。因此，小的對(duì)象8在圖像上并沒有表現(xiàn)出100%不透明。
[0045]與標(biāo)準(zhǔn)相機(jī)相比，4D全光或光場(chǎng)相機(jī)不僅看到某個(gè)位置處的光的強(qiáng)度，而且看到光線的方向。這通過觀察來(lái)自單一鏡頭(shot)中的多個(gè)視點(diǎn)的經(jīng)過單一透鏡的對(duì)象來(lái)實(shí)現(xiàn)。從而，在每個(gè)視圖內(nèi)僅捕獲進(jìn)入透鏡的射線的子集。
[0046]全光相機(jī)的當(dāng)前技術(shù)水平的實(shí)現(xiàn)方式在主透鏡與傳感器之間使用微透鏡陣列來(lái)分離射線，這使它們相當(dāng)于伽利略(Galilean)或開普勒(Ifeplerian)望遠(yuǎn)鏡的陣列。替代地，可以使用個(gè)體相機(jī)透鏡系統(tǒng)的陣列來(lái)代替微透鏡的陣列。
[0047]因?yàn)槿庀鄼C(jī)能夠在直的和有角度的射線之間進(jìn)行區(qū)分，所以它適合于在掃描膠片時(shí)檢測(cè)小的刮痕和污垢對(duì)象。在下文中，假設(shè)已經(jīng)將光場(chǎng)傳感器圖像解復(fù)用(demultiplex)成單個(gè)中心視圖和來(lái)自