專利名稱：在數(shù)字圖像處理裝置中使圖像背景模糊的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及一種數(shù)字圖像處理裝置及其操作方法，更具體地講，涉 及一種使圖像背景模糊的設(shè)備和方法，從而針對同 一對象獲得運動圖像及根 據(jù)AF馬達的運動距離與該運動圖像匹配的焦距信息，并且基于運動圖像和 靜止圖像的焦距，不同地對靜止圖像應(yīng)用背景模糊。
背景技術(shù)：
近來，通常使用的數(shù)字圖像處理裝置，如數(shù)碼相機、相機電話、智能電 話等包含用于處理數(shù)字化的數(shù)據(jù)的各種數(shù)字元件，從而提供與模擬攝影器材 的功能相區(qū)別的功能。
例如，數(shù)字圖像處理裝置可利用包含在其中的大容量存儲器來存儲大量 圖像數(shù)據(jù)，該圖像數(shù)據(jù)量遠超過傳統(tǒng)膠片中能夠存儲的圖像數(shù)據(jù)量，電荷耦 合器件(CCD)和該存儲器代替膠片來形成高像素圖像，從而與個人計算機 (PC)共享圖像數(shù)據(jù)并且提供圖像處理的便利。
此外，與模擬攝影器材所提供的功能相比，數(shù)字圖像處理裝置提供更多 的功能，如快門速度和光圈(aperture)的自動調(diào)節(jié)、自動調(diào)焦、圖像增強、 光強的自動調(diào)節(jié)等。
然而，由于模擬攝影器材是手動操作的，以當(dāng)專業(yè)人員精巧地使用模擬 攝影器材時模擬攝影器材會優(yōu)于數(shù)字圖像處理裝置。
就這一點，近來發(fā)布的數(shù)字圖像處理裝置除了數(shù)字裝置的有益功能之外， 還實現(xiàn)了傳統(tǒng)模擬圖像處理裝置的獨特功能。換言之，數(shù)字圖像處理裝置整 合了模擬裝置的獨特長處以便克服對數(shù)字裝置的挑戰(zhàn)，從而可提供各種專業(yè) 化功能。
此外，隨著數(shù)字圖像處理裝置的廣泛使用，對攝影感興趣的人的數(shù)量逐漸增加，從而獲得專業(yè)攝影技能的用戶的數(shù)量也在增加。
然而，數(shù)字圖像處理裝置在許多方面仍無法滿足專業(yè)用戶的需求。
例如，在進行人物攝影的大多數(shù)情況下，通常使用離焦(out-of-focus) 效果。當(dāng)使用傳統(tǒng)數(shù)字圖像處理裝置時，由于CCD和鏡頭具有有限大小，所 以幾乎無法實現(xiàn)離焦效果。
通常，離焦效果隨著"彌散圓(circle of confusion)"的大小而不同，并 且彌散圓的大小與諸如焦深和景深的深度密切關(guān)聯(lián)。當(dāng)對象圖像的一點通過 鏡頭被聚焦時，該點被聚焦為圓形點的形式，其中該圓形點相對于能夠被認 為是點的最小尺寸具有預(yù)定直徑。當(dāng)點的直徑增大時，人眼認為該點變得模 糊。具有使點看起來顯得模糊的直徑的圓形點被稱為彌散圓。因此，深度取 決于與彌散圓相關(guān)聯(lián)的因素(如數(shù)字圖像處理裝置的CCD大小、光圏和鏡頭 焦距)、相機至對象的距離以及對象至背景的距離。
在決定深度的這些因素中，除了相機至對象的距離之外，圖像傳感器、 光圈和鏡頭焦距根據(jù)數(shù)字圖像處理裝置的物理規(guī)格而變化很大。由于小型化 的數(shù)字圖像處理裝置的本性，數(shù)字圖像處理裝置因為小尺寸的圖像傳感器和 小直徑的鏡頭而僅能夠一直表現(xiàn)深的深度，導(dǎo)致無法滿足用戶對淺的深度(景 深)(其中主要對象清晰，而背景模糊)的需求。
此外，當(dāng)針對光學(xué)特征采用大尺寸圖像傳感器和大直徑鏡頭時，這種對 大尺寸圖像傳感器和大直徑鏡頭的采用可能與制造大尺寸圖像傳感器的半導(dǎo) 體工藝的成品率相關(guān)聯(lián)，并且可能由于設(shè)計大直徑鏡頭的需要而增加數(shù)字圖 像處理裝置的成本和尺寸，從而阻礙了數(shù)字圖像處理裝置的小型化。

發(fā)明內(nèi)容
本發(fā)明提供一種用于數(shù)字圖像處理裝置(例如，數(shù)碼相機)的使圖像背 景模糊的設(shè)備和方法，從而針對同一對象獲得運動圖像及根據(jù)AF馬達的運 動距離與該運動圖像匹配的焦距信息，并且基于運動圖像和靜止圖像的焦距， 不同地對靜止圖像應(yīng)用背景模糊。
根據(jù)本發(fā)明的 一方面，以數(shù)字圖像處理裝置的方式提供一種用于使圖像 背景模糊的設(shè)備。該設(shè)備包括數(shù)字信號處理單元，該數(shù)字信號處理單元捕捉 同 一對象的運動圖像和靜止圖像，比較形成運動圖像的至少 一幀的焦距與靜 止圖像的焦距，并根據(jù)焦距之差來對靜止圖像應(yīng)用背景模糊。當(dāng)對快門釋放按鈕進行第 一次操作時，數(shù)字信號處理單元可拍攝運動圖 像，當(dāng)在第一次操作之后對快門釋放按鈕進行第二次操作時，數(shù)字信號處理 單元可拍攝靜止圖像。
在捕捉運動圖像期間，數(shù)字信號處理單元可使AF電機從原始位置移動 到無窮遠位置。
數(shù)字信號處理單元可包括焦距計算單元，從形成運動圖像的至少一幀 檢測焦距；比較單元，將所述至少一幀的焦距與靜止圖像的焦距進行比較， 其中在捕捉靜止圖像時記錄了靜止圖像的焦距；和控制單元，控制將應(yīng)用到 靜止圖像的預(yù)定部分的背景模糊，在所述預(yù)定部分中，靜止圖像的焦距不同 于所述至少一幀的焦距。
焦距計算單元可將AF電機的焦距信息與所述至少 一幀中的每一幀匹配， 并將所述焦距信息記錄在所述至少一幀中的每一幀中。
焦距計算單元可包括區(qū)域分割單元，將所述至少一幀中的每一幀分割 為預(yù)定區(qū)域；和高頻分量提取單元，從所述至少一幀的相同分割區(qū)域提取高 頻分量，其中，控制單元可檢測具有最大數(shù)量的高頻分量的分割區(qū)域及檢測 到的分割區(qū)域的焦距。
高頻分量提取單元可通過對所述至少一幀的相同分割區(qū)域的亮度數(shù)據(jù)進 行微分來提取高頻分量。
控制單元可將提取的高頻分量與參考值進行比較，存儲與提取的大于或 等于參考值的高頻分量對應(yīng)的幀的焦距，將與提取的小于參考值的高頻分量 對應(yīng)的分割區(qū)域確定為噪聲并丟棄該分割區(qū)域的高頻分量。
控制單元可將這樣的分割區(qū)域識別為噪聲該分割區(qū)域的高頻分量不同 于最接近于該分割區(qū)域的相鄰分割區(qū)域的高頻分量；并用相鄰分割區(qū)域的高 頻分量覆蓋被確定為噪聲的分割區(qū)域的高頻分量。
比較單元可計算具有最大數(shù)量的高頻分量的分割區(qū)域的焦距與靜止圖像 的相應(yīng)分割區(qū)域的焦距之差。
控制單元可對靜止圖像的這樣的部分應(yīng)用背景模糊在所述部分中，靜 止圖像的分割區(qū)域的焦距不同于具有最大數(shù)量的高頻分量的分割區(qū)域的焦 距。
根據(jù)本發(fā)明的另 一方面，以數(shù)字圖像處理裝置的工作方法的方式提供一 種使圖像背景模糊的示例方法。該方法包括以下操作(a)捕捉同一對象的運
7動圖像和靜止圖像；和(b)將形成運動圖像的至少一幀的焦距與靜止圖像的焦 距進行比較，并根據(jù)所述焦距之差來對靜止圖像應(yīng)用背景模糊。
操作(a)可包括(a-l)當(dāng)對快門釋放按鈕進行第 一次操作時捕捉運動圖像； 和(a-2)當(dāng)在第 一次操作之后對快門釋放按鈕進行第二次操作時捕捉靜止圖像。
操作(b)可包括(b-l)從運動圖像的所述至少一幀檢測焦距；(b-2)將所述 至少 一幀的焦距與靜止圖像的焦距進行比較，其中在捕捉靜止圖像時記錄靜 止圖像的焦距；和(b-3)控制將被應(yīng)用到靜止圖像的預(yù)定部分的背景模糊，在 所述預(yù)定部分中，靜止圖像的焦距不同于所述至少一幀的焦距。
操作(b-1 )可包括(b-11 )將自動調(diào)焦電機的焦距信息與所述至少 一幀中的 每一幀匹配，并將所述焦距信息記錄在所述至少一幀中的每一幀中；(b-12) 將所述至少一幀中的每一幀分割為預(yù)定區(qū)域；(b-13)從所述至少一幀的相同分 割區(qū)域提取高頻分量；和(b-14)檢測具有最大數(shù)量的高頻分量的分割區(qū)域及檢 測到的分割區(qū)域的焦距。
操作(b-13)可包括通過對所述至少一幀的相同分割區(qū)域的亮度數(shù)據(jù)進行 微分來提取高頻分量。
操作(b-2)可包括計算具有最大數(shù)量的高頻分量的分割區(qū)域的焦距與靜 止圖像的相應(yīng)分割區(qū)域的焦距之差。
操作(b-3)可包括對靜止圖像的這樣的分割區(qū)域應(yīng)用背景模糊其中， 靜止圖像的所述分割區(qū)域的焦距不同于具有最大數(shù)量的高頻分量的分割區(qū)域 的焦距。


通過參照附圖對本發(fā)明的實施例的詳細描述，本發(fā)明的上述和其它特點
和優(yōu)點將變得更清楚，其中
圖1是示出數(shù)字圖像處理裝置的前部和頂部的透視圖2是圖1所示的數(shù)字圖像處理裝置的后視圖3是根據(jù)本發(fā)明實施例的使背景模糊的設(shè)備的框圖4示出用于解釋在圖3所示的設(shè)備中捕捉同一對象的運動圖像和靜止
圖像的示圖5是用于解釋在圖3所示的設(shè)備中執(zhí)行的運動畫面幀的區(qū)域分割和高頻分量提取的示圖6是用于解釋圖3所示的設(shè)備的高頻分量提取單元的示圖7是用于解釋在圖3所示的設(shè)備中執(zhí)行的通過比較運動圖像幀的焦距
與靜止圖像的焦距來選擇是否應(yīng)用背景模糊的示圖8是示出根據(jù)本發(fā)明實施例的使背景模糊的方法的流程圖9是示出圖8所示的方法中捕捉同一對象的運動圖像和靜止圖像的流
程圖IO是示出在圖8所示的方法中從運動圖像的每一幀提取最大數(shù)量的高 頻分量的流程圖11是示出在圖8所示的方法中比較運動圖像幀的焦距與靜止圖像的焦 距的流程圖12是示出在圖8所示的方法中基于焦距比較結(jié)果選擇是否應(yīng)用背景模 糊的流程圖。
具體實施例方式
以下，將參照附圖來詳細描述本發(fā)明的實施例。應(yīng)該注意的是，相同的 標(biāo)號表示一個或多個附圖中示出的相同元件。在下面對本發(fā)明的描述中，為 了簡明和清晰起見，將省略對其中包含的已知功能和構(gòu)造的詳細描述。
圖1是示出數(shù)字圖像處理裝置的前部和頂部的透視圖。參照圖，數(shù)字 圖像處理裝置包括位于其前部和頂部的快門釋放按鈕11、電源按鈕13、閃光 燈15、輔助光(sublight) 17和鏡頭單元19。
快門釋放按鈕11由用戶來操作以便使電荷耦合器件(CCD )或膠片曝光 預(yù)定時間，從而由CCD與可變光闌(iris)(未示出)協(xié)作，通過對對象進行 適當(dāng)曝光來捕捉圖像。
快門釋放按鈕11根據(jù)用戶輸入產(chǎn)生第一拍攝信號和第二拍攝信號。 一旦 對快門釋放按鈕11的第一次操作產(chǎn)生半快門(half-shutter)信號,數(shù)字圖像 處理裝置就調(diào)節(jié)焦點和光量。當(dāng)數(shù)字圖像處理裝置對準焦點時，焦點指示器 (例如，綠色的光或標(biāo)記)可被打開(例如，在圖2所示的顯示單元上)。在 數(shù)字圖像處理裝置響應(yīng)于對快門釋放按鈕11的第一次操作，完成調(diào)焦以及對 光量的調(diào)節(jié)之后，快門釋放按鈕11第二次被操作，從而產(chǎn)生全快門 (full-shutter)信號以便拍攝。電源按鈕13由用戶來操作以便通過向數(shù)字圖像處理裝置供電來使數(shù)字 圖像處理裝置運行。
閃光燈15短暫地照射對象，以便在暗的環(huán)境中拍攝。閃光燈15具有諸 如自動閃光、填充閃光、閃光燈關(guān)閉、紅眼消除、慢同步等閃光燈模式。
在光線不足或者夜晚拍攝情況下，輔助光17以自動方式照射對象以便使 數(shù)字圖像處理裝置快速精確地調(diào)節(jié)焦點。
鏡頭單元19接收從物體反射的光，以便數(shù)字圖像處理裝置處理圖像。
圖2是圖1中所示的數(shù)字圖像處理裝置的后視圖。參照圖2,數(shù)字圖像 處理裝置包括廣角變焦(wide-angle zoom)按鈕21w、遠攝變焦(telephoto zoom )按鈕21t、顯示單元23和輸入按鈕Bl至B14。
當(dāng)廣角變焦按鈕21 w或遠攝變焦按鈕2It被用戶操作時，視角變寬或變 窄。具體地講，廣角變焦按鈕21w或遠攝變焦按鈕21t被輸入，以便改變選 擇的曝光區(qū)域的大小。當(dāng)輸入廣角變焦按鈕21w時，選擇的曝光區(qū)域的大小 減小，當(dāng)輸入遠攝變焦按鈕21t時，選擇的曝光區(qū)域的大小增大。
輸入按鈕B1至B14沿著顯示單元23的兩側(cè)設(shè)置在水平線和垂直線上。 輸入按鈕B1至B14可包括觸摸傳感器(未示出)或接觸開關(guān)(未示出)。
換言之，當(dāng)輸入按鈕B1至B14具有觸摸傳感器時，用戶通過在觸摸水
/向左/向右移動手指，可從主菜單項選擇任意值，例如顏色或亮度，或者可激 活主菜單圖標(biāo)中包含的子菜單圖標(biāo)。
當(dāng)輸入按鈕B1至B14具有接觸開關(guān)時，用戶可通過直接選擇主菜單圖 標(biāo)及其子菜單圖標(biāo)來執(zhí)行期望的功能。觸摸傳感器輸入需要比接觸開關(guān)輸入 弱的觸摸，而接觸開關(guān)輸入需要比觸摸傳感器輸入強的觸摸。
圖3是根據(jù)本發(fā)明實施例的用于使背景模糊的設(shè)備的框圖。參照圖3, 該設(shè)備包括顯示單元23、用戶輸入單元31、拍攝單元33、圖像處理單元35、 存儲單元37和數(shù)字信號處理單元39。
用戶輸入單元31包括快門釋放按鈕11，用于打開或關(guān)閉可變光闌， 以便使CCD或膠片曝光預(yù)定時間；電源按鈕13,被操作以進行供電；廣角 變焦按鈕21w和遠攝變焦按鈕21t,被操作以增大或減小視角；輸入按鈕Bl 至B14，具有觸摸傳感器或接觸開關(guān)，圍繞顯示單元23設(shè)置在水平線和垂直 線上。拍攝單元33包括圖中未示出的快門、鏡頭單元、電機單元、可變光闌、 CCD和模數(shù)轉(zhuǎn)換器(ADC)?？扉T用于與可變光闌協(xié)作來調(diào)節(jié)曝光的光量。 鏡頭單元接收來自外部光源的光并處理圖像。可變光闌根據(jù)其打開/關(guān)閉量來 調(diào)節(jié)入射光的量?？勺児怅@的打開/關(guān)閉量由數(shù)字信號處理單元39控制。
在自動調(diào)焦模式下，通過在數(shù)字信號處理單元39的控制下控制調(diào)焦鏡頭 來驅(qū)動調(diào)焦電機。這樣，調(diào)焦鏡頭從最靠前的位置移動到最靠后的位置。在 這一階段，設(shè)置調(diào)焦鏡頭的存在最多的圖像信號高頻分量的位置，例如設(shè)置 調(diào)焦電機的驅(qū)動步進數(shù)量。
CCD對通過鏡頭單元輸入的光量進行累積，并根據(jù)累積的光量，與垂直 同步信號同步地輸出通過鏡頭單元捕捉的圖像。數(shù)字圖像處理裝置可通過將 對象所反射的光轉(zhuǎn)換為電信號的CCD來獲得圖像。為了利用CCD獲得彩色 圖像，需要濾色器，濾色器陣列(CFA)通常用作濾光器(未示出)。
CFA具有這樣的結(jié)構(gòu)其中，針對每一像素，濾光器僅使表達一種顏色 的光通過，并且這些濾光器規(guī)則排列。CFA可根據(jù)其排列結(jié)構(gòu)而采取各種形 式。ADC將從CCD輸出的模擬圖像信號轉(zhuǎn)換為數(shù)字信號。
圖像處理單元35執(zhí)行信號處理，以使經(jīng)數(shù)字轉(zhuǎn)換的原始數(shù)據(jù)被顯示。圖 像處理單元3 5去除由于對溫度變化敏感的CCD和CFA中的暗電流引起的黑 色電平(black level )。
圖像處理單元35考慮人類視覺的非線性而對編碼信息執(zhí)行伽瑪校正。圖 像處理單元35通過將由經(jīng)伽瑪校正的預(yù)定數(shù)據(jù)的RGRG行和GBGB行實現(xiàn) 的Bayer圖形插值為RGB行來執(zhí)行CFA插值。
圖像處理單元35將插值的RGB信號轉(zhuǎn)換為YUV信號，通過利用高通 濾波器過濾Y信號來執(zhí)行邊緣S卜償，通過利用標(biāo)準顏色坐標(biāo)系校正U和V信 號的顏色值來執(zhí)行顏色校正，并從U和V信號去除噪聲。
圖像處理單元35對已去除噪聲的YUV信號進行壓縮和信號處理，并產(chǎn) 生JPEG文件。該JPEG文件被顯示在顯示單元23中，并被存儲在存儲單元 37中。圖像處理單元35在數(shù)字信號處理單元39的控制下運行，或者與數(shù)字 信號處理單元39協(xié)作來運行。
在本發(fā)明的設(shè)備和方法中， 一旦同 一對象的運動圖像和靜止圖像被拍攝， 則數(shù)字信號處理單元39比較形成運動圖像的至少一幀的焦距與靜止圖像的 焦距。根據(jù)焦距之差，數(shù)字信號處理單元39對靜止圖像應(yīng)用背景模糊。
li為此，數(shù)字信號處理單元39包括AF (自動調(diào)焦)電機控制單元39-l、 匹配單元39-2、區(qū)域分割單元39-3、高頻分量提取單元39-4、比較單元39-5 和控制單元39-6。
在捕捉同一對象的運動圖像期間，AF電機控制單元39-1使AF電機從 原始位置移動到無窮遠焦距位置(也稱為無窮遠位置)。
如圖4的(a)所示，針對同一對象， 一旦通過用戶輸入單元31對快門 釋放按鈕11進行了第一次操作，則在控制單元39-6的控制下，AF電機控制 單元39-1使AF電機從原始位置一直移動到無窮遠焦距，拍攝單元33拍攝運 動圖像，拍攝的運動圖像被存儲在存儲單元37或者緩沖器(未示出)中。可 以按照例如每秒30或15幀的速度來拍攝運動圖像。在運動圖像拍攝期間， 可通過設(shè)置高速度(幀/每秒)來提高精度。
一旦隨著AF電機從原始位置移動到無窮遠焦距而完成運動圖像捕獲， 快門釋放按鈕11被第二次操作，靜止圖像被捕捉，如圖4的(b)所示。捕 捉的靜止圖像包含最佳焦距信息。
匹配單元39-2將每次AF電機移動所處的距離(焦距)與存儲在存儲單 元37或緩沖器中的運動圖像的每一幀匹配，然后提取每一幀。為了提取具有 精確數(shù)據(jù)的幀，低效壓縮是理想的。
如圖5的(a)所示，區(qū)域分割單元39-3將提取的每一幀分割為具有預(yù) 定大小的塊，例如4x4像素塊。
如圖5的(b)所示，高頻分量提取單元39-4從所有提取的幀的相同分 割區(qū)域A,至An (例如，所示圖像的右下角)提取高頻分量，然后從提取的 幀的其它相同的分割區(qū)域依次提取高頻分量，從而從提取的每一幀的所有分 割區(qū)域提取高頻分量。高頻分量提取單元39-4通過對所有提取的幀的相同分 割區(qū)域A,至A,，的亮度數(shù)據(jù)的一次和二次微分來提取圖像信號的高頻分量。
圖6示出用于解釋當(dāng)高頻分量提取單元39-4對圖像進行微分時獲得的效 果的圖像。在圖6中，上面最左邊的圖像焦點對準，上面最左邊的圖像右側(cè) 的圖像逐漸離焦。在圖6中，下面的圖像是通過對上面的圖像進行微分而獲 得的結(jié)果圖像。在下面的圖像中，具有較多白色部分的圖像也具有較多的高 頻分量?？梢岳斫獾氖牵哂休^多高頻分量的圖像被更好地聚焦。
由高頻分量提取單元39-4提取的每一分割區(qū)域A的高頻分量被輸出給控 制單元39-6。然后，控制單元39-6將提取的高頻分量與參考值比較，存儲與
12提取的大于或等于參考值的高頻分量對應(yīng)的幀的焦距，并且將與提取的小于 參考值的高頻分量對應(yīng)的分割區(qū)域確定為噪聲并丟棄該分割區(qū)域的高頻分
量。然后，控制單元39-6檢測具有最大數(shù)量的高頻分量的分割區(qū)域及該分割 區(qū)域的焦距。具體地說，控制單元39-6對所有幀的相同分割區(qū)域的高頻分量 的數(shù)量進行比較，從所有幀的相同分割區(qū)域中檢測具有最大數(shù)量的高頻分量 的分割區(qū)域，并記錄與檢測的分割區(qū)域相應(yīng)的幀的焦距。例如，控制單元39-6 比較所有幀的相同分割區(qū)域A,至An的高頻分量的數(shù)量，檢測具有最大數(shù)量 的高頻分量的分割區(qū)域，并記錄與檢測到的分割區(qū)域(例如，A2)相應(yīng)的幀 的焦距?？刂茊卧?9-6繼續(xù)比較所有幀的其他相同分割區(qū)域的高頻分量的數(shù) 量，直到獲得所有檢測到的分割區(qū)域組成的幀以及與所有檢測到的分割區(qū)域 相應(yīng)的焦距，如圖7的(a)所示。圖7的(a)示出由控制單元39-6針對所 有提取的帕檢測到的具有最大數(shù)量的高頻分量的分割區(qū)域所組成的幀及這些 分割區(qū)域的焦距。
控制單元39-6將任意分割區(qū)域的高頻分量與該任意分割區(qū)域周圍的相 鄰分割區(qū)域的高頻分量相比較。如果該任意分割區(qū)域的高頻分量與相鄰分割 區(qū)域的高頻分量差別很大(例如，之間的差大于一個閾值)，則控制單元39-6 將該任意分割區(qū)域的高頻分量確定為噪聲，并用相鄰分割區(qū)域的高頻分量覆 蓋被確定為噪聲的所述任意分割區(qū)域的高頻分量。
在本發(fā)明的當(dāng)前實施例中，匹配單元39-2、區(qū)域分割單元39-3和高頻分 量提取單元39-4可協(xié)作定義焦距計算單元。
圖7的(a)示出由具有最大數(shù)量的高頻分量的分割區(qū)域組成的幀及這些 分割區(qū)域的焦距。圖7的(b)示出由具有最佳焦距，例如2m的分割區(qū)域組 成的靜止圖像。
比較單元39-5將由控制單元39-6檢測的具有最大數(shù)量的高頻分量的每 一分割區(qū)域的焦距(如圖7的(a)所示)與圖7的(b)中所示的靜止圖像 的每一分割區(qū)域的焦距相比較。
比較單元39-5計算具有最大數(shù)量的高頻分量的分割區(qū)域的焦距與靜止 圖像的分割區(qū)域的焦距之差的絕對值。
控制單元39-6接收由比較單元39-5計算的焦距之差的絕對值，并利用 低通濾波器，利用相應(yīng)的差作為權(quán)重值來對靜止圖像的其焦距不同于具有最 大數(shù)量的高頻分量的分割區(qū)域的焦距的分割區(qū)域應(yīng)用背景模糊。例如，在圖7的(c)中，對于差為0的分割區(qū)域(例如，圖7的(a)至(c)中包含人 的分割區(qū)域)，不需要背景模糊。相反，對差為1、 2或3的分割區(qū)域，通過 低通濾波器，利用差值作為權(quán)重值(例如，差值為3時模糊程度大，差值為 1時模糊程度小)來應(yīng)用模糊。
在應(yīng)用背景模糊時，從靜止圖像提取高頻分量以便提取焦點完全對準的 部分，提取的焦點對準的部分(差為O)被掩蔽，并利用權(quán)重值對除了掩蔽 的部分之外的其它部分應(yīng)用背景模糊，從而最大程度地區(qū)分對象和背景。
在另一實施例中，代替運動圖像拍攝，可替代地執(zhí)行幾個靜止圖像的捕 捉(例如，利用連續(xù)拍攝或者拍攝幾個連續(xù)的照片)。相應(yīng)地，可對這幾個靜 止圖像(而非運動圖像的幀)執(zhí)行上述信號處理。
可選地，在可對運動圖像的所有幀不同地應(yīng)用背景模糊之后，通過從所 有幀提取高頻分量可僅提取對象，并且可使用提取的對象來合成或組合所述
以下，將參照圖8至圖12描述由根據(jù)本發(fā)明實施例的數(shù)字圖像處理設(shè)備 執(zhí)行的使背景模糊的方法。該方法可作為可由數(shù)字信號處理單元的一個或多 個不同的部件執(zhí)行的主拍攝算法的部分或子程序，由圖3所示的數(shù)字圖像處 理裝置執(zhí)行。
當(dāng)本方法被實施為在數(shù)字圖像處理設(shè)備的處理器上運行的軟件應(yīng)用程序 時，考慮到當(dāng)前技術(shù)水平，本方法所需的運行時間量可能對響應(yīng)或兩次拍攝 之間(shot-to-shot)的時間有影響，但是通過ARM (高級RISC機器)處理 的發(fā)展或安裝單獨的數(shù)字信號處理(DSP)模塊，處理時間可顯著減少。由 于現(xiàn)在數(shù)字圖像處理裝置的運動圖像從視頻圖形陣列(VGA)水平提高到高 清晰(HD)水平，所以能夠從運動圖像提取的幀的大小和質(zhì)量也提高，因此 可精細地獲得本發(fā)明所需的數(shù)據(jù)。
圖8是示出根據(jù)本發(fā)明實施例的使背景模糊的方法的流程圖。參照圖8， 在操作801中，同一對象的運動圖像和靜止圖像被捕捉。
圖9是示出圖8所示的方法中捕捉同一對象的運動圖像和靜止圖像的詳 細流程圖。
在操作801-1，數(shù)字圖像處理裝置進入拍攝模式，然后設(shè)置拍攝幀。 在操作801-2，快門釋放按鈕11被第 一次操作。
一旦在操作801-2中對快門釋放按鈕11進行第一次操作，在操作801-3,
14數(shù)字信號處理單元39在如圖4的(a)所示使AF電機從原始位置移動到無 窮遠焦距位置的同時捕捉運動圖像?？梢园凑彰棵?0或15幀的速度捕捉運 動圖像?？赏ㄟ^在運動圖像拍攝期間設(shè)置高速度(幀/每秒)來提高精度。
在操作801-4，如果響應(yīng)于對快門釋放按鈕11的第一次操作，通過使AF 電機從最小焦距移動到無窮遠焦距位置，完成運動圖像拍攝，則在搡作801-5， 拍攝的運動圖像被存儲在存儲單元37或緩沖器(未示出)中。
一旦在操作801-6中對快門釋放按鈕11進行第二次操作，則在操作 801-7，包含最佳焦距信息的靜止圖像被捕捉，并被存儲在存儲單元37或緩 沖器中。
一旦數(shù)字信號處理單元39完成對同一對象的運動圖像和靜止圖像的捕 捉，則在操作803，數(shù)字信號處理單元39從運動圖像的具有相應(yīng)焦距的幀的 相同分割區(qū)域提取高頻分量，并檢測具有最大數(shù)量的高頻分量的分割區(qū)域及 該分割區(qū)域的焦距。
圖10是示出圖8所示的方法中從運動圖像的每一幀提取最大數(shù)量的高頻 分量的詳細流程圖。
在操作803-1，數(shù)字信號處理單元39將每次AF電機移動所處的距離(焦 距)與存儲在存儲單元37或緩沖器中的運動圖像的每一幀匹配，然后提取每 一幀。為了提取具有精確數(shù)據(jù)的幀，低效壓縮是理想的。
在操作803-2，數(shù)字信號處理單元39將提取的每一幀分割為具有預(yù)定大 小的塊，例如4x4^象素塊，如圖5的(a)所示。
一旦完成幀區(qū)域分割，在操作803-3，數(shù)字信號處理單元39從所有提取 的幀的相同分割區(qū)域提取高頻分量。如圖5的(b)所示，數(shù)字信號處理單元 39從所有提取的幀的相同分割區(qū)域A,至A,，提取高頻分量，然后從提取的幀 的其它相同的分割區(qū)域依次提取高頻分量，從而從提取的每 一 幀的所有分割
域A,至A。的亮度數(shù)據(jù)的一次和二次微分來提取圖像信號的高頻分量。
在操作803-4，數(shù)字信號處理單元39將提取的高頻分量與參考值比較。
如果提取的高頻分量大于或等于參考值，則在操作803-5，數(shù)字信號處理單元
39存儲相應(yīng)幀的焦距。
在操作803-6，如果提取的高頻分量小于參考值，則在操作803-7，數(shù)字
信號處理單元39將相應(yīng)的分割區(qū)域確定為噪聲并丟棄該分割區(qū)域的高頻分量。
然后，在操作803-8,數(shù)字信號處理單元39檢測具有最大數(shù)量的高頻分 量的分割區(qū)域及該分割區(qū)域的焦距。圖7的(a)示出由具有最大數(shù)量的高頻 分量的分割區(qū)域組成的幀及這些分割區(qū)域的焦距。
數(shù)字信號處理單元39將任意分割區(qū)域的高頻分量與該任意分割區(qū)域周 圍的相鄰分割區(qū)域的高頻分量相比較。如果該任意分割區(qū)域的高頻分量與相 鄰分割區(qū)域的高頻分量差別很大，則數(shù)字信號處理單元39將該任意分割區(qū)域 的高頻分量確定為噪聲，并用相鄰分割區(qū)域的高頻分量覆蓋被確定為噪聲的 所述任意分割區(qū)域的高頻分量。
一旦檢測到具有最大數(shù)量的高頻分量的分割區(qū)域及分割區(qū)域的焦距，在 操作805，數(shù)字信號處理單元39將具有最大數(shù)量的高頻分量的分割區(qū)域的焦 距與靜止圖像的分割區(qū)域的焦距相比較。
圖ll是示出圖8所示的方法中將具有最大數(shù)量的高頻分量的運動圖像幀 的焦距與靜止圖像的焦距相比較的詳細流程圖。
參照圖11，在操作805-1,數(shù)字信號處理單元39計算具有最大數(shù)量的高 頻分量的分割區(qū)域的焦距與靜止圖像的分割區(qū)域的焦距之差。圖7的(a)示 出由具有最大數(shù)量的高頻分量的分割區(qū)域組成的幀及這些分割區(qū)域的焦距。 圖7的(b)示出由具有最佳焦距(例如2m)的分割區(qū)域組成的靜止圖像。 數(shù)字信號處理單元39計算具有最大數(shù)量的高頻分量的分割區(qū)域的焦距與靜 止圖像的分割區(qū)域的焦距之差。
在操作805-2,數(shù)字信號處理單元39計算所計算的焦距之差的絕對值。
一旦數(shù)字信號處理單元39完成對絕對值的計算，在操作807，數(shù)字信號 處理單元39檢測用于背景模糊的分割區(qū)域并對與檢測到的分割區(qū)域匹配的 靜止圖像的分割區(qū)域應(yīng)用背景模糊。
圖12是示出在圖8所示的方法中基于焦距比較結(jié)果選擇是否應(yīng)用背景模 糊的詳細流程圖。
在操作807-1， 一旦接收到焦距之差的絕對值，數(shù)字信號處理單元39確 定絕對值是否為O。
如果絕對值為0，則在操作807-2,數(shù)字信號處理單元39確定靜止圖像 的分割區(qū)域焦點對準，并且不對該分割區(qū)域應(yīng)用背景模糊。
如果絕對值不為0，則在操作807-3，數(shù)字信號處理單元39確定靜止圖像的分割區(qū)域離焦，并通過低通濾波器，利用絕對值作為權(quán)重值來對該分割
區(qū)域應(yīng)用背景模糊。例如，在圖7的(c)中，對于差為0的分割區(qū)域，背景 模糊是不必要的；而對差為1、 2或3的分割區(qū)域，通過低通濾波器，利用差 值作為權(quán)重值來應(yīng)用模糊。
如上所述，根據(jù)本發(fā)明的設(shè)備和方法，針對同一對象，獲得根據(jù)AF電 機的運動距離的運動圖像及與該運動圖像匹配的焦距信息，基于焦距來對靜 止圖像不同地應(yīng)用背景模糊，從而獲得與光學(xué)背景模糊效果等同的效果。
此外，可在保持數(shù)字圖像處理裝置的小尺寸和低成本的同時，獲得用戶 所期望的背景模糊效果。
盡管已經(jīng)參照本發(fā)明的實施例具體地顯示和描述了本發(fā)明，但是本領(lǐng)域 普通技術(shù)人員應(yīng)該理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范圍的 情況下，可對其進行各種形式和細節(jié)上的改變。
1權(quán)利要求
1、一種使圖像背景模糊的數(shù)字圖像處理設(shè)備，包括光學(xué)部分接收從對象反射的光；成像部分將光轉(zhuǎn)換為運動圖像和靜止圖像中的至少一個；和數(shù)字信號處理單元，用于比較運動圖像的幀的焦距與靜止圖像的焦距，并根據(jù)運動圖像焦距與靜止圖像焦距之差來對靜止圖像應(yīng)用背景模糊。
2、 根據(jù)權(quán)利要求1所述的設(shè)備，還包括快門釋放按鈕，當(dāng)對快門釋放按 鈕進行第一次操作時，數(shù)字信號處理單元拍攝運動圖像，當(dāng)在第一次操作之 后對快門釋放按鈕進行第二次操作時，數(shù)字信號處理單元捕捉靜止圖像。
3、 根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述光學(xué)部分包括自動調(diào)焦鏡頭， 所述設(shè)備還包括使自動調(diào)焦鏡頭移動的自動調(diào)焦電機，其中，在捕捉運動圖 像期間，數(shù)字信號處理單元控制自動調(diào)焦電機使自動調(diào)焦鏡頭從原始位置移 動到無窮遠位置。
4、 根據(jù)權(quán)利要求3所述的設(shè)備，其中，數(shù)字信號處理單元包括 焦距計算單元，從運動圖像的幀檢測焦距；比較單元，將所述幀的焦距與靜止圖像的焦距進行比較；和 控制單元，控制將應(yīng)用到靜止圖像的預(yù)定部分的背景模糊，在所述預(yù)定 部分中，靜止圖像的焦距不同于所述幀的焦距。
5、 根據(jù)權(quán)利要求4所述的設(shè)備，其中，焦距計算單元將自動調(diào)焦電機的 焦距信息與每一幀匹配，并將所述焦距信息記錄在每一幀中。
6、 根據(jù)權(quán)利要求5所述的設(shè)備，其中，焦距計算單元包括 區(qū)域分割單元，將每一幀分割為預(yù)定區(qū)域；和高頻分量提取單元，從幀的相同分割區(qū)域提取高頻分量， 其中，控制單元檢測具有最大數(shù)量的高頻分量的分割區(qū)域及檢測到的分 割區(qū)域的焦距。
7、 根據(jù)權(quán)利要求6所述的設(shè)備，其中，高頻分量提取單元通過對幀的相 同分割區(qū)域的亮度數(shù)據(jù)進行微分來提取高頻分量。
8、 根據(jù)權(quán)利要求6所述的設(shè)備，其中，控制單元將提取的高頻分量與參 考值進行比較，存儲與提取的大于或等于參考值的高頻分量對應(yīng)的幀的焦距， 將與提取的小于參考值的高頻分量對應(yīng)的分割區(qū)域確定為噪聲并丟棄該分割區(qū)域的高頻分量。
9、 根據(jù)權(quán)利要求6所述的設(shè)備，其中，控制單元將這樣的分割區(qū)域識別 為噪聲該分割區(qū)域的高頻分量與最接近于該分割區(qū)域的相鄰分割區(qū)域的高 頻分量之差大于闊值；控制單元用相鄰分割區(qū)域的高頻分量覆蓋被確定為噪 聲的分割區(qū)域的高頻分量。
10、 根據(jù)權(quán)利要求6所述的設(shè)備，其中，比較單元計算具有最大數(shù)量的 高頻分量的分割區(qū)域的焦距與靜止圖像的相應(yīng)分割區(qū)域的焦距之差。
11、 根據(jù)權(quán)利要求IO所述的設(shè)備，其中，控制單元對靜止圖像的這樣的 部分應(yīng)用背景模糊在所述部分中，靜止圖像的分割區(qū)域的焦距不同于具有 最大數(shù)量的高頻分量的分割區(qū)域的焦距。
12、 一種使圖像背景模糊以便獲得具有模糊背景拍攝效果的圖像的方法， 該方法包括以下步驟Ca)捕捉同一對象的運動圖像和靜止圖像；和(b)將形成運動圖像的至少一幀的焦距與靜止圖像的焦距進行比較，并根 據(jù)運動圖像和靜止圖像焦距之差來對靜止圖像應(yīng)用背景模糊。
13、根據(jù)權(quán)利要求12所述的方法，其中，步驟(a)包括 (a-1)當(dāng)對快門釋放按鈕進行第 一次操作時捕捉運動圖像；和 (a-2)當(dāng)在第 一次操作之后對快門釋放按鈕進行第二次操作時捕捉靜止圖
14、 根據(jù)權(quán)利要求12所述的方法，其中，步驟(b)包括 (b-1 )從運動圖像的所述至少 一 幀檢測焦距；(b-2)將所述至少一幀的焦距與靜止圖像的焦距進行比較，其中在捕捉靜 止圖像時記錄靜止圖像的焦距；和(b-3)控制靜止圖像的至少一個部分的背景模糊，在所述至少一個部分中， 靜止圖像的焦距不同于所述至少一幀的焦距。
15、 根據(jù)權(quán)利要求14所述的方法，其中，步驟(b-l)包括(b-11 )將自動調(diào)焦電機的焦距信息與所述至少 一幀中的每一幀匹配，并將 所述焦距信息記錄在所述至少一幀中的每一幀中；(b-12)將所述至少一幀中的每一幀分割為預(yù)定區(qū)域；(b-13)從所述至少 一巾貞的相同分割區(qū)域提取高頻分量；和(b-14)檢測具有最大數(shù)量的高頻分量的分割區(qū)域及檢測到的分割區(qū)域的焦距。
16、 根據(jù)權(quán)利要求15所述的方法，其中，步驟(b-13)包括通過對所述至少 一幀的相同分割區(qū)域的亮度數(shù)據(jù)進行微分來提取高頻分量。
17、 根據(jù)權(quán)利要求14所述的方法，其中，步驟(b-2)包括計算具有最大數(shù)量的高頻分量的分割區(qū)域的焦距與靜止圖像的相應(yīng)分割區(qū)域的焦距之差。
18、 根據(jù)權(quán)利要求14所述的方法，其中，步驟(b-3)包括對靜止圖像的這樣的分割區(qū)域應(yīng)用背景模糊其中，靜止圖像的所述分割區(qū)域的焦距不同于具有最大數(shù)量的高頻分量的分割區(qū)域的焦距。
全文摘要
提供一種在數(shù)字圖像處理裝置中使圖像背景模糊的設(shè)備和方法，其中，針對同一對象獲得運動圖像及根據(jù)AF馬達的運動距離與該運動圖像匹配的焦距信息，并且基于運動圖像和靜止圖像的焦距，不同地對靜止圖像應(yīng)用背景模糊。該設(shè)備包括數(shù)字信號處理單元，該數(shù)字信號處理單元捕捉同一對象的運動圖像和靜止圖像，比較形成運動圖像的至少一幀的焦距與靜止圖像的焦距，并根據(jù)焦距之差來對靜止圖像應(yīng)用背景模糊。
文檔編號H04N5/262GK101465972SQ20081018461
公開日2009年6月24日 申請日期2008年12月8日 優(yōu)先權(quán)日2007年12月21日
發(fā)明者金榮杰 申請人:三星Techwin株式會社