專利名稱：在數(shù)字圖像處理裝置中對圖像背景進行模糊的設備和方法
技術領域：
本發(fā)明涉及一種數(shù)字圖像處理裝置及其方法，更為具體地，涉及一種在 數(shù)字圖像處理裝置中對圖像的背景進行模糊的設備及其方法，其中在接收一 次快門輸入信號時通過打開的和關閉的閃光燈來拍攝圖像的數(shù)字圖像處理裝 置中對圖像的背景進行模糊，通過將快門輸入之前的圖像與閃光燈激活期間 的圖像相比較來對圖像的背景進行模糊，然后將閃光燈關閉時的圖像的對象 與模糊的背景相結(jié)合。
背景技術：
諸如數(shù)碼相機、拍照手機和智能電話等當前流行的數(shù)字圖像處理裝置包 括多種數(shù)字裝置并處理數(shù)字化數(shù)據(jù)，因此提供區(qū)別于模擬照相設備的功能。
例如，與現(xiàn)有的膠片相比較，購買大量的存儲器以存儲很多圖像，并且 電荷耦合器件(CCD)替代了膠片從而實現(xiàn)了高清晰度圖像，因此，允許與 個人計算機(PC)共享的圖像數(shù)據(jù)并使圖像處理容易進行。
另外，與模擬照相設備相比，數(shù)字圖像處理裝置提供了更多功能，諸如 快門速度和光圈系數(shù)的自動控制、自動聚焦、圖像增強和自動光亮控制等。
但是，模擬照相設備使用自然光學材料并且是手動操作，因此當需要高 靈敏度時，模擬照相設備會比數(shù)字圖像處理裝置更合適。
因此，最近推行的數(shù)字圖像處理裝置具有數(shù)字裝置的優(yōu)點，并且增加了 現(xiàn)有模擬圖像處理裝置的功能。即，模擬裝置的優(yōu)點被增加到了這些最近推
行的數(shù)字裝置，因此，提供超出數(shù)字裝置的局限性的多種專業(yè)化功能。
另外，由于數(shù)字圖像處理裝置的廣泛的可用性，所以攝像的普及度逐漸 增加，從而擁有專業(yè)攝影技術的人數(shù)也增加。但是，這種數(shù)字圖像處理裝置無法滿足專業(yè)用戶的需求。 例如，當拍攝人時，通常使用涉及淺的景深的使用模糊效果(離焦效果)。 但是，當使用現(xiàn)有的數(shù)字圖像處理裝置時，由于鏡頭和CCD的大小的限制幾 乎無法注意到這種效果。
通常，模糊的效果根據(jù)模糊圏(當對象的一個點通過鏡頭形成圖像時， 該圖像由具有^皮視為點的大小和預定直徑的點的圓來形成。對于大直徑的所 述圓，圖像被人眼視為"離焦"。在此，具有直徑的圓點被表示為模糊圏)的 大小而改變，并且^f莫糊圈的大小與深度(焦深和景深)密切關聯(lián)。
因此，深度根據(jù)諸如CCD的大小、光圈系數(shù)、鏡頭的焦距、對象與相機 之間的距離和對象與背景之間的距離等因素而改變。
在確定深度的上述因素中，除對象與數(shù)字圖像處理裝置之間的距離以外 圖像傳感器、光圈系數(shù)和鏡頭的焦距根據(jù)數(shù)字圖像處理裝置的物理規(guī)格而顯 著地改變。根據(jù)小型化數(shù)字圖像處理裝置的特性，由于小圖像傳感器和小孔 徑透鏡，只可以形成深的景深，因此不滿足期望小的景深的用戶的需求，其 中，通過小的景深只有主對象清楚而背景模糊。
另外，當在數(shù)字圖像處理裝置中采用大尺寸的傳感器和鏡頭時，影響用 于制造相對大圖像傳感器的半導體工藝的產(chǎn)量并需要用于大光圈鏡頭的特殊 設計，因此增加了制造成本。另外，數(shù)字圖像處理裝置的大小增加，而且這 種數(shù)字圖像處理裝置的小型化受到限制。

發(fā)明內(nèi)容
本發(fā)明的多個實施例提供一種在數(shù)字圖像處理裝置中對圖像的背景進行 模糊的設備及其方法，其中，在接收一次快門輸入信號時使用打開的和關閉 的閃光燈拍攝圖像，通過將快門輸入之前的圖像與閃光燈發(fā)光時的圖像相比 較來對圖像的背景進行模糊，然后將閃光燈關閉時的圖像的對象與模糊的背 景相結(jié)合。
根據(jù)本發(fā)明的一方面，提供了 一種用于在數(shù)字圖像處理裝置中對圖像的 背景進行模糊的設備，所述設備包括數(shù)字信號處理器，用于對由在接收快 門輸入信號之前產(chǎn)生的第 一圖像與在接收快門輸入信號之后使用打開的閃光 燈產(chǎn)生的第二圖像之間的亮度差產(chǎn)生的圖像進行模糊，并將在接收快門輸入 信號之后閃光燈關閉時產(chǎn)生的第三圖像結(jié)合到模糊的圖像?？稍谕ㄟ^快門釋放按鈕接收第 一輸入信號之后并在通過快門釋放按鈕接 收第二輸入信號之前的瞬間產(chǎn)生第 一 圖像。
可在通過快門釋放按鈕接收一次第二輸入信號時， 一起產(chǎn)生使用打開的 閃光燈拍攝的第二圖像和使用關閉的閃光燈拍攝的第三圖像。
數(shù)字信號處理器可包括比較單元，用于比較第一圖像的亮度信息與第
二圖像的亮度信息以根據(jù)第 一 圖像與第二圖像之間的亮度信息差產(chǎn)生第四圖 像，和用于比較第三圖像的亮度信息與第四圖像的亮度信息以根據(jù)第三圖像
與第四圖像之間的亮度信息差產(chǎn)生第五圖像；反轉(zhuǎn)單元，用于反轉(zhuǎn)第五圖像 的亮度信息；模糊單元，用于使用低通濾波器對反轉(zhuǎn)的第五圖像進行模糊； 和結(jié)合單元，用于將第三圖像的對象結(jié)合到模糊的第五圖像。
數(shù)字信號處理器還可包括緩沖器，用于在其中以先入先出的形式存儲 第一圖像至第五圖像。
數(shù)字信號處理器還可包括閃光燈控制器，用于當通過快門釋放按鈕接 收第二輸入信號時為了拍攝第二和第三圖像，控制閃光燈的打開和關閉狀態(tài)。
反轉(zhuǎn)單元可從第五圖像分離對象區(qū)域與背景區(qū)域。
模糊單元可對從第五圖像分離的對象區(qū)域進行掩模。
根據(jù)本發(fā)明的另 一方面，提供了 一種用于在數(shù)字圖像處理裝置中對圖像 的背景進行模糊的設備，所述設備包括緩沖器，在其中存儲第一、第二和 第三圖像，在通過快門釋放按鈕接收第一輸入信號之后并且在通過快門釋放 按鈕接收第二輸入信號之前產(chǎn)生第一圖像，當通過快門釋放按鈕接收一次第 二輸入信號時使用開啟的閃光燈拍攝第二圖像信號，使用關閉的閃光燈拍攝 第三圖像；比較單元，比較第一圖像的亮度信息與第二圖像的亮度信息以根 據(jù)第一圖像與第二圖像之間的亮度信息差產(chǎn)生第四圖像，比較第三圖像的亮 度信息與第四圖像的亮度信息以根據(jù)第三圖像與第四圖像之間的亮度信息差 產(chǎn)生第五圖像；反轉(zhuǎn)單元，反轉(zhuǎn)第五圖像的亮度信息；模糊單元，使用低通 濾波器對反轉(zhuǎn)的第五圖像進行模糊；和結(jié)合單元，將第三圖像的對象結(jié)合到 模糊的第五圖像。
除第 一 圖像至第三圖像之外，緩沖器以先入先出的形式還可存儲第四圖 像和第五圖像。
所述設備還可包括閃光燈控制器，當通過快門釋放按鈕接收第二輸入 信號時為了拍攝第二圖像和第三圖像，控制閃光燈的打開和關閉。
7根據(jù)本發(fā)明的另 一方面，提供了 一種在數(shù)字圖像處理裝置中對圖像的背
景進行模糊的方法，所述方法包括(a)產(chǎn)生在接收快門輸入信號之前產(chǎn)生 的第 一 圖像、當接收一次快門輸入信號時使用打開的閃光燈拍攝的第二圖像 和使用關閉的閃光燈拍攝的第三圖像；(b)對由第一圖像與第二圖像之間的 亮度差產(chǎn)生的圖像進行模糊；和(c)將第三圖像的對象結(jié)合到模糊的圖像。
可在通過快門釋放按鈕接收第 一輸入信號之后并且通過快門釋放按鈕接 收第二輸入信號之前的瞬間產(chǎn)生第 一 圖像，可在通過快門釋放按鈕接收第二 輸入信號之后分別使用打開的和關閉的閃光燈來產(chǎn)生第二圖像和第三圖像。
操作(b)可包括(b-l)比較第一圖像的亮度信息與第二圖像的亮度信 息以根據(jù)第一圖像與第二圖像之間的亮度信息差產(chǎn)生第四圖像；(b-2)比較 第三圖像的亮度信息與第四圖像的亮度信息以根據(jù)第三圖像與第四圖像之間 的亮度信息差產(chǎn)生第五圖像；(b-3)反轉(zhuǎn)第五圖像的亮度信息；和(b-4)使 用低通濾波器，對亮度信息被反轉(zhuǎn)的第五圖像進行模糊。
所述方法還可包括在操作(b-3 )之后從第五圖像分離對象區(qū)域和背景區(qū)域。
操作(b-4)還可包括對從亮度信息被反轉(zhuǎn)的第五圖像分離的對象區(qū)域進 行掩模，并將低通濾波器應用到分離的背景區(qū)域。
根據(jù)本發(fā)明的另 一方面，提供了 一種在數(shù)字圖像處理裝置中對圖像的背 景進行模糊的方法，所述方法包括(a)在數(shù)字圖像處理裝置中產(chǎn)生第一圖 像、第二圖像和第三圖像，在通過快門釋放按鈕接收第一輸入信號之后并在 通過快門釋放按鈕接收第二輸入信號之前產(chǎn)生第一圖像，當通過快門釋放按 鈕接收一次第二輸入信號時使用打開的閃光燈拍攝第二圖像，使用關閉的閃 光燈拍攝第三圖像；(b)比較第一圖像的亮度信息與第二圖像的亮度信息以 根據(jù)第一圖像與第二圖像之間的亮度信息差產(chǎn)生第四圖像；(c)比較第三圖 像的亮度信息與第四圖像的亮度信息以根據(jù)第三圖像與第四圖像之間的亮度 信息差產(chǎn)生第五圖像，并反轉(zhuǎn)第五圖像的亮度信息；(d)從亮度信息被反轉(zhuǎn) 的第五圖像分離對象區(qū)域和背景區(qū)域，并通過對背景區(qū)域進行低通濾波來對 分離的背景區(qū)域進行模糊；和(e)將第三圖像的對象結(jié)合到模糊的第五圖像。


通過下面結(jié)合附圖對示例性實施例進行的詳細描述，本發(fā)明的上述和其它特點和優(yōu)點將會變得更清楚，其中
圖1是示出數(shù)字圖像處理裝置的外部的前部和上部的透視圖2是示出圖1的數(shù)字圖像處理裝置的外后部的后視圖3是根據(jù)本發(fā)明的實施例的在數(shù)字圖像處理裝置中對圖像的背景進行
模糊的設備的框圖4示出在圖3的用于對圖像的背景進行模糊的設備中當通過快門釋放
按鈕接收第 一輸入信號和第二輸入信號時在緩沖器中存儲的圖像幀；
圖5A至圖5G示出在圖3的用于對圖像的背景進行模糊的設備中使用存
儲在緩沖器中的圖^f象幀對背景進行模糊(圖5A: (t-l)幀；圖5B: (t)幀；
圖5C: (t+l)幀；圖5D: Fl幀={ (t幀)-(t-l幀)};圖5E: F2幀二((t+1
幀)-(Fl幀)}被反轉(zhuǎn)；圖5F: F3幀(模糊被應用到背景)；圖5G: F3幀 (比圖5F更多的模糊被應用到背景))；
圖6是示出根據(jù)本發(fā)明的實施例的在數(shù)字圖像處理裝置中對圖像的背景
進行模糊的方法的流程圖。
具體實施例方式
下面通過參照附圖對本發(fā)明進行更全面的描述，本發(fā)明的示例性實施例
表示和描述在附圖中。
圖1是示出數(shù)字圖像處理裝置的外部的前部和上部的透視圖。 按快門釋放按鈕11電荷耦合裝置(CCD)或膠片曝光預定時間，并且快
門釋放按鈕11與光圈(未示出)相連接以適當?shù)仄毓鈱ο?，從而在CCD上
記錄圖像。
快門釋放按鈕11基于拍攝者的輸入產(chǎn)生第一圖像拍攝信號和第二圖像 拍攝信號。當按快門釋放按鈕11以進入第一輸入狀態(tài)("半按，，狀態(tài))時， 數(shù)字圖像處理裝置試圖聚焦在將形成圖像的對象上并調(diào)整光量。在此，當數(shù) 字圖像處理裝置聚焦在對象上時，在顯示單元23中開啟綠燈。當在快門釋放 按鈕11的第一輸入狀態(tài)下聚焦對象，并且調(diào)節(jié)光量時，按快門釋放按鈕11 以進入第二輸入狀態(tài)(全部按下狀態(tài))以產(chǎn)生全快門信號，從而拍攝圖像。 第 一輸入信號與第 一輸入狀態(tài)相應，第二輸入信號與第二輸入狀態(tài)相應。
電源按鈕13在被按下時允許向數(shù)字圖像處理裝置供電，以便使數(shù)字圖像 處理裝置運行。閃光燈15通過瞬間地閃光來照亮暗的地方。閃光燈模式包括自動閃光、 填充閃光、閃光燈關閉、減少紅眼和慢同步。
輔助燈17向?qū)ο筇峁┕猓瑥亩斨車饬坎蛔銜r和在夜間拍攝時，數(shù)字 圖像處理裝置可自動、快速和精確地聚焦對象。
鏡頭單元19接收來自外部光源的光并處理圖像。
圖2是示出圖1的數(shù)字圖像處理裝置的外后部的后視圖，并包括廣角變 焦(wide angle-zoom) 4安4丑21w、遠ii變焦(telephoto-zoom) 4姿4丑21t、顯示 單元23和包括觸摸傳感器或接觸點開關的輸入按鈕Bl至B14 (以下稱為按 鈕B1-B14)。
才艮據(jù)具體用于改變選捧的曝光區(qū)域的大小的這些按鈕的輸入，廣角變焦 按鈕21w和遠攝變焦按鈕21t分別使視角變寬和變窄。當激活廣角變焦按鈕 21w時，增加選擇的曝光區(qū)域的大小，并且當激活遠攝變焦按鈕21t時，增 加選<#的曝光區(qū)域的大小。
按鈕B1-B14沿著顯示單元23的垂直側(cè)和水平側(cè)排列。沿著顯示單元23 的垂直側(cè)和水平側(cè)排列的按4丑B1-B14包括觸4莫傳感器(未示出)和/或接觸 點開關(未示出)。
即，按鈕B1-B14可包括觸摸傳感器，并且當觸摸水平線上的按鈕B1-B7 或垂直線上的按鈕B8-B14時用于向上/向下/向左/向右移動，從而從主菜單項 中選擇選取的值(例如，顏色或亮度)或激活包括在主菜單圖標中的下級菜 單圖標。
另外，如果按鈕B1-B14包括接觸點開關，則可直接選擇主菜單圖標和 下級菜單圖標以激活相應的功能。觸摸傳感器只要求相對較輕微的觸摸，但 是接觸點開關的輸入要求相對強的觸摸。
圖3是根據(jù)本發(fā)明的實施例的用于在數(shù)字圖像處理裝置中對圖像的背景 進行模糊的設備的框圖。所述設備包括顯示單元23、用戶輸入單元31、成像 單元33、圖像處理單元35、存儲單元37和數(shù)字信號處理單元39。
用戶輸入單元31包括快門釋放按鈕11 、電源按鈕13、廣角變焦按鈕21w、 遠才聶變焦4要4丑21t和按鈕Bl-B14。
成像單元33包括未示出在附圖中的快門、鏡頭單元、光圈、CCD和模 擬數(shù)字轉(zhuǎn)換器(ADC)?？扉T與光圈一起調(diào)整曝光的光量。鏡頭單元通過接收 來自外部光源的光來處理圖像。在此，根據(jù)光圈的開啟和關閉的程度，光圈
10調(diào)整入射到CCD的光量。由數(shù)字信號處理單元39控制光圈的開啟和關閉的程度。
CCD積累通過鏡頭單元輸入的光并根據(jù)積累的光量按照垂直同步信號 輸出在鏡頭單元中成像的圖像。數(shù)字圖像處理裝置通過將來自對象的光轉(zhuǎn)換 為電信號的CCD獲得圖像。為了通過使用CCD來獲得彩色圖像，需要濾色 器，通常采用被稱為濾色器陣列(CFA)的濾光器。CFA具有使用于一個像 素的一種顏色的光通過的規(guī)則排列的結(jié)構。根據(jù)排列，可采用多種形式的 CFA。 ADC將從CCD輸出的模擬圖像信號轉(zhuǎn)換為數(shù)字信號。
圖像處理單元35處理信號以顯示經(jīng)數(shù)字化轉(zhuǎn)換的原始數(shù)據(jù)。圖像處理單 元35去除由于在對溫度變化敏感的CDD和CFA中產(chǎn)生的暗電流而出現(xiàn)的黑 電平(black level )。圖像處理單元35根據(jù)人類視覺的非線性執(zhí)行用于對信息 進行編碼的伽馬校正。
圖像處理單元35執(zhí)行將Bayer圖形插值到RGB行的CFA插值，由經(jīng)伽 馬校正的預定數(shù)據(jù)的RGRG行和GBGB行實現(xiàn)該Bayer圖形。圖像處理單元 35將插值的RGB信號轉(zhuǎn)換為YUV信號，執(zhí)行邊緣補償和顏色校正，并去除 信號的噪聲，其中邊緣補償使用高頻濾波器對Y信號進行濾波從而使圖像清 晰，顏色校正使用標準顏色坐標系校正U和V信號的顏色值。圖像處理單元 35壓縮并處理去除了噪聲的Y、 U和V信號，從而產(chǎn)生JPEG文件。產(chǎn)生的
元39的控制下操作圖像處理單元35。
數(shù)字信號處理單元39對由快門激活之前產(chǎn)生的第一圖像與快門激活之 后閃光燈15處于打開狀態(tài)下產(chǎn)生的第二圖像之間的亮度差產(chǎn)生的圖像進行 模糊，并將快門激活之后閃光燈15被關閉時產(chǎn)生的第三圖像結(jié)合到模糊的圖像。
為了執(zhí)行上述動作，數(shù)字信號處理單元39包括緩沖器39-1、閃光燈控 制器39-2、比較單元39-3、反轉(zhuǎn)單元39-4、模糊單元39-5、結(jié)合單元39-6 和控制器39-7。
緩沖器39-l按先入先出形式，即，首先存儲的數(shù)據(jù)首先輸出的形式在其 中暫時地存儲當通過快門釋放按鈕11接收到第一輸入信號和第二輸入信號 時的圖像幀以及背景被模糊的各個圖像幀。
圖4示出在圖3的用于對圖像的背景進行模糊的設備中當通過快門釋放按鈕11接收第一輸入信號和第二輸入信號時在緩沖器39-1中存儲的圖像幀。
當通過快門釋放按鈕11接收到第一輸入信號時，緩沖器39-1在控制器39-7 的控制下順序地存儲圖像幀。在此，存儲在緩沖器39-l中的圖像幀是在其上 執(zhí)行自動曝光(AE)、自動白平衡(AWB)和自動聚焦(AF)的圖像幀。假 設恰好在通過快門釋放按鈕ll接收第二輸入信號之前的圖像幀為(t-l)幀。
圖5A至圖5G示出圖3的在用于對圖像的背景進行模糊的設備中利用存 儲在緩沖器39-l中的圖像幀對背景進行模糊。
在圖5A，示出在通過快門釋放按鈕11接收到第一輸入信號之后并在通 過快門釋放按鈕ll接收第二輸入信號之前的瞬間產(chǎn)生的(t-l)幀圖像。
然后，當通過快門釋放按鈕11接收到第二輸入信號時，在緩沖器39-1 中存儲(t)幀和(t+l)幀，其中，(t)幀是在快門激活期間閃光燈15打開 時拍攝的圖像幀，(t+l)幀是在閃光燈15關閉時拍攝的圖像幀。
圖5B和圖5C示出當通過快門釋力支4妄4丑11 "t妄收一次第二輸入信號時拍 攝的(t)幀圖像和(t+l)幀圖像。
圖5B示出當通過快門釋放按鈕11接收到第二輸入信號時閃光燈15處 于打開狀態(tài)時拍攝的(t)幀圖像，圖5C示出當通過快門釋放按鈕11接收到 第二輸入信號時閃光燈15處于關閉狀態(tài)時拍攝的(t+l)幀圖像。
在當前數(shù)字圖像處理裝置中，在圖5A中示出的(t-l)幀圖像(即，實 時取景圖像)的大小小于在圖5B和圖5C中示出的(t)幀圖像和(t+l)幀 圖像(即，捕獲的圖像)的大小。但是，根據(jù)數(shù)字圖像處理裝置的技術發(fā)展， 當實時取景圖^f象的大小與捕獲的圖像的大小相同時，在圖5C中示出的(t+l ) 幀圖像可被圖5A中示出的(t-l )幀圖像替代。
當通過快門釋放按鈕11接收到第二輸入信號時，閃光燈控制器39-2在 控制器39-7的控制下使閃光燈15發(fā)光以拍攝(t)幀圖像，并關閉閃光燈15 以拍攝(t+l)幀圖像。
比較單元39-3比較(t)幀圖像的亮度信息與(t-l)幀圖像的亮度信息， 并根據(jù)(t)幀圖像與(t-l )幀圖像之間的亮度信息差產(chǎn)生作為新圖像幀的Fl 幀圖像，從而將F1圖像存儲在緩沖器39-l中。在此，由于在F1幀圖像中可 能存在依賴顏色的反射差異，所以還可執(zhí)行增益放大。
圖5D示出作為由通過將(t)幀圖像與(t-l)幀圖像相比較而產(chǎn)生的亮 度信息差所產(chǎn)生的圖像的Fl幀圖像。l )幀圖像的亮度信息與Fl幀圖像的亮度 信息并根據(jù)(t+l)幀圖像與Fl幀圖像之間的亮度信息差產(chǎn)生作為新圖像幀 的F2幀圖像，從而將F2幀圖像存儲在緩沖器39-1中。
然后，反轉(zhuǎn)單元39-4反轉(zhuǎn)F2幀圖像的亮度信息，并分離對象區(qū)域和背 景區(qū)域。
圖5E示出F2幀圖像上的亮度信息被反轉(zhuǎn)并且對象區(qū)域E-1和背景區(qū)域 E-2被分離的F2幀圖像。亮度信息被反轉(zhuǎn)，從而背景區(qū)域E-2的亮度信息比 對象區(qū)域E-1的亮度信息亮。
模糊單元39-5使用低通濾波器(未示出)對亮度信息被反轉(zhuǎn)的F2幀圖 像進行模糊。當反轉(zhuǎn)的F2幀圖像通過低通濾波器時，高頻帶中的數(shù)據(jù)，即， 邊緣數(shù)據(jù)，無法通過低通濾波器，只有低頻帶中的數(shù)據(jù)通過低通濾波器，從 而對幀圖像進行模糊。模糊單元39-5可將不同權重應用到低通濾波器從而控 制模糊的量。
另外，模糊單元39-5對亮度信息被反轉(zhuǎn)的F2幀圖像的對象區(qū)域E-l進 行掩模(mask)，對除掩^t的部分以外的部分(即，背景區(qū)域E-2)施加權重， 應用低通濾波器，使分離對象和背景的效果最大化。
結(jié)合單元39-6將(t+l )幀圖像的對象結(jié)合到被模糊的F2幀圖像的對象 區(qū)域e-l,從而產(chǎn)生最終F3幀圖像。
圖5F和圖5G示出最終F3幀圖像，其中，(t+l)幀圖像的對象被結(jié)合 到模糊的F2幀圖像的對象區(qū)域e-l。
在此，比圖5F更多的模糊被應用到圖5G。才艮據(jù)低通濾波器的權重的應 用，更多或更少的^t糊的應用可改變。
在本發(fā)明的實施例中，在實時取景狀態(tài)時激活閃光燈15,從而獲得關于 對象和背景的信息并應用模糊。但是，在另一實施例中，按人類能夠識別的 波長不能識別圖像的自動發(fā)光裝置(例如，紅外裝置)或識別在CCD上成像 的圖像的分離的發(fā)光裝置可替代閃光燈15。
以下，參考圖6更詳細地描述在數(shù)字圖像處理裝置中對圖像的背景進行 模糊的方法?？稍趫D3示出的數(shù)字信號處理單元39中執(zhí)行在數(shù)字圖像處理裝 置中對圖像的背景進行模糊的方法，
在操作601,當數(shù)字圖像處理裝置被開啟時在拍攝模式下，數(shù)字信號處 理單元39在顯示單元23上顯示實時取景圖像。在操作603，當實時取景圖像被顯示的同時，數(shù)字信號處理單元39通過 快門釋放按4丑11從用戶接收第一輸入信號。然后，在操作605，數(shù)字信號處 理單元39對實時取景圖像執(zhí)行AE、 AWB和AF。
在操作607,數(shù)字信號處理單元39將執(zhí)行AF之后的圖像存儲在包括在 其中的緩沖器39-l中。
緩沖器39-1具有先入先出形式，即，首先存儲的數(shù)據(jù)被首先輸出的形式。 圖4示出當通過快門釋放按鈕11接收到第一輸入信號時順序地存儲在緩沖器 39-1中的圖像幀。假設在通過快門釋放按鈕11接收第二輸入信號之前的圖像 幀為(t-l)幀。在圖5A中，通過快門釋放按鈕ll接收第一輸入信號，示出 了恰好在通過快門釋放按鈕ll接收第二輸入信號之前的(t-l)幀圖像。
然后，當在操作609,數(shù)字信號處理單元39通過快門釋放按鈕11從用 戶接收第二輸入信號時，在操作611, (t)幀圖像被存儲在緩沖器39-1中作 為當閃光燈1打開時拍攝的圖像幀，在操作613， (t+l)幀被存儲在緩沖器 39-1中，作為當閃光燈15關閉時拍攝的圖像幀。
在本發(fā)明中，當通過快門釋放按鈕ll接收一次第二輸入信號時， 一起拍 攝當閃光燈15打開時獲得的(t)幀圖像和當閃光燈15關閉時獲得的(t+l) 幀圖像。
圖5B和圖5C示出當通過快門釋放按鈕11接收一次第二輸入信號時拍 攝的(t)幀圖像和(t+l)幀圖像。圖5B示出當通過快門釋放按鈕11接收 第二輸入信號時在閃光燈15打開時拍攝的(t)幀圖像，圖5C示出當通過塊 門釋放按鈕11接收第二輸入信號時在閃光燈15關閉時拍攝的(t+l )幀圖像。
然后，在操作615,數(shù)字信號處理單元39比較(t)幀圖像的亮度信息與 (t-l)幀圖像的亮度信息，并根據(jù)(t)幀圖像與(t-l)幀圖像之間的亮度信 息差產(chǎn)生作為新圖像幀的Fl幀圖像，從而將F1幀圖像存儲到緩沖器39-1。
在此，由于在F1幀圖像中可能存在依賴顏色的反射差異，還可執(zhí)行增益 放大。圖5D示出作為由通過將(t)幀圖像與(t-l)幀圖像相比較而產(chǎn)生的 亮度信息差所產(chǎn)生的圖像的F1幀圖像。
然后，數(shù)字信號處理單元39比較(t+l)幀圖像的亮度信息與Fl幀圖像 的亮度信息，根據(jù)(t+l)幀圖像與Fl幀圖像之間的亮度信息差產(chǎn)生作為新 圖像幀的F2幀圖像。然后，在操作617，反轉(zhuǎn)F2幀圖像的亮度信息以將反 轉(zhuǎn)的亮度信息存儲在緩沖器39-1中。在此，數(shù)字信號處理單元39分離亮度信息被反轉(zhuǎn)的F2幀的對象區(qū)域e-l與背景區(qū)域e-2。
圖5E示出在F2幀圖像上的亮度信息被反轉(zhuǎn)的F2幀圖像和分離的對象 區(qū)域E-1和背景區(qū)域E-2。亮度信息被反轉(zhuǎn)，從而背景區(qū)域E-2的亮度信息比 對象區(qū)域E-1的亮度^(言息亮。
在操作619,數(shù)字信號處理單元39使用低通濾波器(未示出)來對亮度 信息被反轉(zhuǎn)的F2幀圖像進行模糊。
當反轉(zhuǎn)的F2幀圖像通過低通濾波器時，高頻帶的數(shù)據(jù)，即，邊緣數(shù)據(jù)， 無法通過低通濾波器，只有低頻帶的數(shù)據(jù)通過低通濾波器，從而對幀圖像進 行模糊。
模糊單元39-5可將不同權重應用到低通濾波器以控制模糊的量。另外， 模糊單元39-5對亮度信息被反轉(zhuǎn)的F2幀圖像的對象區(qū)域E-l進行掩模，對 除掩模的部分以外的部分(即，背景區(qū)域E-2)施加權重，應用低通濾波器， 分離是對象和背景的效果最大化。
在操作621,數(shù)字信號處理單元39將(t+l)幀圖像的對象結(jié)合到被模 糊的F2幀圖像的對象區(qū)域E-1，從而產(chǎn)生最終的F3幀圖像。
圖5F和圖5G示出(t+l)幀圖像的對象被結(jié)合到模糊的F2幀圖像的對 象區(qū)域E-1的最終F3幀圖像。
在此，比圖5F更多的模糊被應用到圖5G。根據(jù)低通濾波器的權重，可 改變應用更多或更少的^^莫糊。
根據(jù)本發(fā)明的多個實施例，通過在觀看實時取景圖像的同時通過開啟和 關閉閃光燈來獲得對象信息，基于對象信息應用對聚焦的對象的模糊，從而 提供光學模糊。
另夕卜，當可以在保持小型化的數(shù)字圖像處理裝置和相對低的成本的同時， 實現(xiàn)用戶期望的模糊。
出于促進對本發(fā)明的原理的理解的目的，已參考示出在附圖中的優(yōu)選實 施例，并使用特定的語言描述了這些實施例。但是，這些特定語言不是試圖 限制本發(fā)明的范圍，并且本發(fā)明應該被構解釋包括本領域的普通技術人員可 正常實施的所有實施例。
可按照功能塊部件和多個處理步驟來描述本發(fā)明?？捎膳渲脼閳?zhí)行特定 功能的任何數(shù)量的硬件和/或軟件部件來實現(xiàn)所述功能塊。例如，本發(fā)明可采 用可在一個或多個微處理器或其它控制裝置的控制下實現(xiàn)多個功能的各種集成電路部件，例如，存儲器元件、處理元件、邏輯元件、查找表等。類似地，
使用軟件程序或軟件元件實現(xiàn)本發(fā)明的元件時，可使用諸如C、 C++、 Java、 匯編程序等任何編程或腳本語言，使用以數(shù)據(jù)結(jié)構、對象、處理、例程或其 它程序元件的任何組合實施的各種算法，來實施發(fā)明。另外，本發(fā)明可采用 任何數(shù)量的用于電子配置、信號處理和/或控制、數(shù)據(jù)處理等的現(xiàn)有技術。詞 語機制被廣泛使用，并且不局限于機械或物理實施例，還可包括與處理器結(jié) 合的軟件例程等。
在此示出和描述的特定實施是本發(fā)明的示意性例子，不是試圖以任何方 式限制本發(fā)明的范圍。為了筒明4厄要，沒有詳細地描述現(xiàn)有電子、控制系統(tǒng)、 軟件開發(fā)和其它系統(tǒng)(和系統(tǒng)的單獨操作部件的部件)的其他功能方面。另 外，在提供的多個圖中示出的連接線或連接器試圖表示示例性功能關系和/或 多個元件之間的物理或邏輯連接。應該注意的是在實際裝置中會存在很多替 代的或附加的功能關系、物理連接或邏輯連接。此外，對發(fā)明的實踐，沒有 項目或部件是必需的，除非該元件被明確地描述為"必需的"。
描述本發(fā)明上下文中的單數(shù)術語使用被解釋為覆蓋單數(shù)和復數(shù)。另外， 在此敘述的值的范圍僅意圖用作個別地涉及落在所述范圍內(nèi)的每個單獨值的 簡略方法，除非在此另外指出，每個單獨的值包含在說明書中，就像該值在 這里被個別地敘述一樣。最后，可以以任何適當?shù)拇涡驁?zhí)行在此描述的所有 方法的步驟，除非在此另外指出或者通過上下文明顯矛盾。
在不脫離本發(fā)明的精神和范圍的情況下，各種變動和修改對本領域的技 術人員將是顯然的。
1權利要求
1、一種用于在數(shù)字圖像處理裝置中對圖像的背景進行模糊的設備，所述設備包括數(shù)字信號處理器，用于對由在接收快門輸入信號之前產(chǎn)生的第一圖像與在接收快門輸入信號之后使用打開的閃光燈產(chǎn)生的第二圖像之間的亮度差產(chǎn)生的圖像進行模糊，將在接收快門輸入信號之后當閃光燈關閉時產(chǎn)生的第三圖像結(jié)合到模糊的圖像。
2、 如權利要求l所述的設備，其中，在通過快門釋放按鈕接收第一輸入 信號之后并且在通過快門釋放按鈕接收第二輸入信號之前的瞬間產(chǎn)生第 一 圖 像。
3、 如權利要求2所述的設備，其中，當通過快門釋放按鈕接收一次第二 輸入信號時， 一起產(chǎn)生使用打開的閃光燈拍攝的第二圖像和使用關閉的閃光 燈拍攝的第三圖像。
4、 如權利要求3所述的設備，其中，數(shù)字信號處理器包括 比較單元，用于比較第 一 圖像的亮度信息與第二圖像的亮度信息以根據(jù)第一圖像與第二圖像之間的亮度信息差產(chǎn)生第四圖像，并比較第三圖像的亮 度信息與第四圖像的亮度信息以根據(jù)第三圖像與第四圖像之間的亮度信息差 產(chǎn)生第五圖像；反轉(zhuǎn)單元，用于反轉(zhuǎn)第五圖像的亮度信息；模糊單元，用于使用低通濾波器對反轉(zhuǎn)的第五圖像進行模糊；和結(jié)合單元，用于將第三圖像中的對象結(jié)合到模糊的第五圖像。
5、 如權利要求3所述的設備，其中，數(shù)字信號處理器還包括緩沖器， 用于在其中以先入先出的形式存儲第一圖像至第五圖像。
6、 如權利要求3所述的設備，其中，數(shù)字信號處理器還包括閃光燈控 制器，用于當通過快門釋放按鈕接收到第二輸入信號時為了拍攝第二和第三 圖像，控制閃光燈的打開和關閉狀態(tài)。
7、 如權利要求4所述的設備，其中，反轉(zhuǎn)單元從第五圖像中分離對象區(qū) 域和背景區(qū)域。
8、 如權利要求7所述的設備，其中，模糊單元對從第五圖像中分離的對 象區(qū)域進行掩模。
9、 一種用于在數(shù)字圖像處理裝置中對圖像的背景進行模糊的設備，所述設備包括緩沖器，用于在其中存儲第一、第二和第三圖像，在通過快門釋放按鈕 接收第 一輸入信號之后并且在通過快門釋放按鈕接收第二輸入信號之前產(chǎn)生 第 一 圖像，當通過快門釋放按鈕接收一次第二輸入信號時使用打開的閃光燈來拍攝第二圖像，使用關閉的閃光燈拍攝第三圖像；比較單元，用于比較第 一 圖像的亮度信息與第二圖像的亮度信息以根據(jù) 第一圖像與第二圖像之間的亮度信息差產(chǎn)生第四圖像，比較第三圖像的亮度 信息與第四圖像的亮度信息以根據(jù)第三圖像與第四圖像之間的亮度信息差產(chǎn) 生第五圖像；反轉(zhuǎn)單元，用于反轉(zhuǎn)第五圖像的亮度信息；模糊單元，用于使用低通濾波器對反轉(zhuǎn)的第五圖像進行模糊；和 結(jié)合單元，用于將第三圖像中的對象結(jié)合到模糊的第五圖像。
10、 如權利要求9所述的設備，其中，除第一圖像至第三圖像之外，緩 沖器以先入先出的形式還存儲第四圖像和第五圖像。
11、 如權利要求7所述的設備，還包括閃光燈控制器，用于當?shù)诙?輸入快門釋放按鈕時為了拍攝第二和第三圖像，控制閃光燈的打開和關閉。
12、 一種在數(shù)字圖像處理裝置中對圖像的背景進行模糊的方法，所述方 法包4舌(a) 產(chǎn)生在接收快門輸入信號之前產(chǎn)生的第 一圖像、當接收一次快門輸 入信號時使用打開的閃光燈拍攝的第二圖像和使用關閉的閃光燈拍攝的第三 圖像；(b) 對由第一圖像與第二圖像之間的亮度差產(chǎn)生的圖像進行模糊；和(c) 將第三圖像的對象結(jié)合到模糊的圖像。
13、 如權利要求12所述的方法，其中，在通過快門釋放按鈕接收第一輸 入信號之后并在通過快門釋放按鈕接收第二輸入信號之前的瞬間產(chǎn)生第 一 圖 像，當通過快門釋放按鈕接收第二輸入信號之后分別使用打開的和關閉的閃 光燈產(chǎn)生第二和第三圖像。
14、 如權利要求12所述的方法，其中，步驟(b)包括(b-1 )比較第 一 圖像的亮度信息與第二圖像的亮度信息以根據(jù)第 一 圖像 與第二圖像之間的亮度信息差產(chǎn)生第四圖像；(b-2 )比較第三圖像的亮度信息與第四圖像的亮度信息以根據(jù)第三圖像與第四圖像之間的亮度信息差產(chǎn)生第五圖像； (b-3)反轉(zhuǎn)第五圖像的亮度信息；和(b-4)使用低通濾波器，對亮度信息被反轉(zhuǎn)的第五圖像進行模糊。
15、 如權利要求14所述的方法，還包括在步驟(b-3)之后從第五圖 像分離對象區(qū)域和背景區(qū)域。
16、 如權利要求15所述的方法，其中，步驟(b-4)包括對從亮度信 息被反轉(zhuǎn)的第五圖像中分離的對象區(qū)域進行掩模，并將低通濾波器應用到分 離的背景區(qū)域。
17、 一種在數(shù)字圖像處理裝置中對圖像的背景進行模糊的方法，所述方 法包括(a)在數(shù)字圖像處理裝置中產(chǎn)生第一圖像、第二圖像和第三圖像，在通 過快門釋放按鈕接收第 一輸入信號之后并在通過快門釋放按鈕接收第二輸入 信號之前產(chǎn)生第一圖像，當通過快門釋放按鈕接收一次第二輸入信號時使用 開啟閃光燈來拍攝第二圖像，使用關閉的閃光燈拍攝第三圖像；(b )比較第 一 圖像的亮度信息與第二圖像的亮度信息以根據(jù)第 一 圖像與 第二圖像之間的亮度信息差產(chǎn)生第四圖像；(c )比較第三圖像的亮度信息與第四圖像的亮度信息以根據(jù)第三圖像與 第四圖像之間的亮度信息差產(chǎn)生第五圖像，并反轉(zhuǎn)第五圖像的亮度信息；(d)從亮度信息被反轉(zhuǎn)的第五圖像分離對象區(qū)域和背景區(qū)域，并通過對 背景區(qū)域進行低通濾波來對分離的背景區(qū)域進行模糊；和(e )將第三圖像中的對象結(jié)合到模糊的第五圖像。
全文摘要
一種數(shù)字圖像處理器和方法，特別地，提供了一種用于在數(shù)字圖像處理裝置中對圖像的背景進行模糊的設備和方法，其中，當接收一次快門輸入信號時使用打開和關閉的閃光燈來拍攝圖像，通過將接收快門輸入信號之前的圖像與激活閃光燈期間的圖像相比較來對圖像的背景進行模糊，然后將閃光燈關閉時的圖像的背景與模糊的背景相結(jié)合。處理器對由接收快門輸入信號之前產(chǎn)生的第一圖像與在接收快門輸入信號之后使用打開的閃光燈產(chǎn)生的第二圖像之間的亮度差產(chǎn)生的圖像進行模糊，并將通過在快門輸入信號之后關閉閃光燈產(chǎn)生的第三圖像結(jié)合到模糊的圖像。
文檔編號H04N5/235GK101610363SQ20091020351
公開日2009年12月23日 申請日期2009年5月19日 優(yōu)先權日2008年5月19日
發(fā)明者金榮杰 申請人:三星數(shù)碼影像株式會社