專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及圖像處理方法。
背景技術(shù)：
在現(xiàn)有技術(shù)中，在從同時存在背景和被攝體的圖像中提取包含被攝體的區(qū)域的過程中，例如利用了圖割算法(graph cut algorithm)等求出使能量函數(shù)最小化的參數(shù)的方法(美國專利第6973212號)。
但是，在上述專利文獻中，雖然可基于構(gòu)成被攝體的正解區(qū)域(seed)及構(gòu)成背景的正解區(qū)域，計算不知是被攝體區(qū)域還是背景區(qū)域這樣的未確定區(qū)域中的像被攝體或像背景的似然性，但是必須基于用戶對操作部的規(guī)定操作來預(yù)先指定各正解區(qū)域。發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種在被攝體存在圖像內(nèi)能夠自動指定被攝體構(gòu)成區(qū)域及背景構(gòu)成區(qū)域的圖像處理裝置、圖像處理方法及記錄介質(zhì)。
本發(fā)明的圖像處理裝置，具備獲取單元，其獲取同時存在背景和被攝體的被攝體存在圖像；第I特定單元，其在由該獲取單元獲取到的被攝體存在圖像內(nèi)特定多個圖像區(qū)域；比較單元，其比較由該第I特定單元特定的各圖像區(qū)域的代表色和規(guī)定的一種顏色；生成單元，其基于該比較單元的比較結(jié)果，生成用于從所述被攝體存在圖像中提取包含被攝體的區(qū)域的提取用背景色；和第2特定單元，其基于由該生成單元生成的提取用背景色，在所述被攝體存在圖像內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域及構(gòu)成背景的背景構(gòu)成區(qū)域。
本發(fā)明的利用了圖像處理裝置的圖像處理方法，包括獲取同時存在背景和被攝體的被攝體存在圖像的處理；在獲取到的該被攝體存在圖像內(nèi)特定多個圖像區(qū)域的處理; 比較特定的各圖像區(qū)域的代表色和規(guī)定的一種顏色的處理；基于進行比較的處理的比較結(jié)果，生成用于從所述被攝體存在圖像中提取包含被攝體的區(qū)域的提取用背景色的處理；和基于生成的該提取用背景色，在所述被攝體存在圖像內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域及構(gòu)成背景的背景構(gòu)成區(qū)域的處理。


圖I是表示應(yīng)用了本發(fā)明的實施方式I的被攝體剪切系統(tǒng)的示意結(jié)構(gòu)的框圖。
圖2是表示構(gòu)成被攝體剪切系統(tǒng)的攝像裝置的示意結(jié)構(gòu)的框圖。
圖3是表示構(gòu)成被攝體剪切系統(tǒng)的用戶終端的示意結(jié)構(gòu)的框圖。
圖4是表示構(gòu)成被攝體剪切系統(tǒng)的服務(wù)器的示意結(jié)構(gòu)的框圖。
圖5是表示由被攝體剪切系統(tǒng)進行的被攝體圖像生成處理所涉及的動作的一例的流程圖。
圖6是表示圖5的被攝體圖像生成處理中的被攝體剪切處理所涉及的動作的一例的流程圖。
圖7是表示圖6的被攝體剪切處理中的背景生成處理所涉及的動作的一例的流程圖。
圖8是不意性表不圖7的背景生成處理所涉及的圖像的一例的圖。
圖9是不意性表不圖7的背景生成處理所涉及的圖像的一例的圖。
圖10是表示圖6的被攝體剪切處理中的背景區(qū)域特定處理所涉及的動作的一例的流程圖。
圖11是表示圖6的被攝體剪切處理中的被攝體區(qū)域特定處理所涉及的動作的一例的流程圖。
圖12是示意性表示圖6的被攝體剪切處理所涉及的圖像的一例的圖。
圖13是表示圖6的被攝體剪切處理中的被攝體提取處理所涉及的動作的一例的流程圖。
圖14是表示圖13的被攝體提取處理中的提取結(jié)果判定處理所涉及的動作的一例的流程圖。
圖15是示意性表示圖6的被攝體剪切處理所涉及的圖像的一例的圖。
圖16是表示應(yīng)用了本發(fā)明的實施方式2的攝像裝置的示意結(jié)構(gòu)的框圖。
具體實施方式
以下，利用附圖對本發(fā)明的具體實施方式
進行說明。其中，本發(fā)明的范圍并不限于圖示例。
[實施方式I]
圖I是表示應(yīng)用了本發(fā)明的實施方式I的被攝體剪切系統(tǒng)100的示意結(jié)構(gòu)的框圖。
如圖I所示，實施方式I的被攝體剪切系統(tǒng)100具備攝像裝置I、用戶終端2和服務(wù)器3，將用戶終端2和服務(wù)器3連接成經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N可收發(fā)各種信息。
首先，參照圖2說明攝像裝置I。
這里，圖2是表示攝像裝置I的示意結(jié)構(gòu)的框圖。
如圖2所示，攝像裝置I具備透鏡部101、電子攝像部102、單元電路部103、攝像控制部104、圖像處理部105、顯示部106、記錄介質(zhì)控制部107、緩沖存儲器108、程序存儲器 109、操作輸入部110和中央控制部111。
雖然省略了圖示，但是透鏡部101例如具有變焦透鏡、聚焦透鏡、光圈等，并對經(jīng)過了這些透鏡的被攝體的光學(xué)像進行成像。
電子攝像部102 例如由 CCD (Charge Coupled Device)或 CMOS (Complementary Metal-oxide Semiconductor)等圖像傳感器等構(gòu)成，由該電子攝像部102將經(jīng)過了透鏡部 101的各種透鏡的光學(xué)像變換成二維圖像信號(RGB圖像數(shù)據(jù))，并輸出至單元電路部103。
雖然省略了圖示，但是單元電路部103例如具備Q)S (Correlated Double Sampling :相關(guān)二次采樣電路)、AGC(Auto Gain Control :增益調(diào)整放大器)、ADC(Analog to Digital Converter :模擬/數(shù)字轉(zhuǎn)換器)等。并且,單元電路部103通過⑶S保持與從電子攝像部102輸出并被輸入的被攝體的光學(xué)像相應(yīng)的模擬圖像信號，并在通過AGC放大了該圖像信號之后，通過ADC將放大后的圖像信號轉(zhuǎn)換成數(shù)字圖像信號。
在對被攝體進行攝像時，攝像控制部104基于來自中央控制部111的指令，控制透鏡部101、電子攝像部102、單元電路部103等的動作。具體而言，攝像控制部104控制用于使透鏡部101的變焦透鏡或聚焦透鏡等在光軸上進行移動的透鏡電機(省略圖示)的驅(qū)動，或者控制對電子攝像部102進行掃描驅(qū)動的定時，或者基于電子攝像部102的驅(qū)動定時來控制單元電路部103的驅(qū)動定時。
圖像處理部105對A/D轉(zhuǎn)換后的圖像信號進行如下處理，S卩生成每個像素的R、 G、B的顏色成分數(shù)據(jù)(RGB數(shù)據(jù))的RGB插補處理；根據(jù)RGB數(shù)據(jù)按每個像素生成由亮度信號(Y)和色差信號(U、V)構(gòu)成的YUV數(shù)據(jù)的YUV變換處理；以及自動白平衡或輪廓強調(diào)等用于提高圖像品質(zhì)的數(shù)字信號處理。并且，圖像處理部105依次向緩沖存儲器108輸出變換后的各圖像幀的YUV數(shù)據(jù)，并使該緩沖存儲器108進行保存。
顯示部106在將緩沖存儲器108所保存的I幀的YUV數(shù)據(jù)變換成視頻信號之后， 作為實時取景圖像而顯示在顯示畫面上。具體而言，顯示部106基于通過攝像被攝體而生成的多個圖像幀，以規(guī)定的顯示幀率顯示實時取景圖像，或者顯示作為本攝像圖像而攝像到的記錄瀏覽圖像(rec-view image)。
在記錄介質(zhì)控制部107中，以裝卸自如的方式構(gòu)成了記錄介質(zhì)M,該記錄介質(zhì)控制部107控制從被安裝的記錄介質(zhì)M讀取數(shù)據(jù)的動作、和向記錄介質(zhì)M寫入數(shù)據(jù)的動作。SP， 記錄介質(zhì)控制部107使記錄介質(zhì)M記錄通過圖像處理部105的JPEG壓縮部(省略圖示) 編碼后的攝像圖像的記錄用圖像數(shù)據(jù)。具體而言，記錄介質(zhì)控制部107使記錄介質(zhì)M記錄存在背景和被攝體的被攝體存在圖像Pl (參照圖8A)的記錄用圖像數(shù)據(jù)。
此外，記錄介質(zhì)M例如由非易失性存儲器(閃存)等構(gòu)成，但這只是一例，并不限于此，可以適當(dāng)?shù)厝我庾兏?br> 緩沖存儲器108是暫時記錄圖像數(shù)據(jù)等的緩沖器，并且也被用作中央控制部111 等的工作存儲器等。
在程序存儲器109中保存了該攝像裝置I的功能所涉及的各種程序和數(shù)據(jù)。另外，在程序存儲器109中例如也保存了靜止圖像攝像時、連續(xù)攝像時、實時取景圖像攝像時等各種攝像情況下的、表示適當(dāng)?shù)钠毓庵?EV)所對應(yīng)的光圈值(F)與快門速度的組合的構(gòu)成程序線圖的程序AE數(shù)據(jù)或EV值表(均省略圖示)。
操作輸入部110用于進行該攝像裝置I的規(guī)定操作。具體而言，操作輸入部110 例如具備被攝體的拍攝指示所涉及的快門按鈕、攝像模式或功能等選擇指示所涉及的選擇決定用按鈕、以及變焦量的調(diào)整指示所涉及的變焦按鈕等(均省略圖示)，并且按照用戶對這些按鈕的操作，向中央控制部111輸出規(guī)定的操作信號。
中央控制部111例如由單片微機等構(gòu)成，該單片微機具備對攝像裝置I的各部進行控制的CPU。
另外，中央控制部111基于從操作輸入部110輸出并被輸入的操作信號，對攝像裝置I的各部進行控制。具體而言，若中央控制部111輸入根據(jù)操作輸入部110的快門按鈕的規(guī)定操作而輸出的記錄指示信號，則根據(jù)程序存儲器109中存儲的規(guī)定程序執(zhí)行如下處理，即由攝像控制部104控制電子攝像部102及單元電路部103的驅(qū)動定時，從而執(zhí)行靜止圖像的拍攝。通過該靜止圖像的拍攝而被保存在緩沖存儲器108中的I幀的YUV數(shù)據(jù)，被圖像處理部105以JPEG方式等壓縮、編碼，然后作為靜止圖像數(shù)據(jù)而被記錄在記錄介質(zhì) M0
其次，參照圖3說明用戶終端2。
用戶終端2例如由個人計算機等構(gòu)成，對通過服務(wù)器3開設(shè)的Web頁面(例如，被攝體提取用頁面)進行訪問，并向服務(wù)器3發(fā)送被攝體存在圖像Pl的圖像數(shù)據(jù)。
圖3是表示用戶終端2的示意結(jié)構(gòu)的框圖。
如圖3所示，用戶終端2具體具備中央控制部201、通信控制部202、顯示部203、記錄介質(zhì)控制部204和操作輸入部205等。
中央控制部201對用戶終端2的各部進行控制。具體而言，中央控制部201具備 CPU、RAM、R0M(均省略圖示)，根據(jù)ROM中存儲的用戶終端2用的各種處理程序(省略圖示) 進行各種控制動作。此時，CPU在RAM內(nèi)的保存區(qū)域內(nèi)保存各種處理結(jié)果，并根據(jù)需要使顯示部203顯示該處理結(jié)果。
RAM例如具備用于對由CPU執(zhí)行的處理程序等進行展開的程序保存區(qū)域、保存輸入數(shù)據(jù)或執(zhí)行上述處理程序時所產(chǎn)生的處理結(jié)果等的數(shù)據(jù)保存區(qū)域等。
ROM存儲以計算機可讀取的程序代碼的形式被保存的程序，具體而言存儲用戶終端2可執(zhí)行的系統(tǒng)程序、在該系統(tǒng)程序中可執(zhí)行的各種處理程序、或者在執(zhí)行這些各種處理程序時所使用的數(shù)據(jù)等。
通信控制部202例如由調(diào)制解調(diào)器(MODEM Mo du I at er/DEMo du I ater)、終端適配器(Terminal Adapter)等構(gòu)成，用于經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N在與服務(wù)器3等外部設(shè)備之間進行信息的通信控制。
此外，通信網(wǎng)絡(luò)N例如是利用專用線或已知的常用公用線路而構(gòu)筑成的通信網(wǎng)絡(luò) N,可以應(yīng)用 LAN (Local Area Network)或 WAN(Wide Area Network)等各種各樣的線路形式。另外，在通信網(wǎng)絡(luò)N中例如包括電話線路網(wǎng)、ISDN線路網(wǎng)、專用線、移動通信網(wǎng)、通信衛(wèi)星線路、CATV線路網(wǎng)等各種通信線路網(wǎng)、以及連接這些網(wǎng)絡(luò)的因特網(wǎng)服務(wù)供應(yīng)商等。
顯示部203例如由LCD、CRT (Cathode Ray Tube)等顯示器構(gòu)成，在中央控制部201 的CPU的控制下，在顯示畫面上顯示各種信息。
具體而言，顯示部203例如基于從服務(wù)器3發(fā)送并被通信控制部202接收到的Web 頁面(例如，被攝體提取用頁面)的頁面數(shù)據(jù)，在顯示畫面上顯示對應(yīng)的Web頁面。
在記錄介質(zhì)控制部204中，以裝卸自如的方式構(gòu)成了記錄介質(zhì)M,該記錄介質(zhì)控制部204控制從被安裝的記錄介質(zhì)M讀取數(shù)據(jù)的動作及向記錄介質(zhì)M寫入數(shù)據(jù)的動作。即， 記錄介質(zhì)控制部204從記錄介質(zhì)M中讀取被攝體圖像生成處理(后述)所涉及的被攝體存在圖像Pl的圖像數(shù)據(jù)，并輸出至通信控制部202，所述記錄介質(zhì)M從攝像裝置I卸下后被安裝在記錄介質(zhì)控制部204中。
并且，通信控制部202經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N向服務(wù)器3發(fā)送被輸入的被攝體存在圖像Pl的圖像數(shù)據(jù)。
操作輸入部205具備鍵盤和鼠標等，用于將由用戶按下的按鍵按下信號或鼠標的操作信號輸出至中央控制部201的CPU，其中鍵盤例如由用于輸入數(shù)值或文字等的數(shù)據(jù)輸入按鍵、用于進行數(shù)據(jù)選擇或發(fā)送操作等的上下左右移動按鍵和各種功能按鍵等構(gòu)成。
接著，參照圖4說明服務(wù)器3。
服務(wù)器3作為Web (World Wide Web)服務(wù)器3而具備在因特網(wǎng)上開設(shè)Web頁面 (例如，被攝體提取用頁面)的功能，根據(jù)來自用戶終端2的訪問，向該用戶終端2發(fā)送Web 頁面的頁面數(shù)據(jù)。另外，服務(wù)器3作為圖像處理裝置，計算同時存在背景和被攝體的被攝體存在圖像Pl的多個圖像區(qū)域A、…的顏色與規(guī)定的一種顏色之間的類似度，并基于計算出的類似度，生成用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D的提取用背景色。此外，在這里，生成由提取用背景色構(gòu)成的圖像、即提取用背景圖像P4(參照圖9D)。之后，服務(wù)器3基于所生成的提取用背景圖像P4，在被攝體存在圖像Pl內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs、和構(gòu)成背景的背景構(gòu)成區(qū)域Cb。
圖4是表示服務(wù)器3的示意結(jié)構(gòu)的框圖。
如圖4所示，服務(wù)器3的具體構(gòu)成是，具備中央控制部301、存儲部302、顯示部 303、通信控制部304、被攝體檢測部305和被攝體剪切部306等。
中央控制部301對服務(wù)器3的各部進行控制。具體而言，中央控制部301具備CPU、 RAM、ROM(均省略圖示)，CPU根據(jù)ROM中存儲的服務(wù)器3用的各種處理程序(省略圖示)， 進行各種控制動作。此時，CPU在RAM內(nèi)的保存區(qū)域內(nèi)保存各種處理結(jié)果，并根據(jù)需要，使顯示部303顯示該處理結(jié)果。
RAM例如具備用于對由CPU執(zhí)行的處理程序等進行展開的程序保存區(qū)域、保存輸入數(shù)據(jù)或執(zhí)行上述處理程序時所產(chǎn)生的處理結(jié)果等的數(shù)據(jù)保存區(qū)域等。
ROM存儲以計算機可讀取的程序代碼的方式被保存的程序，具體而言為存儲在服務(wù)器3中可執(zhí)行的系統(tǒng)程序、在該系統(tǒng)程序中可執(zhí)行的各種處理程序、和在執(zhí)行這些各種處理程序時所使用的數(shù)據(jù)等。
存儲部302例如由半導(dǎo)體的非易失性存儲器或HDD (Hard Disc Drive)等構(gòu)成，用于存儲向用戶終端2發(fā)送的Web頁面的頁面數(shù)據(jù)等。
顯示部303例如由IXD、CRT等顯示器構(gòu)成，在中央控制部301的CPU的控制下，在顯示畫面上顯示各種信息。
通信控制部304例如由調(diào)制解調(diào)器、終端適配器等構(gòu)成，用于經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N在與用戶終端2等外部設(shè)備之間進行信息的通信控制。
被攝體檢測部305從被攝體存在圖像Pl中檢測特定的被攝體。
S卩，被攝體檢測部305獲取從用戶終端2經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送且由通信控制部304接收的被攝體存在圖像Pl的圖像數(shù)據(jù)(YUV數(shù)據(jù))，然后對該圖像數(shù)據(jù)進行例如臉部檢測處理、邊緣檢測處理、特征提取處理等各種圖像處理，以檢測包含特定的被攝體的區(qū)域D (例如，臉部區(qū)域等)。具體而言，被攝體檢測部305例如通過臉部檢測處理、邊緣檢測處理、特征提取處理等各種圖像處理來提取成為特定的被攝體候補的候補區(qū)域，并在提取出的候補區(qū)域中檢測滿足規(guī)定的識別條件的區(qū)域，作為特定的被攝體。
此外，作為規(guī)定的識別條件，例如可以列舉以“人的臉部”或“動物”等形狀為基準的條件、以相對于視角整體的圖像的比例(例如，是否為一半以上)等的大小為基準的條件、以是否為明亮度或色度高且鮮亮的(鮮艷的)色調(diào)或者是否為膚色等色調(diào)為基準的條件等等。
此外，臉部檢測處理、邊緣檢測處理或特征提取處理是公知的技術(shù)，因此在這里省略詳細說明。
被攝體剪切部306具備圖像獲取部306a、圖像分割部306b、圖像區(qū)域特定部 306c、背景色推定部306d、類似度計算部306e、類似度判定部306f、背景圖像生成部306g、 背景區(qū)域特定部306h、被攝體區(qū)域特定部306i和被攝體提取部306j。
圖像獲取部306a獲取同時存在背景和被攝體的被攝體存在圖像Pl。
S卩，圖像獲取部306a獲取從用戶終端2經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N而發(fā)送且由通信控制部304接收的被攝體存在圖像Pl (參照圖8A)的YUV數(shù)據(jù)。另外，圖像獲取部306a也可以生成在水平(X軸)方向和垂直(y軸)方向上都以規(guī)定的比率縮小了被攝體存在圖像Pl 的YUV數(shù)據(jù)的縮小圖像(例如，VGA尺寸的圖像等)的YUV數(shù)據(jù)。
圖像分割部306b將被攝體存在圖像Pl分割成多個圖像區(qū)域A、…。
即，圖像分割部306b基于被攝體存在圖像Pl的YUV數(shù)據(jù)，將該被攝體存在圖像Pl 整體分割成水平方向和垂直方向分別由規(guī)定像素構(gòu)成的多個圖像區(qū)域A、…。具體而言，圖像分割部306b例如基于由圖像獲取部306a生成的被攝體存在圖像Pl的縮小圖像的YUV 數(shù)據(jù)，將該縮小圖像分割成4個圖像區(qū)域A、…(參照圖9B)。
此外，雖然圖像分割部306b分割被攝體存在圖像Pl的低分辨率的圖像數(shù)據(jù)，但是也可以分割高分辨率的圖像數(shù)據(jù)。另外，作為分割數(shù)量，例示了 4個，但是這只是一例，并不限于此，也可適當(dāng)?shù)厝我庾兏指顢?shù)量。而且，圖像分割部306b既可以對被攝體存在圖像 Pl進行規(guī)定次數(shù)的分割，也可以將被分割成多個(例如，4個)的圖像區(qū)域A的各個圖像區(qū)域進一步分割成規(guī)定數(shù)量的圖像區(qū)域。
圖像區(qū)域特定部306c在被攝體存在圖像Pl內(nèi)特定多個圖像區(qū)域A、…。
S卩，圖像區(qū)域特定部306c在由圖像獲取部306a獲取到的被攝體存在圖像Pl內(nèi)根據(jù)規(guī)定的特定條件來特定多個圖像區(qū)域A、…。具體而言，圖像區(qū)域特定部306c將被圖像分割部306b分割的被攝體存在圖像Pl的多個圖像區(qū)域A、…特定為與類似度計算部306e 所進行的規(guī)定的一種顏色之間的類似度的計算所涉及的特定對象。
此外，圖像區(qū)域特定部306c雖然將被圖像分割部306b分割的多個圖像區(qū)域么、… 設(shè)定為特定對象，但是并不限于此，也可適當(dāng)?shù)厝我庾兏蔀樘囟▽ο蟮膱D像區(qū)域A。例如， 在設(shè)定了從拍攝到人體胸部以上的上半身像(bust shot)的被攝體存在圖像Pl中提取被攝體區(qū)域D的上半身像提取模式的情況下，圖像區(qū)域特定部306c也可以以在規(guī)定的顯示區(qū)域內(nèi)顯示被攝體存在圖像Pl的狀態(tài)，將從上側(cè)的圖像邊界開始靠下側(cè)的規(guī)定范圍內(nèi)的圖像區(qū)域、或者從左上角部或右上角部開始位于規(guī)定范圍內(nèi)的圖像區(qū)域特定為特定對象。
背景色推定部306d推定被攝體存在圖像Pl的背景顏色。
S卩，背景色推定部306d基于由圖像獲取部306a獲取到的被攝體存在圖像Pl的 YUV數(shù)據(jù)進行規(guī)定的運算處理，用一種顏色推定該被攝體存在圖像Pl的背景顏色。具體而言，背景色推定部306d獲取被攝體存在圖像Pl的縮小圖像的YUV數(shù)據(jù)，并將該縮小圖像整體分割成水平方向及垂直方向分別由規(guī)定像素(例如，20像素等)構(gòu)成的多個塊(區(qū)域) B、…(參照圖SB)。之后，背景色推定部306d基于各塊B內(nèi)的多個像素的像素值進行規(guī)定的運算，來計算該塊B的代表色(例如，平均色等)。另外，背景色推定部306d基于各塊B 內(nèi)的多個像素的像素值及代表色進行規(guī)定的運算，來計算各塊B內(nèi)的顏色的偏差量(例如， 方差、標準偏差等)。
并且，背景色推定部306d針對多個塊B、…的各個塊，判定塊B內(nèi)的顏色的偏差量是否在規(guī)定值以下，并特定顏色的偏差量在規(guī)定值以下的塊B。之后，背景色推定部306d針對被特定的各塊B，判定該塊B的代表色與其他塊B的代表色之間的類似度(例如，與亮度信息及色差信息的每一個相應(yīng)的的歐幾里得空間中的距離等)是否在規(guī)定的判定值以上， 并對被判定為在規(guī)定的判定值以上的塊B進行投票。之后，背景色推定部306d將投票數(shù)最多的塊B的代表色、即被判定為在規(guī)定的判定值以上的次數(shù)最多的塊B的代表色推定為背景色(參照圖SC)。
在圖SC中，示意性表示了推定的背景色在整個畫面上一致形成的圖像P2。
此外，由背景色推定部306d進行的背景色的推定方法只是一例，并不限于此，也可適當(dāng)?shù)剡M行任意變更。即，背景色推定部306d針對多個塊B、…之中的顏色的偏差量在規(guī)定值以下的塊B的各個塊，判定與其他塊B的代表色之間的類似度是否在規(guī)定的判定值以上，但是也可不局限于顏色的偏差量，而是針對多個塊B、…的全部判定與其他塊B的代表色之間的類似度是否在規(guī)定的判定值以上。
另外，背景色推定部306d推定由圖像分割部306b分割的被攝體存在圖像Pl的多個圖像區(qū)域A、…的顏色。即，背景色推定部306d根據(jù)與上述方法相同的方法針對各圖像區(qū)域A推定代表色。
具體而言，背景色推定部306d基于被攝體存在圖像Pl的縮小圖像的YUV數(shù)據(jù)，將被圖像分割部306b分割的各圖像區(qū)域A(參照圖9A)整體分割成水平方向及垂直方向分別由規(guī)定像素(例如，20像素等)構(gòu)成的多個塊& (區(qū)域)(參照圖9B)。之后，背景色推定部306d基于各圖像區(qū)域A的各塊B內(nèi)的多個像素的像素值進行規(guī)定的運算，來計算該塊 B的代表色(例如，平均色等)及各塊B內(nèi)的顏色的偏差量(例如，方差、標準偏差等)。之后，背景色推定部306d在各圖像區(qū)域A的多個塊B、…之中特定顏色的偏差量在規(guī)定值以下的塊B，并在被特定的各塊B中，向被判定為與各圖像區(qū)域A內(nèi)的其他塊B的代表色之間的類似度(例如，與亮度信息及色差信息的每一個相應(yīng)的歐幾里得距離等)在規(guī)定的判定值以上的塊B進行投票。之后，背景色推定部306d將投票數(shù)最多的塊B的代表色、即被判定為在規(guī)定的判定值以上的次數(shù)最多的塊B的代表色推定為各圖像區(qū)域A的顏色(參照圖 9C)。
在圖9C中，示意性表示了針對各圖像區(qū)域A而推定的顏色被一致形成的圖像P3。 另外，各圖像區(qū)域A的顏色示意性表示通過使每單位面積的點數(shù)的不同而進行顏色劃分的狀態(tài)。
此外，由背景色推定部306d進行的各圖像區(qū)域A的顏色的推定方法只是一例，并不限于此，與上述的背景色的推定方法相同，可適當(dāng)?shù)剡M行任意變更。
類似度計算部306e計算被攝體存在圖像Pl的各圖像區(qū)域A的顏色與規(guī)定的一種顏色之間的類似度。
S卩，類似度計算部306e計算由圖像區(qū)域特定部306c特定的各圖像區(qū)域A的顏色與規(guī)定的一種顏色之間的類似度。具體而言，類似度計算部306e計算由背景色推定部306d 推定的背景色(參照圖8C)與各圖像區(qū)域A的顏色(參照圖9C)之間的類似度(例如，與亮度信息及色差信息的每一個相應(yīng)的歐幾里得距離等)。
此外，作為規(guī)定的一種顏色而例示了由背景色推定部306d推定的被攝體存在圖像Pl的背景色，但是這只是一例，并不限于此，也可適當(dāng)?shù)剡M行任意變更。即，如果是用于判定與各圖像區(qū)域A的顏色之間的類似度的顏色，則可以是任意顏色，例如，類似度計算部 306e也可以計算各圖像區(qū)域A的顏色的平均色，并將該平均色作為規(guī)定的一種顏色而用于類似度的判定中。
類似度判定部306f判定各圖像區(qū)域A所涉及的類似度是否比規(guī)定的判定值大。
S卩，類似度判定部306f判定由類似度計算部306e計算出的被攝體存在圖像Pl的各圖像區(qū)域A的顏色與背景色(規(guī)定的一種顏色)之間的類似度是否比規(guī)定的判定值大。
背景圖像生成部306g生成用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D 的提取用背景圖像P4。
S卩，背景圖像生成部306g基于由類似度計算部306e計算出的被攝體存在圖像Pl 的各圖像區(qū)域A的顏色與背景色(規(guī)定的一種顏色)之間的類似度，生成提取用背景圖像 P4。具體而言，背景圖像生成部306g根據(jù)被攝體存在圖像Pl的各圖像區(qū)域A的代表色與背景色的比較結(jié)果，即根據(jù)類似度判定部306f的判定結(jié)果，特定與提取用背景圖像P4中的各圖像區(qū)域A對應(yīng)的區(qū)域的顏色，從而生成提取用背景圖像P4。例如，背景圖像生成部 306g針對被攝體存在圖像Pl的多個圖像區(qū)域A、…中的、被判定為與由類似度計算部306e 計算出的背景色之間的類似度比規(guī)定的判定值大的圖像區(qū)域A，采用由背景色推定部306d 特定的圖像區(qū)域A的顏色作為與提取用背景圖像P4中的該圖像區(qū)域A對應(yīng)的區(qū)域的顏色， 從而生成提取用背景圖像P4。另一方面，背景圖像生成部306g針對被判定為與由類似度計算部306e計算出的背景色之間的類似度在規(guī)定的判定值以下的圖像區(qū)域A，采用背景色作為與提取用背景圖像P4中的該圖像區(qū)域A對應(yīng)的區(qū)域的顏色，從而生成提取用背景圖像 P4(參照圖9D)。例如，如圖9D所示，背景圖像生成部306g針對分割了被攝體存在圖像Pl 的4個圖像區(qū)域A、…中的、左側(cè)兩個圖像區(qū)域A，判定為與背景色之間的類似度比規(guī)定的判定值大，采用該圖像區(qū)域A的顏色作為與提取用背景圖像P4中的該圖像區(qū)域A對應(yīng)的區(qū)域的顏色。另一方面，背景圖像生成部306g針對分割了被攝體存在圖像Pl的4個圖像區(qū)域A、…中的、右側(cè)兩個圖像區(qū)域A，判定為與背景色之間的類似度在規(guī)定的判定值以下，采用背景色作為與提取用背景圖像P4中的該圖像區(qū)域A對應(yīng)的區(qū)域的顏色。
此外，在圖9D中，各圖像區(qū)域A的顏色示意性表示通過使每單位面積的點數(shù)的不同而進行顏色劃分的狀態(tài)。
背景區(qū)域特定部306h在被攝體存在圖像Pl內(nèi)特定構(gòu)成背景的背景構(gòu)成區(qū)域Cb。
S卩，背景區(qū)域特定部306h基于由背景圖像生成部306g生成的提取用背景圖像 P4，在被攝體存在圖像Pl內(nèi)特定構(gòu)成背景的背景構(gòu)成區(qū)域Cb (參照圖12A)。具體而言，背景區(qū)域特定部306h基于被攝體存在圖像Pl的縮小圖像的YUV數(shù)據(jù)及提取用背景圖像P4 的YUV數(shù)據(jù)，在縮小圖像與提取用背景圖像P4之間針對對應(yīng)的各像素的亮度信息及色差信息的每一個計算差分之后，對亮度信息及色差信息的各差分值進行規(guī)定的加權(quán)(例如， Y : U : V = I : 4 : 4左右)，從而生成一維差分信息。
之后，背景區(qū)域特定部306h利用規(guī)定的分析方法(例如，判斷分析方法等)對所生成的差分信息進行分析，設(shè)定在被攝體存在圖像Pl內(nèi)構(gòu)成與背景對應(yīng)的正解區(qū)域 (seed)的背景構(gòu)成區(qū)域Cb的判定用第I閾值。例如,背景區(qū)域特定部306h在根據(jù)判斷分析法將多個差分信息劃分成兩個的情況下，計算組間方差最大的閾值，將比該閾值小的差分信息中的中值(Median)設(shè)定為第I閾值。此外，背景構(gòu)成區(qū)域Cb的判定用第I閾值的設(shè)定方法只是一例，并不限于此，也可適當(dāng)?shù)剡M行任意變更，例如，也可基于判斷分析法的結(jié)果生成高斯混合分布，將該分布的波谷部設(shè)為背景與被攝體的之間邊界來設(shè)定第I閾值。
之后，背景區(qū)域特定部306h將作為差分信息在第I閾值以下的像素、且由背景圖像生成部306g生成提取用背景圖像P4時所使用的塊B作為提取用背景圖像P4的輔助區(qū)域而特定為背景構(gòu)成區(qū)域Cb。即，背景區(qū)域特定部306h將在背景色推定部306d推定背景色或各圖像區(qū)域A的顏色時被判定為與其他塊B的代表色之間的類似度在規(guī)定的判定值以上的次數(shù)最多的塊B特定成背景構(gòu)成區(qū)域Cb，也就是將投票數(shù)最多的塊B特定成背景構(gòu)成區(qū)域Cb。這里，該推定方法只是一例，也可將差分信息在第I閾值以下的像素特定為背景構(gòu)成區(qū)域Cs。
此外，背景區(qū)域特定部306h例如在被攝體檢測部305的臉部檢測處理的結(jié)果中檢測到臉部區(qū)域的情況、或者設(shè)定了從拍攝到人體胸部以上的上半身像的被攝體存在圖像Pl 中提取被攝體區(qū)域D的上半身像提取模式的情況下，也可針對從被攝體存在圖像Pl的上側(cè)圖像邊界或者左右兩側(cè)的圖像邊界開始位于規(guī)定范圍內(nèi)的像素，判定是否被特定成背景構(gòu)成區(qū)域Cb (在后面詳細敘述)。
另外，在圖12A中，對被攝體存在圖像Pl的背景構(gòu)成區(qū)域Cb以外的區(qū)域附加斜線進行表示，用涂白的狀態(tài)表示背景構(gòu)成區(qū)域Cb。
被攝體區(qū)域特定部306i在被攝體存在圖像Pl內(nèi)特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs。
S卩，被攝體區(qū)域特定部306i基于由背景圖像生成部306g生成的提取用背景圖像 P4，在被攝體存在圖像Pl內(nèi)特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs (參照圖12B)。具體而言，被攝體區(qū)域特定部306i基于被攝體存在圖像Pl的縮小圖像的YUV數(shù)據(jù)及提取用背景圖像P4的YUV數(shù)據(jù)，在縮小圖像與提取用背景圖像P4之間針對對應(yīng)的各像素的亮度信息及色差信息的的每一個計算差分之后，對亮度信息及色差信息的各差分值進行規(guī)定的加權(quán) (例如，Y : U : V = I : 4. 5 : 4. 5左右)，從而生成一維差分信息。
之后，被攝體區(qū)域特定部306i利用規(guī)定的分析方法(例如，判斷分析方法等)分析所生成的差分信息，設(shè)定在被攝體存在圖像Pl內(nèi)構(gòu)成與被攝體對應(yīng)的正解區(qū)域(seed) 的被攝體構(gòu)成區(qū)域Cs的判定用閾值。例如，被攝體區(qū)域特定部306i在根據(jù)判斷分析法將多個差分信息劃分為兩個的情況下，計算組間方差最大的閾值，并將比該閾值大的差分信息中的中值(Median)設(shè)定為判定用閾值。此外，被攝體構(gòu)成區(qū)域Cs的判定用閾值的設(shè)定方法只是一例，但是并不限于此，也可適當(dāng)?shù)剡M行任意變更，例如，也可基于判斷分析法的結(jié)果生成高斯混合分布，并利用差分信息比該分布的波谷部大的區(qū)域來設(shè)定判定用閾值。
之后，被攝體區(qū)域特定部306i將差分信息比判定用閾值大的像素特定為被攝體構(gòu)成區(qū)域Cs。
此外，被攝體區(qū)域特定部306i例如針對分割了被攝體存在圖像Pl的縮小圖像的多個塊B、…，也可將與關(guān)注的塊B的周邊塊相應(yīng)的顏色的偏差量(例如，方差、標準偏差等)比規(guī)定值大的塊B認為是圖像變化急劇的區(qū)域，從而特定為被攝體構(gòu)成區(qū)域Cs。另外， 例如，在被攝體檢測部305的臉部檢測處理的結(jié)果是檢測到臉部區(qū)域的情況下，被攝體區(qū)域特定部306i也可將檢測到的臉部區(qū)域特定為被攝體構(gòu)成區(qū)域Cs (將在后面詳細敘述)。
另外，在圖12B中，對被攝體存在圖像Pl的被攝體構(gòu)成區(qū)域Cs以外的區(qū)域附上斜線來進行表示，以涂白的狀態(tài)表示被攝體構(gòu)成區(qū)域Cs。
這樣，被攝體區(qū)域特定部306i及背景區(qū)域特定部306h基于由背景圖像生成部 306g生成的提取用背景圖像P4，在被攝體存在圖像Pl內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs及構(gòu)成背景的背景構(gòu)成區(qū)域Cb。
被攝體提取部306j從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D。
即，被攝體提取部306j具備基于由被攝體區(qū)域特定部306i及背景區(qū)域特定部 306h特定的被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb而生成二值圖像的二值圖像生成部 306k，并基于由該二值圖像生成部306k生成的二值圖像，從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D。
具體而言，二值圖像生成部306k生成如下的三值圖像P5(參照圖15A)，即將被攝體存在圖像Pl中的被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb以外的區(qū)域設(shè)為不知是被攝體還是背景這樣的未確定的未確定區(qū)域Cu，例如將被攝體構(gòu)成區(qū)域Cs的像素值設(shè)為“I”、 背景構(gòu)成區(qū)域Cb的像素值設(shè)為“O”、未確定區(qū)域Cu的像素值設(shè)為“0. 5”。此外，在圖15A 中，用“涂黑”的方式表示三值圖像P5中的背景構(gòu)成區(qū)域Cb，用“涂白”的方式表示被攝體構(gòu)成區(qū)域Cs，對未確定區(qū)域Cu附上斜線來進行表示。
并且，二值圖像生成部306k針對三值圖像P5設(shè)定規(guī)定的能量函數(shù)，并通過計算使設(shè)定的能量函數(shù)最小化的參數(shù)，從而特定構(gòu)成未確定區(qū)域Cu的各像素的像素值。
例如，作為能量最小化的方法，在利用圖割算法的情況下，二值圖像生成部306k 根據(jù)與被攝體存在圖像Pl的被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb對應(yīng)的區(qū)域的顏色信息(亮度信息及色差信息)，生成高斯混合分布，并基于該高斯混合分布針對未確定區(qū)域Cu 的各像素計算被攝體似然性及背景似然性。這里，被攝體似然性是指，用數(shù)值表示對象像素與被攝體接近多大程度、即推定為對象像素是構(gòu)成被攝體的像素時的合理性(概率)，同樣地，背景似然性是指，用數(shù)值表示對象像素與背景接近多大程度、即推定為對象像素是構(gòu)成背景的像素時的合理性。
并且，二值圖像生成部306k在能量函數(shù)的數(shù)據(jù)項中設(shè)定被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb、未確定區(qū)域Cu的各像素所涉及的被攝體似然性及背景似然性，并且在能量函數(shù)的平滑項中針對未確定區(qū)域Cu的各像素設(shè)定色差信息相對周圍像素(例如，相鄰的像素)的差分。之后，二值圖像生成部306k計算使設(shè)定的能量函數(shù)最小化的參數(shù)，并針對構(gòu)成未確定區(qū)域Cu的各像素特定為與被攝體區(qū)域D對應(yīng)的像素值、或者與背景區(qū)域?qū)?yīng)的像素值。此時，針對平滑項，也可考慮由被攝體檢測部305檢測的特定的被攝體的檢測結(jié)果，例如臉部檢測處理的檢測結(jié)果，設(shè)定噪聲去除特性，以使能夠應(yīng)對臉部區(qū)域的周邊的頭發(fā)等。
由此，二值圖像生成部306k生成將被攝體區(qū)域D的像素值設(shè)為“I”、背景區(qū)域的像素值設(shè)為“0”的二值圖像。
之后，被攝體提取部306 j基于由二值圖像生成部306k生成的二值圖像，表示被攝體存在圖像Pl中的被攝體區(qū)域D的位置，生成用于提取該被攝體區(qū)域D的提取用圖像。
這里，作為提取用圖像，例如列舉針對被攝體存在圖像Pl的各像素，將對被攝體圖像和規(guī)定的背景進行a混合時的權(quán)重作為ct值(OS a < I)來表示的a映射圖(alpha map) M0
具體而言，被攝體提取部306 j例如對二值圖像進行用于除去存在細小的噪聲或因手抖動引起的差異的區(qū)域的收縮處理，從而除去比規(guī)定值小的像素集合或因手抖動引起的細線像素集合之后，進行對構(gòu)成相同連結(jié)成分的像素集合附加相同序號的加標簽處理，然后，進行用于修正收縮量的膨脹處理。另外，被攝體提取部306j例如在特定為被攝體部分的最大面積的像素集合內(nèi)進行加標簽處理，將與相對于該被攝體部分的構(gòu)成像素的標簽數(shù)在規(guī)定的比例以下的標簽數(shù)的背景區(qū)域?qū)?yīng)的像素集合的各像素的像素值，變更為與被攝體部分對應(yīng)的像素值，從而進行替換成被攝體部分的填補處理(filling-up processing)。
之后，被攝體提取部306j對與上述的被攝體部分對應(yīng)的最大面積的像素集合的像素值為“I”、與背景區(qū)域?qū)?yīng)的其他部分的像素值為“0”的二值圖像實施低通濾波，在邊界部分產(chǎn)生中間值，由此對各個區(qū)域生成規(guī)定的a值。由此，被攝體區(qū)域D的a值變?yōu)?“1”，被攝體存在圖像Pl相對于規(guī)定的背景的透過率變?yōu)?%。另外一方面，被攝體的背景部分的a值變?yōu)椤?”，該被攝體存在圖像Pl相對于規(guī)定的背景的透過率變?yōu)?00%。
此外，在圖15B中，用“涂白”的方式表示a映射圖M中的被攝體區(qū)域D，用“涂黑” 的方式表示背景區(qū)域。
之后，被攝體提取部306j基于所生成的提取用圖像(a映射圖M)，按照使被攝體存在圖像Pl的各像素中的a值為I的像素不透過規(guī)定的單一顏色圖像P7且使a值為0 的像素透過規(guī)定的單一顏色圖像P7的方式，將被攝體圖像與規(guī)定的單一顏色圖像P7進行合成來生成被攝體剪切圖像P6(參照圖15C)的圖像數(shù)據(jù)。
接著，參照圖5 圖15說明利用了用戶終端2及服務(wù)器3的被攝體圖像生成處理。
這里，圖5是表示被攝體圖像生成處理所涉及的動作的一例的流程圖，圖6是表示被攝體圖像生成處理中的被攝體剪切處理所涉及的動作的一例的流程圖。
此外，在以下的說明中，記錄了由攝像裝置I生成的被攝體存在圖像Pl的圖像數(shù)據(jù)的記錄介質(zhì)M，被安裝于用戶終端2的記錄介質(zhì)控制部204中。
如圖5所示，若用戶終端2的中央控制部201基于用戶對操作輸入部205的規(guī)定操作而輸入通過服務(wù)器3開設(shè)的被攝體提取用頁面的訪問指示，則中央控制部201的CPU 通過通信控制部202將該訪問指示經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N發(fā)送至服務(wù)器3 (步驟SI)。
若通過服務(wù)器3的通信控制部304接收到從用戶終端2發(fā)送來的訪問指示，則中央控制部301的CPU通過通信控制部304將被攝體提取用頁面的頁面數(shù)據(jù)經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N發(fā)送至用戶終端2 (步驟S2)。
之后，若通過用戶終端2的通信控制部202接收被攝體提取用頁面的頁面數(shù)據(jù)，則顯示部203基于該被攝體提取用頁面的頁面數(shù)據(jù)，在顯示畫面上顯示規(guī)定的被攝體提取用頁面。
其次，用戶終端2的記錄介質(zhì)控制部204在從記錄介質(zhì)M中讀取出該被攝體圖像生成處理所涉及的被攝體存在圖像Pl的圖像數(shù)據(jù)之后，顯示部203在顯示畫面上顯示該被攝體存在圖像Pl的圖像數(shù)據(jù)(步驟S3)。接下來，通信控制部202經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N 向服務(wù)器3發(fā)送讀取到的被攝體存在圖像Pl的圖像數(shù)據(jù)(YUV數(shù)據(jù))(步驟S4)。
之后，若通過服務(wù)器3的通信控制部304接收從用戶終端2發(fā)送的被攝體存在圖像Pl的圖像數(shù)據(jù)，則服務(wù)器3執(zhí)行從被攝體存在圖像Pl中剪切包含被攝體的區(qū)域D的被攝體剪切處理(步驟S5 ;參照圖6)。
如圖6所示，在被攝體剪切處理中，首先，被攝體剪切部306在進行生成提取用背景圖像P4的背景生成處理(參照圖7;將在后面詳細敘述)之后(步驟S51)，判定提取用背景圖像P4的生成是否成功(步驟S52)，其中，提取用背景圖像P4用于從被攝體存在圖像 Pl中提取包含被攝體的區(qū)域D。
這里，若判定為提取用背景圖像P4的生成成功(步驟S52 :是)，則被攝體剪切部 306的背景區(qū)域特定部306h進行在被攝體存在圖像Pl特定構(gòu)成背景的背景構(gòu)成區(qū)域Cb的背景區(qū)域特定處理(參照圖10 ;將在后面詳細敘述)(步驟S53)。接下來，被攝體剪切部 306的被攝體區(qū)域特定部306i進行在被攝體存在圖像Pl內(nèi)特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs的被攝體區(qū)域特定處理(參照圖11 ;將在后面詳細敘述)(步驟S54)。
之后，被攝體剪切部306的被攝體提取部306j在進行從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D的被攝體提取處理(參照圖12;將在后面詳細敘述)之后(步驟 S55)，結(jié)束該被攝體剪切處理。
另一方面，若在步驟S52中判定為提取用背景圖像P4的生成未成功(步驟S52 否)，則被攝體剪切部306結(jié)束該被攝體剪切處理。
返回到圖5，被攝體剪切部306基于提取結(jié)果判定處理的結(jié)果，判定被攝體剪切處理是否成功、即被攝體圖像的生成是否成功(步驟S6)。
這里，若判定為被攝體圖像的生成成功(步驟S6 :是)，則中央控制部301的CPU 通過通信控制部304經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N向用戶終端2發(fā)送所生成的被攝體剪切圖像P6 的圖像數(shù)據(jù)(步驟S7)。
之后，若通過用戶終端2的通信控制部202接收到被攝體剪切圖像P6的圖像數(shù)據(jù) (步驟S8)，則顯示部203基于該被攝體剪切圖像P6的圖像數(shù)據(jù)，在顯示畫面上顯示被攝體圖像(步驟S9)。
另一方面，若在步驟S6中判定為被攝體圖像的生成未成功(步驟S6 :否)，則中央控制部301的CPU通過通信控制部304經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N向用戶終端2發(fā)送被攝體圖像生成失敗所涉及的規(guī)定畫面的顯示指示(步驟S10)。
之后，若通過用戶終端2的通信控制部202接收到從服務(wù)器3發(fā)送的被攝體圖像生成失敗所涉及的規(guī)定畫面的顯示指示，則顯示部203在顯示畫面上顯示該被攝體圖像生成失敗所涉及的規(guī)定畫面(步驟Sll)。
接著，參照圖7 圖9說明被攝體剪切處理中的背景生成處理。
圖7是表示背景生成處理所涉及的動作的一例的流程圖。
如圖7所示，被攝體剪切部306的圖像獲取部306a獲取從用戶終端2經(jīng)由規(guī)定的通信網(wǎng)絡(luò)N發(fā)送且被通信控制部304接收的被攝體存在圖像Pl (參照圖8A)的YUV數(shù)據(jù) (步驟S61)。另外，圖像獲取部306a生成在水平(X軸)方向及垂直(y軸)方向上都以規(guī)定的比率縮小了被攝體存在圖像Pl的YUV數(shù)據(jù)的縮小圖像(例如，VGA尺寸的圖像等)的 YUV數(shù)據(jù)。
接著，被攝體剪切部306的背景色推定部306d在將被攝體存在圖像Pl分割成多個塊B、…之后，計算各塊B的代表色及顏色的偏差量(步驟S62)。
具體而言，背景色推定部306d基于被攝體存在圖像Pl的縮小圖像的YUV數(shù)據(jù)，將該縮小圖像整體分割成水平方向及垂直方向分別由規(guī)定像素(例如，20像素等)構(gòu)成的多個塊B、 (參照圖SB)。之后，背景色推定部306d基于各塊B內(nèi)的多個像素的像素值進行規(guī)定的運算，從而計算該塊B的代表色，并且計算各塊B內(nèi)的顏色的偏差量。
接下來，背景色推定部306d針對多個塊B、…的每一個塊判定顏色的偏差量是否在規(guī)定值以下，分別特定顏色的偏差量在規(guī)定值以下的塊B (步驟S63)。之后，背景色推定部306d針對被特定的各塊B，判定與其他塊B的代表色之間的類似度是否在規(guī)定的判定值以上，并向被判定為在規(guī)定的判定值以上的塊B進行投票(步驟S64)。
之后，背景色推定部306d判定在步驟S64的處理中投票的數(shù)量是否在規(guī)定數(shù)以上 (步驟S65)。
這里，若判定為所投票的數(shù)量在規(guī)定數(shù)以上(步驟S65 :是)，則背景色推定部 306d將被判定為在規(guī)定的判定值以上的次數(shù)最多的塊B(投票數(shù)最多的塊B)的代表色特定為提取用背景圖像P4的整體色(背景色)(步驟S66 ;參照圖SC)。
另一方面，若在步驟S65中判定為所投票的數(shù)量小于規(guī)定數(shù)(步驟S65 :否)，則被攝體剪切部306認為提取用背景圖像P4的生成失敗(步驟S67)，結(jié)束背景生成處理。
在特定提取用背景圖像P4的整體色(背景色)(步驟S66)之后，被攝體剪切部 306的圖像分割部306b基于被攝體存在圖像Pl的縮小圖像的YUV數(shù)據(jù)，將該縮小圖像整體分割成水平方向及垂直方向分別由規(guī)定像素構(gòu)成的多個(例如，4個)圖像區(qū)域A(參照圖 9A)(步驟S68)。之后，圖像區(qū)域特定部306c將由圖像分割部306b分割的被攝體存在圖像 Pl的多個圖像區(qū)域A、…特定為類似度計算部306e進行的與提取用背景圖像P4的背景色 (規(guī)定的一種顏色)之間的類似度的計算所涉及的特定對象。
接著，背景色推定部306d在將各圖像區(qū)域A整體分割成水平方向及垂直方向分別由規(guī)定像素(例如，20像素等)構(gòu)成的多個塊B、…(參照圖9B)之后，基于各塊B內(nèi)的多個像素的像素值進行規(guī)定的運算，從而計算該塊B的代表色，并且計算各塊B內(nèi)的顏色的偏差量(步驟S69)。
接下來，背景色推定部306d針對各圖像區(qū)域A的多個塊B、…的每一個塊判定顏色的偏差量是否在規(guī)定值以下，并分別特定顏色的偏差量在規(guī)定值以下的塊B。之后，背景色推定部306d針對被特定的各塊B判定與其他塊B的代表色之間的類似度是否在規(guī)定的判定值以上，并向被判定為在規(guī)定的判定值以上的塊B進行投票(步驟S70)。
接著，背景色推定部306d針對各圖像區(qū)域A判定在步驟S70的處理中投票的數(shù)量是否在規(guī)定數(shù)以上(步驟S71)。
這里，若判定為所投票的數(shù)量在規(guī)定數(shù)以上(步驟S71 :是)，則背景色推定部 306d將被判定為在規(guī)定的判定值以上的次數(shù)最多的塊B(投票數(shù)最多的塊B)的代表色特定為各圖像區(qū)域A的顏色(步驟S72 ;參照圖9C)。
接下來，被攝體剪切部306的類似度計算部306e針對各圖像區(qū)域A的顏色計算與背景色之間的類似度(例如，對于亮度信息及色差信息的每一個的歐幾里得距離等)，類似度判定部306f判定計算出的各圖像區(qū)域A的顏色與背景色之間的類似度是否比規(guī)定的判定值大(步驟S73)。
針對在步驟S73中被判定為與背景色之間的類似度比規(guī)定的判定值大(步驟S73 是)的圖像區(qū)域A，被攝體剪切部306的背景圖像生成部306g采用由背景色推定部306d 特定的圖像區(qū)域A的顏色，作為與提取用背景圖像P4中的該圖像區(qū)域A對應(yīng)的區(qū)域的顏色(步驟S74)。另一方面，針對被判定為與背景色之間的類似度在規(guī)定的判定值以下(步驟 S73:否)的圖像區(qū)域A，背景圖像生成部306g采用背景色作為與提取用背景圖像P4中的該圖像區(qū)域A對應(yīng)的區(qū)域的顏色(步驟S75)。
另外，針對在步驟S71中被判定為投票的數(shù)量小于規(guī)定數(shù)(步驟S71 :否)的圖像區(qū)域A，背景圖像生成部306g采用背景色作為與提取用背景圖像P4中的該圖像區(qū)域A對應(yīng)的區(qū)域的顏色(步驟S75)。
之后，背景圖像生成部306g根據(jù)對與提取用背景圖像P4中的被攝體存在圖像Pl 的各圖像區(qū)域A對應(yīng)的區(qū)域采用的顏色，生成提取用背景圖像P4的YUV數(shù)據(jù)(步驟S76 ； 參照圖9D)。
由此,結(jié)束背景生成處理。
接著，參照圖10及圖12A說明被攝體剪切處理中的背景區(qū)域特定處理。
圖10是表示背景區(qū)域特定處理所涉及的動作的一例的流程圖。
如圖10所示，被攝體剪切部306的背景區(qū)域特定部306h基于被攝體存在圖像Pl 的縮小圖像的YUV數(shù)據(jù)及提取用背景圖像P4的YUV數(shù)據(jù)，在縮小圖像與提取用背景圖像P4 之間針對對應(yīng)的各像素的亮度信息及色差信息的每一個計算差分(步驟S81)。之后，背景區(qū)域特定部306h對計算出的亮度信息及色差信息的各差分的值進行規(guī)定的加權(quán)，從而生成一維差分信息。
接著，背景區(qū)域特定部306h基于所生成的差分信息，設(shè)定在被攝體存在圖像Pl內(nèi)構(gòu)成與背景對應(yīng)的正解區(qū)域的背景構(gòu)成區(qū)域Cb的判定用第I閾值(步驟S82)。具體而言， 背景區(qū)域特定部306h在根據(jù)判斷分析法將多個差分信息劃分成兩個的情況下，計算組間方差最大的閾值，并將比該閾值小的差分信息中的中值(Median)設(shè)定為第I閾值。
接下來，背景區(qū)域特定部306h將作為差分信息在第I閾值以下的像素、且在背景圖像生成部306g生成提取用背景圖像P4時所使用的塊B作為提取用背景圖像P4的輔助區(qū)域而特定成背景構(gòu)成區(qū)域Cb (步驟S83 ;參照圖12A)。具體而言，背景區(qū)域特定部306h 在背景色推定部306d的背景色或各圖像區(qū)域A的顏色的推定中，將被判定為與其他塊B的代表色之間的類似度在規(guī)定的判定值以上的次數(shù)最多的塊B、也就是投票數(shù)最多的塊B特定成背景構(gòu)成區(qū)域Cb。
其次，被攝體檢測部305對被攝體存在圖像Pl的YUV數(shù)據(jù)進行規(guī)定的臉部檢測處理來檢測臉部區(qū)域(步驟S84)。
接下來，背景區(qū)域特定部306h根據(jù)被攝體檢測部305的臉部檢測處理的結(jié)果，在被攝體存在圖像Pl內(nèi)特定背景構(gòu)成區(qū)域Cb的可能性高的邊緣區(qū)域(步驟S85)。具體而言，在臉部檢測處理的結(jié)果為檢測到臉部區(qū)域的情況下，背景區(qū)域特定部306h例如從被攝體存在圖像Pl的上側(cè)圖像邊界或左右兩側(cè)的圖像邊界開始將規(guī)定范圍(例如，20像素等) 內(nèi)作為邊緣區(qū)域，從而特定為背景構(gòu)成區(qū)域Cb的可能性高的邊緣區(qū)域。
此外，在特定背景構(gòu)成區(qū)域Cb的可能性高的邊緣區(qū)域的過程中，考慮了被攝體檢測部305的臉部檢測處理的結(jié)果，但是，例如在設(shè)定了從拍攝了人體胸部以上的上半身像的被攝體存在圖像Pl中提取被攝體區(qū)域D的上半身像提取模式的情況下，也可以針對從被攝體存在圖像Pl的上側(cè)圖像邊界或左右兩側(cè)的圖像邊界開始位于規(guī)定范圍內(nèi)的像素特定為背景構(gòu)成區(qū)域Cb。
接下來，背景區(qū)域特定部306h針對由構(gòu)成被特定的各邊緣區(qū)域的規(guī)定像素(例如，20像素等)而成的多個塊B、…的每一個塊，判定顏色的偏差量(例如，方差、標準偏差等)是否在規(guī)定值以下，并特定顏色的偏差量在規(guī)定值以下的塊B (步驟S86)。
其次，背景區(qū)域特定部306h在被特定的各塊B的代表色中計算與提取用背景圖像 P4的顏色(背景色或各圖像區(qū)域A的顏色)之間的類似度，并特定最類似的代表色(步驟 S87)。其次，背景區(qū)域特定部306h計算被特定的代表色與提取用背景圖像P4的背景色之間的差分(步驟S88)，并基于該差分，設(shè)定在被攝體存在圖像Pl內(nèi)構(gòu)成與背景對應(yīng)的正解區(qū)域的背景構(gòu)成區(qū)域Cb的判定用第2閾值(步驟S89)。
這里，第2閾值是與第I閾值相比判定度更寬松的值，例如是以下程度的值在構(gòu)成背景構(gòu)成區(qū)域Cb的可能性高的邊緣區(qū)域的塊B中，將與提取用背景圖像P4的顏色之間的差分小于或等于在步驟S87中特定的代表色與提取用背景圖像P4的背景色之間的色差的塊B作為背景構(gòu)成區(qū)域Cb。另外，也可以是在將步驟S82中設(shè)定第I閾值時計算出的多個差分信息劃分為兩個的情況下，將組間方差最大的閾值設(shè)定為第2閾值。
之后，背景區(qū)域特定部306h在構(gòu)成邊緣區(qū)域的多個塊B、…之中，將各塊B的代表色與提取用背景圖像P4的顏色(背景色或各圖像區(qū)域A的顏色)之間的差分信息在第 2閾值以下的塊B追加特定成背景構(gòu)成區(qū)域Cb (步驟S90)。
或者，也可以將在步驟S87中特定的代表色與邊緣區(qū)域的顏色之差在規(guī)定值以下的區(qū)域追加成背景構(gòu)成區(qū)域Cb。
由此，結(jié)束背景區(qū)域特定處理。
其次，參照圖11及圖12B說明被攝體剪切處理中的被攝體區(qū)域特定處理。
圖11是表示被攝體區(qū)域特定處理所涉及的動作的一例的流程圖。
被攝體剪切部306的被攝體區(qū)域特定部306i基于被攝體存在圖像Pl的縮小圖像的YUV數(shù)據(jù)及提取用背景圖像P4的YUV數(shù)據(jù)，在縮小圖像與提取用背景圖像P4之間針對對應(yīng)的各像素的亮度信息及色差信息的每一個計算差分(步驟S101)。之后，被攝體區(qū)域特定部306i對計算出的亮度信息及色差信息的各差分的值進行規(guī)定的加權(quán)，從而生成一維差分信息。
之后，被攝體區(qū)域特定部306i基于所生成的差分信息，設(shè)定在被攝體存在圖像Pl 內(nèi)構(gòu)成與被攝體對應(yīng)的正解區(qū)域的被攝體構(gòu)成區(qū)域Cs的判定用閾值(步驟S102)。具體而言，被攝體區(qū)域特定部306i在根據(jù)判斷分析法將多個差分信息劃分為兩個的情況下，計算組間差分最大的閾值，并將比該閾值大的差分信息中的中值(Median)設(shè)定為判定用閾值。
接下來，被攝體區(qū)域特定部306i特定差分信息比判定用閾值大的像素。
接著，在分割了被攝體存在圖像Pl的縮小圖像的多個塊B中，特定關(guān)注的塊B內(nèi)的顏色的偏差(方差)比規(guī)定值大的塊B，并在特定的塊內(nèi)，將差分信息比判定用閾值大的像素特定為被攝體構(gòu)成區(qū)域Cs (步驟S103 ;參照圖12B)。
或者，也可以將差分信息比判定用閾值大的像素作為被攝體構(gòu)成區(qū)域Cs，并進一步追加顏色的偏差大的塊B。
之后，被攝體檢測部305對被攝體存在圖像Pl的YUV數(shù)據(jù)進行規(guī)定的臉部檢測處理，從而檢測臉部區(qū)域(步驟S104)。
接下來，被攝體檢測部305判定臉部區(qū)域的檢測是否成功(步驟S105)，若判定為臉部區(qū)域的檢測成功(步驟S105 :是)，則被攝體區(qū)域特定部306i將檢測到的臉部區(qū)域追加特定為被攝體構(gòu)成區(qū)域Cs (步驟S106)。此時，被攝體區(qū)域特定部306i并非必須將臉部區(qū)域整體特定為被攝體構(gòu)成區(qū)域Cs，也可以針對臉部區(qū)域的規(guī)定方向(例如，水平方向)， 設(shè)定與實際檢測到的臉部區(qū)域相比小規(guī)定比例的區(qū)域。另外，被攝體區(qū)域特定部306i也可以在被攝體存在圖像Pl內(nèi)將比臉部區(qū)域更靠下側(cè)的區(qū)域特定為被攝體構(gòu)成區(qū)域Cs。
另一方面，若在步驟S105中判定為臉部區(qū)域的檢測未成功(步驟S105 :否)，則被攝體剪切部306跳過步驟S106，結(jié)束被攝體區(qū)域特定處理。
接著，參照圖13 圖15說明被攝體剪切處理中的被攝體提取處理。
圖13是表示被攝體提取處理所涉及的動作的一例的流程圖，圖14是表示被攝體提取處理中的提取結(jié)果判定處理所涉及的動作的一例的流程圖。
如圖13所示，被攝體提取部306j的二值圖像生成部306k針對由被攝體構(gòu)成區(qū)域 Cs、背景構(gòu)成區(qū)域Cb、不知是被攝體還是背景這樣的未確定的未確定區(qū)域Cu構(gòu)成的三值圖像P5(圖15A參照)中的、未確定區(qū)域Cu的各像素，計算被攝體似然性及背景似然性(步驟 Sm)。
具體而言，二值圖像生成部306k生成下述三值圖像P5，即將被攝體存在圖像Pl 中的被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb以外的區(qū)域設(shè)為不知是被攝體還是背景這樣的未確定的未確定區(qū)域Cu，例如將被攝體構(gòu)成區(qū)域Cs的像素值設(shè)為“I”、背景構(gòu)成區(qū)域Cb的像素值設(shè)為“O”、未確定區(qū)域Cu的像素值設(shè)為“0.5”的三值圖像P5。之后，二值圖像生成部306k根據(jù)與被攝體存在圖像Pl的被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb對應(yīng)的區(qū)域的顏色信息(亮度信息及色差信息)，生成高斯混合分布，并基于該高斯混合分布，對未確定區(qū)域Cu的各像素計算被攝體似然性及背景似然性(步驟S111)。
其次，二值圖像生成部306k利用圖割算法，生成將被攝體區(qū)域D的像素值設(shè)為 “I”、背景區(qū)域的像素值設(shè)為“0”的二值圖像(步驟S112)。
具體而言，二值圖像生成部306k在規(guī)定的能量函數(shù)的數(shù)據(jù)項中設(shè)定被攝體構(gòu)成區(qū)域Cs、背景構(gòu)成區(qū)域Cb、和未確定區(qū)域Cu的各像素所涉及的被攝體似然性及背景似然性，并且在能量函數(shù)的平滑項中對未確定區(qū)域Cu的各像素設(shè)定色差信息相對于周圍像素 (例如，相鄰的像素)的差分。之后，二值圖像生成部306k計算使設(shè)定的能量函數(shù)最小化的參數(shù)，并針對構(gòu)成未確定區(qū)域Cu的各像素特定是與被攝體區(qū)域D對應(yīng)的像素值“I”還是與背景區(qū)域?qū)?yīng)的像素值“O”。
接下來，被攝體提取部306 j基于由二值圖像生成部306k生成的二值圖像，生成表示被攝體存在圖像Pl中的被攝體區(qū)域D的位置的提取用圖像(例如，a映射圖M)(步驟 S113)。
具體而言，被攝體提取部306j例如對二值圖像進行用于除去細小的噪聲或存在因手抖動引起的差異的區(qū)域的收縮處理，并在除去了比規(guī)定值小的像素集合或因手抖動引起的細線像素集合之后，進行對構(gòu)成相同連結(jié)成分的像素集合附加相同序號的加標簽處理，然后進行用于修正收縮量的膨脹處理。另外，被攝體提取部306 j例如在特定為被攝體部分的最大面積的像素集合內(nèi)進行加標簽處理，將與相對于該被攝體部分的構(gòu)成像素的標簽數(shù)在規(guī)定的比例以下的標簽數(shù)的背景區(qū)域?qū)?yīng)的像素集合的各像素的像素值，變更為與被攝體部分對應(yīng)的像素值，從而進行替換成被攝體部分的填補處理。
之后，被攝體提取部306j對與上述的被攝體部分對應(yīng)的最大面積的像素集合的像素值為“I”、與背景區(qū)域?qū)?yīng)的其他部分的像素值為“0”的二值圖像實施低通濾波，使邊界部分產(chǎn)生中間值，由此針對各個區(qū)域生成規(guī)定的a值，從而生成a映射圖M(參照圖 15B)。
之后，被攝體提取部306j利用所生成的提取用圖像(a映射圖M)從被攝體存在圖像Pl中切出被攝體區(qū)域D，并與規(guī)定的單一顏色圖像P7進行合成，從而生成被攝體剪切圖像P6(參照圖15C)的圖像數(shù)據(jù)(步驟SI 14)。
具體而言，被攝體剪切部306針對被攝體存在圖像Pl的全部像素，使a值為0的像素透過，對a值為0 < a < I的像素進行與規(guī)定的單一顏色的混合,對a值為I的像素什么也不做，使其相對規(guī)定的單一顏色不透過。此外，由于在a映射圖M的邊緣部分附帶合成灰度，因而成為切出的被攝體區(qū)域D和單一顏色圖像P7 (背景)之間的邊界部分并不明顯的自然的感覺。
另外，所生成的被攝體剪切圖像P6的圖像數(shù)據(jù)與作為提取用圖像的a映射圖M 建立對應(yīng)后被存儲至存儲部302。
接著，被攝體剪切部306執(zhí)行對被攝體提取處理的結(jié)果進行判定的提取結(jié)果判定處理(參照圖14)(步驟SI 15)。
這里，參照圖14說明提取結(jié)果判定處理。
如圖14所示，被攝體剪切部306在被攝體剪切處理中判定被攝體檢測部305的臉部檢測是否成功(步驟S121)。
這里，若判定為臉部檢測成功(步驟S121 :是)，則被攝體剪切部306判定在被攝體剪切圖像P6的被攝體區(qū)域D內(nèi)是否包含臉部區(qū)域(步驟S122)。
若在步驟S122中判定為在被攝體區(qū)域D內(nèi)包含臉部區(qū)域(步驟S122 :是)，則被攝體剪切部306判定被攝體區(qū)域D是否在被攝體剪切圖像P6的圖像邊界中占規(guī)定的比例以上(步驟S123)。具體而言，被攝體剪切部306判定被攝體區(qū)域D中的、與被攝體剪切圖像P6的規(guī)定的圖像邊界(例如，下側(cè)圖像邊界等)重疊的像素數(shù)是否在整個圖像邊界的像素數(shù)的規(guī)定的比例以上。
這里，若判定為被攝體區(qū)域D在被攝體剪切圖像P6的圖像邊界中未占規(guī)定的比例以上(步驟S123 :否)，則被攝體剪切部306判定被攝體區(qū)域D是否涉及被攝體剪切圖像P6 的下側(cè)圖像邊界(步驟S124)。
若在步驟S124中判定為被攝體區(qū)域D涉及被攝體剪切圖像P6的下側(cè)圖像邊界 (步驟S124 :是)，則被攝體剪切部306判定被攝體區(qū)域D的大小相對于被攝體剪切圖像P6 整體是否在規(guī)定的比例以下(步驟S125)。具體而言，被攝體剪切部306特定被攝體區(qū)域D 的構(gòu)成像素數(shù)及被攝體剪切圖像P6整體的構(gòu)成像素數(shù)，并判定被攝體區(qū)域D的構(gòu)成像素數(shù)相對于被攝體剪切圖像P6整體的構(gòu)成像素數(shù)是否在規(guī)定的比例以下。
這里，若判定為被攝體區(qū)域D的大小相對于被攝體剪切圖像P6整體不在規(guī)定的比例以下(步驟S125 :否)，則被攝體剪切部306認為被攝體圖像的生成成功(步驟S126)， 結(jié)束提取結(jié)果判定處理。
另一方面，若在步驟S125中判定為被攝體區(qū)域D的大小相對于被攝體剪切圖像P6 整體在規(guī)定的比例以下(步驟S125 :是)，則被攝體剪切部306認為被攝體圖像的生成失敗(步驟S127)，結(jié)束提取結(jié)果判定處理。
另一方面，若在步驟S124中判定為被攝體區(qū)域D不涉及被攝體剪切圖像P6的下側(cè)圖像邊界(步驟S124 :否)，則被攝體剪切部306判定被攝體區(qū)域D是否涉及被攝體剪切圖像P6的左右兩側(cè)的圖像邊界(步驟S128)。
這里，若判定為被攝體區(qū)域D不涉及被攝體剪切圖像P6的左右兩側(cè)的圖像邊界 (步驟S128 :否)，則被攝體剪切部306將處理轉(zhuǎn)移至步驟S125，與上述同樣地，判定被攝體區(qū)域D的大小相對于被攝體剪切圖像P6整體是否在規(guī)定的比例以下(步驟S125)。另一方面，若判定為被攝體區(qū)域D涉及被攝體剪切圖像P6的左右兩側(cè)的圖像邊界(步驟S128 是)，則被攝體剪切部306將處理轉(zhuǎn)移至步驟S127，認為被攝體圖像的生成失敗(步驟 S127)。
另外，即便在步驟S121中判定為臉部檢測未成功的情況下(步驟S121 :否)，被攝體剪切部306也將處理轉(zhuǎn)移至步驟S125，進行與上述相同的處理(步驟S125)。
另一方面，即便在步驟S122中判定為在被攝體區(qū)域D內(nèi)不包含臉部區(qū)域的情況下 (步驟S122 :否)、或者在步驟S123中判定為被攝體區(qū)域D在被攝體剪切圖像P6的圖像邊界重占規(guī)定的比例以上的情況下(步驟S123 :是)，被攝體剪切部306也將處理移行至步驟 S127，認為被攝體圖像的生成失敗(步驟S127)。
由此，結(jié)束被攝體提取處理。
以上，根據(jù)實施方式I的被攝體剪切系統(tǒng)100，基于被攝體存在圖像Pl的多個圖像區(qū)域A、…的顏色與規(guī)定的一種顏色之間的類似度，生成由用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D的提取用背景色而構(gòu)成的提取用背景圖像P4，因此能夠按多個圖像區(qū)域A、…的每個區(qū)域個別地考慮被攝體存在圖像Pl的顏色，從而恰當(dāng)?shù)厣商崛∮帽尘吧?提取用背景圖像P4)。此時，因為分割被攝體存在圖像Pl來特定多個圖像區(qū)域A、…， 所以能夠恰當(dāng)?shù)靥囟ㄅc規(guī)定的一種顏色之間的類似度的計算所涉及的圖像區(qū)域A。
并且，因為基于所生成的提取用背景色(提取用背景圖像P4)，在被攝體存在圖像 Pl內(nèi)分別特定被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb，所以無需預(yù)先基于用戶對操作部的規(guī)定操作來指定構(gòu)成被攝體或背景的正解區(qū)域(seed)，能夠自動地在被攝體存在圖像Pl 內(nèi)指定被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb。
具體而言，因為將針對被攝體存在圖像Pl的多個塊B、…的各個塊被判定為與其他塊B的顏色之間的類似度在規(guī)定的判定值以上的次數(shù)最多的塊B的顏色，推定為被攝體存在圖像Pl的背景色，所以能夠恰當(dāng)?shù)赝贫ǔ蔀榕c被攝體存在圖像Pl的多個圖像區(qū)域 A、…的顏色之間的類似度的計算基準的、被攝體存在圖像Pl的背景色(規(guī)定的一種顏色)。
而且，因為將被判定為與其他塊B的顏色之間的類似度在規(guī)定的判定值以上的次數(shù)最多的塊B特定為背景構(gòu)成區(qū)域Cb，所以能夠恰當(dāng)?shù)貙⒃诒粩z體存在圖像Pl的背景色的推定中所使用的塊B特定為背景構(gòu)成區(qū)域Cb。
另外，因為針對多個塊B的顏色的偏差量在規(guī)定值以下的塊B的每一個塊，判定與其他塊B的顏色之間的類似度是否在規(guī)定的判定值以上，所以能夠僅利用構(gòu)成被攝體存在圖像Pl的多個塊B之中的顏色的偏差量少的塊B，來推定被攝體存在圖像Pl的背景色(規(guī)定的一種顏色)，能夠恰當(dāng)?shù)赝贫ㄔ摫尘吧?br> 另外，因為能夠在生成提取用背景圖像P4時，針對被判定為與規(guī)定的一種顏色之間的類似度比規(guī)定的判定值大的圖像區(qū)域A，基于該圖像區(qū)域A的顏色來生成提取用背景圖像P4，另一方面，針對被判定為與規(guī)定的一種顏色之間的類似度在規(guī)定的判定值以下的圖像區(qū)域A，基于被攝體存在圖像Pl的被推定的背景色來生成提取用背景圖像P4，所以針對被攝體存在圖像Pl的多個圖像區(qū)域A的各個區(qū)域，在考慮與規(guī)定的一種顏色之間的類似度的基礎(chǔ)上，能夠恰當(dāng)?shù)厣商崛∮帽尘皥D像P4。
而且，因為基于被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb，從被攝體存在圖像Pl中提取被攝體區(qū)域D，所以只要獲取被攝體存在圖像P1，就能從該被攝體存在圖像Pl中自動提取被攝體區(qū)域D。
[實施方式2]
圖16是表示應(yīng)用了本發(fā)明的實施方式2的攝像裝置201的示意結(jié)構(gòu)的框圖。
此外，實施方式2的攝像裝置201除了在以下詳細說明的點外，由于具有與上述實施方式I的攝像裝置I大致相同的結(jié)構(gòu)，因而省略其詳細說明。
實施方式2的攝像裝置201作為圖像處理裝置，計算同時存在背景和被攝體的被攝體存在圖像Pl的多個圖像區(qū)域A、…的顏色與規(guī)定的一種顏色之間的類似度，并基于計算出的類似度，生成用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D的提取用背景圖像P4。之后，攝像裝置201基于所生成的提取用背景圖像P4，在被攝體存在圖像Pl內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs及構(gòu)成背景的背景構(gòu)成區(qū)域Cb。
如圖16所示，攝像裝置201除了上述實施方式I的攝像裝置I的各部、即透鏡部 101、電子攝像部102、單元電路部103、攝像控制部104、圖像處理部105、顯示部106、記錄介質(zhì)控制部107、緩沖存儲器108、程序存儲器109、操作輸入部110、中央控制部111之外，還具備被攝體檢測部112和被攝體剪切部113。
被攝體檢測部112及被攝體剪切部113具有與實施方式I的服務(wù)器3所具備的被攝體檢測部305及被攝體剪切部306相同的功能。
S卩，被攝體剪切部113的類似度計算部306e計算同時存在背景和被攝體的被攝體存在圖像Pl的多個圖像區(qū)域A、…的顏色與規(guī)定的一種顏色之間的類似度，背景圖像生成部306g基于計算出的類似度，生成用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D 的提取用背景圖像P4。之后，背景區(qū)域特定部306h及被攝體區(qū)域特定部306i基于所生成的提取用背景圖像P4，在被攝體存在圖像Pl內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs 及構(gòu)成背景的背景構(gòu)成區(qū)域Cb。
另外，被攝體檢測部112從被攝體存在圖像Pl中檢測特定的被攝體。
之后，攝像裝置201進行與上述實施方式I的被攝體剪切處理(參照圖6)大致相同的被攝體剪切處理，從被攝體存在圖像Pl中切出被攝體區(qū)域D，從而生成被攝體剪切圖像P6的圖像數(shù)據(jù)。
因此，根據(jù)實施方式2的攝像裝置201，與上述實施方式I同樣地，基于被攝體存在圖像Pl的多個圖像區(qū)域A、…的顏色與規(guī)定的一種顏色之間的類似度，生成由用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D的提取用背景色而構(gòu)成的提取用背景圖像P4， 所以能夠針對多個圖像區(qū)域A、…的每個區(qū)域個別地考慮被攝體存在圖像Pl的顏色，從而恰當(dāng)?shù)厣商崛∮帽尘吧?提取用背景圖像P4)。并且，因為基于所生成的提取用背景色 (提取用背景圖像P4)在被攝體存在圖像Pl內(nèi)分別特定被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb，所以無需預(yù)先基于用戶對操作部的規(guī)定操作來指定構(gòu)成被攝體或背景的正解區(qū)域 (seed),能夠自動地在被攝體存在圖像Pl內(nèi)指定被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb。
此外，在上述實施方式1、2中，并非一定要具備被攝體檢測部305、112，是否具備被攝體檢測部305、112可以適當(dāng)?shù)剡M行任意變更。
此外，本發(fā)明并不限于上述實施方式1、2，在不脫離本發(fā)明宗旨的范圍內(nèi)，可進行各種改變以及設(shè)計的變更。
例如，在上述實施方式1、2中，雖然在被攝體剪切部306(113)中具備圖像分割部 306b、背景色推定部306d、被攝體提取部306j,但是,是否具備圖像分割部306b、背景色推定部306d或被攝體提取部306 j可適當(dāng)?shù)剡M行任意變更。
另外，在上述實施方式1、2中，雖然在被攝體剪切部306(113)中具備類似度判定部306f，并考慮該類似度判定部306f的判定結(jié)果來生成提取用背景圖像P4，但是，是否具備類似度判定部306f、即是否考慮類似度判定部306f的判定結(jié)果來生成提取用背景圖像 P4可適當(dāng)?shù)剡M行任意變更。
而且，在上述實施方式1、2中，雖然在被攝體提取處理中執(zhí)行了提取結(jié)果判定處理，但是也可適當(dāng)?shù)厝我庾兏欠襁M行提取結(jié)果判定處理。另外，圖14示出的提取結(jié)果判定處理的處理內(nèi)容也只是一例，并不限定于此，也可適當(dāng)?shù)剡M行任意變更。
另外，在上述實施方式I中，雖然基于用戶對用戶終端2的規(guī)定操作，通過起到Web 服務(wù)器功能的服務(wù)器(圖像處理裝置)3來特定了被攝體構(gòu)成區(qū)域Cs及背景構(gòu)成區(qū)域Cb， 但是這只是一例，并不限定于此，也可適當(dāng)?shù)厝我庾兏鼒D像處理裝置的結(jié)構(gòu)。即，作為通過軟件實現(xiàn)提取用圖像的生成所涉及的被攝體剪切部306(113)的功能的構(gòu)成，可通過安裝到用戶終端2，而無需通信網(wǎng)絡(luò)N，從而可由該用戶終端2單體進行被攝體圖像生成處理。
也就是說，用戶終端2也可以計算同時存在背景和被攝體的被攝體存在圖像Pl的多個圖像區(qū)域A、…的顏色與規(guī)定的一種顏色之間的類似度，并基于計算出的類似度，生成用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D的提取用背景圖像P4，并基于所生成的提取用背景圖像P4，在被攝體存在圖像Pl內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs 及構(gòu)成背景的背景構(gòu)成區(qū)域Cb。
另外，在上述實施方式I中，作為用戶終端2例示了個人計算機，但是這只是一例， 并不限定于此，也可適當(dāng)?shù)剡M行任意變更，例如也可應(yīng)用移動電話等。
而且，也可在實施方式I的被攝體剪切系統(tǒng)100中具備打印裝置，通過該打印裝置，將由服務(wù)器3生成的被攝體剪切圖像P6的被攝體圖像以規(guī)定的印刷方式印刷到規(guī)定的打印用基材上，從而生成被攝體圖像的印刷物。另外，服務(wù)器3也可以利用a映射圖M對生成的被攝體剪切圖像P6和規(guī)定的背景圖像進行合成，從而生成被攝體合成圖像(省略圖示)，這種情況下，打印裝置也可生成該被攝體合成圖像的印刷物。
此外，也可以在被攝體剪切圖像P6或被攝體合成圖像的圖像數(shù)據(jù)中嵌入禁止用戶進行的規(guī)定的改變的控制信息。
除此之外，在上述實施方式1、2中，雖然采用了如下的結(jié)構(gòu)，S卩在服務(wù)器3的中央控制部301或攝像裝置201的中央控制部111的控制下，通過驅(qū)動被攝體剪切部306(113) 的圖像獲取部306a、圖像區(qū)域特定部306c、類似度計算部306e、背景圖像生成部306g、背景區(qū)域特定部306h、被攝體區(qū)域特定部306i來實現(xiàn)作為獲取單元、第I特定單元、比較單元、生成單元、第2特定單元的功能，但是這只是一個例子，并不限定于此，也可以采用通過中央控制部301 (111)的CPU執(zhí)行規(guī)定的程序等來實現(xiàn)上述各部件的功能的構(gòu)成。
S卩，在存儲程序的程序存儲器(省略圖示)中，預(yù)先存儲包括獲取處理程序、第I 特定處理程序、比較處理程序、生成處理程序、第2特定處理程序在內(nèi)的程序。并且，也可以通過獲取處理程序，使中央控制部301 (111)的CPU起到獲取同時存在背景和被攝體的被攝體存在圖像Pl的獲取單元的功能。另外，也可以通過第I特定處理程序，使中央控制部301 的CPU起到在由獲取單元獲取到的被攝體存在圖像Pl內(nèi)特定多個圖像區(qū)域A、…的第I特定單元的功能。另外，也可以通過比較處理程序，使中央控制部301的CPU起到比較由第I 特定單元特定的各圖像區(qū)域A的代表色與規(guī)定的一種顏色的比較單元的功能。另外，也可以通過生成處理程序，使中央控制部301的CPU起到基于比較單元的比較結(jié)果來生成用于從被攝體存在圖像Pl中提取包含被攝體的區(qū)域D的提取用背景色的生成單元的功能。另外，也可以通過第2特定處理程序，使中央控制部301的CPU起到基于由生成單元生成的提取用背景色在被攝體存在圖像Pl內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域Cs及構(gòu)成背景的背景構(gòu)成區(qū)域Cb的第2特定單元的功能。
同樣地，也可以是通過服務(wù)器3的中央控制部301或攝像裝置201的中央控制部 111的CPU執(zhí)行規(guī)定的程序等來實現(xiàn)分割單元、推定單元、判定單元、提取單元的構(gòu)成。
而且，作為保存了用于執(zhí)行上述各處理的程序的計算機可讀介質(zhì)，除了 ROM或硬盤等之外，也可以應(yīng)用閃存等非易失性存儲器、⑶-ROM等可移動記錄介質(zhì)。另外，作為經(jīng)由規(guī)定的通信線路提供程序數(shù)據(jù)的介質(zhì)，也可應(yīng)用載波(carrier wave)。
權(quán)利要求
1.一種圖像處理裝置，其特征在于，具備獲取單元(306)，其獲取同時存在背景和被攝體的被攝體存在圖像；第I特定單元(306)，其在由該獲取單元獲取到的被攝體存在圖像內(nèi)特定多個圖像區(qū)域；比較單元(306)，其比較由該第I特定單元特定的各圖像區(qū)域的代表色和規(guī)定的一種顏色；生成單元(306)，其基于該比較單元的比較結(jié)果，生成用于從所述被攝體存在圖像中提取包含被攝體的區(qū)域的提取用背景色；和第2特定單元(306)，其基于由該生成單元生成的提取用背景色，在所述被攝體存在圖像內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域及構(gòu)成背景的背景構(gòu)成區(qū)域。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述圖像處理裝置還具備分割單元(306)，該分割單元將所述被攝體存在圖像分割成多個圖像區(qū)域，所述第I特定單元將由所述分割單元分割的多個圖像區(qū)域特定為特定對象。
3.根據(jù)權(quán)利要求I或2所述的圖像處理裝置，其特征在于，所述圖像處理裝置還具備推定單元(306)，該推定單元利用一種顏色推定由所述獲取單元獲取到的被攝體存在圖像的背景顏色，所述比較單元將由所述推定單元推定的所述背景顏色作為所述規(guī)定的一種顏色，計算與由所述第I特定單元特定的各圖像區(qū)域的代表色之間的類似度。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述推定單元還針對所述被攝體存在圖像的多個區(qū)域的各個區(qū)域，判定與其他區(qū)域的代表色之間的類似度是否在規(guī)定的判定值以上，并將被判定為在所述規(guī)定的判定值以上的次數(shù)最多的區(qū)域的代表色推定為所述背景顏色。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述第2特定單元還將由所述推定單元判定為與其他區(qū)域的顏色之間的類似度在規(guī)定的判定值以上的次數(shù)最多的區(qū)域特定為所述背景構(gòu)成區(qū)域。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于，所述推定單元還計算所述多個區(qū)域的顏色的偏差量，并針對計算出的偏差量在規(guī)定值以下的區(qū)域的各個區(qū)域，判定與其他區(qū)域的顏色之間的類似度是否在規(guī)定的判定值以上， 將被判定為在所述規(guī)定的判定值以上的次數(shù)最多的區(qū)域的顏色推定為所述背景的顏色。
7.根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于，所述圖像處理裝置還具備判定單元(306)，該判定單元基于所述比較單元的比較結(jié)果， 判定各圖像區(qū)域所涉及的類似度是否比規(guī)定的判定值大，若由所述判定單元判定為圖像區(qū)域的類似度比規(guī)定的判定值大，則針對與該圖像區(qū)域?qū)?yīng)的區(qū)域，所述生成單元基于該圖像區(qū)域的背景色生成所述提取用背景色，另一方面，若由所述判定單元判定為圖像區(qū)域的類似度在規(guī)定的判定值以下，則針對與該圖像區(qū)域?qū)?yīng)的區(qū)域，所述生成單元基于由所述推定單元推定的所述背景顏色生成所述提取用背景色。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，其特征在于，所述圖像處理裝置還具備提取單元(306)，該提取單元基于由所述第2特定單元特定的所述被攝體構(gòu)成區(qū)域及所述背景構(gòu)成區(qū)域，從所述被攝體存在圖像中提取包含被攝體的區(qū)域。
9.一種圖像處理方法，該圖像處理方法利用了圖像處理裝置，所述圖像處理方法的特征在于，包括獲取同時存在背景和被攝體的被攝體存在圖像的處理；在獲取到的該被攝體存在圖像內(nèi)特定多個圖像區(qū)域的處理；比較特定的各圖像區(qū)域的代表色和規(guī)定的一種顏色的處理；基于進行比較的處理的比較結(jié)果，生成用于從所述被攝體存在圖像中提取包含被攝體的區(qū)域的提取用背景色的處理；和基于生成的該提取用背景色，在所述被攝體存在圖像內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域及構(gòu)成背景的背景構(gòu)成區(qū)域的處理。
全文摘要
本發(fā)明提供一種圖像處理裝置及圖像處理方法。圖像處理裝置具備獲取單元(306)，其獲取同時存在背景和被攝體的被攝體存在圖像；第1特定單元(306)，其在由該獲取單元獲取到的被攝體存在圖像內(nèi)特定多個圖像區(qū)域；比較單元(306)，其比較由該第1特定單元特定的各圖像區(qū)域的代表色和規(guī)定的一種顏色；生成單元(306)，其基于該比較單元的比較結(jié)果，生成用于從所述被攝體存在圖像中提取包含被攝體的區(qū)域的提取用背景色；和第2特定單元(306)，其基于由該生成單元生成的提取用背景色，在所述被攝體存在圖像內(nèi)分別特定構(gòu)成被攝體的被攝體構(gòu)成區(qū)域及構(gòu)成背景的背景構(gòu)成區(qū)域。
文檔編號G06T7/40GK102542568SQ20111042769
公開日2012年7月4日 申請日期2011年12月19日 優(yōu)先權(quán)日2010年12月22日
發(fā)明者中島光康 申請人:卡西歐計算機株式會社