專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及自動記錄所拍攝到的圖像的圖像處理裝置、圖像處理方法及記錄介質(zhì)。
背景技術(shù)：
近年來，公知一種在數(shù)字照相機等的圖像處理裝置中，識別所拍攝的圖像中包含的物體，并利用該識別結(jié)果自動進行記錄的技術(shù)。例如，日本特開2008-098891號公報中記載的攝像裝置，在圖像內(nèi)識別出有多個運動物體的情況下，針對包括各運動物體的各塊(以下，稱為“運動區(qū)域”)求出運動區(qū)域尺寸(塊數(shù))及運動區(qū)域時間差分(塊數(shù)的變化)。 并且，在所求出的運動區(qū)域尺寸及運動區(qū)域時間差分滿足所設(shè)定的條件的情況下，對該運動區(qū)域進行自動曝光處理及自動聚焦處理。然而，在采用了上述技術(shù)的情況下，因為沒有考慮識別結(jié)果中的手抖動等引起的視場角變化的影響，所以在運動區(qū)域的存在有無判定中可能會產(chǎn)生錯誤，故存在無法適當進行自動記錄處理的顧慮。

發(fā)明內(nèi)容
本發(fā)明是鑒于上述狀況而提出的，其目的在于針對所拍攝到的圖像可進行利用了圖像識別的更適當?shù)淖詣佑涗浛刂啤榱诉_成上述目的，本發(fā)明的圖像處理裝置具備以下結(jié)構(gòu)。本發(fā)明涉及的圖像處理裝置具備攝像單元；取得單元，其依次取得由所述攝像單元拍攝到的圖像數(shù)據(jù)；判定單元，其判定所述攝像單元是否處于靜止；檢測單元，其在由所述判定單元判定出所述攝像單元處于靜止的狀態(tài)下，檢測所述依次取得的圖像數(shù)據(jù)的變化；和圖像數(shù)據(jù)記錄單元，其在由所述檢測單元在所述依次取得的圖像數(shù)據(jù)中檢測到變化時，記錄所述取得的圖像數(shù)據(jù)。另外，為了達成上述目的，具備攝像單元的本發(fā)明的圖像處理方法包括取得步驟，依次取得由所述攝像單元攝像到的圖像數(shù)據(jù)；判定步驟，判定所述攝像單元是否處于靜止；檢測步驟，在由所述判定步驟判定出所述攝像單元處于靜止的狀態(tài)下，檢測所述依次取得的圖像數(shù)據(jù)的變化；和圖像數(shù)據(jù)記錄步驟，在由所述檢測步驟在所述依次取得的圖像數(shù)據(jù)中檢測到變化時，記錄所述取得的圖像數(shù)據(jù)。另外，為了達成上述目的，具備了攝像單元的本發(fā)明的計算機可讀取記錄介質(zhì)保存了使該計算機作為下述單元發(fā)揮功能的程序取得單元，其依次取得由所述攝像單元拍攝到的圖像數(shù)據(jù)；判定單元，其判定所述攝像單元是否處于靜止；檢測單元，其在由所述判定單元判定出所述攝像單元處于靜止的狀態(tài)下，檢測所述依次取得的圖像數(shù)據(jù)的變化；和圖像數(shù)據(jù)記錄單元，其在由所述檢測單元在所述依次取得的圖像數(shù)據(jù)中檢測到變化時，記錄所述取得的圖像數(shù)據(jù)。



圖IA是表示本發(fā)明的實施方式涉及的圖像處理裝置的外觀構(gòu)成的俯視圖，是使攝像面和顯示面配置于彼此為內(nèi)外面的情況下的圖。圖IB是表示本發(fā)明的實施方式涉及的圖像處理裝置的外觀構(gòu)成的俯視圖，是使攝像面和顯示面配置于同一面的情況下的圖。圖2是將本發(fā)明的實施方式涉及的圖像處理裝置立設(shè)于桌子上等的情況下的立體圖。圖3是表示第I實施方式涉及的圖像處理裝置的硬件構(gòu)成的框圖。圖4是表示用于執(zhí)行第I實施方式涉及的圖像處理裝置的靜止時記錄處理的功能性構(gòu)成的功能框圖。圖5A是用于說明靜止判定部中的處理的示意圖，是表示對I幀F(xiàn)R的圖像設(shè)定的塊BL的一例的圖。圖5B是表示在圖5A中的各塊BL中檢測到的各運動矢量(圖中的箭頭)的一例的圖。圖6是表示運動矢量的頻數(shù)分布的直方圖。圖7是說明第I實施方式涉及的靜止時記錄處理的流程的流程圖。圖8是說明靜止判定處理的流程的流程圖。圖9是說明圖像變化檢測處理的流程的流程圖。圖10是表示第2實施方式涉及的圖像處理裝置的硬件構(gòu)成的框圖。圖11是說明第2實施方式涉及的靜止判定處理的流程的流程圖。
具體實施例方式以下，基于附圖來說明本發(fā)明的一實施方式。[第I實施方式]本實施方式涉及的圖像處理裝置例如由數(shù)字照相機構(gòu)成，為了進行檢測新被攝體進入幀中的這一圖像識別，而檢測通過依次攝像被攝體而連續(xù)取得的圖像數(shù)據(jù)是否變化。并且，具有下述功能基于連續(xù)取得的圖像數(shù)據(jù)的變化來進行自動記錄圖像數(shù)據(jù)的動作的控制，由此進行被攝體的記錄(以下稱為“自動記錄功能”。)。另外，圖像處理裝置在進行基于自動攝影功能的攝影的情況下，判定圖像處理裝置(更具體而言為攝像部)是否靜止，在判定出圖像處理裝置靜止的情況下，執(zhí)行基于自動記錄功能的圖像數(shù)據(jù)的記錄。
這是為了防止因圖像處理裝置沒有處于靜止引起的，盡管沒有新被攝體進入幀中但卻判定為圖像數(shù)據(jù)有變化，而會執(zhí)行自動記錄功能的情況。這樣，本實施方式涉及的圖像處理裝置能夠在根據(jù)該圖像處理裝置有無靜止而判定了應該執(zhí)行自動記錄功能的定時之后，檢測圖像數(shù)據(jù)是否變化，執(zhí)行直至記錄由自動記錄功能獲得的圖像(以下稱為“攝像圖像”)的數(shù)據(jù)為止的一連串處理。[圖像處理裝置的構(gòu)成]圖1A、1B是表示本發(fā)明的一實施方式涉及的圖像處理裝置I的外觀構(gòu)成的俯視圖。在這些圖中，圖像處理裝置I具備照相機主體11、顯示部主體12和框主體13，且這些各部以彼此之間姿勢可變化的方式進行連結(jié)。 此外，圖IA是使在照相機主體11中配置有攝像鏡頭的攝像面和在顯示部主體12中配置有顯示器的顯示面配置于圖像處理裝置I的彼此為內(nèi)外面的情況下的俯視圖。另一方面，圖IB是使上述攝像面和顯示面配置于圖像處理裝置I的一個面的情況下的俯視圖。照相機主體11形成為俯視時為五邊形的短柱狀，如圖IA所示，照相機主體11的背面形成為平坦。另外，如圖IB所示，在照相機主體11的表面配置了拍攝被攝體的圖像并輸出圖像數(shù)據(jù)的攝像部22的攝像面(攝像鏡頭側(cè)的面)。即、照相機主體11構(gòu)成了內(nèi)置攝像部22的第I框體。照相機主體11被軸支撐為能夠以貫通照相機主體11及顯示部主體12來配置的轉(zhuǎn)動軸A作為轉(zhuǎn)動中心,相對于顯示部主體12進行轉(zhuǎn)動。另外，照相機主體11被軸支撐為能夠以與轉(zhuǎn)動軸A正交地配置且貫通照相機主體11及框主體13來配置的轉(zhuǎn)動軸B作為轉(zhuǎn)動中心，相對于框主體13進行轉(zhuǎn)動。更具體而言，照相機主體11構(gòu)成為可以使照相機主體11的五邊形的外形之中的一條邊與顯示部主體12滑動接觸，同時以轉(zhuǎn)動軸A作為中心來進行轉(zhuǎn)動。此外，以下將圖像處理裝置I的長邊方向的兩端之中的、設(shè)置了照相機主體11的側(cè)(圖1A、1B的左側(cè))稱為“照相機側(cè)”，將設(shè)置了顯示部主體12的側(cè)(圖1A、1B的右側(cè))稱為“顯示部側(cè)”。顯示部主體12在俯視時形成為大致矩形狀，在其表面的中央配置了矩形狀的顯示部21的顯示面。即、顯示部主體12是內(nèi)置顯示部21的第2框體。框主體13是在圖像處理裝置I的外周部分作為構(gòu)成沿著長邊方向的2條長邊及顯示部側(cè)的一條短邊的部分被一體式形成的框構(gòu)件。另外，框主體13中的圖像處理裝置I的照相機側(cè)的短邊開口，在該開口部夾持照相機主體11。位于框主體13的顯示部側(cè)的短邊的部分被形成為內(nèi)周側(cè)的面沿著顯示部主體12的外形、且外周側(cè)的面向圖像處理裝置I的外方突出的V字狀。框主體13按照能以轉(zhuǎn)動軸B為轉(zhuǎn)動中心進行轉(zhuǎn)動的方式與作為第I框體的照相機主體11進行連接。換言之，上述的轉(zhuǎn)動軸B貫通框主體13夾持照相機主體11的部分，框主體13以轉(zhuǎn)動軸B作為轉(zhuǎn)動中心，以照相機主體11能夠在框主體13所包圍的空間中向表側(cè)及背側(cè)擺動的狀態(tài)進行支撐。這樣，由于照相機主體11被軸支撐為能以轉(zhuǎn)動軸B為中心相對于框主體13進行轉(zhuǎn)動，所以能夠自由地改變配置攝像部22的攝像面的表面的朝向。S卩、用戶通過轉(zhuǎn)動照相機主體11，能夠如圖IA所示那樣使攝像部22的攝像面相對于紙面而配置于里側(cè)，或如圖IB所示那樣使攝像部22的攝像面相對于紙面而配置于跟前側(cè)。因此，在被攝體存在于內(nèi)側(cè) 的情況下，用戶能夠通過以轉(zhuǎn)動軸B作為中心使照相機主體11轉(zhuǎn)動而處于圖IA的狀態(tài)，由此能夠使攝像部22拍攝里側(cè)的被攝體。與之相對地，在將自己作為被攝體進行攝像的情況等、被攝體存在于跟前側(cè)的情況下，用戶通過以轉(zhuǎn)動軸B作為中心使照相機主體11轉(zhuǎn)動而處于圖IB的狀態(tài)，由此能夠使攝像部22拍攝跟如側(cè)的被攝體。圖2是表示立設(shè)于桌子上等的圖像處理裝置I的外觀構(gòu)成的立體圖。用戶在拍攝自己的情況等下，首先如圖2所示使顯示部21的顯示面和攝像部22的攝像面的各法線為大致同一方向、且按照照相機主體11和框主體13以轉(zhuǎn)動軸B為中心展開規(guī)定角度的方式調(diào)整姿勢后的狀態(tài)的圖像處理裝置I立設(shè)于桌子上等。S卩、構(gòu)成框主體13的V字狀的底邊的前端和顯示部主體12的端部與桌子上的面抵接而作為臺座發(fā)揮功能，框主體13和顯示部主體12經(jīng)由轉(zhuǎn)動軸B互相被軸支撐來保持姿勢，由此圖像處理裝置I可以立設(shè)于桌子上等。如圖2所示在立設(shè)了圖像處理裝置I之際，在立設(shè)當初的一定時間內(nèi)圖像處理裝置I會產(chǎn)生晃動，從而攝像圖像會產(chǎn)生模糊。這種情況下，由于盡管沒有新被攝體進入幀中但卻有可能判定為圖像數(shù)據(jù)有變化，所以有可能無法適當判定基于自動記錄功能應該攝影的定時。與之相對，在本發(fā)明涉及的圖像處理裝置I中，由于判定圖像處理裝置I是否靜止，并在圖像處理裝置I處于靜止的狀態(tài)(即、應該執(zhí)行自動攝影功能的狀態(tài))下進行基于自動攝影功能的攝影的處理(后述的靜止時記錄處理)，因而能夠更適當?shù)乜刂评脠D像識別所進行的攝像。圖3是表示具有自動記錄功能的圖像處理裝置I的硬件構(gòu)成的框圖。圖像處理裝置I除了具備上述的顯示部21及攝像部22之外，還具備CPU (CentralProcessing Unit) 41、ROM (Read Only Memory) 42、RAM (RandomAccess Memory) 43、圖像處理部44、總線45、輸入輸出接口 46、計時部47、操作部48、存儲部49、通信部50以及驅(qū)動器51。CPU41按照R0M42中記錄的程序、或者從存儲部49下載至RAM43中的程序來執(zhí)行各種處理。在RAM43中也適當?shù)卮鎯υ贑PU41執(zhí)行各種處理時所需的數(shù)據(jù)等。圖像處理部44 由 DSP (Digital Signal Processor)或VRAM(Video RandomAccessMemory)等構(gòu)成,與CPU41協(xié)作地對圖像的數(shù)據(jù)實施各種圖像處理。例如，圖像處理部44對從攝像部22輸出的攝像圖像的數(shù)據(jù)實施降低噪聲、白平衡調(diào)整、手抖動修正等的圖像處理。
CPU41、R0M42、RAM43及圖像處理部44經(jīng)由總線45相互連接。該總線45還連接著輸入輸出接口 46。輸入輸出接口 46連接著顯示部21、攝像部22、計時部47、操作部48、存儲部49、通信部50及驅(qū)動器51。顯示部21由可顯示各種圖像的顯示器等構(gòu)成。攝像部22雖然未圖示，但是具備光學透鏡部和圖像傳感器。光學透鏡部為了拍攝被攝體，而由對光進行集光的透鏡、例如聚焦透鏡或變焦透鏡等構(gòu)成。聚焦透鏡是使被攝體像成像于圖像傳感器的受光面的透鏡。變焦透鏡是使焦點距離在一定范圍內(nèi)自由變化的透鏡。光學透鏡部還根據(jù)需要設(shè)置調(diào)整焦點、曝光、白平衡等設(shè)定參數(shù)的外圍電路。 圖像傳感器由光電轉(zhuǎn)換元件或AFE (Analog Front End)等構(gòu)成。光電轉(zhuǎn)換兀件例如由CMOS (Complementary Metal Oxide Semiconductor)型的光電轉(zhuǎn)換元件等構(gòu)成。從光學透鏡部向光電轉(zhuǎn)換元件入射被攝體像。因此，光電轉(zhuǎn)換元件對被攝體像進行光電轉(zhuǎn)換(攝像)并在一定時間內(nèi)蓄積圖像信號，將所蓄積的圖像信號作為模擬信號依次供給至AFE。AFE對該模擬的圖像信號執(zhí)行A/D (Analog/Digital)轉(zhuǎn)換處理等的各種信號處理。通過各種信號處理而生成數(shù)字信號，并作為攝像部22的輸出信號進行輸出。這種的攝像部22的輸出信號是攝像圖像的數(shù)據(jù)，被適當?shù)毓┙o至CPU41、圖像處理部44等。計時部47在CPU41的控制下執(zhí)行計時動作。操作部48例如由未圖示的釋放按鈕等的各種按鈕構(gòu)成，受理用戶的指示操作。存儲部49由DRAM (Dynamic Random Access Memory)等構(gòu)成，存儲各種圖像的數(shù)據(jù)。通信部50經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)來控制在與其他裝置之間進行的通信。在驅(qū)動器51中適當?shù)匕惭b了由磁盤、光盤、磁光盤、或半導體存儲器等構(gòu)成的可移動介質(zhì)52。由驅(qū)動器51從可移動介質(zhì)52中讀出的程序，根據(jù)需要被安裝在存儲部49中。另外，可移動介質(zhì)52也能夠與存儲部49同樣地存儲在存儲部49中存儲的圖像的數(shù)據(jù)等的各種數(shù)據(jù)。圖4是表示用于在圖像處理裝置I中執(zhí)行靜止時記錄處理的功能性構(gòu)成的功能框圖。靜止時記錄處理是指如下的一連串處理判定圖像處理裝置I是否靜止，在判定為靜止的情況下，檢測依次取得的圖像數(shù)據(jù)的變化，進行基于自動記錄功能的攝影。圖像數(shù)據(jù)取得部61具備幀緩沖器，取得從攝像部22依次輸出的圖像數(shù)據(jù)，與規(guī)定幀相應地存儲所取得的圖像數(shù)據(jù)。具體而言，圖像數(shù)據(jù)取得部61至少存儲2幀從攝像部22輸入的圖像數(shù)據(jù)。并且，將圖像數(shù)據(jù)取得部61存儲的圖像數(shù)據(jù)作為檢測對象，進行靜止判定部71用于判定圖像處理裝置I是否靜止的運動矢量的檢測，進行圖像變化檢測部72用于進行自動記錄的幀間變化(連續(xù)取得的圖像數(shù)據(jù)的變化)的檢測。
另外，圖像數(shù)據(jù)取得部61中存儲的最新的幀的圖像數(shù)據(jù)被顯示部21依次顯示。靜止判定部71在圖像數(shù)據(jù)取得部61存儲的I幀的圖像數(shù)據(jù)中，按預先設(shè)定的每個塊來檢測運動矢量。此時，作為檢測運動矢量的單位的塊，能夠設(shè)為用于編碼及解碼運動圖像的宏塊，或者設(shè)為使多個宏塊集合后的任意尺寸的塊。并且，靜止判定部71基于所檢測到的運動矢量的頻數(shù)分布，判定圖像處理裝置I是否靜止。

圖5A、5B都是用于說明靜止判定部71中的處理的示意圖。圖5A是表示對I幀F(xiàn)R的圖像設(shè)定的塊BL的一例的圖。圖5B是表示圖5A中的各塊BL中包含的各運動矢量(圖中的箭頭)的一例的圖。靜止判定部71在如圖5A所示那樣設(shè)定的各塊BL中，取得使運動矢量的種類和其頻度建立對應后的頻數(shù)分布。圖6是表示圖5B所示的運動矢量的頻數(shù)分布的一例的直方圖。在圖6所示的直方圖中，按運動矢量的每個種類Ml M8，計數(shù)其頻數(shù)。靜止判定部71由此取得頻數(shù)分布，比較針對運動矢量的頻數(shù)而設(shè)定的閾值Dth和各運動矢量的頻數(shù)D，在某個運動矢量的頻數(shù)D超過了閾值Dth的情況下，判定為在圖像處理裝置I中發(fā)生振動而沒有處于靜止(圖像產(chǎn)生模糊，無法根據(jù)自動記錄功能適當進行攝影定時的判定)。這是因為在各塊中取得多個同樣的運動矢量之時，因在圖像處理裝置I中產(chǎn)生了振動等的理由，推定出圖像整體進行了同樣運動。此外，除了將相同朝向及長度的運動矢量作為I個種類的運動矢量來計數(shù)頻數(shù)之夕卜，還能夠?qū)㈩A先設(shè)定的范圍內(nèi)的朝向及長度的運動矢量作為I個種類的運動矢量來計數(shù)頻數(shù)。并且，靜止判定部71在判定出圖像處理裝置I沒有振動處于靜止(圖像沒有產(chǎn)生模糊)的情況下，將表示圖像處理裝置I處于靜止的信號(以下稱為“靜止信號”)輸出至圖像變化檢測部72。圖像變化檢測部72檢測在圖像數(shù)據(jù)取得部61中存儲的多個幀的圖像數(shù)據(jù)的變化。具體而言，圖像變化檢測部72計算先前的幀的圖像數(shù)據(jù)和接下來的幀的圖像數(shù)據(jù)中的相關(guān)性，在相關(guān)性低于閾值的情況下，判定為這些幀的圖像數(shù)據(jù)產(chǎn)生了變化。S卩、在連續(xù)的幀的圖像數(shù)據(jù)之間，在新被攝體進入了幀中的情況等、圖像數(shù)據(jù)的相關(guān)性下降的情況下，通過圖像變化檢測部72檢測圖像數(shù)據(jù)的變化。在本實施方式涉及的圖像處理裝置I中，將該圖像數(shù)據(jù)的變化作為基于自動記錄功能的釋放(release)信號(攝像指示信號)的觸發(fā)，在檢測到圖像數(shù)據(jù)變化的情況下，圖像變化檢測部72向圖像數(shù)據(jù)記錄控制部81輸出釋放信號，用于使可移動介質(zhì)52記錄被顯示部21顯示的圖像的數(shù)據(jù)。圖像數(shù)據(jù)記錄控制部81在從圖像變化檢測部72輸入了釋放信號的情況下，取得在圖像數(shù)據(jù)取得部61中存儲的最新的幀的圖像數(shù)據(jù)，作為攝像圖像的數(shù)據(jù)而記錄至可移動介質(zhì)52。
[動作]接著，參照圖7，對這種圖4的功能性構(gòu)成的圖像處理裝置I所執(zhí)行的靜止時記錄處理進行說明。圖7是說明靜止時記錄處理的流程的流程圖。在本實施方式中，在用戶對操作部48進行了指示執(zhí)行靜止時記錄處理的操作的情況下，以此操作為契機開始進行靜止時記錄處理。在圖7中，若開始了靜止時記錄處理，則在步驟SI中，靜止判定部71對用于靜止判定的計數(shù)器設(shè)置O (即、初始化)。在步驟S2中，靜止判定部71反復執(zhí)行靜止判定處理(后述)，取得圖像處理裝置I是否處于靜止狀態(tài)的判定結(jié)果。
在步驟S3中，靜止判定部71判定步驟S2中的判定結(jié)果是否表示圖像處理裝置I處于靜止。在步驟S2中的判定結(jié)果不是表示圖像處理裝置I處于靜止的結(jié)果的情況下，在步驟S3中判定為否，處理進入步驟SI。與之相對，在步驟S2中的判定結(jié)果是表示圖像處理裝置I處于靜止狀態(tài)的結(jié)果的情況下，在步驟S3中判定為是，處理進入步驟S4。在步驟S4中，靜止判定部71判定計數(shù)器的值為何值。在計數(shù)器的值為O的情況下，在步驟S4的判定之后處理進入步驟S5。在步驟S5中，靜止判定部71將在圖像數(shù)據(jù)取得部61中存儲的最新的幀的圖像數(shù)據(jù)作為圖像變化檢測部72中的圖像變化檢測的基準(以下稱為“基準幀”)進行保持。在步驟S6中，靜止判定部71使用于靜止判定的計數(shù)器的值加I。在步驟S6之后處理進入步驟S2。在計數(shù)器的值為I以上的情況下，在步驟S4的判定之后處理進入步驟S7。此時，從靜止判定部71向圖像變化檢測部72輸出靜止信號，指示圖像變化檢測部72執(zhí)行處理。在步驟S7中，圖像變化檢測部72執(zhí)行圖像變化檢測處理(后述)，取得圖像數(shù)據(jù)是否由于新被攝體進入幀中等而發(fā)生變化的判定結(jié)果。在步驟S8中，圖像變化檢測部72判斷圖像數(shù)據(jù)是否發(fā)生變化的判定結(jié)果是否表示圖像數(shù)據(jù)變化了。在圖像數(shù)據(jù)是否發(fā)生變化的判定結(jié)果不表示圖像數(shù)據(jù)變化了的情況下，在步驟S8中判定為否，處理進入步驟S9。在步驟S9中，圖像變化檢測部72判定計數(shù)器的值是否大于為了超時而設(shè)定的閾值。這樣，在步驟S9中，將用于靜止判定的計數(shù)器用在超時的判定中。在計數(shù)器的值是為了超時而設(shè)定的閾值以下的情況下，在步驟S9中判定為否，處理進入步驟S2。與之相對，在判定出計數(shù)器的值大于為了超時而設(shè)定的閾值的情況下，在步驟S9中判定為是，結(jié)束靜止時記錄處理。另外，在圖像數(shù)據(jù)是否發(fā)生變化的判定結(jié)果表示圖像數(shù)據(jù)變化了的情況下，在步驟S8中判定為是，處理進入步驟SlO。
此時，從圖像變化檢測部72向圖像數(shù)據(jù)記錄控制部81輸出釋放信號，指示圖像數(shù)據(jù)記錄控制部81執(zhí)行處理。在步驟SlO中，圖像數(shù)據(jù)記錄控制部81將在圖像數(shù)據(jù)取得部61中存儲的最新的幀的圖像數(shù)據(jù)作為攝像圖像的數(shù)據(jù)進行取得，并存儲至可移動介質(zhì)52。若步驟SlO的處理結(jié)束，則靜止時記錄處理結(jié)束。接著，參照圖8，對圖4的功能性構(gòu)成的圖像處理裝置I作為靜止時記錄處理的子流程而執(zhí)行的靜止判定處理進行說明。圖8是說明靜止判定處理的流程的流程圖。靜止判定處理在靜止時記錄處理的步驟S2中作為子流程被啟動。 在步驟S21中，靜止判定部71在圖像數(shù)據(jù)取得部61中存儲的I幀的圖像數(shù)據(jù)中，按預先設(shè)定的每個塊來檢測運動矢量。在步驟S22中，靜止判定部71在所檢測的I幀份的運動矢量中，按運動矢量的每個種類來計數(shù)其頻數(shù)。在步驟S23中，靜止判定部71判定運動矢量中的最大頻數(shù)Dmax是否大于針對運動矢量的頻數(shù)而設(shè)定的閾值Dth。在運動矢量中的最大頻數(shù)Dmax大于閾值Dth的情況下，在步驟S23中判定為是，返回到靜止時記錄處理。即、在取得多個同樣的運動矢量之時，推定出圖像整體進行同樣的運動(圖像處理裝置I沒有靜止)，因而并不將圖像處理裝置I處于靜止這一情況設(shè)定為判定結(jié)果，返回到靜止時記錄處理。與之相對，在運動矢量中的最大頻數(shù)Dmax為閾值Dth以下的情況下，在步驟S23中判定為否，處理進入步驟S24。在步驟S24中，靜止判定部71將圖像處理裝置I處于靜止這一情況設(shè)定為判定結(jié)果O若步驟S24的處理結(jié)束，則返回到靜止時記錄處理。接著，參照圖9，對圖4的功能性構(gòu)成的圖像處理裝置I作為靜止時記錄處理的子流程而執(zhí)行的圖像變化檢測處理進行說明。圖9是說明圖像變化檢測處理的流程的流程圖。圖像變化檢測處理在靜止時記錄處理的步驟S7中作為子流程被啟動。在步驟S31中，圖像變化檢測部72計算基準幀的圖像數(shù)據(jù)和新存儲的幀的圖像數(shù)據(jù)中的相關(guān)性。此時，圖像變化檢測部72例如按對圖像設(shè)定的每個塊、或者任意設(shè)定的用于評價相關(guān)性的每個框來計算相關(guān)性。在步驟S32中，圖像變化檢測部72判定在步驟S31中計算出的相關(guān)性是否大于針對相關(guān)性設(shè)定的閾值。在步驟S31中計算出的相關(guān)性大于閾值的情況下，在步驟S32中判定為是，返回到靜止時記錄處理。S卩、在基準幀的圖像數(shù)據(jù)和新存儲的圖像數(shù)據(jù)之間的相關(guān)性大于閾值的情況下，由于根據(jù)基準幀的圖像數(shù)據(jù)推定出沒有變化(被攝體沒有變化)，因而并不將圖像數(shù)據(jù)已發(fā)生變化設(shè)定為判定結(jié)果，返回到靜止時記錄處理。
與之相對，在步驟S31中計算出的相關(guān)性為閾值以下的情況下，在步驟S32中判定為否，處理進入步驟S33。在步驟S33中，圖像變化檢測部72將圖像數(shù)據(jù)發(fā)生變化設(shè)定為判定結(jié)果。若步驟S33的處理結(jié)束，則返回到靜止時記錄處理。如以上說明的那樣，第I實施方式的圖像處理裝置I具備基于圖像數(shù)據(jù)的運動矢量來判定圖像處理裝置I是否靜止的靜止判定部71、和檢測依次輸入的圖像數(shù)據(jù)的變化的圖像變化檢測部72。并且，在由靜止判定部71判定為圖像處理裝置I處于靜止的情況下，圖像變化檢測部72檢測圖像數(shù)據(jù)的變化，在圖像數(shù)據(jù)發(fā)生變化的情況下，存儲攝 像圖像的數(shù)據(jù)。因此，在圖像處理裝置處于靜止、且適合判定基于自動記錄功能的攝影的定時的狀態(tài)下，能夠進行用于通過該自動記錄功能記錄圖像數(shù)據(jù)的圖像識別。因此，能夠更可靠地判定圖像數(shù)據(jù)的變化，故能夠更適當?shù)乜刂评脠D像識別所進行的圖像數(shù)據(jù)的記錄。另外，由于靜止判定部71在靜止時記錄處理中反復判定圖像處理裝置I的靜止，因而在圖像處理裝置I靜止之后立刻處于能通過自動記錄功能記錄圖像數(shù)據(jù)的狀態(tài)。因此，即便在用戶用手保持圖像處理裝置I等的情況下，也能夠?qū)⒖蓴z影的時間確保得更長。另外，由于靜止判定部71基于圖像數(shù)據(jù)中的每個塊的運動矢量來判定圖像處理裝置I是否處于靜止，因而能夠基于直接影響圖像識別的圖像的狀態(tài)來判定圖像處理裝置I是否處于靜止。因此，能夠?qū)⑴卸☉摶谧詣佑涗浌δ苓M行記錄的圖像數(shù)據(jù)的定時設(shè)為更適當?shù)亩〞r。另外，圖像變化檢測部72檢測連續(xù)的幀中的圖像數(shù)據(jù)的變化，并將該變化作為釋放信號的觸發(fā)。因此，能夠不錯過新被攝體進入幀中的定時等的短時間的快門機會，來進行攝影。另外，圖像變化檢測部72在由靜止判定部71判定為圖像處理裝置I處于靜止之后，參照計數(shù)器的值來判定是否超時。因此，能夠防止在圖像處理裝置I靜止之后在一定時間內(nèi)未檢測到圖像數(shù)據(jù)的變化的情況下，長時間持續(xù)待機攝像的狀態(tài)。[應用例]在第I實施方式中，在靜止判定處理的步驟S23中說明了閾值Dth為固定值的情況，但是也能將閾值Dth設(shè)為可變。例如，根據(jù)各圖像數(shù)據(jù)中的運動矢量的頻數(shù)分布來計算閾值Dth，針對該圖像數(shù)據(jù)，能夠?qū)⒂嬎愕拈撝礑th用于步驟S23的判定中。這種情況下，運動矢量的頻數(shù)中偏差越多，則能夠進一步減小閾值Dth，運動矢量的頻數(shù)中偏差越少，則能夠進一步增大閾值Dth等。由此，能夠根據(jù)圖像數(shù)據(jù)的內(nèi)容(B卩、被攝體的狀態(tài))來更適當?shù)嘏卸▓D像處理裝置I是否靜止。[第2實施方式]
在第I實施方式中，作為靜止判定處理，檢測圖像數(shù)據(jù)中的運動矢量，并基于其頻數(shù)分布來判定圖像處理裝置I是否靜止。與之相對，在第2實施方式中，圖像處理裝置I中具備加速度傳感器，基于加速度傳感器的檢測信號來判定圖像處理裝置I的靜止。圖10是表示第2實施方式涉及的圖像處理裝置I的硬件構(gòu)成的框圖。圖像處理裝置I 具備顯示部 21、攝像部 22、CPU (Central Processing Unit) 41、ROM (Read Only Memory) 42、RAM (Random Access Memory) 43、圖像處理部 44、總線 45、輸入輸出接口 46、計時部47、操作部48、存儲部49、通信部50、驅(qū)動器51以及加速度傳感器53。對于這些之中的除了加速度傳感器53以外的各部，與第I實施方式中的各部的構(gòu)成相同。 加速度傳感器53是壓電電阻型或靜電容量檢測型等的加速度傳感器，檢測對圖像處理裝置I施加的加速度。并且，加速度傳感器53將表示檢測到的加速度的信號經(jīng)由總線45輸出至CPU41及圖像處理部44。在圖10所示的硬件構(gòu)成中，對于用于執(zhí)行靜止時記錄處理的功能性構(gòu)成，除了靜止判定部71的功能之外，與圖4中的構(gòu)成相同。靜止判定部71取得表示加速度傳感器53輸出的加速度的信號，在該加速度超過了針對加速度設(shè)定的閾值的情況下，判定為圖像處理裝置I產(chǎn)生了振動而沒有處于靜止。[動作]接著，參照圖11，對第2實施方式中的靜止判定處理進行說明。圖11是說明第2實施方式涉及的靜止判定處理的流程的流程圖。靜止判定處理在靜止時記錄處理的步驟S2中作為子流程被啟動。在步驟S41中，靜止判定部71取得表示從加速度傳感器53輸入的加速度的信號。在步驟S42中，靜止判定部71判定在步驟S41中取得的信號表示的加速度是否大于針對加速度設(shè)定的閾值。在步驟S41中取得的信號表示的加速度大于針對加速度設(shè)定的閾值的情況下，在步驟S42中判定為是，返回到靜止時記錄處理。S卩、并不將圖像處理裝置I處于靜止設(shè)定為判定結(jié)果，返回到靜止時記錄處理。與之相對，在步驟S41中取得的信號表示的加速度為針對加速度設(shè)定的閾值以下的情況下，處理進入步驟S43。在步驟S43中，靜止判定部71設(shè)定為表示圖像處理裝置I處于靜止的判定結(jié)果。若步驟S43的處理結(jié)束，則返回到靜止時記錄處理。如以上說明那樣，第2實施方式的圖像處理裝置I具備基于由加速度傳感器53檢測到的加速度來判定圖像處理裝置I是否靜止的靜止判定部71、和檢測依次輸入的圖像數(shù)據(jù)的變化的圖像變化檢測部72。并且，在由靜止判定部71判定出圖像處理裝置I處于靜止的情況下，圖像變化檢測部72檢測圖像數(shù)據(jù)的變化，在圖像數(shù)據(jù)發(fā)生了變化的情況下存儲攝像圖像的數(shù)據(jù)。因此，能夠在圖像處理裝置處于靜止、且適合判定基于自動記錄功能記錄圖像數(shù)據(jù)的定時的狀態(tài)下，進行用于通過該自動記錄功能進行記錄的圖像識別。
因此，能夠更可靠地判定圖像數(shù)據(jù)的變化，故能夠更適當?shù)乜刂评脠D像識別所進行的圖像數(shù)據(jù)的記錄。另外，由于靜止判定部71基于由圖像處理裝置I具備的加速度傳感器53檢測到的加速度來判定圖像處理裝置I是否靜止，因而基于由在圖像處理裝置I中實際產(chǎn)生的振動等引起的加速度，判定圖像處理裝置I是否靜止。因此，能夠更可靠地判定圖像處理裝置I的靜止狀態(tài)，能夠更適當?shù)乜刂苹谧詣佑涗浌δ苡涗泩D像數(shù)據(jù)的定時。此外，本發(fā)明并不限于 上述的實施方式，在能達成本發(fā)明目的的范圍內(nèi)的變形、改良等也包括在本發(fā)明中。在上述的實施方式中，作為圖像處理裝置I而以具備攝像部22的數(shù)字照相機為例進行了說明，但是本發(fā)明也能適用于在自裝置中不具備攝像部22而輸入由其他裝置的攝像部拍攝到的圖像的圖像數(shù)據(jù)的裝置(例如，依次接收由通信對方用Web照相機拍攝到的圖像的圖像數(shù)據(jù)的信息處理裝置等)?；蛘?，本發(fā)明也能適應于攝像部22作為可與圖像處理裝置I分離的單元的裝置。這種情況下，在靜止判定處理中進行運動矢量的檢測或基于加速度傳感器的加速度檢測，判定攝像部(具體而言為攝像裝置所配備的裝置或單元)是否靜止，由此起到本發(fā)明的效果。在上述的實施方式中，作為存儲介質(zhì)而采用了可移動介質(zhì)52，但并不限定于此。例如，也可以是網(wǎng)絡(luò)上的其他裝置(服務(wù)器等)內(nèi)的存儲部(硬盤等)。另外，在上述的實施方式中，本發(fā)明所適應的圖像處理裝置以數(shù)字照相機為例進行了說明，但是并不特別限定于此。例如，本發(fā)明涉及的圖像處理裝置一般能夠適用于具有圖像處理功能的電子設(shè)備。具體而言，本發(fā)明涉及的圖像處理裝置可適用于筆記本型個人計算機、攝像機、便攜式導航裝置、便攜電話機、便攜式游戲機等。上述的一連串處理既能由硬件實現(xiàn)，也能由軟件實現(xiàn)。換言之，圖4的功能性構(gòu)成只是例示，并不特別限定。S卩，只要圖像處理裝置具備能夠?qū)⑸鲜龅囊贿B串處理作為整體執(zhí)行的功能即可，為了實現(xiàn)該功能而使用什么樣的功能模塊并不限定于圖4的例子。另外，I個功能模塊既可以由硬件單體構(gòu)成，也可以由軟件單體構(gòu)件，還可以由硬件與軟件的組合來構(gòu)成。在由軟件執(zhí)行一連串處理的情況下，構(gòu)成軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)安裝于計算機等。計算機也可以是嵌入于專用硬件的計算機。另外，計算機可以是通過安裝各種程序來執(zhí)行各種功能的計算機，例如通用個人計算機。包括這種程序的記錄介質(zhì)，不僅由為了向用戶提供程序而與裝置主體分開地設(shè)置的圖3、圖10的可移動介質(zhì)52構(gòu)成，還由在預先組合到裝置主體中的狀態(tài)下向用戶提供的記錄介質(zhì)構(gòu)成?？梢苿咏橘|(zhì)52例如由磁盤(包括軟盤)、光盤或磁光盤等構(gòu)成。
光盤例如由CD-ROM (Compact Disk-Read Only Memory) >DVD (Digital VersatileDisk)等構(gòu)成。磁光盤由MD(Mini-Disk)等構(gòu)成。另外，在預先組合到裝置主體中的狀態(tài)下向用戶提供的記錄介質(zhì)，例如由記錄了程序的圖3、10的R0M42、圖3、10的存儲部49中包含的硬盤等構(gòu)成。此外，在本說明書中，描述了記錄于記錄介質(zhì)的程序的步驟，包括沿著該順序在時間序列上進行的處理，也包括未必沿著時間序列進行處理而并行或個別地執(zhí)行的處理。以下，對本發(fā)明的幾個實施方式進行了說明，但是這些實施方式只是例示，并不限定本發(fā)明的技術(shù)范圍。
本發(fā)明可以采取其他的各種各樣的實施方式，還可以在不脫離本發(fā)明主旨的范圍內(nèi)進行省略、置換等各種變更。這些實施方式及其變形例包括在本說明書等記載的發(fā)明的范圍及主旨內(nèi)，并且包括在權(quán)利要求書記載的發(fā)明及其等同的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理裝置，具備 攝像單元； 取得單元，其依次取得由所述攝像單元拍攝到的圖像數(shù)據(jù)； 判定單元，其判定所述攝像單元是否處于靜止； 檢測單元，其在由所述判定單元判定為所述攝像單元處于靜止的狀態(tài)下，檢測所述依次取得的圖像數(shù)據(jù)的變化；和 圖像數(shù)據(jù)記錄單元，其在由所述檢測單元在所述依次取得的圖像數(shù)據(jù)中檢測到變化時，記錄所述取得的圖像數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述判定單元反復判定所述攝像單元是否處于靜止， 所述檢測單元在由所述判定單元判定為所述攝像單元處于靜止的狀態(tài)下，檢測所述依次取得的圖像數(shù)據(jù)的變化。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述圖像處理裝置還具備 運動矢量檢測單元，其針對所述依次取得的所述圖像數(shù)據(jù)進行區(qū)域分割，并按每個分割區(qū)域來檢測運動矢量； 頻數(shù)計算單元，其計算由所述運動矢量檢測單元檢測到的所述運動矢量的頻數(shù)；和頻數(shù)判定單元，其判定由所述頻數(shù)計算單元計算出的所述運動矢量的頻數(shù)之中的最大頻數(shù)是否大于針對所述運動矢量的頻數(shù)而預先設(shè)定的閾值， 并且，在由所述頻數(shù)判定單元判定出所述運動矢量的最大頻數(shù)為所述預先設(shè)定的所述閾值以下的情況下，所述判定單元判定為所述攝像單元處于靜止。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述圖像處理裝置還具備 加速度檢測單元，其檢測加速度；和 加速度判定單元，其判定由所述加速度檢測單元檢測到的加速度是否大于針對所述加速度而預先設(shè)定的閾值， 并且，在由所述加速度判定單元判定出所述加速度為所述預先設(shè)定的所述閾值以下的情況下，所述判定單元判定為所述攝像裝置處于靜止。
5.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述圖像處理裝置還具備 相關(guān)性計算單元，其在由所述判定單元判定出所述攝像單元處于靜止的情況下，計算所述依次取得的圖像數(shù)據(jù)中的彼此的相關(guān)性；和 相關(guān)性判定單元，其反復判定由所述相關(guān)性計算單元計算出的所述相關(guān)性是否大于針對所述相關(guān)性而預先設(shè)定的閾值， 并且，在由所述相關(guān)性判定單元判定為否時，所述圖像數(shù)據(jù)記錄單元將其判定為在所述依次取得的圖像數(shù)據(jù)中檢測到變化，并記錄所述取得的圖像數(shù)據(jù)。
6.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中， 所述圖像處理裝置還具備 計數(shù)單元，其在由所述判定單元判定為所述攝像單元處于靜止的情況下，對其次數(shù)進行計數(shù)； 值判定單元，其判定由所述計數(shù)單元計數(shù)而得到的值是否大于針對該值預先設(shè)定的閾值；和 結(jié)束單元，其在由所述值判定單元判定出所述計數(shù)而得到的值大于所述預先設(shè)定的閾值的情況下，結(jié)束由所述判定單元進行的判定。
7.一種圖像處理方法，是具備攝像單元的圖像處理裝置中的圖像處理方法，該圖像處理方法包括 取得步驟，依次取得由所述攝像單元拍攝到的圖像數(shù)據(jù)； 判定步驟，判定所述攝像單元是否處于靜止； 檢測步驟，在由所述判定步驟判定出所述攝像單元處于靜止的狀態(tài)下，檢測所述依次取得的圖像數(shù)據(jù)的變化；和 圖像數(shù)據(jù)記錄步驟，在由所述檢測步驟在所述依次取得的圖像數(shù)據(jù)中檢測到變化時，記錄所述取得的圖像數(shù)據(jù)。
全文摘要
本發(fā)明提供一種圖像處理裝置及圖像處理方法。圖像處理裝置(1)具備基于圖像數(shù)據(jù)的運動矢量來判定圖像處理裝置(1)是否靜止的靜止判定部(71)、和檢測依次輸入的圖像數(shù)據(jù)是否變化的圖像變化檢測部(72)。并且，在由靜止判定部(71)判定為圖像處理裝置(1)處于靜止的狀態(tài)下，圖像變化檢測部72檢測圖像數(shù)據(jù)是否變化，在圖像數(shù)據(jù)發(fā)生變化的情況下存儲攝像圖像的數(shù)據(jù)。
文檔編號H04N5/76GK102883102SQ20121024171
公開日2013年1月16日 申請日期2012年7月12日 優(yōu)先權(quán)日2011年7月15日
發(fā)明者佐佐木雅昭, 奈良和也 申請人:卡西歐計算機株式會社