專利名稱：注目物體出現(xiàn)位置顯示裝置的制作方法
技術領域：
本發(fā)明涉及注目物體出現(xiàn)位置顯示裝置，具體涉及采用適合于對動態(tài)圖像的特征進行分類或分析的形式來顯示動態(tài)圖像中的注目物體的出現(xiàn)位置的注目物體出現(xiàn)位置顯示裝置。
近年來，對以電視臺為代表的企業(yè)等自身擁有的各種動態(tài)圖像文件、個人使用攝像機所拍攝的動態(tài)圖像文件等進行分類或分析的要求不斷增長。
本發(fā)明的注目物體的出現(xiàn)位置顯示裝置將各動態(tài)圖像的特征易懂地進行顯示，并適合于在對與特定的動態(tài)圖像文件類似的動態(tài)圖像文件進行檢索時使用、或者在對動態(tài)圖像文件的種類進行分類時使用、或者在對CM和電視節(jié)目的視聽率等的關系進行分析或對電影導演所拍攝的影像組共同的作品風格進行分析時使用。
背景技術：
作為特定物體的檢測方法，提出了檢測人臉、馬和車的各種方法。這種特定物體的檢測方法例如在Henry Schneiderman，“A statisticalapproach to 3D object detection applied to faces and cars，”CMU-RI-TR-00-06，2000中提出。在以下說明中，為了便于說明，作為特定物體的檢測方法的一例，以廣泛利用的人臉檢測方法為例進行說明。
作為從靜態(tài)圖像和動態(tài)圖像檢測人臉出現(xiàn)的位置的檢測方法，提出了各種方法。這種檢測方法例如在Ming-Hsuan Yang and Narendra Ahuja，“Face detection and gesture recognition for human-computerinteraction，”Kluwer Academic Publishers，ISBN0-7923-7409-6，2001中提出。這種檢測方法大多如圖1所示，通過在所檢測的臉1的位置上標注矩形或圓形等標記2來顯示檢測結果。
圖1是對以往的檢測方法的一例進行說明的圖。因此，在針對靜態(tài)圖像檢測臉的情況下，用戶通過觀察檢測結果的標記，可簡單地把握所檢測的臉在圖像中的哪個位置的信息。
另一方面，在對動態(tài)圖像檢測臉的情況下，大多以作為構成動態(tài)圖像的基本要素的幀這樣的靜態(tài)圖像為單位來檢測臉。這種檢測方法例如在櫻井和之、井上晃、佐藤敦顏検出のための濃淡特徵を用ぃた高速な両目ペァの検出，第8回畫像センシンゲシンポジゥム講演論文集，pp.557-562，2002中提出。因此，在對動態(tài)圖像檢測臉的情況下，與靜態(tài)圖像的情況一樣，通過在檢測出與靜態(tài)圖像相當?shù)母鲙哪樀奈恢蒙蠘俗⒕匦位驁A形等標記來顯示檢測結果。
作為對動態(tài)圖像檢測臉的結果的顯示方法，在以幀為單位所檢測的臉的位置上標注標記的方法的情況下，由于幀一般每秒存在30幀，1分鐘左右的動態(tài)圖像存在約1800幀，因而檢測結果也變?yōu)橄喈敹嗟膸瑪?shù)。因此，存在的問題是，對于檢測結果的各幀，用戶通過目視來確認在哪個位置檢測到臉的作業(yè)是非常繁雜的，并且費時間。而且，還存在的問題是，也難以通過動態(tài)圖像整體，綜合把握例如在哪個位置較多地檢測到臉的信息。

發(fā)明內容
因此，本發(fā)明的概括目的是提供解決了上述問題的新的且有用的注目物體出現(xiàn)位置顯示裝置。
本發(fā)明的更具體目的是提供可簡單地把握動態(tài)圖像中的注目物體出現(xiàn)位置的注目物體出現(xiàn)位置顯示裝置。
本發(fā)明的其他目的是提供一種注目物體出現(xiàn)位置顯示裝置，具有物體檢測部，對動態(tài)圖像的各幀檢測所指定的1個或多個注目物體；位置數(shù)據(jù)保持部，保持所檢測的各注目物體的位置數(shù)據(jù)；出現(xiàn)頻度計算部，針對各位置計算各注目物體的出現(xiàn)頻度；以及濃淡顯示部，使用對應的像素的濃淡值顯示各注目物體的出現(xiàn)頻度。根據(jù)本發(fā)明的注目物體出現(xiàn)位置顯示裝置，可簡單地把握動態(tài)圖像中的注目物體的出現(xiàn)位置。
通過以下的結合附圖所描述的說明，本發(fā)明的進一步其他目的和特長將會明白。


圖1是對以往的檢測方法的一例進行說明的圖。
圖2是表示本發(fā)明的注目物體出現(xiàn)位置顯示裝置的一個實施例的方框圖。
圖3是對物體檢測部的動作的一個實施例進行說明的流程圖。
圖4是對位置數(shù)據(jù)保持部的動作的一個實施例進行說明的流程圖。
圖5是對位置數(shù)據(jù)保持部的動作的另一個實施例進行說明的流程圖。
圖6是對位置數(shù)據(jù)保持部的動作的又一個實施例進行說明的流程圖。
圖7是對于由4個像素構成的2個幀來說明出現(xiàn)頻度計算部的計算處理的圖。
圖8是對出現(xiàn)頻度計算部的動作的一個實施例的主要部分進行說明的流程圖。
圖9是對濃淡顯示部的動作的一個實施例進行說明的流程圖。
圖10是對圖像配置部的動作的一個實施例進行說明的流程圖。
圖11是對圖像配置部的動作進行說明的圖。
圖12是對教育節(jié)目的動態(tài)圖像的分類和配置進行說明的圖。
圖13是對新聞節(jié)目的動態(tài)圖像的分類和配置進行說明的圖。
圖14是對戲劇的動態(tài)圖像的分類和配置進行說明的圖。
具體實施例方式
圖2是表示本發(fā)明的注目物體出現(xiàn)位置顯示裝置的一個實施例的方框圖。注目物體出現(xiàn)位置顯示裝置具有物體檢測部11，從動態(tài)圖像的各幀檢測注目物體；位置數(shù)據(jù)保持部12，保持所檢測的注目物體的位置(坐標)；出現(xiàn)頻度計算部13，針對各位置計算注目物體的出現(xiàn)頻度；濃淡顯示部14，使用對應的像素的濃淡值顯示注目物體的出現(xiàn)頻度；以及圖像配置部15，根據(jù)圖像特征量對所顯示的濃淡圖像自動進行分類和配置。根據(jù)該構成，可利用濃淡信息來顯示注目物體的出現(xiàn)頻度，不需要象以往那樣，使用戶通過目視來確認在哪個位置檢測到注目物體的繁雜和費時間的作業(yè)，就可簡單地把握動態(tài)圖像中的注目物體的出現(xiàn)位置。
物體檢測部11、位置數(shù)據(jù)保持部12、出現(xiàn)頻度計算部13、濃淡顯示部14以及圖像配置部15的各功能可以使用硬件來實現(xiàn)，也可以使用軟件來實現(xiàn)。在以下說明中，為了便于說明，假設物體檢測部11、位置數(shù)據(jù)保持部12、出現(xiàn)頻度計算部13、濃淡顯示部14以及圖像配置部15的各功能使用軟件來實現(xiàn)，并使用通用計算機等公知的信息處理裝置的CPU等處理器來執(zhí)行。而且，公知的信息處理裝置至少由CPU和存儲器構成即可。
作為注目物體，可以考慮人臉、馬、車等各種物體，然而這里為了便于說明，以注目物體是人臉的情況為例進行說明。
在物體檢測部11中，把動態(tài)圖像的各幀作為輸入來接收，在幀中出現(xiàn)作為注目物體的人臉的情況下，檢測并輸出該注目物體的位置。被輸入到物體檢測部11中的動態(tài)圖像可以是由攝像機等公知的攝像單元所拍攝的實時輸入的動態(tài)圖像，也可以是將預先存儲在磁盤和存儲器等公知的存儲單元內的動態(tài)圖像讀出并輸入的動態(tài)圖像。而且，注目物體可由用戶使用例如公知的信息處理裝置的鍵盤和鼠標等輸入裝置并采用公知的方法來指定。作為注目物體的臉的檢測方法，以往提出了各種檢測方法，作為一例具有以下檢測方法。
首先，為了決定圖像中的臉的候選，利用色彩信息，抽出滿足某個閾值的顏色作為膚色。然后，計算把所抽出的膚色的各像素的亮度值作了蓋博(Gabor)變換后的特征量、與把預先登錄的字典的臉圖像的眼部分的亮度值作了蓋博變換后的特征量的誤差，如果誤差小于等于預先設定的閾值，則該像素作為眼被抽出。這樣，把所抽出的包含眼的臉候選作為臉來檢測。這種方法例如在L.Wiskott et al.，“Face recognition byelastic bunch graph matching，”PAMI vol.19，no.7，pp.775-779，1997中提出。在該例中使用作了蓋博變換后的特征量，然而也有單純使用亮度值作為特征量進行圖形匹配的方法。
臉的檢測方法自身和注目物體的檢測方法自身當然不特別限定于上述檢測方法。
物體檢測部11也可以構成為，不對動態(tài)圖像的所有幀進行注目物體的檢測，而是僅把滿足預先指定的條件的幀作為對象進行注目物體的檢測。作為這種情況的條件，例如可以把每隔一定間隔抽出的幀作為對象，或者把圖像特征量變化大的幀作為對象。這樣，通過僅把滿足預先指定的條件的幀作為對象進行注目物體的檢測，可縮短注目物體的檢測所需要的時間。
并且，物體檢測部11可以檢測單個注目物體，也可以檢測例如人臉和車等多個注目物體。在檢測多個注目物體的情況下，可采用通過一次處理來檢測多個注目物體的方法，以及通過多次進行檢測單個注目物體的處理來檢測多個注目物體的方法。
圖3是對物體檢測部11的動作的一個實施例進行說明的流程圖。該圖中，在步驟S1中，輸入動態(tài)圖像，在步驟S2中，跳過一定數(shù)的幀圖像。在步驟S3中，判定是否重復了所有的幀(處理了所有的幀)，當判定結果是“否”時，在步驟S4中，判定當前幀和前一幀的差是否大于等于閾值。當步驟S4的判定結果是“否”時，處理返回到步驟S3。另一方面，當步驟S4的判定結果是“是”時，在步驟S5中，輸入幀圖像。
在步驟S6中，判定是否重復了所有像素，當判定結果是“是”時，處理返回到步驟S3。當步驟S6的判定結果是“否”時，在步驟S7中，判定作為由用戶指定的注目物體的臉的個數(shù)是否小于等于閾值，當判定結果是“否”時，處理返回到步驟S6。另一方面，當步驟S7的判定結果是“是”時，在步驟S8中，從幀圖像中抽出膚色，在步驟S9中，對所抽出的膚色的各像素的亮度值進行蓋博變換。在步驟S10中，計算通過蓋博變換所獲得的特征量與把預先登錄的字典的臉圖像的眼部分的亮度值作了蓋博變換后的特征量的誤差。在步驟S11中，判定所計算的誤差是否小于等于閾值。當步驟S11的判定結果是“否”時，在步驟S12中，判斷為檢測出“臉以外”，處理返回到步驟S6。另一方面，當步驟S11的判定結果是“是”時，在步驟S13中，判斷為檢測出臉，處理返回到步驟S6。當步驟S3的判定結果是“是”時，圖3的處理結束。
位置數(shù)據(jù)保持部12保持由物體檢測部11所檢測的注目物體(臉)的位置的坐標。在此情況下，由于與所檢測出的1個注目物體相當?shù)南袼卮蠖啻嬖诙鄠€，因而可以保持與例如所檢測的注目物體的區(qū)域相當?shù)南袼氐乃凶鴺耍蛘弑３炙鶛z測的注目物體的區(qū)域的預先指定的場所(例如重心)的坐標，或者保持所檢測的注目物體的區(qū)域的預先指定的部位(例如在臉是注目物體的情況下，眼、鼻、口等)的坐標。因此，例如在想去除非常小的物體的影響的情況下，通過預先指定不對小于某個大小的物體保持坐標的條件，可防止小物體包含在出現(xiàn)頻度內。而且，通過指定物體中的特定部位，可更準確地把握一般跨越多個像素而存在的注目物體的位置。
而且，為了將所檢測的注目物體中的按預先指定的各條件所檢測的注目物體分開對各自的出現(xiàn)頻度分別進行計數(shù)，可以按各條件保持位置數(shù)據(jù)。例如，指定按注目物體的方向作為條件，可按各個方向保持位置數(shù)據(jù)。作為其他條件，也可按指定注目物體的種類、按注目物體的大小等各種條件。
圖4是對位置數(shù)據(jù)保持部12的動作的一個實施例進行說明的流程圖。該圖中，在步驟S21中，判定是否重復了所有給定的條件(根據(jù)給定的所有條件進行了處理)。當步驟S21的判定結果是“否”時，在步驟S22中，判定是否重復了所檢測的注目物體的所有像素，當判定結果是“是”時，處理返回到步驟S21。另一方面，當步驟S22的判定結果是“否”時，在步驟S23中，把像素的坐標值保存在存儲器內，處理返回到步驟S22。當步驟S21的判定結果是“是”時，圖4所示的處理結束。
圖5是對位置數(shù)據(jù)保持部12的動作的另一個實施例進行說明的流程圖。該圖中，與圖4相同的步驟被附上相同符號，并省略其說明。在圖5中，在步驟S24中，判定是否對所有注目物體重復了處理，當判定結果是“是”時，處理返回到步驟S21。當步驟S24的判定結果是“否”時，在步驟S25中，計算所檢測的注目物體的重心的坐標值。在步驟S26中，把重心的坐標值保存在存儲器內，處理返回到步驟S24。當步驟S21的判定結果是“是”時，圖5所示的處理結束。
圖6是對位置數(shù)據(jù)保持部12的動作的又一個實施例進行說明的流程圖。該圖中，與圖4相同的步驟被附上相同的符號，并省略其說明。在圖6中，在步驟S27中，判定是否重復了所抽出的所有像素，當判定結果是“是”時，處理返回到步驟S21。當步驟S27的判定結果是“否”時，在步驟S28中，判定是否是所檢測的注目物體的指定部位，當判定結果是“否”時，處理返回到步驟S27。當步驟S28的判定結果是“是”時，在步驟S29中，把指定部位的坐標值保存在存儲器內，處理返回到步驟S27。當步驟S21的判定結果是“是”時，圖6所示的處理結束。
出現(xiàn)頻度計算部13根據(jù)位置數(shù)據(jù)保持部12內所保持的位置數(shù)據(jù)，計算各坐標的注目物體的出現(xiàn)頻度。注目物體的出現(xiàn)頻度可通過由以下步驟ST1～ST5組成的計算處理來計算。
ST1將各坐標的注目物體的出現(xiàn)數(shù)C初始化為0。
ST2對各坐標的注目物體的出現(xiàn)數(shù)C進行計數(shù)(遞增)。
ST3計算注目物體的出現(xiàn)數(shù)C的總和S。
ST4把各坐標的注目物體的出現(xiàn)數(shù)C除以S，計算出現(xiàn)率R＝C/S。
ST5通過把最大亮度值(在8位的情況下為255)乘以坐標的出現(xiàn)率R，計算濃淡值I＝R×255。
圖7是對于由4個像素構成的2個幀來說明出現(xiàn)頻度計算部13的上述計算處理的圖。該圖中，○符號表示所檢測的注目物體的像素。而且，該圖中(a)表示出2個幀，圖(b)表示針對2個幀的注目物體的出現(xiàn)數(shù)C，圖(c)表示出現(xiàn)率R，圖(d)表示濃淡值I，圖(e)表示在使用后述的濃淡顯示部14顯示了濃淡值I的情況下的濃淡顯示D。
也可把所檢測的注目物體中的按預先指定的各條件所檢測的注目物體分開對出現(xiàn)頻度分別進行計數(shù)。例如，如果指定按注目物體的方向作為條件，則可按各個方向對出現(xiàn)頻度進行計數(shù)。作為其他條件，可指定按注目物體的種類、按注目物體的大小、按注目物體的出現(xiàn)數(shù)等各種條件。
圖8是對出現(xiàn)頻度計算部13的動作的一個實施例的主要部分進行說明的流程圖。該圖中，在步驟S31中，判定是否對所保持的注目物體的位置數(shù)據(jù)重復了給定的所有條件(根據(jù)給定的所有條件進行了處理)。當步驟S31的判定結果是“否”時，在步驟S32中，判定是否重復了注目物體的所有像素，當判定結果是“是”時，處理進到后述步驟S35。另一方面，當步驟S32的判定結果是“否”時，在步驟S33中，對存儲器內所保存的注目物體的出現(xiàn)數(shù)C進行計數(shù)。而且，在步驟S34中，根據(jù)S＝S+C求出注目物體的出現(xiàn)數(shù)的總和S，處理返回到步驟S32。
在步驟S35中，判定是否重復了注目物體的所有像素，當判定結果是“是”時，處理返回到步驟S31。當步驟S35的判定結果是“否”時，在步驟S36中，對存儲器內所保存的注目物體的出現(xiàn)數(shù)C進行計數(shù)。而且，在步驟S37中，根據(jù)S＝S+C求出注目物體的出現(xiàn)數(shù)的總和S，處理返回到步驟S35。當步驟S31的判定結果是“是”時，圖8所示的處理結束。出現(xiàn)率R和濃淡值I可與上述步驟ST4和ST5一樣求出。
濃淡顯示部14把由出現(xiàn)頻度計算部13所計算的各坐標的濃淡值作為要輸出的濃淡圖像的相關像素的亮度信息(濃度值)顯示在上述通用計算機的顯示部上。在出現(xiàn)頻度計算部13執(zhí)行上述步驟ST1～ST5的情況下，濃淡顯示部14進行由以下步驟ST6組成的濃淡顯示處理。
ST6把各坐標的注目物體的濃淡值I作為濃淡圖像的相關像素的亮度信息
。
也可把所檢測的注目物體中的按預先指定的各條件所檢測的注目物體的出現(xiàn)頻度分成各個濃淡顯示來進行顯示。具體地說，當考慮例如按注目物體的方向的情況時，通過準備以下3種濃淡顯示，可按各條件對注目物體進行分別的濃淡顯示，該3種濃淡顯示是表示右方向的出現(xiàn)頻度的濃淡顯示，表示正面方向的出現(xiàn)頻度的濃淡顯示，以及表示左方向的出現(xiàn)頻度的濃淡顯示。
而且，通過把所檢測的注目物體中的按預先指定的各條件所檢測的注目物體的出現(xiàn)頻度分配成分別的顏色，也可使用作了顏色區(qū)分的濃淡進行顯示。具體地說，當考慮例如按注目物體的方向的情況時，通過使用紅的濃淡來顯示右方向的出現(xiàn)頻度，使用藍的濃淡來顯示正面方向的出現(xiàn)頻度，使用綠的濃淡來顯示左方向的出現(xiàn)頻度，可使用作了顏色區(qū)分的濃淡來顯示注目物體。
圖9是對濃淡顯示部14的動作的一個實施例進行說明的流程圖。該圖中，在步驟S41中，判定是否重復了計算出出現(xiàn)頻度的注目物體的所有像素(處理了注目物體的所有像素)。當步驟S41的判定結果是“否”時，在步驟S42中，使用給定的函數(shù)將多個濃淡值I變換成RGB數(shù)據(jù)，處理返回到步驟S41。另一方面，當步驟S41的判定結果是“是”時，在步驟S43中，根據(jù)RGB數(shù)據(jù)把濃淡圖像顯示在顯示部上，處理結束。
圖像配置部15根據(jù)任意的圖像特征量對所顯示的濃淡圖像自動進行分類和配置。不限于濃淡圖像，以往已提出了對一般圖像這樣自動進行分類和配置的方法，其一例在Susumu Endo et al.，“MIRACLESMultimediaInformation Retrieval，Classification，and Exploration System”，In Proc.of IEEE International Conference on Multimedia andExpo(ICME2002)，2002中提出。在該提出的分類和配置方法中，可從各圖像中自動抽出所指定的圖像特征量(顏色、紋理、形狀等)，計算所選擇的任意圖像和各圖像的所抽出的圖像特征量的誤差，并把與選擇圖像類似的(誤差少的)圖像按照類似度順序進行顯示。而且，圖像配置部15可以采用上述分類和配置方法以外的方法對濃淡圖像進行分類和配置。而且，由于由濃淡顯示部14顯示的濃淡圖像是一般圖像的部分集合，因而可輸入給采用公知的分類和配置方法的圖像配置部15。
上述位置數(shù)據(jù)保持部12和出現(xiàn)頻度計算部13把按預先指定的各條件所檢測的注目物體分開對出現(xiàn)頻度分別進行計數(shù)，上述濃淡顯示部14可按各條件進行顏色區(qū)分，把出現(xiàn)頻度顯示為濃淡信息。因此，例如可按注目物體的朝向進行劃分來把握出現(xiàn)頻度，通過根據(jù)條件指定注目物體的朝向，在朝向右的注目物體的出現(xiàn)頻度比朝向正面的注目物體高的情況下，可更詳細地把握出現(xiàn)頻度。
圖10是對圖像配置部15的動作的一個實施例進行說明的流程圖。該圖中，在步驟S51中，從由濃淡顯示部14所顯示的濃淡圖像中選擇成為基礎的圖像。在步驟S52中，采用公知的方法從所選擇的圖像中抽出規(guī)定的特征量。在步驟S53中，判定是否重復了所有圖像(處理了所有圖像)。當步驟S53的判定結果是“否”時，在步驟S54中，采用公知的方法從未處理的圖像中抽出規(guī)定的圖像特征量。而且，在步驟S55中，計算在步驟S52中所抽出的選擇圖像的圖像特征量和在步驟S54中所抽出的圖像的圖像特征量的誤差，處理返回到步驟S53。
另一方面，當步驟S53的判定結果是“是”時，在步驟S56中，把所有圖像按照誤差的升序進行排序。而且，在步驟S57，把所有圖像按照所排序的順序顯示在顯示部上，處理結束。而且，在本實施例中，圖像配置部15根據(jù)由濃淡顯示部14顯示在顯示部上的濃淡圖像進行分類和配置，然而當然也可以對濃淡顯示部14輸出的濃淡圖像直接進行分類和配置，并把排序結果顯示在顯示部上。
圖像配置部15根據(jù)圖像特征量對從濃淡顯示部14所獲得的濃淡信息自動進行分類和配置來顯示。因此，通過例如把與某個濃淡圖像A類似的濃淡圖像按順序進行分類和配置，可有效搜索與濃淡圖像A對應的動態(tài)圖像和與注目物體的出現(xiàn)情況類似的動態(tài)圖像。而且，也可把握有某種程度類似的濃淡圖像的數(shù)量，或者可把握局部配置的濃淡圖像組的類似程度。
圖11是表示使用圖像配置部15把與某個濃淡圖像A類似的濃淡圖像B～G按順序進行了分類和配置后的排序結果的圖。該圖中，箭頭表示類似度S，越是朝右側走，類似度S就越小。
濃淡顯示部14根據(jù)由出現(xiàn)頻度計算部13計算的信息，使用各位置的像素的濃淡值來顯示特定的注目物體的出現(xiàn)頻度。即，由于根據(jù)針對動態(tài)圖像的各幀的注目物體的檢測結果，來自動計算表示注目物體的出現(xiàn)頻度的濃淡值，因而可通過濃度分布來表現(xiàn)動態(tài)圖像中出現(xiàn)的注目物體的出現(xiàn)位置。因此，用戶通過觀察與各動態(tài)圖像對應的濃度分布，可通過目視簡單地把握動態(tài)圖像中的注目物體的出現(xiàn)位置。因此，在用戶通過目視進行濃淡信息的分類和配置的情況下，可省略圖像配置部15。
另外，作為注目物體，在必須把握人臉在例如動態(tài)圖像中的出現(xiàn)位置的情況下，可列舉出以下情況。圖12是對教育節(jié)目的動態(tài)圖像的分類和配置進行說明的圖。圖13是對新聞節(jié)目的動態(tài)圖像的分類和配置進行說明的圖。圖14是對戲劇的動態(tài)圖像的分類和配置進行說明的圖。圖12～圖14中，1表示作為注目物體的臉，在各圖中，左側表示動態(tài)圖像，右側表示對應的濃淡圖像。
C1)動態(tài)圖像的種類分類對于多個動態(tài)圖像，根據(jù)本發(fā)明可將濃淡信息相類似的動態(tài)圖像進行集中，分類成相同種類。例如，如圖12所示，一位講師在中心講課的場景多的教育節(jié)目的動態(tài)圖像組全都是畫面的中心附近的濃度高的濃淡顯示。而且，如圖13所示，新聞報導員二人出場的每日放映的新聞節(jié)目，無論哪天的動態(tài)圖像都是畫面的左右二點附近的濃度高的濃淡顯示。并且，如圖14所示，對于象戲劇那樣在各個位置出現(xiàn)人臉的節(jié)目的動態(tài)圖像，濃淡信息接近于相同。這樣，通過把本發(fā)明的濃淡信息相類似的動態(tài)圖像分類成相同種類，可使用人臉的出現(xiàn)傾向相似的指標對動態(tài)圖像進行種類劃分。
C2)商業(yè)廣告(CM)和節(jié)目的分析作為CM和節(jié)目的分析方法，對于視聽率高的CM和節(jié)目，可利用本發(fā)明發(fā)現(xiàn)動態(tài)圖像共同的特征和知識。作為知識例，可考慮“視聽率高的CM在畫面中心部出現(xiàn)臉的頻度高”等。
C3)作品風格分析作為為了抽出由某個電影導演所拍攝的電影(動態(tài)圖像)組共同的知識而利用的1個特征量，可利用本發(fā)明的濃淡顯示。作為知識例，可考慮“導演Y的作品在畫面整體內出現(xiàn)人臉的傾向一樣強”等。
如以上說明那樣，在本發(fā)明中，由于可通過濃度分布(濃淡圖像)來表現(xiàn)動態(tài)圖像中出現(xiàn)的特定的注目物體的出現(xiàn)位置，因而可簡單地把握動態(tài)圖像中出現(xiàn)的注目物體的出現(xiàn)位置。并且，由于可使用本發(fā)明獲得反映了注目物體的出現(xiàn)傾向的濃淡圖像，因而可把所獲得的濃淡圖像輸入到圖像配置部，并對濃淡圖像自動進行分類和配置，從而可把握例如與注目物體的出現(xiàn)傾向有關的多個動態(tài)圖像間的類似度等。
因此，根據(jù)本發(fā)明，可使用動態(tài)圖像中的注目物體(例如，人臉)的出現(xiàn)位置的新觀點，實施動態(tài)圖像的種類分類、CM和節(jié)目的分析、作品風格分析等。
而且，本發(fā)明不限于上述實施例，當然可在本發(fā)明的范圍內進行各種改良和變更。
權利要求
1.一種注目物體出現(xiàn)位置顯示裝置，其特征在于，具有物體檢測部，對動態(tài)圖像的各幀檢測所指定的1個或多個注目物體；位置數(shù)據(jù)保持部，保持所檢測的各注目物體的位置數(shù)據(jù)；出現(xiàn)頻度計算部，針對各位置計算各注目物體的出現(xiàn)頻度；以及濃淡顯示部，使用對應像素的濃淡值顯示各注目物體的出現(xiàn)頻度。
2.根據(jù)權利要求1所述的注目物體出現(xiàn)位置顯示裝置，其特征在于，前述物體檢測部僅以滿足預先指定的條件的幀為對象來檢測各注目物體。
3.根據(jù)權利要求1或權利要求2所述的注目物體出現(xiàn)位置顯示裝置，其特征在于，前述位置數(shù)據(jù)保持部僅保持滿足預先指定的條件的各注目物體的位置數(shù)據(jù)。
4.根據(jù)權利要求1至權利要求3中的任何一項所述的注目物體出現(xiàn)位置顯示裝置，其特征在于，前述位置數(shù)據(jù)保持部只保持所檢測的各注目物體中的預先指定的部位的位置數(shù)據(jù)。
5.根據(jù)權利要求4所述的注目物體出現(xiàn)位置顯示裝置，其特征在于，在各注目物體的重心或者注目物體是臉的情況下，前述部位是眼。
6.根據(jù)權利要求1至權利要求5中的任何一項所述的注目物體出現(xiàn)位置顯示裝置，其特征在于，前述位置數(shù)據(jù)保持部和前述出現(xiàn)頻度計算部，將所檢測的各注目物體中的按預先指定的各條件所檢測的注目物體分開對出現(xiàn)頻度分別進行計數(shù)。
7.根據(jù)權利要求1至權利要求6中的任何一項所述的注目物體的出現(xiàn)位置顯示裝置，其特征在于，前述濃淡顯示部在表示各注目物體的出現(xiàn)頻度時，按預先指定的各條件對濃淡顯示進行區(qū)分顯示。
8.根據(jù)權利要求1至權利要求6中的任何一項所述的注目物體出現(xiàn)位置顯示裝置，其特征在于，前述濃淡顯示部在表示各注目物體的出現(xiàn)頻度時，按預先指定的各條件區(qū)分顏色來顯示濃淡。
9.根據(jù)權利要求1至權利要求8中的任何一項所述的注目物體出現(xiàn)位置顯示裝置，其特征在于，還具有圖像配置部，對由前述濃淡顯示部所輸出的濃淡值的圖像自動進行分類和配置來顯示。
全文摘要
本發(fā)明提供一種注目物體出現(xiàn)位置顯示裝置，具有物體檢測部，對動態(tài)圖像的各幀檢測所指定的1個或多個注目物體；位置數(shù)據(jù)保持部，保持所檢測的各注目物體的位置數(shù)據(jù)；出現(xiàn)頻度計算部，針對各位置計算各注目物體的出現(xiàn)頻度；以及濃淡顯示部，使用對應的像素的濃淡值顯示各注目物體的出現(xiàn)頻度。
文檔編號G09G5/02GK1689043SQ03823910
公開日2005年10月26日 申請日期2003年1月27日 優(yōu)先權日2003年1月27日
發(fā)明者馬場孝之, 增本大器, 上原祐介, 椎谷秀一, 遠藤進 申請人:富士通株式會社