專利名稱：圖像檢索裝置、圖像檢索裝置的關(guān)鍵詞賦予方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種進(jìn)行數(shù)字圖像的分類和檢索的圖像檢索裝置、圖像檢索裝置的關(guān)鍵詞賦予方法及程序，特別涉及在圖像的檢索、分類中，通過(guò)進(jìn)行圖像中的對(duì)象檢測(cè)(例如人物檢測(cè))來(lái)賦予關(guān)鍵詞，從而高效地進(jìn)行給圖像賦予關(guān)鍵詞的作業(yè)的圖像檢索裝置、圖像檢索裝置的關(guān)鍵詞賦予方法及程序。
背景技術(shù)：
最近，數(shù)字照相機(jī)開(kāi)始普及，把所攝影的數(shù)字圖像(有時(shí)簡(jiǎn)稱“圖像”)保存在PC(個(gè)人計(jì)算機(jī))等中，以后在PC畫面上進(jìn)行顯示、欣賞的情況變多。另外，取出所保存的圖像，在PC畫面上編輯圖像，作成電子相冊(cè)等情況也變多。
在這種情況下，需要檢索保存在PC等中的數(shù)字圖像，從大量的圖像中取出所期望的圖像，但為了高效地進(jìn)行這種檢索，需要對(duì)登錄的圖像賦予任意的檢索用關(guān)鍵詞。
此外，一般，使用者利用數(shù)字照相機(jī)等拍攝照片時(shí)，多以家人等人物為中心進(jìn)行攝影，在這種情況下，如果賦予可以確定所攝影的人物(對(duì)象)的關(guān)鍵詞來(lái)保存圖像，則要方便得多。
但是，為了適當(dāng)進(jìn)行該關(guān)鍵詞的賦予和分類，以便以后能高效地進(jìn)行檢索，需要相當(dāng)?shù)氖炀毘潭群徒?jīng)驗(yàn)，對(duì)普通使用者來(lái)說(shuō)是非常困難且煩雜的作業(yè)。
用于處理這種問(wèn)題的與圖像登錄和檢索相關(guān)的現(xiàn)有技術(shù)已公開(kāi)了幾個(gè)，例如有下述技術(shù)。
(1)預(yù)先向成為檢索對(duì)象的圖像賦予外部信息(攝影場(chǎng)所和攝影時(shí)間、攝影內(nèi)容)，把該外部信息用于檢索。
(2)另外，市場(chǎng)上也在銷售使用圖像自身的特征量的產(chǎn)品。例如，利用圖像特征量(顏色和形狀)把對(duì)象圖像配置在三維空間上，使使用者高效地進(jìn)行圖像檢索的裝置已在市場(chǎng)上銷售。
(3)另外，例如有特開(kāi)2001-160057號(hào)公報(bào)“圖像分層分類方法、及圖像的分類、檢索裝置、以及記錄了執(zhí)行該方法的程序的記錄介質(zhì)”公開(kāi)的現(xiàn)有技術(shù)。
特開(kāi)2001-160057號(hào)公報(bào)公開(kāi)的發(fā)明是一面使用預(yù)先作成的圖像辭典，一面交互、分層次地進(jìn)行圖像的分類檢索的技術(shù)。在該發(fā)明中，對(duì)引導(dǎo)途中的圖像集合，從系統(tǒng)向使用者提示區(qū)域顏色、直線、對(duì)象、圖像辭典這些大分類觀點(diǎn)。使用者一選擇圖像辭典，系統(tǒng)即提示出“人的面孔”、“天空”、“屋頂”這些分類觀點(diǎn)。使用者一選擇“人的面孔”，系統(tǒng)即提示出人物畫的集合，同樣針對(duì)該圖像集合，還向使用者提示區(qū)域顏色、直線、對(duì)象、圖像辭典這些小分類觀點(diǎn)，分層次地進(jìn)行基于分類觀點(diǎn)選擇的分類。該引導(dǎo)履歷對(duì)圖像DB的分類是有效的，所以作為分類樹信息被存儲(chǔ)在系統(tǒng)中。通過(guò)使用關(guān)鍵詞和合成畫、取樣圖像來(lái)閱覽所存儲(chǔ)的分類樹的整體像，可以概觀圖像DB。
(4)此外，例如，有特開(kāi)平8-221547號(hào)公報(bào)“面孔圖像類型檢索處理方法”公開(kāi)的現(xiàn)有技術(shù)。
特開(kāi)平8-221547號(hào)公報(bào)公開(kāi)的發(fā)明的目的在于提供一種簡(jiǎn)便的面孔圖像類型檢索處理方法，可以從對(duì)象物中快速高精度地抽出高效記述了面孔區(qū)域特征的數(shù)據(jù)。然后，利用面孔區(qū)域馬賽克特征抽出部把含有面孔區(qū)域的濃淡圖像馬賽克化，利用該馬賽克圖案在面孔區(qū)域的內(nèi)部和外部是不同的這一點(diǎn)，把面孔區(qū)域作為面孔區(qū)域馬賽克特征數(shù)據(jù)抽出。然后，利用面孔圖像類型檢索部使用該面孔區(qū)域馬賽克特征數(shù)據(jù)進(jìn)行類型分類的類(class)名的檢索。通過(guò)以上處理，在抽出面孔區(qū)域時(shí)，不僅注重于對(duì)象物的邊緣部分，還注重于對(duì)象物區(qū)域的濃度圖案，從而可以高精度地進(jìn)行快速的對(duì)面孔區(qū)域進(jìn)行抽出、檢索乃至用于檢索的類型分類的類劃分。
(5)此外，例如，有特開(kāi)平10-307849號(hào)公報(bào)“檢索用關(guān)鍵詞的決定方法及裝置、文檔檢索裝置、記錄介質(zhì)”公開(kāi)的現(xiàn)有技術(shù)。
特開(kāi)平10-307849號(hào)公報(bào)公開(kāi)的發(fā)明是可以利用相互關(guān)聯(lián)的多個(gè)關(guān)鍵詞進(jìn)行百科辭典檢索的文檔檢索裝置，其目的是可以僅確定真正需要的關(guān)鍵詞。而且，關(guān)鍵詞決定裝置從百科辭典檢索出用于追加到輸入關(guān)鍵詞中的關(guān)鍵詞候補(bǔ)，同時(shí)從解說(shuō)文檔中檢索出該關(guān)鍵詞候補(bǔ)的解說(shuō)文檔。然后，向解說(shuō)文檔等賦予與輸入關(guān)鍵詞和關(guān)鍵詞候補(bǔ)的關(guān)聯(lián)程度對(duì)應(yīng)的得分，將其顯示在顯示裝置上，催促操作者判斷可否追加該關(guān)鍵詞候補(bǔ)。解碼讀出操作者的判斷結(jié)果，如果不需要追加該關(guān)鍵詞候補(bǔ)，則僅把輸入關(guān)鍵詞作為檢索用關(guān)鍵詞。另一方面，在需要追加該關(guān)鍵詞候補(bǔ)時(shí)，把該關(guān)鍵詞候補(bǔ)追加到檢索用關(guān)鍵詞中。
但是，上述以往的方法具有以下問(wèn)題。
項(xiàng)目(1)說(shuō)明的給圖像賦予外部信息的方法需要向所有圖像賦予適當(dāng)?shù)耐獠啃畔ⅰ５?，為了能夠進(jìn)行具有多樣性的檢索，給圖像賦予外部信息(關(guān)鍵詞)將是明顯費(fèi)時(shí)間的作業(yè)，可以說(shuō)不現(xiàn)實(shí)。
項(xiàng)目(2)說(shuō)明的使用圖像自身的特征量的方法是在畫面上按照一定規(guī)則顯示具有相同特征量的多個(gè)圖像，并從中抽出所期望的圖像的方法。因此，其發(fā)明目的和用途與檢測(cè)圖像內(nèi)的對(duì)象(例如人物)來(lái)高效地賦予關(guān)鍵詞的本發(fā)明是不同的。
項(xiàng)目(3)說(shuō)明的專利文獻(xiàn)1公開(kāi)的方法是一面使用預(yù)先作成的圖像辭典，一面交互、分層次地進(jìn)行圖像的分類檢索的技術(shù)，其發(fā)明目的和結(jié)構(gòu)與檢測(cè)圖像內(nèi)的對(duì)象(例如人物)來(lái)高效地賦予關(guān)鍵詞的本發(fā)明是不同的。
項(xiàng)目(4)說(shuō)明的特開(kāi)平8-221547號(hào)公報(bào)公開(kāi)的方法，把面孔圖像馬賽克化(濃淡化)，進(jìn)行類型分類的類劃分，其發(fā)明目的和用途與檢測(cè)圖像內(nèi)的對(duì)象(例如人物)來(lái)高效地賦予關(guān)鍵詞的本發(fā)明是不同的。
項(xiàng)目(5)說(shuō)明的特開(kāi)平10-307849號(hào)公報(bào)公開(kāi)的方法，用于從百科辭典中選定應(yīng)追加到輸入關(guān)鍵詞中的關(guān)鍵詞候補(bǔ)，其發(fā)明目的和結(jié)構(gòu)與檢測(cè)圖像內(nèi)的對(duì)象(例如人物)來(lái)高效地賦予關(guān)鍵詞的本發(fā)明是不同的。

發(fā)明內(nèi)容
本發(fā)明就是為解決這些問(wèn)題而提出的。本發(fā)明的目的是，提供一種圖像檢索裝置、圖像檢索裝置的關(guān)鍵詞賦予方法及程序，在對(duì)圖像進(jìn)行分類時(shí)，可以在進(jìn)行圖像中的對(duì)象(例如人物)的檢測(cè)的同時(shí)，預(yù)先準(zhǔn)備檢測(cè)用模板，高效地進(jìn)行給圖像附加關(guān)鍵詞的作業(yè)，另外在進(jìn)行圖像檢索時(shí)，可以使以對(duì)象為中心的檢索容易進(jìn)行。
本發(fā)明就是為解決這些問(wèn)題而提出的，本發(fā)明的圖像檢索裝置檢測(cè)圖像中的對(duì)象，賦予關(guān)鍵詞，進(jìn)行圖像的分類和檢索，其特征在于，具有圖像存儲(chǔ)裝置，把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中；對(duì)象識(shí)別裝置，識(shí)別所輸入的圖像中的規(guī)定對(duì)象；關(guān)鍵詞提示裝置，在通過(guò)所述對(duì)象識(shí)別裝置識(shí)別到對(duì)象時(shí)，提示與該對(duì)象相關(guān)的關(guān)鍵詞；和對(duì)象信息輸入裝置，對(duì)通過(guò)所述關(guān)鍵詞提示裝置所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。
根據(jù)這種結(jié)構(gòu)，通過(guò)圖像存儲(chǔ)裝置把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中。而且通過(guò)對(duì)象識(shí)別裝置識(shí)別(檢測(cè))新輸入的圖像中的規(guī)定對(duì)象(例如人物或車)。然后，在通過(guò)對(duì)象識(shí)別裝置檢測(cè)到規(guī)定對(duì)象時(shí)，通過(guò)關(guān)鍵詞提示裝置向使用者提示與該對(duì)象相關(guān)的關(guān)鍵詞。另外，設(shè)有對(duì)象信息輸入裝置，該對(duì)象信息輸入裝置用于由使用者對(duì)所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。
這樣，圖像檢索、分類裝置通過(guò)檢測(cè)所輸入的圖像中的對(duì)象，可以高效地進(jìn)行給圖像附加關(guān)鍵詞的作業(yè)。另外，由于賦予與圖像中的對(duì)象相關(guān)的關(guān)鍵詞，所以能夠可靠高效地從大量圖像中檢索拍攝有特定對(duì)象的圖像。
另外，本發(fā)明的圖像檢索裝置的特征在于，所述對(duì)象識(shí)別裝置具有人物檢測(cè)條件輸入裝置，用于規(guī)定判斷在圖像中是否包含人物的條件；面孔圖像檢測(cè)裝置，進(jìn)行圖像中的面孔圖像的檢測(cè)；和面孔圖像類似度判定裝置，在通過(guò)所述面孔圖像檢測(cè)裝置檢測(cè)到面孔圖像時(shí)，以該面孔圖像為基礎(chǔ)，參照所述數(shù)據(jù)庫(kù)，檢測(cè)類似的面孔圖像。
根據(jù)這種結(jié)構(gòu)，把成為識(shí)別(檢測(cè))對(duì)象的對(duì)象設(shè)為人物，通過(guò)人物檢測(cè)條件輸入裝置規(guī)定判斷在圖像中是否包含人物的條件(例如進(jìn)行膚色區(qū)域檢測(cè)等)。然后，通過(guò)面孔圖像檢測(cè)裝置，進(jìn)行新輸入的圖像中的面孔圖像的檢測(cè)。此外，在通過(guò)面孔圖像檢測(cè)裝置檢測(cè)到面孔圖像時(shí)，以該面孔圖像為基礎(chǔ)，通過(guò)圖像類似度判定裝置，參照所述數(shù)據(jù)庫(kù)檢測(cè)類似的面孔圖像。而且在檢測(cè)到類似的面孔圖像時(shí)，通過(guò)關(guān)鍵詞提示裝置向使用者提示與該面孔圖像相關(guān)的關(guān)鍵詞，使使用者進(jìn)行關(guān)鍵詞的確認(rèn)、追加或修改。
這樣，圖像的檢索、分類裝置通過(guò)進(jìn)行所輸入的圖像中的人物的檢測(cè)，可以高效地進(jìn)行給圖像附加關(guān)鍵詞的作業(yè)。由于賦予與圖像中的人物相關(guān)的關(guān)鍵詞，所以能夠可靠高效地從大量圖像中檢索拍攝有特定人物的圖像。
另外，本發(fā)明的圖像檢索裝置的特征在于，所述對(duì)象信息輸入裝置是用于進(jìn)行人物信息的確認(rèn)、追加或修改的人物信息輸入裝置。
根據(jù)這種結(jié)構(gòu)，在把成為識(shí)別(檢測(cè))對(duì)象的對(duì)象設(shè)為人物，檢測(cè)到圖像中有人物時(shí)，進(jìn)行有關(guān)所檢測(cè)的人物的關(guān)鍵詞(人物信息)的確認(rèn)或輸入有關(guān)該人物的關(guān)鍵詞。
這樣，進(jìn)行所輸入的圖像中的人物檢測(cè)，賦予與圖像中的人物相關(guān)的關(guān)鍵詞(人物信息)，所以能夠可靠地賦予關(guān)鍵詞。
此外，本發(fā)明的圖像檢索裝置的特征在于，在檢測(cè)所述人物時(shí)，還使用用于檢測(cè)圖像中的膚色區(qū)域的膚色區(qū)域檢測(cè)裝置。
根據(jù)這種結(jié)構(gòu)，除了通過(guò)面孔圖像檢測(cè)裝置檢測(cè)人物的功能外，還通過(guò)膚色區(qū)域檢測(cè)裝置檢測(cè)人物。
這樣，能夠更可靠且高效地進(jìn)行圖像中的人物檢測(cè)。
此外，本發(fā)明的圖像檢索裝置的特征在于，具有在通過(guò)所述面孔圖像類似度判定裝置未檢測(cè)到類似的面孔圖像時(shí)，提示賦予給最近輸入的圖像的關(guān)鍵詞的裝置。
根據(jù)這種結(jié)構(gòu)，在通過(guò)所述面孔圖像類似度判定裝置未檢測(cè)到類似的面孔圖像時(shí)，例如輸入按相同種類(相同主題)形成的同一人物的圖像的可能性高，所以提示賦予給最近輸入的圖像的關(guān)鍵詞。
這樣，即使未檢測(cè)到類似面孔圖像時(shí)，也能高效地賦予關(guān)鍵詞的情況變多。
此外，本發(fā)明的圖像檢索裝置的特征在于，所述關(guān)鍵詞是按照由具有層次結(jié)構(gòu)的關(guān)鍵詞構(gòu)成的檢索模板賦予的。
根據(jù)這種結(jié)構(gòu)，預(yù)先準(zhǔn)備由具有層次結(jié)構(gòu)的關(guān)鍵詞構(gòu)成的檢索模板，把該檢索模板中包含的關(guān)鍵詞提示給使用者，催促賦予關(guān)鍵詞。
這樣，可以利用模板通過(guò)簡(jiǎn)便的操作賦予關(guān)鍵詞。另外，檢索模板是根據(jù)分層次地配置關(guān)鍵詞的類別來(lái)構(gòu)成的，所以能夠高效地進(jìn)行圖像的分類和檢索。此外，例如，可以使用預(yù)先準(zhǔn)備的并且可以修改的記述了人物關(guān)系的檢索模板，所以能夠以人物信息為基礎(chǔ)容易地進(jìn)行圖像檢索。
此外，本發(fā)明的圖像檢索裝置的關(guān)鍵詞賦予方法中，該圖像檢索裝置檢測(cè)圖像中的對(duì)象，賦予關(guān)鍵詞，進(jìn)行圖像的分類和檢索，其特征在于，包括圖像存儲(chǔ)步驟，把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中；對(duì)象識(shí)別步驟，識(shí)別所輸入的圖像中的規(guī)定對(duì)象；關(guān)鍵詞提示步驟，在通過(guò)所述對(duì)象識(shí)別步驟識(shí)別到對(duì)象時(shí)，提示與該對(duì)象相關(guān)的關(guān)鍵詞；和對(duì)象信息輸入步驟，對(duì)通過(guò)所述關(guān)鍵詞提示步驟所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。
根據(jù)這種步驟，通過(guò)圖像存儲(chǔ)步驟把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中。然后，通過(guò)對(duì)象識(shí)別步驟識(shí)別(檢測(cè))新輸入的圖像中的規(guī)定對(duì)象(例如人物或車)。然后，在通過(guò)對(duì)象識(shí)別步驟檢測(cè)到規(guī)定對(duì)象時(shí)，通過(guò)關(guān)鍵詞提示步驟向使用者提示與該對(duì)象相關(guān)的關(guān)鍵詞。另外，通過(guò)對(duì)象信息輸入步驟，使用者對(duì)所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。
這樣，圖像檢索、分類裝置通過(guò)檢測(cè)所輸入的圖像中的對(duì)象，可以高效地進(jìn)行給圖像附加關(guān)鍵詞的作業(yè)。另外，由于賦予與圖像中的對(duì)象相關(guān)的關(guān)鍵詞，所以能夠可靠高效地從大量圖像中檢索拍攝有特定對(duì)象的圖像。
此外，本發(fā)明的計(jì)算機(jī)程序使檢測(cè)圖像中的對(duì)象、賦予關(guān)鍵詞、進(jìn)行圖像的分類和檢索的圖像檢索裝置中的計(jì)算機(jī)執(zhí)行下述步驟圖像存儲(chǔ)步驟，把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中；對(duì)象識(shí)別步驟，識(shí)別所輸入的圖像中的規(guī)定對(duì)象；關(guān)鍵詞提示步驟，在通過(guò)所述對(duì)象識(shí)別步驟識(shí)別到對(duì)象時(shí)，提示與該對(duì)象相關(guān)的關(guān)鍵詞；和對(duì)象信息輸入步驟，對(duì)通過(guò)所述關(guān)鍵詞提示步驟所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。


圖1是表示本發(fā)明的圖像檢索裝置具有的裝置的結(jié)構(gòu)示例的方框圖。
圖2是表示對(duì)象為人物時(shí)的裝置的結(jié)構(gòu)示例的方框圖。
圖3是表示催促輸入人物信息的畫面示例圖。
圖4是表示成為關(guān)鍵詞的人物信息的提示方法的第1示例圖。
圖5是表示成為關(guān)鍵詞的人物信息的提示方法的第2示例圖。
圖6是表示記錄在數(shù)據(jù)庫(kù)中的記錄示例圖。
圖7是表示顯示人物關(guān)系的檢索模板的示例圖。
圖8是表示人物檢測(cè)和關(guān)鍵詞賦予的處理步驟的流程圖。
圖9是表示進(jìn)行檢索時(shí)的處理步驟的流程圖。
圖10是表示圖像檢索裝置的結(jié)構(gòu)示例的方框圖。
具體實(shí)施例方式
以下，參照

本發(fā)明的實(shí)施方式例。
本發(fā)明的圖像檢索裝置在檢測(cè)圖像中的對(duì)象(例如人物)的同時(shí)，預(yù)先準(zhǔn)備關(guān)鍵詞用模板，使給被檢測(cè)到對(duì)象的圖像賦予關(guān)鍵詞的作業(yè)容易進(jìn)行。這樣，可以高效地進(jìn)行使用關(guān)鍵詞的檢索。
而且，使所使用的關(guān)鍵詞具有以下性質(zhì)。
(1)以檢測(cè)圖像中的對(duì)象(例如人物)為契機(jī)，給圖像賦予用于特定對(duì)象的關(guān)鍵詞。此時(shí)，提示預(yù)先準(zhǔn)備的關(guān)鍵詞，從系統(tǒng)側(cè)詢問(wèn)使用者該圖像屬于哪個(gè)類別(分類)，如果使用者從所提示的類別中找到相符的項(xiàng)目，則選擇該關(guān)鍵詞。
(2)該關(guān)鍵詞用于檢索含有人物的圖像，但關(guān)鍵詞可以分層次設(shè)定。例如，對(duì)象是人物時(shí)，“家人”、“親戚”等成為上位關(guān)鍵詞，還可以把“長(zhǎng)子”“長(zhǎng)女”“母方”等關(guān)鍵詞作為下位關(guān)鍵詞。
(3)此外，分層次的關(guān)鍵詞的基本結(jié)構(gòu)是作為檢索模板而預(yù)先準(zhǔn)備好的，并且可以修改(追加關(guān)鍵詞等)。
這樣，本發(fā)明的圖像檢索裝置可以簡(jiǎn)化對(duì)圖像的關(guān)鍵詞賦予。
圖1是表示本發(fā)明的圖像檢索裝置具有的裝置的結(jié)構(gòu)示例的方框圖，表示與本發(fā)明有直接關(guān)系的裝置。圖1所示的圖像檢索裝置中所設(shè)置的各個(gè)裝置具有以下功能。
(1)圖像輸入檢測(cè)裝置101圖像輸入檢測(cè)裝置101是圖像檢索裝置100中，用于檢測(cè)新進(jìn)行了圖像存儲(chǔ)的裝置。
(2)圖像讀取裝置102圖像讀取裝置102是用于讀出構(gòu)成圖像的每個(gè)像素的值(例如RGB值等)的裝置。
(3)靜態(tài)圖像生成裝置103靜態(tài)圖像生成裝置103是當(dāng)圖像是動(dòng)態(tài)圖像時(shí)，用于從動(dòng)態(tài)圖像生成靜態(tài)圖像的裝置。
(4)對(duì)象識(shí)別裝置104對(duì)象識(shí)別裝置104是用于解析圖像，檢測(cè)是否含有規(guī)定對(duì)象的裝置。作為具體示例，將在后面敘述對(duì)象是“人物”時(shí)的示例。
(5)關(guān)鍵詞提示裝置105關(guān)鍵詞提示裝置105是用于在檢測(cè)到對(duì)象時(shí)，參照數(shù)據(jù)庫(kù)120，抽出與該對(duì)象相關(guān)的關(guān)鍵詞，并提示給使用者的裝置。作為具體示例，將在后面敘述對(duì)象是“人物”時(shí)的示例。
(6)對(duì)象信息輸入裝置106
對(duì)象信息輸入裝置106是用于由使用者從所提示的關(guān)鍵詞中選擇對(duì)象信息或新輸入、更新關(guān)鍵詞的裝置。作為具體示例，將在后面敘述對(duì)象是“人物”時(shí)的示例。
(7)檢索條件輸入裝置107檢索條件輸入裝置107用于輸入檢索圖像的檢索條件。例如，檢索對(duì)象是人物時(shí)，輸入選擇“家人”“友人”等的檢索條件(關(guān)鍵詞)。
(8)顯示裝置108顯示裝置108是用于顯示檢索結(jié)果的裝置。
(9)打印裝置109打印裝置109是用于打印檢索結(jié)果的裝置。
另外，在數(shù)據(jù)庫(kù)(圖像存儲(chǔ)裝置)120中存儲(chǔ)有用于賦予關(guān)鍵詞的檢索模板121，和與該關(guān)鍵詞(檢索模板)相關(guān)聯(lián)的動(dòng)態(tài)圖像122及靜態(tài)圖像123的數(shù)據(jù)。
下面，以檢測(cè)對(duì)象為“人物”時(shí)的情況為例，更具體地說(shuō)明本發(fā)明的圖像檢索裝置。
圖2是表示在圖1所示的圖像檢索裝置中，成為檢測(cè)對(duì)象的對(duì)象是“人物”時(shí)的裝置的結(jié)構(gòu)示例的方框圖。圖1中的對(duì)象識(shí)別裝置104成為圖2中的人物檢測(cè)條件輸入裝置111、面孔圖像檢測(cè)裝置112、膚色區(qū)域檢測(cè)裝置113、及面孔圖像類似度判定裝置114。另外，圖1中的對(duì)象信息輸入裝置106成為圖2中的人物信息輸入裝置115。其他裝置在圖1和圖2中是相同的。
以下說(shuō)明圖2中的各個(gè)裝置。另外，省略與圖1相同的部分的說(shuō)明。
(1)人物檢測(cè)條件輸入裝置111人物檢測(cè)條件輸入裝置111是用于規(guī)定判斷圖像中是否含有人物的條件的裝置。不僅輸入進(jìn)行面孔圖像的檢測(cè)來(lái)判斷是否含有人物的條件，而且輸入進(jìn)行膚色區(qū)域的檢測(cè)來(lái)判斷是否含有人物的條件等。
(2)面孔圖像檢測(cè)裝置112面孔圖像檢測(cè)裝置112是用于解析圖像，檢測(cè)是否含有面孔圖像的裝置。面孔圖像的檢測(cè)方法有使預(yù)先學(xué)習(xí)面孔圖像的圖案的方法和進(jìn)行圖像圖案的頻率解析的方法等各種方法，可以使用任一種方法。另外，也可以使用特開(kāi)平8-221547號(hào)公報(bào)公開(kāi)的方法。而且該面孔圖像檢測(cè)裝置112也可以同時(shí)使用下面說(shuō)明的膚色區(qū)域檢測(cè)裝置113來(lái)進(jìn)行人物檢測(cè)。
(3)膚色區(qū)域檢測(cè)裝置113為了檢測(cè)人物，除了面孔圖像的檢測(cè)以外，雖然可以考慮使用邊緣信息、模板等各種方法，但此處使用膚色區(qū)域。該膚色區(qū)域檢測(cè)裝置113是用于判定所讀取的像素值是否在膚色范圍內(nèi)的裝置。為了檢測(cè)該膚色區(qū)域，例如，可以使用文獻(xiàn)“不依賴背景和面孔方向的面孔檢測(cè)和面孔方向的推測(cè)，荒木、島田、白井、信學(xué)技法PRMU2001-217pp.87-94(2002-01)”中記載的方法。
如該文獻(xiàn)的2.1項(xiàng)所述，可以按照下述公式檢測(cè)膚色范圍。
0.333＜r＜0.664，r＞g0.246＜g＜0.398，g≥0.5-0.5r其中，r＝R/(R+G+B)，g＝G/(R+G+B)，R、G、B分別是該像素的RGB值。
(4)面孔像素類似度判定裝置114面孔像素類似度判定裝置114是用于參照數(shù)據(jù)庫(kù)120來(lái)確認(rèn)是否存儲(chǔ)有與所檢測(cè)的面孔圖像類似的面孔圖像的裝置。為了判定該類似度，可以使用例如特開(kāi)平8-221547號(hào)公報(bào)公開(kāi)的、把面孔圖像馬賽克化來(lái)進(jìn)行類型分類的類劃分的方法等。
(5)人物信息輸入裝置115人物信息輸入裝置115是用于由使用者從圖像檢索裝置100所提示的關(guān)鍵詞信息中選擇人物信息，或新輸入、更新關(guān)鍵詞的裝置。
圖3是表示催促輸入人物信息的畫面示例圖，向圖像檢索裝置100存儲(chǔ)新圖像時(shí)，在圖像檢索裝置100中嘗試檢測(cè)圖像內(nèi)的人物，如果檢測(cè)到人物，則以圖3所示顯示形式催促使用者輸入人物信息。
此時(shí)，可以使用各種方法來(lái)提示人物信息，例如，為了提高使用者的方便性，提示給使用者的關(guān)鍵詞信息可以根據(jù)以下優(yōu)先度來(lái)進(jìn)行。
·當(dāng)判斷為與已經(jīng)存儲(chǔ)的面孔圖像一致或極其接近時(shí)，則顯示該人物信息，催促確認(rèn)。
·顯示最近時(shí)期輸入的圖像中包含的人物信息、更新后的人物信息或關(guān)鍵詞。這是由于如果是家人的照片(例如入學(xué)儀式或運(yùn)動(dòng)會(huì)照片)等時(shí)，連續(xù)輸入相同人物的圖像的可能性高。
圖4是表示成為關(guān)鍵詞的人物信息的提示方法的第1示例圖。如圖4所示，是在人物信息中預(yù)先登錄有“長(zhǎng)子”、“家人”、“親戚”、“友人”等關(guān)鍵詞，考慮優(yōu)先度來(lái)全部配置這些關(guān)鍵詞進(jìn)行提示的例子。如果有符合的項(xiàng)目，使用者就選擇該項(xiàng)目。另外，沒(méi)有符合的項(xiàng)目時(shí)，可以選擇“新作成人物信息”或“新作成人物類別”等項(xiàng)目，追加新的項(xiàng)目。
圖5是表示成為關(guān)鍵詞的人物信息的提示方法的第2示例圖。圖5是配置優(yōu)先度最高的關(guān)鍵詞(長(zhǎng)子)的示例，在不是長(zhǎng)子的圖像時(shí)，從下拉菜單選擇符合的關(guān)鍵詞。
圖6表示記錄在數(shù)據(jù)庫(kù)120中的記錄的示例圖。記錄在數(shù)據(jù)庫(kù)120中的關(guān)鍵詞形成上位關(guān)鍵詞1和下位關(guān)鍵詞2的2層結(jié)構(gòu)。例如，表示出如下情況上位關(guān)鍵詞1是“家人”，下位關(guān)鍵詞2是“次子”，姓名是“次郎”，出生年月日是“2003年1月1日”，所保存的圖像是圖像1、圖像2、圖像3這三個(gè)圖像。
圖7是表示為了表示人與人關(guān)系而使用的檢索模板的示例圖，該檢索模板預(yù)先準(zhǔn)備在數(shù)據(jù)庫(kù)120中。而且，在追加圖6所示的記錄時(shí)，即存儲(chǔ)有關(guān)“次子”的圖像時(shí)，需要在上位關(guān)鍵詞“家人”下面作成下位關(guān)鍵詞“次子”，該操作是通過(guò)在圖3、圖4、圖5所示的畫面上的操作來(lái)進(jìn)行的。
下面，參照流程圖，說(shuō)明本發(fā)明的圖像檢索裝置的處理步驟。
圖8是表示本發(fā)明的圖像檢索裝置的人物檢測(cè)和關(guān)鍵詞賦予的處理步驟的圖，是表示圖像中的人物檢測(cè)和與關(guān)鍵詞登錄有關(guān)的處理步驟的流程圖。以下，參照?qǐng)D8說(shuō)明該處理步驟。
(1)步驟S1通過(guò)圖像輸入檢測(cè)裝置101檢測(cè)新輸入的圖像。
(2)步驟S2通過(guò)面孔圖像檢測(cè)裝置112嘗試從所輸入的圖像檢測(cè)面孔圖像。圖像數(shù)據(jù)通過(guò)圖像讀取裝置102讀取。另外，輸入了動(dòng)態(tài)圖像時(shí)，通過(guò)靜態(tài)圖像生成裝置103按照規(guī)定的規(guī)則，例如在每隔一定時(shí)間時(shí)，生成靜態(tài)圖像，進(jìn)行以后的處理。
(3)步驟S3確認(rèn)是否檢測(cè)到面孔圖像。
(4)步驟S4通過(guò)面孔圖像類似度判定裝置114確認(rèn)數(shù)據(jù)庫(kù)120中是否有已經(jīng)登錄的類似面孔圖像。
(5)步驟S5從數(shù)據(jù)庫(kù)120中選擇與類似的面孔圖像對(duì)應(yīng)的人物信息。
(6)步驟S6如果沒(méi)有現(xiàn)成的關(guān)鍵詞，新作成表示人物的關(guān)鍵詞。
(7)步驟S7通過(guò)顯示裝置108顯示所選擇的人物信息，催促選擇人物信息(關(guān)鍵詞的選擇)和輸入必要信息。
(8)步驟S8更新存儲(chǔ)有人物信息的數(shù)據(jù)庫(kù)120。
(9)步驟S9當(dāng)在步驟S3未檢測(cè)到面孔圖像時(shí)，轉(zhuǎn)入步驟S9，通過(guò)膚色區(qū)域檢測(cè)裝置113從所輸入的圖像中檢測(cè)膚色區(qū)域。
(10)步驟S10檢測(cè)是否存在膚色區(qū)域。
(11)步驟S11當(dāng)在步驟S10未檢測(cè)到膚色區(qū)域時(shí)，選擇最近輸入、更新的人物信息。
另外，圖9表示進(jìn)行檢索時(shí)的處理步驟的流程圖。
(1)步驟S21通過(guò)檢索條件輸入裝置107輸入檢索條件。例如，輸入以下所示檢索條件。
·存儲(chǔ)在數(shù)據(jù)庫(kù)120中的有關(guān)次郎的所有照片·有關(guān)小組的友人的所有2003年的攝影照片(2)步驟S22根據(jù)所指定的檢索條件設(shè)定關(guān)鍵詞，訪問(wèn)數(shù)據(jù)庫(kù)120。
(3)步驟S23選擇與檢索條件相符的所有圖像。
(4)步驟S24通過(guò)顯示裝置108顯示所選擇的圖像，或通過(guò)打印裝置109打印所選擇的圖像。
根據(jù)以上說(shuō)明的處理步驟，可以進(jìn)行圖像的關(guān)鍵詞的登錄和檢索。
此外，圖10是表示圖像檢索裝置的結(jié)構(gòu)示例的方框圖，是成為檢測(cè)對(duì)象的對(duì)象為人物時(shí)的示例，僅顯示與本發(fā)明有直接關(guān)系的部分。在圖10中，100表示圖像檢索裝置，1表示因特網(wǎng)等通信網(wǎng)絡(luò)，131表示連接圖像檢索裝置和圖像網(wǎng)絡(luò)1的通信用接口；132表示集中控制圖像檢索裝置整體的控制部，140表示處理程序部。另外，圖像檢索裝置100也可以使用PC(個(gè)人計(jì)算機(jī))。
此外，處理程序部140包括以下處理部。
·圖像輸入檢測(cè)處理部141圖像輸入檢測(cè)處理部141是在圖像檢索裝置100中，用于檢測(cè)新進(jìn)行了圖像存儲(chǔ)的處理部。
·圖像讀取處理部142圖像讀取處理部142用于讀出構(gòu)成圖像的每個(gè)像素的值(例如RGB值等)的處理部。
·靜態(tài)圖像生成處理部143靜態(tài)圖像生成處理部143是當(dāng)圖像是動(dòng)態(tài)圖像時(shí)，用于從動(dòng)態(tài)圖像生成靜態(tài)圖像的處理部。
·人物檢測(cè)條件輸入處理部144人物檢測(cè)條件輸入處理部144是用于規(guī)定判斷圖像中是否含有人物的條件的處理部。不僅輸入進(jìn)行面孔圖像的檢測(cè)來(lái)判斷是否含有人物的條件，而且輸入進(jìn)行膚色區(qū)域的檢測(cè)來(lái)判斷是否含有人物的條件等。
·面孔圖像檢測(cè)處理部145面孔圖像檢測(cè)處理部145是用于解析圖像，檢測(cè)是否含有面孔圖像的處理部。面孔圖像的檢測(cè)方法有使預(yù)先學(xué)習(xí)面孔圖像的圖案的方法和進(jìn)行圖像圖案的頻率解析的方法等各種方法，可以使用任一種方法。另外，也可以使用特開(kāi)平8-221547號(hào)公報(bào)公開(kāi)的方法。而且該面孔圖像檢測(cè)處理部145也可以同時(shí)使用下面說(shuō)明的膚色區(qū)域檢測(cè)處理部146來(lái)進(jìn)行人物檢測(cè)。
·膚色區(qū)域檢測(cè)處理部146膚色區(qū)域檢測(cè)處理部146是用于判定所讀取的像素值是否在膚色范圍內(nèi)的處理部。為了檢測(cè)該膚色區(qū)域，例如，可以使用文獻(xiàn)“不依賴背景和面孔方向的面孔檢測(cè)和面孔方向的推測(cè)，荒木、島田、白井、信學(xué)技法PRMU2001-217pp.87-94(2002-01)”中記載的方法。
·面孔圖像像素類似度判定處理部147面孔圖像像素類似度判定處理部147是用于參照數(shù)據(jù)庫(kù)120來(lái)確認(rèn)是否存儲(chǔ)有與所檢測(cè)的面孔圖像類似的面孔圖像的處理部。為了判定該類似度，可以使用例如特開(kāi)平8-221547號(hào)公報(bào)公開(kāi)的、把面孔圖像馬賽克化來(lái)進(jìn)行類型分類的類劃分的方法等。
·關(guān)鍵詞提示處理部148關(guān)鍵詞提示處理部148是用于在檢測(cè)到對(duì)象時(shí)，參照數(shù)據(jù)庫(kù)120，抽出與該對(duì)象相關(guān)的關(guān)鍵詞，并提示給使用者的處理部。
·人物信息輸入處理部149人物信息輸入處理部149是用于由使用者從圖像檢索裝置100所提示的關(guān)鍵詞信息中選擇人物信息，或新輸入、更新關(guān)鍵詞的處理部(參照?qǐng)D3和圖4)。
·檢索條件輸入處理部150檢索條件輸入處理部150用于輸入檢索圖像的檢索條件。例如，輸入選擇“家人”“友人”等的檢索條件(關(guān)鍵詞)。
·顯示處理部151顯示處理部151是用于顯示檢索結(jié)果的處理部。
·打印處理部152打印處理部152是用于打印檢索結(jié)果的處理部。
此外，在數(shù)據(jù)庫(kù)(圖像存儲(chǔ)裝置)120中存儲(chǔ)有用于給圖像賦予關(guān)鍵詞的檢索模板121，和與該關(guān)鍵詞(檢索模板)相關(guān)聯(lián)的動(dòng)態(tài)圖像122及靜態(tài)圖像123的數(shù)據(jù)(參照?qǐng)D6)。
另外，該處理程序部140也可以通過(guò)專用的硬件來(lái)實(shí)現(xiàn)，此外，該處理程序部140還可以由存儲(chǔ)器及CPU(中央處理裝置)等通用信息處理裝置來(lái)構(gòu)成，通過(guò)把用于實(shí)現(xiàn)該處理部的功能的程序(未圖示)加載到存儲(chǔ)器中并執(zhí)行來(lái)實(shí)現(xiàn)該功能。此外，該圖像檢索裝置100連接著輸入裝置、顯示裝置、打印裝置等(均未圖示)等外圍設(shè)備。此處，作為輸入裝置是指鍵盤、鼠標(biāo)等輸入設(shè)備。顯示裝置是指CRT(Cathode Ray Tube)或液晶顯示裝置等。作為打印裝置是指激光打印機(jī)、噴墨打印機(jī)等。
另外，也可以把用于實(shí)現(xiàn)圖10所示圖像檢索裝置100的功能的程序記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)中，使計(jì)算機(jī)系統(tǒng)讀取并執(zhí)行記錄在該記錄介質(zhì)中的程序，從而進(jìn)行本發(fā)明的圖像檢索裝置100的必要的處理。而且此處所說(shuō)的“計(jì)算機(jī)系統(tǒng)”包括OS和外圍設(shè)備等硬件。
另外，在利用WWW系統(tǒng)的情況下，“計(jì)算機(jī)系統(tǒng)”包括主頁(yè)提供環(huán)境(或顯示環(huán)境)。此外，“計(jì)算機(jī)可讀取的記錄介質(zhì)”是指軟盤、光盤、ROM、CD-ROM等可移動(dòng)介質(zhì)，內(nèi)置于計(jì)算機(jī)系統(tǒng)中的硬件等存儲(chǔ)裝置。
另外，“計(jì)算機(jī)可讀取的記錄介質(zhì)”包括諸如通過(guò)因特網(wǎng)等網(wǎng)絡(luò)和電話線路等通信線路發(fā)送程序時(shí)的通信線等，在短時(shí)間內(nèi)動(dòng)態(tài)保持程序的介質(zhì)(傳輸介質(zhì)乃至傳輸波)，以及諸如該情況下作為服務(wù)器和客戶端計(jì)算機(jī)系統(tǒng)內(nèi)部的易失性存儲(chǔ)器等，在一定時(shí)間內(nèi)保持程序的介質(zhì)。另外上述程序可以是用于實(shí)現(xiàn)前述功能的一部分的程序，也可以是通過(guò)與已記錄在計(jì)算機(jī)系統(tǒng)中的程序相組合來(lái)實(shí)現(xiàn)前述功能的程序，即所謂差文件(差程序)。
另外，在以上說(shuō)明的本發(fā)明的圖像檢索裝置中，表示了把成為圖像內(nèi)的分類對(duì)象的對(duì)象作為面孔圖像(人物)賦予關(guān)鍵詞時(shí)的示例，但不限于此，也可以是把車、動(dòng)物等作為成為分類對(duì)象的對(duì)象進(jìn)行檢測(cè)，并賦予關(guān)鍵詞的結(jié)構(gòu)。
以上，對(duì)本發(fā)明的實(shí)施方式進(jìn)行了說(shuō)明，但本發(fā)明的圖像檢索裝置不只限定于上述圖示例，當(dāng)然，在不脫離本發(fā)明主旨的范圍內(nèi)，可以進(jìn)行各種變更。
本申請(qǐng)以2003年1月29日提交的日本國(guó)專利申請(qǐng)2003-20805號(hào)為基礎(chǔ)，并引用了其內(nèi)容。
權(quán)利要求
1.一種圖像檢索裝置，檢測(cè)圖像中的對(duì)象，賦予關(guān)鍵詞，進(jìn)行圖像的分類和檢索，其特征在于，具有圖像存儲(chǔ)裝置，把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中；對(duì)象識(shí)別裝置，識(shí)別所輸入的圖像中的規(guī)定對(duì)象；關(guān)鍵詞提示裝置，在通過(guò)所述對(duì)象識(shí)別裝置識(shí)別到對(duì)象時(shí)，提示與該對(duì)象相關(guān)的關(guān)鍵詞；和對(duì)象信息輸入裝置，對(duì)通過(guò)所述關(guān)鍵詞提示裝置所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。
2.根據(jù)權(quán)利要求1所述的圖像檢索裝置，其特征在于，所述對(duì)象識(shí)別裝置具有人物檢測(cè)條件輸入裝置，用于規(guī)定判斷在圖像中是否包含人物的條件；面孔圖像檢測(cè)裝置，進(jìn)行圖像中的面孔圖像的檢測(cè)；和面孔圖像類似度判定裝置，在通過(guò)所述面孔圖像檢測(cè)裝置檢測(cè)到面孔圖像時(shí)，以該面孔圖像為基礎(chǔ)，參照所述數(shù)據(jù)庫(kù)，檢測(cè)類似的面孔圖像。
3.根據(jù)權(quán)利要求1或2所述的圖像檢索裝置，其特征在于，所述對(duì)象信息輸入裝置是用于進(jìn)行人物信息的確認(rèn)、追加或修改的人物信息輸入裝置。
4.根據(jù)權(quán)利要求2所述的圖像檢索裝置，其特征在于，在檢測(cè)所述人物時(shí)，還使用用于檢測(cè)圖像中的膚色區(qū)域的膚色區(qū)域檢測(cè)裝置。
5.根據(jù)權(quán)利要求2所述的圖像檢索裝置，其特征在于，具有在通過(guò)所述面孔圖像類似度判定裝置未檢測(cè)到類似的面孔圖像時(shí)，提示賦予給最近輸入的圖像的關(guān)鍵詞的裝置。
6.根據(jù)權(quán)利要求1～5中任一項(xiàng)所述的圖像檢索裝置，其特征在于，所述關(guān)鍵詞是按照由具有層次結(jié)構(gòu)的關(guān)鍵詞構(gòu)成的檢索模板賦予的。
7.一種圖像檢索裝置的關(guān)鍵詞賦予方法，該圖像檢索裝置檢測(cè)圖像中的對(duì)象，賦予關(guān)鍵詞，進(jìn)行圖像的分類和檢索，其特征在于，包括圖像存儲(chǔ)步驟，把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中；對(duì)象識(shí)別步驟，識(shí)別所輸入的圖像中的規(guī)定對(duì)象；關(guān)鍵詞提示步驟，在通過(guò)所述對(duì)象識(shí)別步驟識(shí)別到對(duì)象時(shí)，提示與該對(duì)象相關(guān)的關(guān)鍵詞；和對(duì)象信息輸入步驟，對(duì)通過(guò)所述關(guān)鍵詞提示步驟所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。
8.一種程序，使用于檢測(cè)圖像中的對(duì)象、賦予關(guān)鍵詞、進(jìn)行圖像的分類和檢索的圖像檢索裝置中的計(jì)算機(jī)執(zhí)行下述步驟圖像存儲(chǔ)步驟，把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中；對(duì)象識(shí)別步驟，識(shí)別所輸入的圖像中的規(guī)定對(duì)象；關(guān)鍵詞提示步驟，在通過(guò)所述對(duì)象識(shí)別步驟識(shí)別到對(duì)象時(shí)，提示與該對(duì)象相關(guān)的關(guān)鍵詞；和對(duì)象信息輸入步驟，對(duì)通過(guò)所述關(guān)鍵詞提示步驟所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。
全文摘要
本發(fā)明的圖像檢索裝置具有圖像存儲(chǔ)裝置，把成為分類及檢索對(duì)象的圖像和關(guān)鍵詞一起保存在數(shù)據(jù)庫(kù)中；對(duì)象識(shí)別裝置，識(shí)別所輸入的圖像中的規(guī)定對(duì)象；關(guān)鍵詞提示裝置，在通過(guò)所述對(duì)象識(shí)別裝置識(shí)別到對(duì)象時(shí)，提示與該對(duì)象相關(guān)的關(guān)鍵詞；和對(duì)象信息輸入裝置，對(duì)通過(guò)所述關(guān)鍵詞提示裝置所提示的關(guān)鍵詞進(jìn)行確認(rèn)、追加或修改。根據(jù)這種結(jié)構(gòu)，可以提供一種圖像檢索裝置，在對(duì)圖像進(jìn)行分類時(shí)，通過(guò)檢測(cè)圖像中的對(duì)象，可以高效地進(jìn)行給圖像附加關(guān)鍵詞的作業(yè)。
文檔編號(hào)G06T1/00GK1519757SQ20041000336
公開(kāi)日2004年8月11日 申請(qǐng)日期2004年1月21日 優(yōu)先權(quán)日2003年1月29日
發(fā)明者長(zhǎng)橋敏則 申請(qǐng)人:精工愛(ài)普生株式會(huì)社