專利名稱：信息處理方法、信息處理裝置和程序存儲介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理方法、信息處理裝置和程序存儲介質(zhì)。
背景技術(shù)：
現(xiàn)在的數(shù)字照相機都有用于設(shè)置拍攝模式的模式設(shè)置旋鈕。當用 戶使用旋鈕設(shè)置拍攝模式時，數(shù)字照相機根據(jù)該拍攝模式確定拍攝條 件(例如曝光時間)并拍照。當圖片被照后，該數(shù)字照相機生成圖像 文件。該圖像文件包含與被拍攝的圖像有關(guān)的圖像數(shù)據(jù)和與之有關(guān)的 補充數(shù)據(jù)，例如，拍攝該圖像時的拍攝條件，補充數(shù)據(jù)被附加到圖像 數(shù)據(jù)。
另一方面，根據(jù)補充數(shù)據(jù)對圖像數(shù)據(jù)進行圖像處理也是很常見的。 例如，當打印機基于圖像文件執(zhí)行打印時，根據(jù)由補充數(shù)據(jù)指示的拍 攝條件增強圖像數(shù)據(jù)，并且根據(jù)該增強的圖像數(shù)據(jù)執(zhí)行打印。
JP-A-2001-238177是相關(guān)技術(shù)的示例。
當數(shù)字照相機生成圖像文件時，依照旋鈕設(shè)置的場景信息可以被 存儲在補充數(shù)據(jù)里。另一方面，當用戶忘記設(shè)置拍攝模式時，不匹配 該圖像數(shù)據(jù)內(nèi)容的場景信息可以被存儲在補充數(shù)據(jù)里。因此，可以通 過分析該圖像數(shù)據(jù)對該圖像數(shù)據(jù)的場景進行分類，而不使用該補充信 息的場景信息。

發(fā)明內(nèi)容
本發(fā)明一些方面的優(yōu)點在于，在由補充數(shù)據(jù)指示的場景與分類結(jié) 果的場景不匹配的情況下，可以用戶可以方便地看到確認屏幕，其中 用戶可以利用確認屏幕確認關(guān)于圖像文件的信息。
本發(fā)明的方面是一種信息處理方法，包括
針對多個圖像的圖像數(shù)據(jù)
從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的
場景信息，
基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分
類，
將所分類的場景與由該場景信息指示的場景進行比較；以及
如果存在所分類的場景與由該場景信息指示的場景不匹配的失配 圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。。
通過參照附圖閱讀本說明書的描述，本發(fā)明的其它特征將顯而易見。


為了更完整地理解本發(fā)明及其優(yōu)點，將結(jié)合附圖對以下描述進行 參考，其中
圖1是示出了圖像處理系統(tǒng)的說明圖-，
圖2是打印機的配置的說明圖； 圖3是圖像文件的結(jié)構(gòu)的說明圖4A是在IFD0中使用的標簽的說明圖。圖4B是在Exif SubIFD
中使用的標簽的說明圖5是示出了模式設(shè)置旋鈕的設(shè)置和數(shù)據(jù)之間對應(yīng)關(guān)系的對應(yīng)
表；
圖6是打印機自動增強功能的說明圖； 圖7是圖像場景與增強細節(jié)之間關(guān)系的說明圖； 圖8是由場景分類部執(zhí)行場景分類處理的流程圖； 圖9是場景分類部的功能的說明圖；圖IO是整體分類處理的流程圖； 圖11是分類目標表的說明圖12是在整體分類處理中的肯定閾值的說明圖； 圖B是召回值和精度的說明圖； 圖14是第一否定閾值的說明圖； 圖15是第二否定閾值的說明圖16A是在一個風景分類部中的閾值的說明圖；圖16B是該風景 分類部的處理的概括說明圖17是局部分類處理的流程圖18是由日落場景局部分類部選擇局部圖像的順序的說明圖19示出了當僅使用前十個局部圖像對日落場景圖像分類時的 召回值和精度的圖。
圖20A是使用線性支持矢量機進行分類的說明圖；圖20B是使用 核函數(shù)進行分類的說明圖21是綜合分類處理的流程圖22是根據(jù)第一實施例的直接打印處理流程的流程圖23A和圖23B是根據(jù)第一實施例的確認屏幕的示例的說明圖24是示出了根據(jù)第二實施例的直接打印處理流程的流程圖25是示出根據(jù)第二實施例的確認屏幕164的示例的說明圖26是另一確認屏幕的說明圖27是當分類結(jié)果被添加到補充數(shù)據(jù)時APP1段的配置的說明
圖28是分離處理流程的說明圖；以及 圖29A和圖29B是警告屏幕的說明圖。
具體實施例方式
通過在本說明書中的解釋和附圖中的描述，至少以下內(nèi)容將更清晰。
提供了一種信息處理方法，包括 針對多個圖像的圖像數(shù)據(jù)從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的 場景信息，
基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分
類，
將所分類的場景與由該場景信息指示的場景進行比較；以及 如果存在所分類的場景與由該場景信息指示的場景不匹配的失配
圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。
通過這種信息處理方法，觀察確認屏幕會變得更輕松。
優(yōu)選的，與該失配圖像有關(guān)的信息顯示在該確認屏幕上，而在所
分類的場景和由該場景信息指示的場景之間不存在失配的匹配圖像不
顯示在該確認屏幕上。因此，觀察確認屏幕會變得更輕松。
優(yōu)選的，在該失配圖像受到圖像處理之前，在所分類的場景和由
該場景信息指示的場景之間不存在失配的匹配圖像受到圖像處理。因
此，該圖像處理能更早地開始。
優(yōu)選的，在顯示該確認屏幕時，在所分類的場景和由該場景信息
指示的場景之間不存在失配的匹配圖像受到圖像處理。因此，該圖像
處理能更早地開始。
優(yōu)選的，在在顯示該確認屏幕之前，創(chuàng)建針對在所分類的場景和
由該場景信息指示的場景之間不存在失配的匹配圖像的打印作業(yè)；在
顯示該確認屏幕之后，創(chuàng)建針對該失配圖像的打印作業(yè)；以及依照打
印作業(yè)的優(yōu)先順序執(zhí)行打印作業(yè)。因此，該圖像處理能更早地開始。 優(yōu)選的，在創(chuàng)建針對該失配圖像的打印作業(yè)之后，改變打印作業(yè) 的優(yōu)先順序。因此，增加了以預(yù)定順序進行圖像處理的圖像文件的數(shù) 目。在此，預(yù)定順序可以是與圖像文件有關(guān)的編號的順序、圖像文件 名的順序或者圖像文件生成(捕獲)的時間順序。
優(yōu)選的，在創(chuàng)建針對該失配圖像的打印作業(yè)之后，如果能夠依照 針對該多個圖像的圖像數(shù)據(jù)的預(yù)定順序執(zhí)行打印作業(yè)，則將打印作業(yè) 的優(yōu)先順序改變?yōu)樵擃A(yù)定順序，如果不能夠依照針對該多個圖像的圖 像數(shù)據(jù)的預(yù)定順序執(zhí)行打印作業(yè)，則不改變打印作業(yè)的優(yōu)先順序。因 此，就能依照多個圖像的圖像數(shù)據(jù)的順序執(zhí)行作業(yè)。優(yōu)選的，在創(chuàng)建針對該失配圖像的打印作業(yè)后，如果不能夠依照 針對該多個圖像的圖像數(shù)據(jù)的預(yù)定順序執(zhí)行打印作業(yè)，則顯示警告屏 幕。因此，會引起用戶的注意。
此外，提供了一種信息處理裝置，其包括控制器，
其中針對多個圖像的圖像數(shù)據(jù)，該控制器
從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的場景 信息，
基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分類，
將所分類的場景與由該場景信息指示的場景進行比較；以及
如果存在所分類的場景與由該場景信息指示的場景不匹配的失配
圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。
通過這種信息處理裝置，觀察確認屏幕會變得更輕松。
此外，提供存儲有程序的存儲介質(zhì)，該程序使信息處理裝置針對
多個圖像的圖像數(shù)據(jù)，
從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的場景
信息，
基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分類， 將所分類的場景與由該場景信息指示的場景進行比較；以及 如果存在所分類的場景與由該場景信息指示的場景不匹配的失配 圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。 通過這種程序存儲介質(zhì)，觀察確認屏幕會變得更輕松。
總體配置
圖1是圖像處理系統(tǒng)的說明圖。該圖像處理系統(tǒng)包括數(shù)字照相機 2和打印機4。
數(shù)字照相機2通過把拍攝對象的圖像形成到數(shù)字器件(例如CCD) 上來捕獲數(shù)字圖像。數(shù)字照相機2具有模式設(shè)置旋鈕2A。通過這個旋 鈕2A，用戶可以依據(jù)拍攝條件設(shè)置拍攝模式。例如，當該旋鈕2A被 設(shè)置成"夜景"模式時，該數(shù)字照相機2使快門速度變長或者增加ISO 靈敏度，以在適合拍攝夜景的拍攝條件下拍攝照片。該數(shù)字照相機2將通過拍攝圖像而產(chǎn)生的圖像文件以符合文件格 式標準的形式存儲至存儲卡6內(nèi)。該圖像文件不僅包括所捕獲圖像的 數(shù)字數(shù)據(jù)(圖像數(shù)據(jù))，而且包括補充數(shù)據(jù)，例如當圖像被拍攝時的拍 攝條件(拍攝數(shù)據(jù))。
打印機4是一種在紙上打印由圖像數(shù)據(jù)表示的圖像的打印裝置。 該打印機4具有能夠插入存儲卡6的存儲器插槽21 。用數(shù)字照相機2 拍攝圖像之后，用戶可以從數(shù)字照相機2獲得存儲卡6，將該存儲卡6 插入到存儲器插槽21中。
面板部15包括顯示部16和具有多種按鈕的輸入部17。顯示部16 由液晶顯示器構(gòu)成。如果顯示部16是觸摸板，則顯示部16也用作輸 入部17的功能。顯示部16顯示例如用于在打印機4上執(zhí)行設(shè)置的設(shè) 置屏幕、從存儲卡讀入圖像數(shù)據(jù)的圖像、或針對用戶用于確認或警告 的屏幕。需要注意的是由顯示部16顯示的不同屏幕將在下面作進一步 解釋。
圖2是打印機4的配置說明圖。打印機4包括打印機構(gòu)10和控制 該打印機構(gòu)10的打印機控制器20。該打印機構(gòu)IO包括噴墨的頭部11、 控制該頭部11的頭部控制部分12、用于例如傳送紙張的電機13、和 傳感器14。打印機控制器20包括向/從存儲卡6發(fā)送/接收數(shù)據(jù)的存儲 器插槽21、 CPU22、存儲器23、控制電機13的控制單元24、以及生 成驅(qū)動信號(驅(qū)動波形)的驅(qū)動信號產(chǎn)生部分25。另外，打印機20 還包括用來控制該面板部15的面板控制部26。
當存儲卡6被插入到存儲插槽21中時，打印機控制器20讀出保 存在該存儲卡6內(nèi)的圖像文件并且將該圖像文件存儲至存儲器23中。 然后，打印機控制器20將該圖像文件的圖像數(shù)據(jù)轉(zhuǎn)換成將由打印機構(gòu) IO打印的打印數(shù)據(jù)，并且基于該打印數(shù)據(jù)控制打印機械裝置10將該 圖像打印到紙上。這個操作序列被稱為"直接打印"。
需要注意的是"直接打印"不但通過將存儲卡6插入到存儲器插槽 21中執(zhí)行，而且能通過經(jīng)由纜線(未示出)把該數(shù)字照相機2連接至 打印機4來執(zhí)行。面板部15被用來設(shè)置直接打印(這點將在下面進一 步解釋)。該面板部15還能用來顯示確認屏幕以及在直接打印執(zhí)行時輸入確認。
圖像文件的結(jié)構(gòu)
圖像文件由圖像數(shù)據(jù)和補充數(shù)據(jù)組成。該圖像數(shù)據(jù)由多個象素的 象素數(shù)據(jù)組成。該象素數(shù)據(jù)是指示每個象素顏色信息(色調(diào)值)的數(shù) 據(jù)。圖像是由排列成矩陣形式的象素構(gòu)成的。因此，圖像數(shù)據(jù)是表示 圖像的數(shù)據(jù)。補充數(shù)據(jù)包括指示該圖像數(shù)據(jù)的屬性的數(shù)據(jù)、拍攝數(shù)據(jù)、 縮略圖數(shù)據(jù)、以及類似數(shù)據(jù)。
以下，描述圖像文件的具體結(jié)構(gòu)。
圖3是圖像文件的結(jié)構(gòu)的說明圖。在圖左側(cè)示出的是該圖像文件 的總體配置，并且APP1段的配置在該圖右側(cè)示出。
圖像文件開始于指示SOI(圖像的開始)的標記并結(jié)束于指示EOI (圖像的結(jié)束)的標記。指示S0I的標記之后是指示APP1數(shù)據(jù)區(qū)開始 的APP1標記。APP1標記之后的APP1數(shù)據(jù)區(qū)包含補充數(shù)據(jù)，例如拍 攝數(shù)據(jù)和縮略圖。此外，在指示SOS (流的開始)的標記之后包括圖 像數(shù)據(jù)。
在APP1標記后，放置指示APP1數(shù)據(jù)區(qū)大小的信息，該信息之 后是EXIF頭部、TIFF頭部、然后是IFD區(qū)。
每個IFD區(qū)有多個目錄條目、指示下一個IFD區(qū)位置的鏈接、和 數(shù)據(jù)區(qū)。例如，第一IFD是IFDO (主圖像的IFD)，鏈接至下一個IFD 即IFD1 (縮略圖的IFD)的位置。但是，這里IFD1后沒有更多的IFD， 因此，IFD1不鏈接至任何其它的IFD。每個目錄條目都包含標簽和數(shù) 據(jù)部分。當存儲少量數(shù)據(jù)時，該數(shù)據(jù)部分存儲實際數(shù)據(jù)本身，然而當 要存儲大量數(shù)據(jù)時，實際數(shù)據(jù)被存儲在IFD0數(shù)據(jù)區(qū)，而該數(shù)據(jù)部分 存儲用于指示該數(shù)據(jù)存儲位置的指針。需要注意的是，IFD0包含目錄 條目，在該目錄條目中存儲了表示ExifSubIFD存儲位置的標簽(Exif IFD指針)、以及指示ExifSubIFD存儲位置的指針(偏移值)。
Exif SubIFD區(qū)有多個目錄條目。這些目錄條目也包含標簽和數(shù)據(jù) 部分。當存儲少量數(shù)據(jù)時，該數(shù)據(jù)部分存儲實際數(shù)據(jù)本身，然而當要 存儲大量數(shù)據(jù)時，實際數(shù)據(jù)被存儲在Exif SubIFD數(shù)據(jù)區(qū)，并且該數(shù)據(jù)部分存儲用于指示該數(shù)據(jù)存儲位置的指針。需要注意的是，該Exif SubIFD存儲表示Makernote IFD存儲位置的標簽和指示MakerNote IFD存儲位置的指針。
Makernote IFD區(qū)有多個目錄條目。這些目錄條目也包含標簽和數(shù) 據(jù)部分。當存儲少量數(shù)據(jù)時，該數(shù)據(jù)部分存儲實際數(shù)據(jù)本身，然而當 要存儲大量數(shù)據(jù)時，實際數(shù)據(jù)被存儲在Makernote IFD數(shù)據(jù)區(qū)，并且 該數(shù)據(jù)部分存儲用于指示該數(shù)據(jù)存儲位置的指針。但是，關(guān)于該 Makernote IFD區(qū)，數(shù)據(jù)存儲格式可以被自由地定義，因此數(shù)據(jù)不一定 用這種格式存儲。在下面的描述中，存儲在Makernote IFD區(qū)中的數(shù) 據(jù)被稱為"MakerNote data"。
圖4A是在IFDO中使用的標簽的說明圖。如圖所示，IFDO存儲 一般數(shù)據(jù)(指示圖像數(shù)據(jù)的屬性的數(shù)據(jù))，并且沒有詳細的拍攝數(shù)據(jù)。
圖4B是在ExifSublFD中使用的標簽的說明圖。如圖所示，Exif SubIFD存儲詳細的拍攝數(shù)據(jù)。需要注意的是，在場景分類處理期間提 取的大部分拍攝數(shù)據(jù)是存儲在Exif SubIFD中的拍攝數(shù)據(jù)。場景捕獲 類型標簽(場景捕獲類型)是指示拍攝場景類型的標簽。此外， MakerNote標簽是表示Makernote IFD存儲位置的標簽。
當對應(yīng)于在Exif SubIFD中的場景捕獲類型標簽的數(shù)據(jù)部分(場 景捕獲類型數(shù)據(jù))是"0"時，表示"正常"，"l"表示"風景"，"2"表示"人 像"，以及"3"表示"夜景"。需要注意的是，由于存儲在該ExifSubIFD 中的數(shù)據(jù)是標準化的，任何人都能理解這種場景捕獲類型數(shù)據(jù)的內(nèi)容。
在本實施例中，MakerNote數(shù)據(jù)包括拍攝模式數(shù)據(jù)。這種拍攝模 式數(shù)據(jù)代表與由模式設(shè)置旋鈕2A設(shè)置的不同模式相對應(yīng)的不同值。 但是，由于MakerNote數(shù)據(jù)格式隨制造商的不同而發(fā)生變化，所以除 非知道該MakerNote數(shù)據(jù)的格式，否則不能確定拍攝模式數(shù)據(jù)的詳細 內(nèi)容。
圖5是示出了模式設(shè)置旋鈕2A的設(shè)置和數(shù)據(jù)之間對應(yīng)關(guān)系的對 應(yīng)表。在Exif SubIFD中使用的場景捕獲類型標簽是與文件格式標準 相一致的，因此能被指定的場景也是有限的，因此用于指定例如"曰落 場景"等場景的數(shù)據(jù)不能被存儲在數(shù)據(jù)部分中。另一方面，MakerNote數(shù)據(jù)可以被自由地定義，因此可以使用包含在MakerNote數(shù)據(jù)中的拍 攝模式標簽，在數(shù)據(jù)部分中存儲用來指定模式設(shè)置旋鈕2A的拍攝模 式的數(shù)據(jù)。
在根據(jù)模式設(shè)置旋鈕2A設(shè)置的拍攝條件拍攝圖像后，上述的數(shù) 字照相機2創(chuàng)建如上所述的圖像文件并且將該圖像文件存儲至存儲卡 6上。這個圖像文件包含場景捕獲類型數(shù)據(jù)以及根據(jù)模式設(shè)置旋鈕2A 的拍攝模式數(shù)據(jù)，這些數(shù)據(jù)被分別存儲在Exif SubIFD區(qū)和MakerNote IFD區(qū)，作為被附加到圖像數(shù)據(jù)的場景信息。
自動增強功能概述
當"人像"圖像被打印時，經(jīng)常需要改善膚色。此外，當"風景"圖 像被打印時，經(jīng)常需要加重天空的藍色以及樹木和植物的綠色。因此， 本實施例的打印機4具有分析圖像文件并且自動執(zhí)行適當增強處理的
自動增強功能。
圖6是打印機4自動增強功能的說明圖。圖中打印機控制器20 的組件可以通過軟件和硬件實現(xiàn)。
存儲部31可以由存儲器23和CPU22的特定區(qū)域來實現(xiàn)。從存儲 卡6中讀取的圖像文件的整體或部分在存儲部31的圖像存儲部31A 中被解碼。由打印機控制器20的組件所執(zhí)行的計算結(jié)果被存儲在存儲 部31的結(jié)果存儲部31B中。
面部檢測部32可以由CPU22和存儲在存儲器23中的面部檢測程 序?qū)崿F(xiàn)。面部檢測部32分析存儲在圖像存儲部31A內(nèi)的圖像數(shù)據(jù)并 且檢測是否是人的面部。如果面部檢測部32檢測此是人的面部，將要 被分類的圖像被分類成屬于"人像"場景。由于面部檢測部32執(zhí)行的面 部檢測處理類似于已被普遍應(yīng)用的處理，在此將不再詳述。
面部檢測部32還計算將要分類圖像屬于"人像"場景的概率(確定 度、評估值)。這個確定度是根據(jù)例如組成圖像的皮膚顏色象素的比例、 該皮膚顏色圖像的形狀、象素數(shù)據(jù)表示的顏色、以及皮膚顏色與存儲 顏色的接近程度來計算的。面部檢測部32的分類結(jié)果被存儲在結(jié)果存 儲部31B中。場景分類部33由CPU22和存儲在存儲器23中的場景分類程序?qū)?現(xiàn)。場景分類部33分析存儲在圖像存儲部31A中的圖像文件，并且 對由圖像數(shù)據(jù)表示的圖像進行場景分類。在面部檢測部32的面部檢測 處理之后，場景分類部33執(zhí)行場景分類處理。如稍后所述，場景分類 部33確定將被分類的圖像應(yīng)被分類成"風景"、"日落場景"、"夜景"、 "花卉"、和"秋季"中的哪一個。場景分類部33的分類結(jié)果和確定度的 有關(guān)信息也被存儲在該結(jié)果存儲部31B中。
圖7是圖像場景與增強細節(jié)之間關(guān)系的說明圖。
圖像增強部分34由CPU22和存儲在存儲器23中的圖像增強程序 實現(xiàn)?；诩捍鎯υ诖鎯Σ?1的結(jié)果存儲部31B中的分類結(jié)果(由 面部分類部32或場景分類部33執(zhí)行的分類結(jié)果)，圖像增強部34增 強在圖像存儲部31A中存儲的圖像數(shù)據(jù)(下面將進一步描述)。例如， 當場景分類部33的分類結(jié)果是"風景"時，圖像數(shù)據(jù)被增強以加重藍色 和綠色。但是，如果由圖像文件的補充數(shù)據(jù)所指示的場景與由分類結(jié) 果代表的場景不匹配時，則在執(zhí)行稍后所述的預(yù)定的確認處理之后， 圖像增強部分34再依照確定結(jié)果來增強圖像數(shù)據(jù)。
打印機控制部35由CPU22、驅(qū)動信號生成部25、控制單元24、 以及存儲在存儲器23中的打印機控制程序?qū)崿F(xiàn)。打印機控制部35將 增強的圖像數(shù)據(jù)轉(zhuǎn)換成打印數(shù)據(jù)，并使打印機構(gòu)IO打印該圖像。
場景分類處理
圖8是由場景分類部33執(zhí)行場景分類處理的流程圖。圖9是場景 分類部33功能的說明圖。圖中所示的場景分類部33的組件由軟件和 硬件實現(xiàn)。場景分類部33包括特征量獲取部40、整體分類部50、局 部分類部60、以及綜合分類部70，如圖9所示。
首先，特征量獲取部40分析在存儲部31的圖像存儲部31A中解 碼的圖像數(shù)據(jù)，并且獲取局部特征量(SIOI)。更具體地，該特征量 獲取部40將圖像數(shù)據(jù)劃分成8x8=64塊、計算每塊的顏色均值和方差、 以及獲取所計算的顏色均值和方差作為局部特征量。需要注意的是， 這里的每個象素包括在YCC顏色空間里的色調(diào)值的有關(guān)數(shù)據(jù)，以及為每個塊計算Y的均值、Cb的均值、和Cr的均值，并為每個塊計算 Y的方差、Cb的方差、和Cr的方差。也就是說，為每個塊計算三個 顏色均值和三個方差以作為局部特征量。這些顏色均值和方差指示每 個塊中的局部圖像的特征。需要注意的是，也可以在RGB顏色空間 里計算均值和方差。
由于為每個塊計算顏色均值和方差，特征量獲取部40逐塊地解碼 對應(yīng)于各個塊的圖像數(shù)據(jù)的部分，而無需解碼在圖像存儲部31A中的 所有圖像數(shù)據(jù)。由于這個原因，圖像存儲部31A不必具有為解碼整個 圖像文件而需要的容量。
-接下來，特征量獲取部40獲取整體特征量(S102)。具體地，該 特征量獲取部40獲取顏色均值和方差、質(zhì)心、以及整個圖像數(shù)據(jù)的拍 攝信息，以作為整體特征量。需要注意的是，這些顏色均值和方差指 示整個圖像的特征。整個圖像數(shù)據(jù)的顏色均值和方差以及質(zhì)心是使用 之前獲取的局部特征量來計算的。由于這個原因，當計算整體特征量 時，不必再次解碼圖像數(shù)據(jù)，因此計算整體特征量的速度提高了。盡 管在局部分類處理(稍后闡述)之前執(zhí)行整體分類處理(稍后闡述)， 但是由于整體特征量在局部特征量后獲取，所以以上述方法提高了計 算速度。需要注意的是，拍攝信息是從圖像文件的拍攝數(shù)據(jù)中提取的。 更具體地，例如光圈值、快門速度、以及是否便用閃光燈等信息作為 整體特征量使用。但是，并不是圖像文件中的所有拍攝數(shù)據(jù)都作為整 體特征量使用。
接下來，整體分類部50執(zhí)行整體分類處理(S103)。整體分類處 理是基于整體特征量來分類(評估)由圖像數(shù)據(jù)表示的圖像場景的處 理。整體分類處理的詳細描述將在稍后提供。
如果場景能由整體分類處理分類(S104中的"是")，則場景分類 部33通過將分類結(jié)果存儲在存儲部31的結(jié)果存儲部31B中，以確定 該場景(S109)，并且終止場景分類處理。也就是說，如果該場景能 由整體分類處理分類(S104中的"是")，則省略局部分類處理和綜合 分類處理。因此，場景分類處理的速度提高了。
如果場景不能由整體分類處理分類(S104中的"否")，則局部分類部60接著執(zhí)行局部分類處理(S105)。局部分類處理是基于局部特 征量來分類由圖像數(shù)據(jù)表示的整個圖像場景的處理。局部分類處理的 詳細描述將在稍后提供。
如果場景能由局部分類處理分類(S106中的"是")，則場景分類 部33通過將分類結(jié)果存儲在存儲部31的結(jié)果存儲部31B中以確定該 場景(S109)，并且終止場景分類處理。也就是說，如果場景能由局 部分類處理分類(S106中的"是")，則省略綜合分類處理。因此，場 景分類處理的速度提高了。
如果場景不能由局部分類處理分類(S106中的"否")，則綜合分 類部70執(zhí)行綜合分類處理(S107)。該綜合分類處理的詳細描述將在 稍后提供。
如果場景能由綜合分類處理分類(S108中的"是")，則場景分類 部33通過將分類結(jié)果存儲在存儲部31的結(jié)果存儲部31B中以確定該 場景(S109)，并且終止該場景分類處理。另一方面，如果該場景不 能由綜合分類處理分類(S108中的"否")，則場景分類部33在結(jié)果存 儲部31B中存儲所有作為候選(候選場景)的場景(SllO)。此時， 確定度與候選場景一起也被存儲在結(jié)果存儲部31B中。
如果在圖8中步驟S104、 S106、 S108的任何一個中場景分類處 理(整體分類處理、局部分類處理、綜合分類處理)的結(jié)果是"是"， 則打印機控制器20能以相對高的確定度分類一個場景。如果在步驟 S108的結(jié)果是"否"，則打印機控制器20能以相對低的確定度分類至 少一個場景(候選場景)。需要注意的是，如果在步驟S108的結(jié)果是 "否"，則可能有一個候選場景或者有兩個或更多的候選場景。
整體分類處理
圖10是整體分類處理的流程圖。在此，整體分類處理參照圖9 描述。
首先，整體分類部50從多個子分類部51中選擇一個子分類部51 (S201)。整體分類部50具有五個子分類部51，用于分類作為分類對 象的圖像(要被分類的圖像)是否屬于特定場景。五個子分類部51分別分類風景場景、日落場景、夜景、花卉場景、和秋季場景。在此，
整體分類部50按照風景一>日落一>夜晚一>花卉一>秋季場景的順序 選擇子分類部51。因此，在開始時，選擇用來分類要被分類的圖像是 否屬于風景場景的子分類部51 (風景分類部51L)。
接下來，整體分類部50參考分類目標表，并且確定是否使用所選 擇的子分類部51去分類場景(S202)。
圖11是分類目標表的說明圖。這個分類目標表存儲在存儲部31 的結(jié)果存儲部31B中。在第一階段，分類目標表中的所有域被設(shè)置成 零。在S202的處理中，參考"否定"域，并且當這個域是零時，結(jié)果被 判定為"是"，當這個域是1時，結(jié)果被判定為"否"。在此，整體分類 部50參考分類目標表中"風景"列內(nèi)的"否定"域而發(fā)現(xiàn)這個域為零，因 此該判定結(jié)果為"是"。
接下來，子分類部51基于整體特征量來計算判別方程的值(評估 值)(S203)。這個判別方程的值涉及要被分類的圖像屬于特定場景的 概率(確定度)(將在下面進一步描述)。本實施例的子分類部51采用 使用支持矢量機(SVM)的分類方法。該支持矢量機將在稍后描述。 如果要被分類的圖像屬于特定場景，則子分類部51的判別方程很可能 具有正值。當要被分類的圖像不屬于特定場景時，子分類部51的判別 方程很可能具有負值。此外，要被分類的圖像屬于特定場景的確定度 越高，判別方程的值越大。因此，判別方程的大值指示要被分類的圖 像屬于特定場景的高概率(確定度)，而判別方程的小值指示要被分類 的圖像屬于特定場景的低概率。
因此，判別方程的值(評估值)指示確定度，即，確定要被分類 的圖像屬于特定場景的程度。需要注意的是，下述使用的術(shù)語"確定度" 可以指判別方程的值本身或者能根據(jù)判別方程的值而獲得的正確答案 的比率(稍后描述)。判別方程的值本身或者能根據(jù)判別方程的值而獲 得的正確答案的比率(以后描述)也是取決于要被分類的圖像屬于特 定場景的概率的"評估值"(評估結(jié)果)。在上述的面部檢測的過程中， 面部檢測部32計算要被分類的圖像屬于"人像"場景的概率(評估值)， 并且該評估值指示要被分類的圖像屬于特定場景的確定度。接下來，子分類部51確定該判別方程的值是否大于肯定閾值 (S204)。如果該判別方程的值大于肯定閾值，則子分類部51判定要 被分類的圖像屬于特定場景。
圖12是在整體分類處理中的肯定閾值的說明圖。在這幅圖中，橫 軸表示肯定閾值，而縱軸表示召回值(Recall)和精度的概率。圖13 是召回值和精度的說明圖。如果該判別方程的值等于或大于該肯定閾 值，則分類結(jié)果為肯定，而如果該判別方程的值不等于或不大于該肯 定閾值，則分類結(jié)果為否定。
召回值指示召回率或檢測率。召回值是被分類屬于特定場景的圖 像的數(shù)量占該特定場景的圖像總數(shù)的比例。換句話說，當子分類部51 用來分類特定場景的圖像時，召回值指示了子分類部51進行肯定分類 的概率(特定場景圖像被分類為屬于那個特定場景的概率)。例如，當 風景分類部51L被用來分類風景圖像時，召回值指示了風景分類部 51L分類該圖像屬于風景場景的概率。
精度指示正確答案的比率或準確率。精度是特定場景圖像的數(shù)量 占肯定分類圖像總數(shù)的比例。換句話說，精度指示了當用于分類特定 場景的子分類部51肯定分類圖像時、要被分類的圖像是該特定場景的 概率。例如，當風景分類部51L分類屬于風景場景的圖像時，精度指
示了該被分類圖像實際上就是風景圖像的概率。
正如能從圖12中看到的那樣，肯定閾值越大，精度越高。因此， 肯定閾值越大，圖像被分類到其所屬類別的概率越高，例如，風景場 景是風景圖像。也就是說，肯定閾值越大，錯誤分類的概率就越低。
另一方面，肯定閾值越大，召回值就越小。結(jié)果是，例如，即使 當風景圖像由風景分類部51L分類時，也很難正確地將此圖像分類成 屬于風景場景。當要被分類的圖像可以被分類成屬于風景場景時 (S204中的"是")，關(guān)于其它場景(例如日落場景)的分類將不再執(zhí)行， 因此整體分類處理的速度提高了。因此，肯定閾值越大，整體分類處 理的速度越慢。此外，由于當場景分類能由整體分類處理完成時 (S104),通過省略局部分類處理可以提高場景分類的速度，所以肯定 閾值越大，場景分類處理的速度越慢。也就是說，肯定閾值太小會導(dǎo)致錯誤分類的概率較高，而肯定閾 值太大會導(dǎo)致處理速度的降低。在本實施例中，為了設(shè)置正確答案的
比率(精度)為97.5%，用于風景的肯定閾值被設(shè)置為1.72。
如果判別方程的值大于肯定閾值(S204中的"是")，則子分類部 51確定要被分類的圖像屬于特定場景，并且設(shè)置肯定標志(S205)。"設(shè) 置肯定標志"是指在圖II中將"肯定"域設(shè)置為1。在這種情況下，整 體分類部50終止整體分類處理，無需由隨后的子分類部51執(zhí)行分類。 例如，如果圖像能被分類成風景圖像，則整體分類部50終止整體分類 處理，而無需執(zhí)行關(guān)于日落場景等的分類處理。在這種情況下，因為 隨后的子分類部51的分類省略了，整體分類處理的速度能得到提高。 如果判別方程的值不大于肯定閾值(S204中的"否")，則子分類 部51不能判定要被分類的圖像屬于特定場景，并執(zhí)行隨后的處理 S206。
接著，子分類部51將判別方程的值與否定閾值進行比較(S206)。 基于這種比較，子分類部51可以確定要被分類的圖像不屬于預(yù)定場 景。這樣的確定可以通過兩種方法實現(xiàn)。第一，如果關(guān)于某個特定場 景的子分類部51的判別方程的值小于第一否定閾值，則判定要被分類 的圖像不屬于那個特定場景。例如，如果風景分類部51L的判別方程 的值小于第一否定閾值，則判定要被分類的圖像不屬于風景場景。第 二，如果關(guān)于某個特定場景的子分類部51的判別方程的值大于第二否
定閾值，則判定要被分類的圖像不屬于與那個特定場景不同的場景。 例如，如果風景分類部51L的判別方程的值大于第二否定閾值，則確
定要被分類的圖像不屬于夜景。
圖14是第一否定閾值的說明圖。在該圖中，橫軸表示第一否定閾 值，而縱軸表示概率。圖中的粗體曲線表示真否定召回值，指示將不 是風景圖像的圖像正確分類成不是風景圖像的概率。圖中的細曲線表 示假否定召回值，指示將風景圖像錯誤分類為不是風景圖像的概率。
正如能從圖14中看到的那樣，第一否定閾值越小，假否定召回值 越小。因此，第一否定閾值越小，例如被分類成不屬于風景場景的圖 像實際上是風景圖像的概率越低。換句話來說，錯誤分類的概率降低了。
另一方面，第一否定閾值越小，真否定召回值越小。結(jié)果是，不 是風景圖像的圖像被分類為風景圖像的可能性較小。另一方面，如果 要被分類的圖像能被分類成不是特定場景，在局部分類處理中關(guān)于那 個特定場景的子局部分類部61的處理被省略，因此就提高了場景分類
處理的速度(稍后描述，圖17中的S302)。因此，第一否定閾值越小， 場景分類處理的速度越慢。
也就是說，第一否定閾值太大會導(dǎo)致錯誤分類的概率較高，而第 一否定閾值太小會導(dǎo)致處理速度變慢。在本實施例中，為了設(shè)置假否 定召回值為2.5%，第一否定閾值被設(shè)置為-1.01。
當某個圖像屬于風景場景的概率高時，這個圖像屬于夜景的概率 就不可避免地低。因此，當風景分類部51L的判別方程的值大時，就 能夠不將該圖像分類成夜景。為了執(zhí)行這種分類，提供了第二否定閾 值。
圖15是第二否定閾值的說明圖。在該圖中，橫軸表示關(guān)于風景的 判別方程的值，而縱軸表示概率。該圖顯示，除了在圖12中所示的召 回值和精度的圖之外，還有關(guān)于夜景的召回值圖由虛線表示。當觀看 由虛線所繪的圖時，就會發(fā)現(xiàn)當關(guān)于風景的判別方程的值大于-0.44 時，要被分類的圖像是夜景圖像的概率為2.5%。換句話說，當關(guān)于風 景的判別方程的值大于-0.44時，即使要被分類的圖像分類為不是夜 景，錯誤分類的概率不超過2.5%。在本實施例中，第二否定閾值因此 被設(shè)置成-0.44。
如果判別方程的值小于第一否定閾值，或者如果該判別方程的值 大于第二否定閾值(S206中的"是")，子分類部51判定要被分類的圖 像不屬于預(yù)定場景，并設(shè)置否定標志(S207)。"設(shè)置否定標志"是指在 圖11中將"否定"域設(shè)置為1。例如，如果基于第一否定閾值判定要被 分類的圖像不屬于風景場景，則將"風景"列的"否定"域設(shè)置為1。此 外，如果基于第二否定閾值判定要被分類的圖像不屬于夜景，則將"夜 景"列的"否定"域設(shè)置為1。
圖16A是上述風景分類部51L中的閾值的說明圖。在該風景分類部51L中，預(yù)先設(shè)置+肯定閾值和否定閾值?？隙ㄩ撝翟O(shè)置為1.72。 否定閾值包括第一否定閾值和第二否定閾值。第一否定閾值設(shè)置為 -1.01。第二否定閾值針對不同于風景的場景而設(shè)置為相應(yīng)的值。
圖16B是上述風景分類部51L的處理概述的說明圖。在此，為了 簡要說明，第二否定閾值被單獨描述成關(guān)于夜景的。如果判別方程的 值大于1.72 (S204中的"是")，則風景分類部51L判定要被分類的圖 像屬于風景場景。如果判別方程的值不大于1.72 (S204中的"否")但 是大于-0.44 (S206中的"是")，則風景分類部51L判定要被分類的圖 像不屬于夜景。如果判別方程的值小于-1.01 (S206中的"是")，則風 景分類部51L判定要被分類的圖像不屬于風景場景。需要注意的是， 風景分類部51L也基于第二否定閾值判斷要被分類的圖像是否不屬于 關(guān)于日落場景和秋季場景的這些場景。但是，由于關(guān)于花卉場景的第 二否定閾值大于肯定閾值，風景分類部51L決不會判斷要分類的圖像 不屬于花齊場景。
如果在S202確定為"否"，并且在S206確定為"否"，或者如果S207 的處理結(jié)束，則整體分類部50確定是否存在隨后的子分類部51 (S208)。在此，風景分類部51L的處理已經(jīng)結(jié)束，所以在S208中整 體分類部50確定存在隨后的子分類部51 (日落場景分類部51S)。
接著，如果S205的處理結(jié)束(如果判定要分類的圖像屬于特定 場景)，或者如果在S208判定不存在隨后的子分類部51 (如果不能判 定要分類的圖像屬于特定場景)，則整體分類部50終止該整體分類處 理。
如上已經(jīng)描述的，當整體分類處理終止時，場景分類部33確定場 景分類是否能由整體分類處理完成(在圖8中的S104)。此時，場景 分類部33參照在圖11中所示的分類目標表，并且確定在"肯定"域中 是否有"1"。
如果場景分類能由整體分類處理完成(S104中的"是")，則局部 分類處理和綜合分類處理被省略。因此，場景分類處理的速度提高了。
局部分類處理圖17是局部分類處理的流程圖。如果場景不能由整體分類處理分
類(在圖8中S104的"否")，則局部分類處理被執(zhí)行。如下所述，該 局部分類處理是用于通過對要被分類的圖像所劃分成的各個局部圖像 場景進行分類而分類整個圖像場景的處理。在此，局部分類處理也將 參照圖9描述。
首先，局部分類部60從多個子局部分類部61中選擇一個子局部 分類部61 (S301)。局部分類部60具有三個子局部分類部61。每個 子局部分類部61對要被分類的圖像所劃分成的局部圖像的8x8=64塊 中的每個是否屬于特定場景而進行分類。這里的三個子局部分類部61 分別分類日落場景、花卉場景、以及秋季場景。局部分類部60按照日 落一>花卉_>秋季場景的順序選擇子局部分類部61 。因此，在開始時， 選擇用于分類局部圖像是否屬于日落場景的子局部分類部61。
接下來，局部分類部60參照分類目標表(圖11)并確定是否使 用選擇的子局部分類部61執(zhí)行場景分類(S302)。在此，局部分類部 60參考分類目標表的"日落場景"列內(nèi)的"否定"域，在判定是零值時為 "是"，而是1時為"否"。需要注意的是，在整體分類處理中，如果曰 落場景分類部51S已經(jīng)基于第一否定閾值設(shè)置了否定標志，或者另一 子分類部51已經(jīng)基于第二否定閾值設(shè)置了否定標志，則在這一步S302
的判斷為"否"。如果判斷是"否"，則關(guān)于日落場景的局部分類處理被 省略，所以局部分類處理的速度提高了。但是，為了說明目的，假設(shè) 此處的判斷為"是"。
接下來，該子局部分類部61從要被分類的圖像所劃分成的局部圖 像的8x8=64塊中選擇一個局部圖像(S303)。
圖18是由日落場景局部分類部61S選擇局部圖像的順序的說明 圖。如果基于局部圖像來分類整個圖像的場景，優(yōu)選的是用于分類的 局部圖像是拍攝對象存在的部分。由于這個原因，在本實施例中，準 備了幾千個樣本日落場景圖像，每個日落場景圖像都被分成8x8=64 塊，提取了包含局部日落場景圖像的塊(日落場景的太陽和天空的局 部圖像)，并且基于所提取塊的位置計算局部日落場景圖像在每個塊中 存在的概率。在本實施例中，按照塊的存在概率的降序選擇局部圖像。需要注意的是，圖中所示的與選擇順序相關(guān)的信息作為程序的一部分 存儲在存儲器23中。
在曰落場景圖像的情況下，日落場景的天空經(jīng)常從中心部分附近 延伸至該圖像的上半部分，因此存在概率在從位于中心部分附近至上 半部分的區(qū)域中的塊中增加。此外，在日落場景圖像的情況下，由于
背光，該圖像較低1/3部分經(jīng)常變暗，并且基于單個局部圖像來確定 該圖像是日落場景或是夜景通常是不可能的，因此位于較低1/3部分
的塊中的存在概率降低了。在花卉圖像的情況下，花殲通常位于該圖 像的中心部分附近，因此花卉局部圖像在中心部分附近存在的概率很 高。
接下來，該子局部分類部61基于已選擇的局部圖像的局部特征 量，判斷所選擇的局部圖像是否屬于特定場景(S304)。子局部分類 部6采用使用支持矢量機(SVM)的分類方法，如同整體分類部50 的子分類部51的情形一樣。支持矢量機將在稍后描述。如果判別方程 具有正值，則判定該局部圖像屬于該特定場景，并且子局部分類部61 將肯定計數(shù)值遞增。如果判別方程具有負值，則判定該局部圖像不屬 于該特定場景，并且子局部分類部61將否定計數(shù)值遞增。
接下來，子局部分類部61判斷肯定計數(shù)值是否大于肯定閾值 (S305)。肯定計數(shù)值用來指示已判定屬于特定場景的局部圖像的數(shù) 量。如果肯定計數(shù)值大于肯定閾值(在S305的"是")，則子局部分類 部61判定要被分類的圖像屬于特定場景，并設(shè)置肯定標志(S306)。 在這種情況下，局部分類部60終止局部分類處理，而無需由隨后的子 局部分類部61執(zhí)行分類。例如，當要被分類的圖像能被分類為日落場 景圖像時，該分類部60終止局部分類處理而不執(zhí)行關(guān)于花卉和秋季場 景的分類。在這種情況下，因為隨后的子局部分類部61的分類被省略 了，局部分類處理的速度能得到提高。
如果肯定計數(shù)值不大于肯定閾值(S305中的"否")，則子局部分 類部61不能確定要被分類的圖像屬于特定場景，并且執(zhí)行隨后的步驟 S307的處理。
如果肯定計數(shù)值和剩余局部圖像的數(shù)量之和小于肯定閾值(S307中的"是")，則子局部分類部61進入S309的處理。如果肯定計數(shù)值和 剩余局部圖像的數(shù)量之和小于肯定閾值，則該肯定計數(shù)值不可能大于 肯定閾值，即使肯定計數(shù)值通過所有的剩余局部圖像而被增加。因此 通過提前處理至S309，省略了用支持矢量機對剩余局部圖像的分類。 結(jié)果，局部分類處理的速度能夠得到提高。
如果子局部分類部61在S307中判定為"否"，則子局部分類部61 判斷是否存在隨后的局部圖像(S308)。在本實施例中，并不是要被 分類的圖像所劃分成的所有64個局部圖像都被依次選中。只有那些在 圖18中由粗線括出的前十個局部圖像被依次選中。由于這個原因，當 第十個局部圖像的分類結(jié)束時，子局部分類部61在S308判定沒有隨 后的局部圖像。(也考慮到這方面來確定S307中的"剩余局部圖像的 數(shù)量"。)
圖19示出了當僅僅使用前十個局部圖像分類日落場景圖像時的 召回值和精度的圖。當肯定閾值設(shè)置成如該圖所示時，正確答案的比 率(精度)可以設(shè)置成大約80%，并且該召回率(召回值)可以設(shè)置 成大約90%，因此分類能以高精度執(zhí)行。
在本實施例中，日落場景圖像的分類僅僅基于十個局部圖像被執(zhí) 行。因此，在本實施例中，該局部分類處理的速度比使用所有的64 個局部圖像對該日落場景圖像執(zhí)行分類的情況要快。
此外，在本實施例中，使用包含有局部日落場景圖像的存在概率 較高的前十個局部圖像來執(zhí)行日落場景圖像的分類。因此，在本實施 例中，召回值和精度都能設(shè)置到比不考慮存在概率而使用已提取的十 個局部圖像來執(zhí)行日落場景圖像分類的情況高的級別。
此外，在本實施例中，局部圖像以包含有局部日落場景圖像的存 在概率的降序選擇局部圖像。因此，在S305的早期階段判斷為"是" 的可能性更大。因此，局部分類處理的速度能比不考慮存在概率是高 還是低的順序來選擇局部圖像的情況更快。
如果在S307的判斷為"是"，或者如果在S308判斷沒有隨后的局 部圖像，則子局部分類部61判斷否定計數(shù)值是否大于否定閾值 (S309)。這個否定閾值與上述整體分類處理中的否定閾值(在圖10中的S206)有著本質(zhì)上相同的功能，因此省略詳細描述。如果在S309 的判斷為"是"，則如同在圖10中S207的情況一樣，設(shè)置否定標志。
如果在S302的判斷為"否"，如果在S309為"否"，或者如果S310 的處理已經(jīng)結(jié)束，則局部分類部60判斷是否存在隨后的子局部分類部 61 (S311)。如果日落場景局部分類部61S的處理己經(jīng)結(jié)束，還存在 剩余的子局部分類部61，例如，花卉局部分類部61F和秋季局部分類 部61R,在S311局部分類部60判定存在隨后的子局部分類部61。
接著，如果S306的處理結(jié)束了 (如果判定要被分類的圖像屬于 特定場景)或者如果在S311判定沒有隨后的子局部分類部61 (如果 不能判斷要被分類的圖像屬于特定場景)，則局部分類部60終止局部 分類處理。
如同以上所述，當局部分類處理終止時，場景分類部33判斷場景 分類是否能由局部分類處理完成(在圖8中的S106)。此時，場景分 類部33參照在圖11中所示的分類目標表并且判斷在"肯定"域中是否 有T。
如果場景可以由局部分類處理分類(在S106的"是")，則綜合分 類處理被省略。因此，場景分類處理的速度提高了。
支持矢量機
在描述綜合分類處理前，描述在整體分類處理中由子分類部51 使用和在局部分類處理中由子局部分類部61使用的支持矢量機 (SVM)。
圖20A是使用線性支持矢量機進行分類的說明圖。在此，學(xué)習樣 本在由兩個特征量xl和x2定義的二維空間內(nèi)示出。學(xué)習樣本分為A 和B類。在圖中，屬于A類的樣本由圓圈表示，而屬于B類的樣本 由正方形表示。
作為使用學(xué)習樣本的學(xué)習結(jié)果，定義了把該二維空間劃分成兩部 分的分界線。該分界線被定義為〈w . x〉+b=0 (其中x- (xl， x"， w 表示權(quán)重矢量，而〈w . x〉表示w和x的內(nèi)積)。然而，為了最大化裕 度(margin),該分界線被定義為使用該學(xué)習樣本的學(xué)習結(jié)果。也就是說，在該圖中，該分界線不是粗體虛線而是粗體實線。
使用判別方程f(X)=<W . X>+b執(zhí)行分類。如果某個輸入X (該輸 入X是與學(xué)習樣本相分離的)滿足f(X)〉0，它被判別為屬于A類，而
如果f(x)<0，它被判別為屬于B類。
在此，描述了使用二維空間的分類，然而并不限于此(也就是說， 可以使用多于兩個的特征量)。在這種情況下，該分界線被定義為超平面。
也有不能通過使用線性函數(shù)來完成兩類之間的分離的情況。在這 些情況下，當分類是由線性支持矢量機執(zhí)行時，該分類結(jié)果的精度降 低了。為了處理這個問題，輸入空間中的特征量被非線性地變換，或 者換句話說，從輸入空間非線性地映射至特定的特征空間，從而能夠 通過使用線性函數(shù)實現(xiàn)在該特征空間中的分離。非線性支持矢量機使 用這種方法。
圖20B是使用核函數(shù)進行分類的說明圖。在此，在由兩個特征量 xl和x2所定義的二維空間內(nèi)示出學(xué)習樣本。如果在圖20A中所示的 特征空間是由在圖20B中所示的從輸入空間的非線性映射而得到的， 則能夠通過使用線性函數(shù)實現(xiàn)兩類的分離。在該特征空間中分界線的 逆映射是如圖20B中的分界線，其中該分界線被定義以最大化在該特 征空間中的裕度。因此，如圖20B所示，該分界線是非線性的。
本實施例使用高斯核函數(shù)，因此判別方程f (x)如下所示(其中 M表示特征量的數(shù)目，N表示融習樣本的數(shù)目(或者對分界線有貢獻 的學(xué)習樣本的數(shù)目)，Wi表示權(quán)重因子，Yj表示學(xué)習樣本的特征量， Xj表示輸入x的特征量。
w ^ " — v ) 2
方程l Z w,exp( —z ";f'))
如果給定的輸入X (是與學(xué)習樣本相分離的)滿足f(X)>0，它被
判別為屬于A類，而如果f(x)O，它被判別為屬于B類，此外，判別 方程f(x)的值越大，輸入x (是與學(xué)習樣本相分離的)屬于A類的概 率越高。相反，判別方程f(x)的值越小，輸入x (是與學(xué)習樣本相分離的)屬于A類的概率越低。上述在整體分類處理中的子分類部51
和在局部分類處理中的子局部分類部61利用上述支持矢量機的判別
方程f(x)的值。
需要注意的是，與學(xué)習樣本相分離地準備評估樣本。上述的召回 值和精度圖是基于相對于評估樣本的分類結(jié)果的。
綜合分類處理
在上述的整體分類處理和局部分類處理中，在子分類部51和子局 部分類部61中的肯定閾值被設(shè)置為相對高的值，以設(shè)置更高級別的精 度(正確答案的比率)。這樣的原因是，例如，當整體分類部的風景分 類部51L的正確答案的比率被設(shè)置成低級別時，問題會發(fā)生，即風景 分類部51L可能會把秋季圖像錯誤地分類為風景圖像，并在由秋季分 類部51R執(zhí)行分類前終止整體分類處理。在本實施例中，精度(正確 答案的比率)被設(shè)置成相當高級別，從而使屬于特定場景的圖像由關(guān) 于該特定場景(例如，秋季圖像被秋季分類部51R (或者秋季局部分 類部61R)分類)的子分類部51 (或者子局部分類部61)分類。
然而，當整體分類處理和局部分類處理的精度(正確答案的比率) 被設(shè)置成相當高的級別時，場景分類不能由整體分類處理和和局部分 類處理的概率增大了。為了解決這個問題，在本實施例中，當場景分 類不能由整體分類處理和局部分類處理完成時，執(zhí)行下述的綜合分類 處理。
圖21是綜合分類處理的流程圖。如下所述，綜合分類處理基于在 整體分類處理中子分類部51的判別方程的值，選擇具有最高確定度并 具有至少預(yù)定確定度(例如等于或大于卯％)的場景。
首先，綜合分類部70基于五個子分類部51的判別方程的值，提 取判別方程的值為正值的場景(S401)。此時，使用在整體分類處理 過程中由子分類部51計算的判別方程的值。
接下來，綜合分類部70判斷是否存在確定度等于或者大于預(yù)定值 (S402)的場景。在此，確定度指示要被分類的圖像屬于特定場景并 且根據(jù)判別方程的值而確定的概率。更具體地，綜合分類部70具有指示判別方程的值和精度兩者之間關(guān)系的表。對應(yīng)于判別方程值的精度 從該表中導(dǎo)出，并且該精度值被當作確定度。需要注意的是，該預(yù)定 值設(shè)置為例如90%,其值低于由整體分類部和局部分類部設(shè)置的精度
(97.5%)。然而，確定度不必一定是精度，也可以使用判別方程的值 作為確定度。
如果存在確定度至少具有預(yù)定值的場景(在S402的"是")，則在 該場景的列中設(shè)置肯定標志(S403)，并且終止綜合分類處理。需要 注意的是，當提取確定度等于或者大于卯％的場景時，將不會提取多 個場景。這是因為如果給定場景的確定度高，則其它場景的確定度就 不可避免地低。
另一方面，如果沒有確定度等于或大于該預(yù)定值的場景(S402中 的"否")，則終止綜合分類處理，但不設(shè)置肯定標志。因此，在圖11 中所示的分類目標表中沒有場景的"肯定"域設(shè)置為1。也就是說，無 法分類得到要被分類的圖像屬于哪個場景。
如上所述，當綜合分類處理終止時，場景分類部33判斷場景分類 是否能由綜合分類處理完成(在圖8中的S108)。同時，場景分類部 33參照在圖11中所示的分類目標表并且判斷在"肯定"域中是否有 "1"。如果在S402判斷為"是"，則在S108的判斷也為"是"。另一方 面，如果在S402判斷為"否"，則在S108的判斷也為"否"。
在本實施例中，如果在圖8中的S108判斷為"否"，也就是說，如 果在圖21中的S402判斷為"否"，則在S401提取的所有場景被作為候 選場景存儲在結(jié)果存儲部31B中。
利用顯示部進行顯示 綜述
如上所述，用戶可以使用模式設(shè)置旋鈕2A設(shè)置拍攝模式。然后， 數(shù)字照相機2基于例如在拍照時設(shè)置的拍攝模式和光度測定結(jié)果來確 定拍攝條件(曝光時間、ISO靈敏度、等等)，并在確定的拍攝條件下 拍攝照相對象。在照相之后，數(shù)字照相機2將指示當照片被拍攝時的 拍攝條件的拍攝數(shù)據(jù)和圖像數(shù)據(jù)一起作為圖像文件存儲至存儲卡6中。
存在用戶忘記設(shè)置拍攝模式以至于照相時仍然設(shè)置的是不適合該 拍攝條件的拍攝模式的情況。例如，仍然設(shè)置夜景模式的情況下來拍 攝白天風景場景。結(jié)果，在這種情況下，盡管在該圖像文件中的圖像 數(shù)據(jù)是白天風景場景的圖像，但是指示夜景模式的數(shù)據(jù)被存儲在拍攝 數(shù)據(jù)中(例如，在圖5中所示的場景捕獲類型數(shù)據(jù)設(shè)置為"3")。在這 種情況下，當基于不正確的場景捕獲類型數(shù)據(jù)增強圖像數(shù)據(jù)時，可能 以不是該用戶期望的圖像質(zhì)量來執(zhí)行打印。
另一方面，有時用戶期望的圖像質(zhì)量的打印不能被獲得，即使該 圖像數(shù)據(jù)是基于分類處理(面部檢測處理和場景分類處理)的結(jié)果被 增強的。例如，如果在分類處理中發(fā)生了錯誤分類，不能獲得用戶期 望的圖像質(zhì)量的打印。此外，當用戶為了獲得特殊效果而不考慮設(shè)置 的拍攝模式時，并且基于該打印機的分類結(jié)果增強圖像數(shù)據(jù)時，不能 按照用戶的意愿執(zhí)行打印。
因此，在本實施例中顯示用于提示用戶進行確認的確認屏幕。更 具體地，如同下面將進一步解釋的，如果分類處理的結(jié)果與由圖像文 件的補充數(shù)據(jù)的場景信息(圖像捕獲類型數(shù)據(jù)或拍攝模式數(shù)據(jù))指示
的場景不匹配時，則在面板部15的顯示部16上顯示確認屏幕。
第一實施例
在第一實施例中，執(zhí)行多個圖像文件的直接打印。如同下面進一 步的解釋，在第一實施例中，所有圖像文件的圖像在確認屏幕上顯示， 并且在終止該確認屏幕的確認后開始打印。
圖22示出了根據(jù)第一實施例的直接打印處理流程的流程圖。該處 理步驟由打印機控制器20基于存儲在存儲器23中的程序而實現(xiàn)。
首先，打印機控制器20對所有要被直接打印的待打印的圖像文件 進行面部檢測處理和場景分類處理(S601)。這些處理上面已經(jīng)解釋 過，因此在此省略進一步的解釋。
接下來，打印機控制器20針對每個要直接打印的圖像文件，判斷 由補充數(shù)據(jù)(場景捕獲類型數(shù)據(jù)、拍攝模式數(shù)據(jù))指示的場景是否與由分類處理結(jié)果指示的場景相匹配(S602)。如果在分類處理結(jié)果中 包含多個候選場景，則使用最高確定度的候選場景來執(zhí)行判斷。
接下來，打印機控制器20判斷是否存在兩個場景(由補充數(shù)據(jù)指 示的場景和由分類結(jié)果指示的場景)不匹配的至少一個圖像文件 (S603)。如果對于所有要被直接打印的圖像文件而言兩個場景(由補 充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場景)都相匹配(S603中的 "否")，則無需讓用戶確認任何內(nèi)容，因此處理前進至S606。相應(yīng)地， 不顯示確認屏幕，因此可以縮短打印開始前的處理時間。
如果存在兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的 場景)不匹配的至少一個圖像文件(S603中的"是")，則打印機控制 器20在顯示部16上顯示確認屏幕(S604)。
圖23A和23B是根據(jù)第一實施例的確認屏幕示例的說明圖。
這個確認屏幕162顯示九個圖像162A(在該圖中，僅僅示出矩形
框，但實際上，圖像是在這些框內(nèi)顯示的)。這九個圖像162A是要被
直接打印的多個圖像文件中的九個圖像文件的圖像。由于可以顯示圖 像的空間很小，使用圖像文件的縮略圖數(shù)據(jù)顯示圖像162A(參見圖3)。
同樣，由于所顯示的圖像很小，用戶很難評估圖像質(zhì)量，因此不對縮 略圖數(shù)據(jù)做任何圖像增強。按照拍攝圖像的時間順序或按照圖像文件 的數(shù)據(jù)名的順序，在每個圖像162A的左上角寫有編號。在下面的解 釋中，使用這些數(shù)字指定圖像。例如，在確認屏幕上的九個圖像中， 左上角的圖像被當作是"第一圖像"，并且對應(yīng)于該圖像的圖像文件被 當作是"第一圖像文件"。
打印機控制器20顯示其中兩個場景(由補充數(shù)據(jù)指示的場景和由 分類結(jié)果指示的場景)在上述提及的S602相匹配的那些圖像162A，
而沒有添加標記162B到它們上。打印機控制器20顯示其中該兩個場 景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場景)在上述提及的 S602不匹配的那些圖像162B，并帶有添加的標記162B。因此，用戶 能夠輕易從圖像的標記162B的有無來掌握對于哪個圖像這兩個場景 (由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場景)不相匹配。
在圖中所示的確認屏幕162中，標記162B顯示在第一、第四、第五、和第九圖像的右下方。因此，能夠看出對于第一、第四、第五、 和第九圖像文件，補充數(shù)據(jù)的場景和分類結(jié)果的場景不相匹配。另一
方面，對于第二、第三、和第六至第八圖像，未顯示標記162B。因此， 能夠看出對于第二、第三、和第六至第八圖像文件，補充數(shù)據(jù)的場景 和分類結(jié)果的場景相匹配。
分類處理結(jié)果的場景在每個標記162B內(nèi)顯示。如果分類處理結(jié) 果包括多個候選場景，則具有最高確定度的候選場景在標記162B內(nèi) 被指示。例如，第一圖像文件的分類處理結(jié)果的場景(或第一圖像文 件的具有最高確定度的候選場景)是"風景"。
在第一實施例中，對補充數(shù)據(jù)的場景與分類結(jié)果的場景相匹配的 圖像沒有附加標記162B。因此，兩個場景(由補充數(shù)據(jù)指示的場景和 由分類結(jié)果指示的場景)不相匹配的圖像被突出顯示。另一方面，當 不附加標記162B時，對那些圖像的分類處理結(jié)果不在確認屏幕162 上顯示。然而，如果兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果 指示的場景)相匹配時，則無論如何不需要用戶的確認，因此不顯示 分類處理結(jié)果是沒有問題的。
用戶通過在查看確認屏幕時操作輸入部17，針對每個圖像決定是 基于補充數(shù)據(jù)的場景執(zhí)行增強還是基于分類處理結(jié)果的場景執(zhí)行增 強。例如，當用戶通過操作輸入部17選擇第五圖像162A的標記162B 時，則標記162B顯示為一個粗體框，如在圖23A中所示。在這種情 況下再次操作輸入部n,用戶能夠切換在標記162B中顯示的場景。 此時，打印機控制器20顯示補充數(shù)據(jù)的場景，并且如果有多個候選場 景，則根據(jù)用戶操作，在標記162B中一個接一個地顯示其它候選場 景。圖23B示出了根據(jù)用戶操作在標記162B內(nèi)顯示作為補充數(shù)據(jù)的 場景的"風景，，時的狀態(tài)。因此，通過一個接個地在屏幕上顯示分類處 理結(jié)果的場景和補充數(shù)據(jù)的場景，限制了用戶的選擇項，使得用戶的 操作更加簡單。如果用戶被給定了從所有場景中(例如，在圖7中的 所有場景)選擇所期望場景的選項，則用戶的選擇范圍太寬，并且可 用性也不會很高。
在確認屏幕上確認了第一至第九圖像文件后，打印機控制器20進一步顯示具有第十至第十八圖像文件的確認屏幕。因此，用戶能以 類似方式確認剩下的圖像文件。
當用戶推動輸入部17的輸入按鈕(圖中未示出)時(S605中的 "是")，打印機控制器20使用對應(yīng)于用戶的選擇的增強模式來增強圖 像數(shù)據(jù)(S606)。如果這個輸入按鈕是在圖23B中所示的狀態(tài)下按下 的，則基于分類處理結(jié)果的場景(或者在多個候選場景的情況下具有 最高確定度的候選場景)來增強除第五圖像之外的其他圖像數(shù)據(jù)，基 于補充數(shù)據(jù)的場景以風景模式增強第五圖像的圖像數(shù)據(jù)(參見圖7)。
顯示確認屏幕，直到用戶輸入了確認(S605中的"否")。當用戶 輸入了確認(S605中的"是")時，打印機控制器20以對應(yīng)于用戶的 選擇的增強模式增強圖像數(shù)據(jù)(S606)。但是，在確認屏幕顯示之后 經(jīng)過了預(yù)定時間段(例如20秒)時，即使沒有用戶輸入確認，也利用 對應(yīng)于由初始設(shè)置(在此，是分類處理結(jié)果的場景)所選的場景的增 強模式增強圖像數(shù)據(jù)，這也是合適的。因此，即使當用戶離開了打印 機時，也可以繼續(xù)該處理。由初始設(shè)置選擇的場景可以根據(jù)分類處理 結(jié)果的確定度而改變，但是也可以預(yù)先確定這些場景，從而一般選擇 分類處理結(jié)果，而不考慮確定度。
在圖像增強處理之后，打印機控制器20基于增強圖像數(shù)據(jù)打印圖 像(S607)。因此，獲得了具有用戶所期望的圖像質(zhì)量的打印圖像。
第二實施例
在第二實施例中，確認屏幕只顯示補充數(shù)據(jù)的場景與該分類處理 結(jié)果的場景不匹配的圖像文件的圖像，并且預(yù)先執(zhí)行沒有這種失配的 文件的打印。也就是說，與第一實施例的情況相比較，在確認屏幕上 顯示的圖像文件是不同的，并且打印處理開始的定時也是不同的。
在下面的解釋中，假設(shè)第一至第九圖像文件要被直接打印。如同 在第一實施例中，對第一、第四、第五和第九圖像文件來說，補充數(shù) 據(jù)場景與分類結(jié)果場景不匹配，然而對第二、第三、和第六至第八圖 像文件來說，補充數(shù)據(jù)場景與分類結(jié)果場景相匹配。
圖24是示出根據(jù)第二實施例的直接打印處理流程的說明圖。由打印機控制器20基于存儲在存儲器23中的程序?qū)崿F(xiàn)處理步驟。
首先，打印機控制器20從多個要被直接打印的待打印圖像文件中 獲取第一圖像文件，并且對其進行面部檢測處理和場景分類處理 (S701)。這些處理在上面己經(jīng)解釋過了，因此在此省略進一步的解釋。
接下來，打印機控制器20判斷由補充數(shù)據(jù)指示的場景是否可以與 由分類處理結(jié)果指示的場景相比(S702)。如果多個候選場景包含在 分類處理結(jié)果中，則使用最高確定度的候選場景來執(zhí)行判斷。
需要注意的是，在接下來的步驟S703中場景捕獲類型數(shù)據(jù)用于 判斷失配的情況下的S702中的判斷方法與使用作為MakerNote數(shù)據(jù) 的拍攝模式數(shù)據(jù)的情況下是不同的。
如果在S703使用場景捕獲類型數(shù)據(jù)，并且場景捕獲類型數(shù)據(jù)不 是"人像"、"風景"、和"夜景"中的任何一個，例如當場景捕獲類型數(shù) 據(jù)是"0"(參見圖5)，則不可能在S703把它與分類處理結(jié)果作比較， 因此在S702的判斷為"否"。同樣，如果分類處理結(jié)果不是"人像"、"風 景"、禾口"夜景"中的任何一個，則不可能在S703把它與場景捕獲類型 數(shù)據(jù)作比較，因此在S702的判斷為"否"。例如，如果分類處理結(jié)果是 "日落場景"，則在S702的判斷為"否"。
如果在S703使用拍攝模式數(shù)據(jù)，并且拍攝模式數(shù)據(jù)不是"人像"、 "日落場景"、"風景"、和"夜景"中的任何一個，例如當拍攝模式數(shù)據(jù) 是"3 (特寫)，，時(參見圖5)，則不可能在S703把它與分類處理結(jié) 果作比較，因此在S702的判斷為"否"。同樣，如果分類處理結(jié)果不是 "人像"、"風景"、"日落場景"、和"夜晚場景"中的任何一個，則不可 能在S703把它與場景捕獲類型數(shù)據(jù)作比較，因此在S702的判斷為 "否"。
如果在S702的判斷為"是"，則打印機控制器20判斷由補充數(shù)據(jù) (場景捕獲類型數(shù)據(jù)、拍攝模式數(shù)據(jù))指示的場景和由分類處理結(jié)果指 示的場景之間是否存在失配(S703)。如果多個候選場景包含在分類 處理結(jié)果中，則使用最高確定度的候選場景來執(zhí)行判斷。
如果S703的結(jié)果是存在失配(是)，則圖像文件的編號和例如分 類處理結(jié)果被存儲在存儲器23中(S705)。然后，處理繼續(xù)至S706。如果S703的結(jié)果是沒有失配(否)，則打印機控制器20創(chuàng)建打 印作業(yè)(下面簡稱為"作業(yè)")(S704)。對于該作業(yè)的內(nèi)容，基于分類 處理結(jié)果的場景增強圖像數(shù)據(jù)，并且基于該增強的圖像數(shù)據(jù)執(zhí)行打印 處理。如果已經(jīng)積累了多個作業(yè)，則打印機控制器20根據(jù)它們的優(yōu)先 程度執(zhí)行這些作業(yè)。當執(zhí)行作業(yè)時，基于預(yù)定場景(在此，是分類處 理結(jié)果的場景)，根據(jù)該作業(yè)的內(nèi)容增強圖像數(shù)據(jù)，并且基于該增強的 圖像數(shù)據(jù)執(zhí)行打印處理。需要注意的是，打印機控制器20在執(zhí)行作業(yè) 的同時并行地執(zhí)行在圖24中的處理。
如果在S702對于第一圖像文件判斷為"是"，并且在S703的判斷 為"是"，則打印機控制器20存儲圖像文件編號和分類處理結(jié)果(在此， 是"風景"，如果有多個候選場景，則為這些候選場景)至存儲器23 中(S705)。
接下來，仍剩下第二至第九圖像文件，因此在S706判斷為"否"， 并且為第二圖像文件執(zhí)行S701的處理。
如果對于第二圖像文件，在S702的判斷為"是"并且在S703的判 斷為"否"，則打印機控制器20為第二圖像文件創(chuàng)建作業(yè)(S704)。此 時，沒有其它的作業(yè)，因此在創(chuàng)建該作業(yè)后，立即執(zhí)行該作業(yè)。也就 是說，對第二圖像文件的圖像數(shù)據(jù)進行增強處理，并且基于該增強的 圖像數(shù)據(jù)開始打印處理。
以這種方式，為剩下的第三至第九圖像文件執(zhí)行S701至S706的 處理。需要注意的是，當執(zhí)行第二圖像文件的作業(yè)時，打印機控制器 20并行地為第三圖像文件執(zhí)行S701至S706的處理。
在為第九圖像文件已執(zhí)行S705的處理之后，沒有其它的剩余圖 像文件，因此打印機控制器20在S706判斷為"是"。然后，打印機控 制器20顯示確認屏幕(S707)。
圖25是示出了根據(jù)第二實施例的確認屏幕164的示例的說明圖。
這個確認屏幕164顯示四個圖像164A(在該圖中，僅僅示出矩形 框，但實際上，圖像是在這些框內(nèi)顯示的)?；谠赟705存儲的數(shù)據(jù)， 打印機控制器20判斷應(yīng)該在確認屏幕164上顯示哪些圖像。在確認屏 幕164上顯示的四個圖像164A是第一、第四、第五、和第九圖像，對于這四個圖像，己經(jīng)在S703中判定由補充數(shù)據(jù)(場景捕獲類型數(shù) 據(jù)、拍攝模式數(shù)據(jù))指示的場景與由分類處理結(jié)果指示的場景不匹配。
與上述第一實施例相比較，第二實施例中只有那些失配的圖像才 被顯示，因此用戶能夠更容易地掌握需要確認的圖像。同樣，在第二 實施例中，僅僅顯示那些在兩個場景(由補充數(shù)據(jù)指示的場景和由該 類結(jié)果指示的場景)之間存在失配的圖像，因此圖像64A能顯示的 空間擴大了。因此，可以使用縮略圖數(shù)據(jù)顯示圖像164A，但是還可以 在增強該圖像數(shù)據(jù)后顯示。如果在增強該圖像數(shù)據(jù)后顯示圖像164A， 則依照在圖像164A右下角的標記164B中指示的場景增強圖像164A。 因此，在圖像164A上執(zhí)行的增強的內(nèi)容與由在圖像164A的右下角的 標記164B所指示的內(nèi)容相匹配。
與第一實施例中相同，通過在查看確認屏幕164時操作輸入部17， 用戶針對每個圖像，決定是基于補充數(shù)據(jù)的場景執(zhí)行增強還是基于分 類處理結(jié)果的場景執(zhí)行增強。如果圖像164A是在增強該圖像數(shù)據(jù)后 顯示的，則在每次切換標記164B內(nèi)的場景時，打印機控制器20切換 并且顯示在圖像164A上執(zhí)行的增強。例如，當由第五圖像164A的標 記164B指示的場景從"日落場景"(分類處理結(jié)果的場景)切換為"風 景"(補充數(shù)據(jù)的場景)時，第五圖像164A從由日落模式增強的圖像 切換為由風景模式增強的圖像。因此，增強的結(jié)果能夠被用戶容易地 確認。
顯示確認屏幕，直到用戶輸入了確認(S708中的"否")。但是， 也可以在確認屏幕顯示之后經(jīng)過預(yù)定時間段(例如20秒)之后，進入 到下一處理，即使用戶沒有輸入確認。因此，即使當用戶離開打印機 時，也可以繼續(xù)該處理。在這種情況下，由初始設(shè)置選擇的場景被當 作是由用戶選擇的場景。由初始設(shè)置選擇的場景可以根據(jù)分類處理結(jié) 果的確定度而改變，但是也可以預(yù)先確定這些場景，從而一般選擇分 類處理結(jié)果的場景，而不考慮確定度。
在第二實施例中，當用戶在確認屏幕上執(zhí)行操作時打印已經(jīng)開始 了。在上述第一實施例中，如果用戶的確認要占用時間，則該打印的 開始被延遲，但是在第二實施例中，在確認屏幕的顯示期間開始打印(至少第二圖像的打印幵始)，因此在打印結(jié)束之前的時間被縮短了。
當用戶推動輸入部17的輸入按鈕(圖中未示出)時(S708中的 "是")，打印機控制器20為第一、第四、第五、和第九圖像創(chuàng)建打印 作業(yè)(S709)。對于這些作業(yè)的內(nèi)容，基于用戶所選擇的場景增強圖 像數(shù)據(jù)，并且基于該增強的圖像數(shù)據(jù)運行打印處理。
接下來，打印機控制器20判斷是否處在可以按照編號順序執(zhí)行打 印的狀態(tài)(S710)。更具體地，如果已經(jīng)在S709創(chuàng)建作業(yè)的圖像文件 的最小編號大于打印已經(jīng)開始的圖像的編號，則打印機控制器20判定 是處在能按編號順序執(zhí)行打印的狀態(tài)。在此，已經(jīng)在S709創(chuàng)建的作 業(yè)的圖像文件(第一、第四、第五和第九圖像文件)的最小編號是l， 并且已經(jīng)為第二個圖像準備好了開始打印，因此S710的判斷為"否"。
如果對于第一圖像文件，兩個場景(由補充數(shù)據(jù)指示的場景和由 分類結(jié)果指示的場景)是匹配的，則在S704為第一至第三圖像創(chuàng)建 打印作業(yè)，并且開始第一圖像的打印。 一般地，打印一個圖像花費幾 秒至幾十秒，因此如果用戶能夠快速地操作該確認屏幕，則在第一至 第三圖像打印完之前(在開始第六圖像的打印前)，創(chuàng)建第四、第五、 和第九圖像文件的作業(yè)(S709)。在這種情況下，打印機控制器20在 S710判斷為"是"，改變作業(yè)的順序(S711)，并且將這些作業(yè)的優(yōu)先 順序設(shè)置為按這些圖像文件編號的順序。因此，在打印第三圖像后， 打印機4打印第四圖像，而不是第六圖像。然后，用戶能夠以圖像文
件編號的順序獲取打印的圖像。
需要注意的是，如果在S710的判斷為"否"，則打印機4不按圖像 文件的編號的順序打印這些圖像，從而打印機控制器20也可以在顯示 部16上顯示警告屏幕167，以將此情況指示給用戶，如圖29A所示。 此外，如圖29B所示，如果打印機控制器20在警告屏幕167上顯示 打印順序，則當用戶想對要打印圖像進行排序時很有用。
然后，打印機控制器20按照優(yōu)先順序執(zhí)行累積的作業(yè)，并且當所 有作業(yè)都被執(zhí)行完時終止該處理(在S712的"是")。
其它確認屏幕圖26是另一確認屏幕的說明圖。這個確認屏幕165與圖25所示 的確認屏幕164的不同在于為每個圖像提供了三個標記1651至1653。
在這個確認屏幕165上顯示三個圖像165A。與上述屏幕164的情 況一樣，打印機控制器20基于在S705存儲的數(shù)據(jù)判斷應(yīng)該在確認屏 幕165上顯示哪些圖像。在確認屏幕165上顯示的三個圖像164A是 第一、第四、和第五圖像，對于這些圖像，在S703中已經(jīng)判斷由補 充數(shù)據(jù)(場景捕獲類型數(shù)據(jù)、拍攝模式數(shù)據(jù))指示的場景與由分類處 理結(jié)果指示的場景不匹配。通過用戶操作切換確認屏幕來顯示與第九 圖像相關(guān)的信息。
同樣在這個確認屏幕165上，僅僅顯示兩個場景(由補充數(shù)據(jù)指 示的場景和由分類結(jié)果指示的場景)不匹配的圖像，因此用戶容易掌 握需要確認的圖像。但是，與上述確認屏幕164相比較，能顯示圖像 165A的空間很小，因此通過使用圖像文件的縮略圖數(shù)據(jù)顯示圖像 165A(參見圖3)。同樣，由于所顯示的圖像很小，用戶很難評估圖像 的質(zhì)量，因此不對縮略圖數(shù)據(jù)進行任何圖像增強。
在圖像165的右邊，三個標記1651至1653與各個圖像一起顯示。 三個標記從左開始依次是指示標準模式下的增強(在圖7中由"其它" 增強)的標記、指示補充數(shù)據(jù)場景的標記、和指示分類處理結(jié)果的標 記。在上述的確認屏幕164中，用戶切換在標記中的場景，但是在這 個確認屏幕165上，用戶選擇這些標記之一，并且打印機控制器20 基于對應(yīng)于用戶的選擇的場景來增強圖像。
確認屏幕165包括用于指示執(zhí)行在標準模式下的增強的標記(在 圖7中由"其它，，增強)，但是也可以不提供這些標記。此外，如果還有 空間剩下可用于顯示標記，并且有多個候選場景，則也可以顯示指示 那些候選場景的每一個的標記。
同樣，對于這個確認屏幕165，與上述的第一實施例相比較，僅 僅顯示那些失配的圖像，因此用戶可以更容易地掌握需要確認的圖像。 同樣，在第二實施例中，僅僅顯示在兩個場景(由補充數(shù)據(jù)指示的場 景和由分類結(jié)果指示的場景)之間有失配的圖像，因此該標記165B 中能顯示的空間擴大了。因此，在確認屏幕上能顯示給用戶的信息量增加了。
向補充數(shù)據(jù)添加場景信息
如果用戶在確認屏幕上選擇了場景，就可以建立用戶期望的場景。 因此，在第一和第二實施例中，當用戶在確認屏幕上已經(jīng)進行了確認， 則打印機控制器20將由用戶選擇的場景存儲在圖像文件的補充數(shù)據(jù) 中。在此，解釋用戶已經(jīng)在確認屏幕上選擇了分類處理結(jié)果的場景的 情形。
圖27是當分類結(jié)果被添加至補充數(shù)據(jù)時的APP1段的配置的說明 圖。在圖27中，與圖3所示的那些圖像文件不同的部分由粗體線指示。
與圖3中示出的圖像文件相比，在圖27中所示的圖像文件具有添 加到其上的附加Makemote IFD。與分類處理結(jié)果有關(guān)的信息被存儲在 這個第二 Makernote IFD中。
此外，新的目錄條目也被添加至ExifSubIFD。附加目錄條目由指 示第二 Makemote IFD的標簽和指向第二Makernote IFD的存儲位置的 指針組成。
此外，由于ExifSubIFD數(shù)據(jù)區(qū)的存儲位置由于向ExifSubIFD添 加了新目錄條目而移位，所以指向該Exif SubIFD數(shù)據(jù)區(qū)的存儲位置 的指針也改變了。
此外，由于添加了第二MakernoteIFD而使IFDl區(qū)移位，所以位 于該IFD0并指示該IFD1的位置的鏈接也改變。此外，由于添加了第 二 Makernote IFD， APP1數(shù)據(jù)區(qū)的大小被改變，所以該APP1數(shù)據(jù)區(qū) 的大小也被改變。
通過以此方式在該圖像文件的附加數(shù)據(jù)中存儲由用戶選擇的場景 (在這種情況下，為分類處理結(jié)果的場景)，當打印這個圖像文件的圖 像時就無需執(zhí)行分類處理或者再顯示確認屏幕。此外，當用戶從第一 實施例或者第二實施例中的打印機4中移去存儲卡6以及將存儲卡6 插入至另一打印機中時，該圖像數(shù)據(jù)能被適當?shù)卦鰪?，甚至當該打?機是不具有場景分類處理功能但是能執(zhí)行自動增強處理的打印機時。其它實施例
主要相對于打印機描述了前述實施例。但是，前述實施例的目的 是為了說明本發(fā)明，而并不應(yīng)視為限制本發(fā)明。在不脫離本發(fā)明宗旨 的前提下，本發(fā)明當然可以被修改和改進并包含等同的功能。具體而 言，在下面所提到的實施例也包括在本發(fā)明的范圍內(nèi)。
關(guān)于打印機
在上述實施例中，打印機4執(zhí)行場景分類處理、顯示確認屏幕、 等等。但是，數(shù)字照相機2也可以執(zhí)行場景分類處理、顯示確認屏幕、 等等。此外，能執(zhí)行上述場景分類處理和顯示確認屏幕的信息處理裝 置不限于打印機4或者數(shù)字照相機2。例如，信息處理裝置可以是存 儲大量圖像文件的相片存儲設(shè)備，其同樣可以執(zhí)行上述場景分類處理 和顯示確認屏幕。自然地，個人計算機或者位于因特網(wǎng)上的服務(wù)器也 同樣可以執(zhí)行上述場景分類處理和顯示確認屏幕。
關(guān)于圖像文件
上述圖像文件是Exif格式文件。但是，圖像文件不限于此。此外，
上述圖像文件是靜止圖像文件。但是，圖像文件也可以是運動圖像文 件。也就是說，只要該圖像文件包含圖像數(shù)據(jù)和補充數(shù)據(jù)，就能執(zhí)行 如上所述的場景分類處理等等。
關(guān)于支持矢量機
上述子分類部51和子局部分類部61采用使用支持矢量機(SVM) 的分類方法。但是，分類待分類的該圖像是否屬于特定場景的方法不 限于使用支持矢量機的方法。例如，也可以使用模式識別技術(shù)，例如 使用神經(jīng)網(wǎng)絡(luò)。
關(guān)于提取候選場景的方法
在上述實施例中，如果場景不能由整體分類處理、局部分類處理 和綜合分類處理中的任何一種分類，則提取確定度等于或大于預(yù)定值的場景作為候選場景。但是，提取候選場景的方法不限于此。
圖28是分離的處理流程的說明圖。該處理能代替上述場景分類處 理而執(zhí)行。
首先，如上述實施例所述，打印機控制器20基于圖像文件的信息， 計算整體特征量(S801)。然后，與上述的分類處理相同，風景分類 部51L計算判別方程的值和對應(yīng)于這個值的精度，作為確定度(S802)。 需要注意的是，上述實施例的風景分類部51L分類要被分類的圖像是 否屬于風景場景，但是在此，該風景分類部51L僅僅基于該判別方程 來計算確定度。類似地，其它的子分類部51也計算確定度(S803至 S806)。然后，打印機控制器20提取確定度等于或大于預(yù)定值的場景 作為候選場景(S807),并且存儲候選場景(和它們的確定度)(S808)。
同樣以這種方式，也可以分類由圖像數(shù)據(jù)表示的圖像的場景。然 后，將類似分類的場景與補充數(shù)據(jù)的場景作比較，并且如果存在失配， 則也可以顯示確認屏幕。
綜述
(1) 在上述實施例中，打印機控制器20從附加至該圖像數(shù)據(jù)的補 充數(shù)據(jù)中獲取作為場景信息的場景捕獲類型數(shù)據(jù)和拍攝模式數(shù)據(jù)。此 外，打印機控制器20獲取面部檢測處理和場景分類處理的分類結(jié)果 (參見圖8)。
由場景捕獲類型數(shù)據(jù)和拍攝模式數(shù)據(jù)指示的場景可能與場景分類 處理的分類結(jié)果的場景不匹配。在這種情況下，顯示用于提示用戶進 行確認的確認屏幕。
(2) 但是，如果對多個圖像文件執(zhí)行直接打印，并且顯示所有圖 像文件的信息，如第一實施例中的確認屏幕中一樣(參見圖23)，則 需要用戶確認的圖像的有關(guān)信息量變大。因此，在第二實施例的確認 屏幕上，僅僅顯示兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指 示的場景)不匹配的圖像，而不顯示兩個場景(由補充數(shù)據(jù)指示的場 景和由分類結(jié)果指示的場景)匹配的圖像(參見圖25和26)。
因此，例如在圖25的確認屏幕164中，圖像164A能顯示得較大。此外，例如圖26的確認屏幕165，能為圖像165A中的每個顯示補充 數(shù)據(jù)的場景和分類處理結(jié)果的場景。因此，通過不顯示兩個場景(由 補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場景)匹配的圖像，能在確 認屏幕上為兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場 景)失配的圖像增加信息量。
(3) 在上述實施例中，在圖像增強處理前(是圖像處理中的一個 示例)或為兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場 景)之間存在失配的第一圖像執(zhí)行打印處理前(是圖像處理中的另一 示例)，對于兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場 景)之間沒有失配的第二圖像，基于分類處理結(jié)果執(zhí)行圖像增強處理 和打印處理(參見圖24的S704、圖25)。因此，能繼續(xù)第二圖像的 處理而無需等待第一圖像的確認，因此圖像增強和圖像處理能比在比 較示例中更早地開始。
(4) 在上述實施例中，當為兩個場景(由補充數(shù)據(jù)指示的場景和 由分類結(jié)果指示的場景)之間有失配的第一圖像顯示確認屏幕時(參
見圖24中的S707;圖25),對于在兩個場景(由補充數(shù)據(jù)指示的場 景和由分類結(jié)果指示的場景)之間沒有失配的第二圖像，基于分類處 理結(jié)果執(zhí)行圖像增強處理和打印處理(參見S704)。因此，能繼續(xù)第 二圖像的處理而無需等待第一圖像的確認，因此圖像增強和打印處理 能比在比較示例里更早地開始。
(5) 上述打印機控制器20依照這些作業(yè)的優(yōu)先程度執(zhí)行作業(yè)。此 外，在上述的實施例中，在顯示該確認屏幕后，針對兩個場景(由補 充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場景)之間存在失配的第一圖 像創(chuàng)建作業(yè)(S709)。另一方面，在顯示確認屏幕前，兩個場景(由 補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場景)之間沒有失配第二圖 像的作業(yè)被創(chuàng)建(S704)。因此，可以為第二圖像創(chuàng)建作業(yè)而無需等 待第一圖像的確認，因此圖像增強和打印處理能比比較示例里更早地 開始。
(6) 在上述的實施例中，打印機控制器20在S709中創(chuàng)建作業(yè)后 也就是，在為兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示的場景)之間存在失配的圖像創(chuàng)建作業(yè)后)改變這些作業(yè)的優(yōu)先順序(。 因此，可以增加按照編號順序打印的圖像的數(shù)目。
(7) 在S709中創(chuàng)建作業(yè)后，上述打印機控制器20判斷要被執(zhí)行 直接打印的多個圖像文件是否能按它們的編號順序被打印(S710)。 并且，如果在S710的判斷為"是"，則打印機控制器20改變這些作業(yè) 的順序。因此，這些作業(yè)被執(zhí)行的順序能被指定成要被執(zhí)行直接打印 的多個圖像文件的編號順序。
但是，在上述實施例中，即使在S710判斷要被執(zhí)行直接打印的 所有圖像是否能夠按照它們的編號順序被打印，本發(fā)明也并不限于此。 例如，如果第一圖像不能按其順序被打印，但是剩下的第四、第五、 和第九圖像能按它們的順序被打印，則在S710的判斷也可能為"是"， 并且這些作業(yè)的順序被改變。因此，能按它們的編號順序被打印的圖 像的數(shù)目增加了 (例如，除了第一圖像外的其他圖像能按它們的順序 被打印)。
(8) 在上述實施例中，如果在S710的判斷為"否"，則打印機4 不按圖像文件的編號順序打印這些圖像，因此打印機控制器20也可以 在顯示部分16上顯示警告屏幕，以將此指示給用戶。因此，用戶能夠 注意到這些打印的圖像沒有按它們原先的順序被打印。
(9) 上述打印機4 (對應(yīng)于信息處理裝置)包括打印機控制器20 和顯示部16。打印機控制器20從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲
取作為場景信息的場景捕獲類型數(shù)據(jù)和拍攝模式數(shù)據(jù)。此外，打印機 控制器20獲取面部檢測處理和場景分類處理的結(jié)果(參見圖8)。由 場景捕獲類型數(shù)據(jù)或拍攝模式數(shù)據(jù)指示的場景與分類處理結(jié)果的場景 作比較。然后，如果有其在該補充數(shù)據(jù)的場景和分類處理結(jié)果的場景 之間存在失配的圖像，則打印控制器20在顯示部16上顯示確認屏幕 (參見S707)。
然后，上述打印機控制器20在確認屏幕上顯示失配圖像的信息， 然而并不顯示在由場景信息指示的場景和分類的場景之間無失配的匹 配圖像。因此，在確認屏幕上的兩個場景(由補充數(shù)據(jù)指示的場景和 由分類結(jié)果指示的場景)之間無失配的圖像的信息量可以增加。(10)上述存儲器23中存儲了程序，該程序使打印機4執(zhí)行例如 在圖24中所示的處理。該程序包括針對多個圖像的圖像數(shù)據(jù)從附加至 該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與圖像數(shù)據(jù)有關(guān)的場景信息的代碼、基 于圖像數(shù)據(jù)來分類由圖像數(shù)據(jù)表示的圖像場景的代碼、將由場景信息 指示的場景與分類的場景作比較的代碼、以及如果存在由場景信息指 示的場景與分類的場景不匹配的失配圖像則顯示確認屏幕的代碼。此 外，該程序在確認屏幕上顯示與失配圖像有關(guān)的信息，但是不顯示由 場景信息指示的場景與分類的場景之間沒有失配的匹配圖像。因此， 確認屏幕上顯示兩個場景(由補充數(shù)據(jù)指示的場景和由分類結(jié)果指示 的場景)之間有失配的圖像的信息量可以增加。
盡管已經(jīng)詳細闡述了本發(fā)明優(yōu)選實施例，但是要明白在不背離由 所附權(quán)利要求定義的本發(fā)明的精神和范圍的前提下，可以做出各種改 變、替代和修改。
權(quán)利要求
1、一種信息處理方法，包括針對多個圖像中每一個的圖像數(shù)據(jù)，從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的場景信息，基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分類，將所分類的場景與由該場景信息指示的場景進行比較；以及如果存在所分類的場景與由該場景信息指示的場景不匹配的失配圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。
2、 根據(jù)權(quán)利要求1的信息處理方法，其中，與該失配圖像有關(guān)的信息顯示在該確認屏幕上，而在所分 類的場景和由該場景信息指示的場景之間不存在失配的匹配圖像不顯 示在該確認屏幕上。
3、 根據(jù)權(quán)利要求1的信息處理方法，其中，在該失配圖像受到圖像處理之前，在所分類的場景和由該 場景信息指示的場景之間不存在失配的匹配圖像受到圖像處理。
4、 根據(jù)權(quán)利要求1的信息處理方法，其中，在顯示該確認屏幕時，在所分類的場景和由該場景信息指 示的場景之間不存在失配的匹配圖像受到圖像處理。
5、 根據(jù)權(quán)利要求的信息處理方法，其中，在顯示該確認屏幕之前，創(chuàng)建針對在所分類的場景和由該 場景信息指示的場景之間不存在失配的匹配圖像的打印作業(yè)；在顯示該確認屏幕之后，創(chuàng)建針對該失配圖像的打印作業(yè)；以及 依照打印作業(yè)的優(yōu)先順序執(zhí)行打印作業(yè)。
6、 根據(jù)權(quán)利要求5的信息處理方法，其中，在創(chuàng)建針對該失配圖像的打印作業(yè)之后，改變打印作業(yè)的 優(yōu)先順序。
7、 根據(jù)權(quán)利要求6的信息處理方法，其中，在創(chuàng)建針對該失配圖像的打印作業(yè)之后-如果能夠依照針對該多個圖像的圖像數(shù)據(jù)的預(yù)定順序執(zhí)行打印作 業(yè)，則將打印作業(yè)的優(yōu)先順序改變?yōu)樵擃A(yù)定順序；以及如果不能夠依照針對該多個圖像的圖像數(shù)據(jù)的預(yù)定順序執(zhí)行打印 作業(yè)，則不改變打印作業(yè)的優(yōu)先順序。
8、 根據(jù)權(quán)利要求7的信息處理方法，其中，在創(chuàng)建針對該失配圖像的打印作業(yè)之后，如果不能夠依照 針對該多個圖像的圖像數(shù)據(jù)的預(yù)定順序執(zhí)行打印作業(yè)，則顯示警告屏 幕。
9、 一種信息處理裝置，其包括控制器，其中針對多個圖像的圖像數(shù)據(jù)，該控制器從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的 場景信息，基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分類，將所分類的場景與由該場景信息指示的場景進行比較；以及 如果存在所分類的場景與由該場景信息指示的場景不匹配的失配 圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。
10、 一種存儲有程序的存儲介質(zhì)，該程序使信息處理裝置針對多個圖像的圖像數(shù)據(jù)，從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的場景〈曰息，基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分類， 將所分類的場景與由該場景信息指示的場景進行比較,以及 如果存在所分類的場景與由該場景信息指示的場景不匹配的失 配圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。
全文摘要
一種信息處理方法，包括針對多個圖像中每一個的圖像數(shù)據(jù)，從附加至該圖像數(shù)據(jù)的補充數(shù)據(jù)中獲取與該圖像數(shù)據(jù)有關(guān)的場景信息，基于該圖像數(shù)據(jù)，對由該圖像數(shù)據(jù)表示的圖像的場景進行分類，將所分類的場景與由該場景信息指示的場景進行比較；以及如果存在所分類的場景與由該場景信息指示的場景不匹配的失配圖像，則在確認屏幕上顯示與該失配圖像有關(guān)的信息。
文檔編號H04N1/00GK101321223SQ20081013146
公開日2008年12月10日 申請日期2008年4月3日 優(yōu)先權(quán)日2007年4月4日
發(fā)明者松本佳織, 河西庸雄, 深澤賢二, 笠原廣和, 鍬田直樹 申請人:精工愛普生株式會社