專利名稱：交互式圖像選擇方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像集的個性化(intuitu personae)以及交互式瀏覽和選擇方 法。所謂的個性化方法用于根據(jù)用戶的意愿并可以根據(jù)用戶和圖像的圖標(biāo)內(nèi)容之間的關(guān)系 調(diào)整圖像瀏覽和圖像選擇。該方法適于瀏覽數(shù)字圖像集，特別應(yīng)用于家庭照片。但是，該方法也可以應(yīng)用于照 片編輯、視頻編輯以及照相產(chǎn)品(諸如相冊)的計算機輔助設(shè)計的領(lǐng)域?？梢栽谟嬎銠C上 執(zhí)行該瀏覽方法，也可以在任何具有顯示屏和內(nèi)置或遠(yuǎn)程計算能力的多媒體設(shè)備上執(zhí)行該 瀏覽方法。
背景技術(shù)：
隨著數(shù)碼相機使用的增長，以及現(xiàn)有照片集的數(shù)字化，包括數(shù)千個圖像的個人圖
像集變得普遍。大量圖像通常被分類呈現(xiàn)在較小的子集中，以避免過于復(fù)雜的瀏覽。分類典型地 可以基于圖像的文本注釋、附加到圖像的元數(shù)據(jù)形式的標(biāo)記或標(biāo)簽、或者要求用戶明確輸 入的任何其他形式的靜態(tài)分類。但是，這樣的分類也具有缺陷。一個缺陷是在當(dāng)前時刻對 應(yīng)于圖像集的給定用戶的品味的分類不一定對應(yīng)于在另一時刻或者在不同的使用環(huán)境下 其他可能用戶或相同用戶的品味。另一個缺陷是由于要求用戶輸入的分類通常表現(xiàn)為非常 復(fù)雜的任務(wù)，許多圖像/照片可能保持未標(biāo)記或未分類。為了避免用戶費力地進行分類，一些檢索系統(tǒng)依賴目標(biāo)圖像內(nèi)容分析，而不是依 賴現(xiàn)有的圖像標(biāo)記或標(biāo)簽?？捎糜诜诸惢驁D像檢索的圖像內(nèi)容數(shù)據(jù)可以來自于所謂的圖像 的低水平分析或高水平分析。低水平分析包括例如色彩分析、空間頻率分析、紋理分析或直 方圖分析等。而高水平分析則涉及用于從圖像的語義內(nèi)容提取信息的算法。作為高水平分 析的示例，處理引擎可用于在圖像語義內(nèi)容中識別諸如人臉、皮膚、動物、天空、水、海洋、草寸寸。相應(yīng)地，可以獨立或者組合使用語義內(nèi)容以及上面提到的一些其他的低水平特 征，從而計算圖像之間的相似性，并最終基于其相似性對圖像進行分類。作為現(xiàn)有的分類和圖像檢索方法的示例，可以參考文獻(1)至(3)，其具體內(nèi)容顯 示在說明書的末尾。

發(fā)明內(nèi)容
如上所述，基于圖像注釋或圖像標(biāo)記的現(xiàn)有的分類和檢索方法很大程度上依賴于 人的輸入。這樣的方法對于大的圖像集或者人的注解不清楚的圖像集而言是不適當(dāng)?shù)??；谀繕?biāo)圖像分析(無論是高水平分析還是低水平分析)的分類和/或檢索方法 較好地適用于大的圖像集或者之前沒有被注釋或標(biāo)記的圖像集。但是，基于預(yù)設(shè)算法或計 算方法的分類或檢索過程不必匹配每個可能用戶的品味、圖像使用的變化環(huán)境或者特定用戶的需求。本發(fā)明還基于這樣的觀察結(jié)果對于用戶而言，在用戶觀看照片的同時采集可能 的用戶輸入比在系統(tǒng)的以及交互式圖像分類方法中采集輸入復(fù)雜度更低。本發(fā)明提出一種用于克服上述缺陷的方法，以及一種為用戶提供更自然的圖像搜 索的方法，更接近的涉及舊的“鞋盒”范例。本發(fā)明還提出一種可能的圖像顯示，其能夠增強自然且直觀的圖像搜索的感覺。為了達到上述目的，本發(fā)明更確切地提出了一種在被分為多個圖像類別的多個數(shù) 字圖像中選擇待顯示的圖像的方法。所述方法包括以下步驟-為每個圖像分配強度值，-允許用戶在多個數(shù)字圖像中選擇圖像，-采集用戶數(shù)據(jù)，-以采集的用戶數(shù)據(jù)為函數(shù)更新被分到與用戶選擇的圖像相同的類別中的圖像的 強度值，以及-用戶選擇圖像之后，自動選擇被分到與用戶選擇的圖像相同的至少一個相同的 類別中的至少一個附加圖像，所述附加圖像是基于其強度值被選擇的，-使選擇的圖像可用于后續(xù)使用，例如顯示、打印、處理或交換。特別地，可以選擇強度值超過閾值的附加圖像。為簡化起見，只要上下文清楚地顯示，術(shù)語“數(shù)字圖像”用于概括地指代可能被顯 示或打印的圖像的圖標(biāo)內(nèi)容，并指代存儲在存儲器中的相應(yīng)數(shù)字?jǐn)?shù)據(jù)或元數(shù)據(jù)。但是應(yīng)理 解，如果涉及圖像處理，則該術(shù)語指代數(shù)據(jù)，以及如果涉及與用戶的交互，則該術(shù)語指代可 視的顯示或打印。多個圖像或圖像集可以是存儲在圖像處理設(shè)備可訪問的遠(yuǎn)程、內(nèi)置或可 移動存儲器中的全部或部分圖像?？梢詫λ黾P(guān)閉或開放以更新。本發(fā)明允許自動選擇并可以為用戶顯示除了用戶自身已經(jīng)選擇的第一圖像之外 的一個或多個圖像。其目的是選擇盡可能精密匹配選擇環(huán)境和確認(rèn)的用戶興趣的附加圖 像。圖像類別和圖像強度值的組合使用能夠一起選取特別是一起顯示相關(guān)的或部分相關(guān)的 圖像。例如，同一個人在不同位置的圖像。可以通過強度值沒有超過閾值的適當(dāng)類別的一些附加圖像來完成上述附加圖像 的選擇。例如，可以選擇具有低強度值或者甚至最低強度值的一些附加圖像。此外，所述方 法可以包括在當(dāng)前瀏覽環(huán)境下選擇一個或多個隨機的或預(yù)料之外的圖像，即非選擇類別中 的圖像。這一小部分附加圖像為用戶提供可選的瀏覽方向。強度值用作一種度量，其給出對于圖像集之中的給定圖像而言用戶興趣的量度。 用戶興趣并不是直接測量的，而是來自于根據(jù)一套推理規(guī)則所采集的用戶數(shù)據(jù)。如下所述， 采集的用戶數(shù)據(jù)可以包括隱式的和/或顯式的用戶數(shù)據(jù)。可以為圖像集的每個圖像分配一個或多個強度值。當(dāng)為圖像集的每個圖像使用多 個強度值時，一種選擇是為每個圖像分別設(shè)定對于集的多個可能用戶中的某個用戶特定的 強度值。由于強度值用于反映用戶對圖像的興趣，因此多個強度值能夠反映不同用戶的興 趣并匹配不同用戶的品味。如上所述，在被分到圖像類別中的圖像集上執(zhí)行所述方法。圖像類別可以預(yù)設(shè)，也 可以在過程中改變。例如，如果通過高水平或低水平圖像分析確定了預(yù)定數(shù)量的具有類似圖像特征的圖像，其中該圖像特征與其他已有類別中的圖像的特征不同，則可以增加附加 的圖像類別。附加的圖像類別還可以來自于用于生成新類別的明確的用戶輸入。還應(yīng)指出，相同圖像可以屬于不同的類別。例如，在諸如生日的給定時間或給定事 件拍攝的包含被識別為人P的臉部的語義特征的圖像可以屬于多個類別。該圖像可以屬于 第一類別，即“人P”，第二類別，即“生日”，以及還可以是基于拍攝月份或日期的第三類另IJ。一般而言，圖像可以被分為一個或多個類別或類型，例如-對應(yīng)于圖像的語義內(nèi)容的類別，-對應(yīng)于根據(jù)觀看者的環(huán)境的，圖像對于當(dāng)前觀看者的重要性的類別這種類別 可以與拍攝圖像的地理位置或者當(dāng)執(zhí)行所述圖像選擇方法時用戶所在的或假設(shè)用戶所在 的地理位置相關(guān)。地理數(shù)據(jù)可以取自明確的用戶輸入，或者取自集成在圖像捕捉設(shè)備或圖 像瀏覽設(shè)備中的定位設(shè)備。如果一個或多個類別對應(yīng)于例如通過GPS系統(tǒng)(全球定位系 統(tǒng))確定的用戶的地理位置，則該類別可以僅僅是進行動態(tài)類別改變的臨時類別。另一個 可能的類別是-對應(yīng)于根據(jù)觀看者的生活經(jīng)歷的，圖像對于當(dāng)前觀看者的重要性的類別這樣 的類別可以涉及例如生日、婚姻、聚會等等。更一般而言，當(dāng)可獲得關(guān)于用戶的特定信息時， 例如在圖像上識別出的人是用戶的新生兒，可以使用這樣的類別。其他可能的類別是-對應(yīng)于捕捉圖像的時間范圍或日期范圍的類別，-對應(yīng)于與圖像數(shù)據(jù)一起作為元數(shù)據(jù)存儲的關(guān)鍵詞的類別，-用戶在選擇/觀看設(shè)備上在相同時間段內(nèi)選擇的圖像的類別。如果圖像集還未被分類，那么本發(fā)明可以附加地包括以下預(yù)備步驟-采集圖像，-基于圖像數(shù)據(jù)和/或圖像元數(shù)據(jù)計算結(jié)果確定采集的圖像的特征，-搜索為一系列圖像計算的特征之間的相似性，和/或搜索計算的特征與圖像類 別的預(yù)設(shè)特征之間的相似性，-將具有相似特征的圖像分到共同的類別中。采集圖像的步驟可以包括在存儲器中讀取圖像數(shù)據(jù)，從服務(wù)器下載數(shù)據(jù)，或者甚 至通過照相機或掃描儀捕捉圖像。所述方法還可以包括每當(dāng)在預(yù)設(shè)數(shù)量的圖像中發(fā)現(xiàn)相似性時，自動生成圖像的 新類別。在此，相似性被理解為給定程度的相似性。例如，如果圖像的至少一個特征的相似 性比與現(xiàn)有類別的特征的相似性強，則所述圖像被放入新的圖像類別中?？梢愿鶕?jù)相似性計算的算法來確定用于比較相似性程度的度量。例如，如果相似 性計算是圖像數(shù)據(jù)的交叉關(guān)聯(lián)，那么交叉關(guān)聯(lián)的值可以直接用作相似性程度的量度。相似性搜索還可以使用基于圖像捕捉的地理位置、圖像捕捉時間范圍、或語義內(nèi) 容的計算特征的邏輯比較。在本發(fā)明的更簡單的實施例中，還可以隨機地將圖像分到類型中。本發(fā)明的一個關(guān)鍵問題是圖像強度值的更新，即測量對于集的給定圖像所認(rèn)定的 用戶具有的興趣的數(shù)據(jù)的更新。
該更新是基于采集的用戶數(shù)據(jù)以及一個或多個預(yù)定的更新規(guī)則。用戶數(shù)據(jù)應(yīng)理解 為涉及與用戶相關(guān)的一些信息的數(shù)據(jù)或者反映用戶行為的數(shù)據(jù)。例如，用戶數(shù)據(jù)的采集可以包括以下動作中的一個或多個-測量用戶觀看的每幅圖像的顯示持續(xù)時間，-測量用戶瀏覽的圖像之間的相似性，-響應(yīng)問題的明確的用戶反饋，-采集關(guān)于用戶的姓名、生日、年齡、位置的數(shù)據(jù)；-對顯示用戶選擇的圖像時在計算機鍵盤/鼠標(biāo)上執(zhí)行的點擊進行計數(shù)，-捕捉用戶臉部的附加圖像，-通過分析用戶生理機能臉部變化、瞳孔大小、皮膚導(dǎo)電性來測量用戶對觀看的 圖像的情緒反應(yīng)，并將其作為觀看者對選擇的圖像的反應(yīng)的量度，-采集相同用戶先前觀看的圖像的數(shù)據(jù)?？梢酝ㄟ^用于執(zhí)行本發(fā)明的方法的設(shè)備，通過監(jiān)測用戶的交互行為來獲得所有上 述數(shù)據(jù)。圖像捕捉的先前示例，特別是用戶的臉部照片，可用于人臉識別算法，以便識別用 戶的臉部以及確定集中的哪些圖像中還存在用戶的臉部。這依賴于這樣的假設(shè)，即用戶可 能對表示其臉部的圖像有興趣。人臉識別算法同樣是公知的，因此在此不再描述其細(xì)節(jié)。根據(jù)用戶數(shù)據(jù)，可以對與選擇圖像相同的一個或多個類別中的圖像強度值進行更新?？梢酝ㄟ^一個或多個預(yù)定更新規(guī)則來更新強度值，其中-更新值與選擇圖像的顯示持續(xù)時間成比例，-更新值與選擇圖像的語義內(nèi)容和用戶臉部圖像的關(guān)聯(lián)性或相似程度成比例，-更新值與用戶情緒反應(yīng)的幅度或類型的函數(shù)(可以通過例如生理變化的任意數(shù) 量的已知方法來測量)成比例，-當(dāng)在選擇圖像的元數(shù)據(jù)中發(fā)現(xiàn)用戶的姓名、生日或位置時，預(yù)設(shè)更新值，-更新值與顯示選擇圖像時執(zhí)行的點擊數(shù)成比例。更新規(guī)則可以被選擇為是已經(jīng)采集的用戶數(shù)據(jù)的類型的函數(shù)。雖然優(yōu)選的僅基于從用戶數(shù)據(jù)獲得的假定興趣來更新強度值，但是也可以基于從 圖像直接獲得的語義內(nèi)容來更新強度值。還可以基于不包含在圖像中的數(shù)據(jù)來更新強度值，即某一圖像的值可能是高的， 因為它是新生兒的第一張圖像。如上所述，可以進行附加圖像的自動選擇。該選擇考慮用戶選擇的圖像所屬的類 別，以及該類別中圖像的強度值。可以選擇強度值超過閾值的一個或多個附加圖像。該閾值可以預(yù)定，且可以對所 有圖像均相同。該閾值還可以對不同類別中的圖像不同。其可以是給定類別中的圖像的數(shù) 量的函數(shù)和/或給定類別中的圖像的平均強度值的函數(shù)?？梢允褂每勺冮撝祦砜刂票Ａ舻母郊訄D像的數(shù)量。這可以使圖像的數(shù)量與例如用 于觀看選擇圖像的顯示裝置的顯示能力相匹配。因此，閾值還可以被設(shè)定為顯示裝置的顯示能力的函數(shù)。根據(jù)另一個選擇，附加圖像的數(shù)量的閾值還可以是從采集的用戶數(shù)據(jù)獲得的認(rèn)定 的用戶興趣的函數(shù)。選擇圖像，即用戶選擇的圖像，以及由瀏覽方法自動選擇的附加圖像，最終可用于 后續(xù)的使用。該最后的步驟可以包括顯示選擇圖像，打印選擇圖像和/或?qū)⑾鄳?yīng)的圖像數(shù) 據(jù)發(fā)送到遠(yuǎn)程設(shè)備，例如多媒體設(shè)備、電視機、數(shù)碼相框、服務(wù)器、具有拍照功能的手機，等寸。使圖像可用還可以包括允許用戶使用選擇圖像的數(shù)據(jù)作為后續(xù)瀏覽或圖像處理 的起點。由于附加圖像與用戶選擇的圖像同時顯示，本發(fā)明的方法可能導(dǎo)致顯示的圖像的 數(shù)量大于用戶選擇的圖像的數(shù)量。因此，可能還需要以如下方式顯示圖像在用戶的瀏覽計劃中，附加圖像不干擾或 誤導(dǎo)用戶，而是可用作后續(xù)瀏覽的向?qū)?。因此，根?jù)一種改進，對應(yīng)于不同類別的選擇圖像優(yōu)選地顯示在顯示屏的不同區(qū) 域中和/或以作為圖像的強度值的函數(shù)的相對尺寸顯示每一選擇圖像。下文將描述使用所述特征的可能顯示布局的示例。本發(fā)明還涉及例如集成電路或數(shù)據(jù)存儲裝置的載體上的能夠執(zhí)行根據(jù)本發(fā)明的 方法的計算機程序或軟件。該程序可以是適于執(zhí)行所述方法的形式的任何代碼，包括源代碼。本發(fā)明還涉及一種存儲介質(zhì)，包括適于執(zhí)行所述方法的指令。參考附圖中的圖片，在以下描述中，本發(fā)明的其他特征和優(yōu)點將顯現(xiàn)。所述描述是 以非限制性說明的方式給出的。


圖1是顯示根據(jù)本發(fā)明的圖像選擇方法的流程圖。圖2是顯示圖像分類方法的流程圖，該圖像分類方法可以作為根據(jù)圖1的方法的 初始步驟來執(zhí)行。圖3顯示根據(jù)圖1的方法選擇的圖像的可能顯示布局。
具體實施例方式在以下描述中，不同附圖中相同或相似的部件用相同的附圖標(biāo)記表示。圖1的附圖標(biāo)記100涉及對應(yīng)于分類圖像集102的規(guī)定的圖像選擇方法的第一步 驟。如下所述，該第一步驟可以包括在不同的類別中對圖像進行初步分類。數(shù)字圖像集102 包括圖像的多個類別104a、104b、104c，每個類別包括多個圖像102、102i、102j。相同類別 中的圖像具有相似的圖像特征。例如，一個類別可以包含為給定事件(例如生日聚會)拍 攝的所有圖像，或者在同一天或相同的時間范圍內(nèi)拍攝的所有圖像。一個類別可以包含在 圖像中通過人臉識別算法識別出某人的臉的所有圖像。如果圖像具有對應(yīng)于所述類別的特征，則相同的圖像可以屬于多個不同的圖像類 別。例如，在某一天、在某人的生日宴會上拍攝的某人的圖像可以屬于上述類別中的每一個。在圖1的示例中，以粗線表示的圖像102i屬于類別104b和l(Mc兩者。以雙線表示的 圖像102j屬于類別104a、104b、和104c。在步驟110中，該方法為每個圖像102、102i、102j、l(^k分配一個或多個強度值 112、112i、112j、112k。當(dāng)該方法開始運行時，所有的強度值可以被設(shè)置為相同的初始值。所 述值還可以被初始設(shè)定為圖像的語義內(nèi)容或其他圖像特征的函數(shù)。例如，較新的圖像或者 人臉識別算法識別出人臉的圖像比較舊的圖像或沒有人臉的圖像具有更高的初始強度值。關(guān)于圖像屬于某一類別以及圖像的強度值的信息可以通過獨立的數(shù)據(jù)或數(shù)據(jù)文 件的形式來存儲，或者可以是圖像元數(shù)據(jù)的一部分。由于在方法運行時會更新強度值，因此分配給圖像的初始強度值并不重要。每次方法重新開始時，步驟110都可以包括向每個圖像分配給定用戶之前運行過 程時所指定的強度值。強度值可以存儲在存儲器中。在附加的步驟114中，可以請求用戶輸入其姓名或其他類型的識別信息。在步驟 110中可以使用用戶識別信息為每個圖像獲取為該特定識別的用戶所存儲的各自的強度值。所述方法允許用戶使用任何目前已知的瀏覽方法來瀏覽圖像集，并允許用戶選擇 圖像。用戶選擇圖像由附圖標(biāo)記120表示?？梢酝ㄟ^按下選擇按鈕、觸摸屏幕、點擊計算機 鼠標(biāo)等方式來執(zhí)行選擇。當(dāng)瀏覽圖像集時，更概括地說，當(dāng)用戶與用于執(zhí)行本發(fā)明的方法的設(shè)備進行交互 時，采集用戶數(shù)據(jù)。這對應(yīng)于圖1中的步驟122。也可以在其他時間采集用戶數(shù)據(jù)，并在存 儲器中存儲用戶數(shù)據(jù)直到所述方法使用該數(shù)據(jù)。如上所述，用戶數(shù)據(jù)可以包括關(guān)于用戶的例如其生日、其地址、用戶臉部照片或可 能要求用戶作為輸入值輸入的任何其他參考信息的數(shù)據(jù)。其他用戶數(shù)據(jù)可以包括關(guān)于用戶 瀏覽所述集或觀看所述集的圖像時用戶的行為或生理反應(yīng)。后者可以包括如下數(shù)據(jù)圖像 被觀看多久，觀看圖像時進行了多少次點擊或數(shù)據(jù)輸入，圖像是否被處理或改變，等等。根據(jù)一套預(yù)定規(guī)則，圖像的可用的用戶數(shù)據(jù)被轉(zhuǎn)換為認(rèn)定的用戶興趣(user interest)，相應(yīng)地，在后續(xù)步驟130中更新圖像的強度值。如上所述，根據(jù)一個可能的規(guī)則，可以通過與圖像的相對顯示持續(xù)時間成比例的 值來更新該圖像的強度值數(shù)據(jù)。這是基于這樣的固有規(guī)則，即用戶傾向于對其感興趣的圖 像觀看更長時間。然后，這樣的圖像的強度值被增大。相反，可以認(rèn)為從用戶已處理的圖像子集中被丟棄的圖像是用戶不感興趣的圖 像。其強度值可以被減小。更復(fù)雜的規(guī)則可以基于對圖像內(nèi)容進行的計算。其可以是交叉關(guān)聯(lián)計算或人臉識 別。例如，可以認(rèn)為通過人臉識別算法被識別出用戶臉部的圖像是用戶感興趣的圖像，其強 度值可以被增大。圖像的強度值被增大或減小的量可以被預(yù)設(shè)為與可度量的用戶數(shù)據(jù)成比例，或者 相對于所述集的其他圖像或相同分類的其他圖像進行加權(quán)。此外，還可以基于不與用戶相關(guān)聯(lián)的而是基于圖像的低水平分析或高水平分析的 計算或數(shù)據(jù)來更新圖像的強度值。例如，對于具有較差對比度和較差銳度的圖像，可以自動 減小其強度值。
在圖1中，用符號“+/-1”表示圖像強度值的更新。應(yīng)強調(diào)，如果用戶數(shù)據(jù)變?yōu)榭捎?，并且用于更新由用戶選擇的給定圖像的強度值， 則不僅該圖像的強度值被更新，而且與用戶選擇的圖像相同的類別內(nèi)的所有圖像的強度值 也被更新?？梢酝ㄟ^與選擇圖像的更新值相同的值或比選擇圖像的更新值更小的值來更新 與選擇圖像相同的類別內(nèi)的任何圖像的強度值。還要指出，當(dāng)選擇圖像屬于多個不同類別時，可以通過相同或不同的更新值來更 新所有類別中的圖像強度值。換言之，當(dāng)用戶數(shù)據(jù)被采集并且對應(yīng)于某一更新規(guī)則時，使用該數(shù)據(jù)來更新用戶 選擇的圖像的強度值，并順次更新被分到與用戶選擇的圖像相同的類別內(nèi)的圖像的強度值。圖1中的下一步驟142包括自動選擇附加的圖像。該選擇是基于一個或多個圖像 的用戶選擇120。附加選擇的圖像取自用戶選擇的圖像所屬的圖像類別。該選擇是基于強度值，并 可以保留具有最高強度值的圖像。例如，可以選取屬于用戶選擇的圖像的類別并且具有高于閾值的強度值的圖像。 可以預(yù)定該閾值，或者該閾值可以是圖像集中的所有圖像或者與用戶選擇的圖像相同的類 別中的所有圖像的平均強度值的加權(quán)函數(shù)。也不排除其他閾值計算方法，特別是以運行所 述方法的設(shè)備的顯示性能為函數(shù)的閾值計算方法。在顯示步驟146中，同時或相繼顯示用戶選擇的圖像和附加的自動選擇的圖像。 可以通過打印步驟或者其他后續(xù)的圖像處理步驟來代替或完成顯示步驟。附加步驟144可以包括基于類別和/或選擇圖像的強度值計算顯示布局。圖1中以虛線顯示的框150表示適于執(zhí)行本發(fā)明并且具有存儲裝置的設(shè)備，該存 儲裝置能夠存儲當(dāng)被機器讀取和執(zhí)行時適于執(zhí)行本發(fā)明的指令。該設(shè)備例如可以是多媒體 設(shè)備、相框、或計算機。雖然可以在已經(jīng)被分類的圖像集上執(zhí)行本發(fā)明的方法，但是也可以事先執(zhí)行自動 分類過程。參考圖2簡要的描述該過程。該過程的第一步驟210包括收集圖像集。這可以通過例如由捕捉設(shè)備捕捉圖像、 從遠(yuǎn)程設(shè)備下載圖像或者在存儲器設(shè)備中讀取圖像來實現(xiàn)。下一步驟212包括為圖像集的每一圖像確定圖像特征。可以通過高水平分析或低 水平分析以及相應(yīng)的計算來建立圖像特征。如上所述，可以使用人臉識別引擎或算法。提 供圖像特征還可以包括僅讀取已經(jīng)附加到圖像數(shù)據(jù)上的元數(shù)據(jù)。一個示例是圖像的捕捉時 間的特征。在步驟214，將圖像的特征與對應(yīng)于預(yù)設(shè)類別或先前生成的類別的預(yù)設(shè)特征相比 較。類別的預(yù)設(shè)特征可以被設(shè)定為一定范圍的值。例如，對應(yīng)于生日的類別可以包括對應(yīng) 于預(yù)定日和月的一定范圍的捕捉時間。具有該范圍內(nèi)的捕捉時間的每一圖像可以被分到該 類別中。其他示例可以包括交叉關(guān)聯(lián)計算的閾值，人臉識別的閾值，海洋、沙灘或風(fēng)景檢測 的閾值，等等。當(dāng)然，也可以基于明確的用戶輸入將圖像分到某一類別中。當(dāng)一些圖像的特征不對應(yīng)于任一現(xiàn)有類別時，可以執(zhí)行附加步驟216。這樣的圖像可以被分到特殊類別中，或者可用于設(shè)置新類別。當(dāng)給定數(shù)量的圖像具有某一范圍內(nèi)的相 似特征時，在步驟217中可以為這些圖像生成新類別。最后的步驟220對應(yīng)于將圖像分到類別中。該步驟的結(jié)果是可用于前述選擇方法 的被分類的圖像集102。圖像的分類可以包括為圖像生成表示類別的元數(shù)據(jù)。圖3顯示了如上所述選擇的圖像的顯示布局的示例。空間方向302、303、304、305、306、307被分配給選擇圖像所屬的每個圖像類別。所 述方向可以在360°上有規(guī)律的分布，或者可以根據(jù)選擇圖像的顯示尺寸在360°上無規(guī) 律的分布。用戶選擇的圖像310顯示在中心，位于所有空間方向的交叉點上，圍繞該圖像，分 布自動選擇的附加圖像312。如圖3所示，附加圖像顯示得比用戶選擇的圖像小，并且其尺 寸從中心300減小。特別地，顯示尺寸和與中心的距離可以是附加特征的強度值的減函數(shù)。具有較高 強度值并且被認(rèn)為是用戶更感興趣的附加圖像312L可以以較大尺寸顯示，并且位置更靠 接用戶選擇的圖像。具有較低強度值的圖像312S則較遠(yuǎn)且較小。如上所述，屬于相同類別的所有圖像沿著相同的空間方向?qū)R。如果圖像屬于多個類別，則可以多次顯示該圖像或者沿著單一方向限制其顯示。以圖像的類別和強度值為函數(shù)分布顯示的圖像能使用戶更容易瀏覽圖像集，并能 使用戶認(rèn)識到以相同方式或在相同區(qū)域內(nèi)顯示的圖像之間的可能聯(lián)系。換言之，顯示可以 被表述為類別和強度的角函數(shù)或極函數(shù)。柱狀圖、角度扇形圖等其他布局也是適當(dāng)?shù)模灰臻g關(guān)系或分布對應(yīng)于類別并 且參考強度值生成顯示差別即可。還例如，可以以圖像的強度值為函數(shù)計算每個顯示圖像 的顯示持續(xù)時間。顯示可以是二維顯示或三維顯示。引用文獻UUS2006/00509332、US 7, 043, 4743、US 6,922,699。部件列表100分類圖像的規(guī)定102，102i，102j，102k 圖像104，104a，104b，104c 類別110強度值分配112，112i，112j，112k 強度值114用戶輸入120圖像選擇122數(shù)據(jù)采集130強度值更新142圖像的自動選擇144顯示布局計算
150多媒體設(shè)備210收集步驟212圖像特征確定步驟214比較步驟216比較步驟217類別生成220分類步驟302，303，304，305，306，307 空間方向310用戶選擇的圖像312，312L，312S 附加圖像。
權(quán)利要求
1.一種在被分為多個圖像類別(104a、104b、104c)的多個數(shù)字圖像(102)中進行圖像 選擇的方法，所述方法包括以下步驟-為每個圖像分配至少一個強度值(112、112i、112j、112k)， -允許用戶在所述多個數(shù)字圖像中選擇(120)圖像， -采集(122)用戶數(shù)據(jù)，-以采集的用戶數(shù)據(jù)為函數(shù)更新(130)被分到與用戶選擇的圖像相同的類別中的所有 圖像的強度值，以及-在用戶選擇圖像(310)的情況下，自動選擇(142)被分到與用戶選擇的圖像相同的至 少一個類別中的至少一個附加圖像(312、312L、312S)，所述附加圖像的選擇基于其強度值， _使選擇的圖像可用于(146)后續(xù)使用。
2.根據(jù)權(quán)利要求1所述的方法，包括選擇強度值超過閾值的附加圖像。
3.根據(jù)權(quán)利要求1所述的方法，其中采集用戶數(shù)據(jù)包括以下步驟中的至少一個 -測量用戶觀看的每幅圖像的顯示持續(xù)時間，-采集關(guān)于用戶的姓名、生日、年齡、位置的數(shù)據(jù)；-對顯示用戶選擇的圖像時在計算機鍵盤/鼠標(biāo)上執(zhí)行的點擊進行計數(shù)，-捕捉用戶臉部的圖像，-采集相同用戶先前觀看的圖像的數(shù)據(jù)，-測量用戶對觀看的圖像的情緒反應(yīng)。
4.根據(jù)權(quán)利要求2所述的方法，其中通過以下更新值來更新強度值數(shù)據(jù) -與選擇圖像的顯示持續(xù)時間成比例的更新值，-與選擇圖像的語義內(nèi)容和用戶臉部的捕捉圖像的關(guān)聯(lián)性成比例的更新值， -當(dāng)在選擇圖像的元數(shù)據(jù)中發(fā)現(xiàn)用戶的姓名、生日或位置時，預(yù)設(shè)更新值， -與顯示選擇圖像時執(zhí)行的點擊數(shù)成比例的更新值， -與用戶對選擇圖像的情緒反應(yīng)成比例的更新值， -與先前觀看的圖像的強度值成比例的更新值。
5.根據(jù)權(quán)利要求1所述的方法，其中對應(yīng)于可能從圖像數(shù)據(jù)中提取的特征將圖像 (102)分別分到類型(104)。
6.根據(jù)權(quán)利要求5所述的方法，其中圖像被分到以下類別中的至少一個 -對應(yīng)于圖像的語義內(nèi)容的類別，-對應(yīng)于捕捉圖像的時間范圍或日期范圍的類別， -對應(yīng)于與圖像數(shù)據(jù)一起作為元數(shù)據(jù)存儲的關(guān)鍵詞的類別， -用戶在選擇/觀看設(shè)備上在相同時間段內(nèi)選擇的圖像的類別， -通過圖像捕捉位置或用戶位置選擇的圖像的類別， -通過對觀看者的重要性選擇的圖像的類別。
7.根據(jù)權(quán)利要求1所述的方法，進一步包括以下預(yù)備步驟 -采集圖像(210)，-基于圖像數(shù)據(jù)和/或圖像元數(shù)據(jù)計算結(jié)果確定所述圖像的特征(212)， -搜索為一系列圖像確定的特征之間的相似性(214)，和/或搜索計算的特征與圖像類 別的預(yù)設(shè)特征之間的相似性，“將具有相似特征的圖像分到共同的類別中。
8.根據(jù)權(quán)利要求7所述的方法，進一步包括每當(dāng)在預(yù)設(shè)數(shù)量的圖像中發(fā)現(xiàn)相似性就自 動生成(217)圖像的新類別。
9.根據(jù)權(quán)利要求1所述的方法，為多個用戶執(zhí)行，其中為每個圖像分配多個強度值，每 個強度值分別對應(yīng)于所述多個用戶中的一個，以及每個強度值分別通過關(guān)于相應(yīng)用戶的數(shù) 據(jù)被更新。
10.根據(jù)權(quán)利要求1所述的方法，包括顯示選擇圖像，其中對應(yīng)于不同類別的選擇圖像 (310、312、312L、312S)被顯示在顯示屏的不同區(qū)域中。
11.根據(jù)權(quán)利要求1所述的方法，包括顯示選擇圖像，其中以作為所述圖像的強度值的 函數(shù)的相對尺寸(312L、312S)顯示每一選擇圖像。
12.根據(jù)權(quán)利要求1所述的方法，進一步包括隨機選擇附加圖像，和/或選擇強度值低 于閾值的附加圖像，和/或選擇沒有被分到與用戶選擇的圖像相同的類別中的附加圖像。
13.一種計算機程序產(chǎn)品，包括用于執(zhí)行根據(jù)權(quán)利要求1至12中任一項所述的方法的 指令。
14.一種存儲介質(zhì)，包括根據(jù)權(quán)利要求13所述的計算機程序產(chǎn)品。
全文摘要
一種在被分為多個圖像類別(104a、104b、104c)的多個數(shù)字圖像(102)中進行圖像選擇的方法，所述方法包括以下步驟為每個圖像分配至少一個強度值(112、112i、112j、112k)；允許用戶在所述多個數(shù)字圖像中選擇(120)圖像；采集(122)用戶數(shù)據(jù)；以采集的用戶數(shù)據(jù)為函數(shù)更新(130)被分到與用戶選擇的圖像相同的類別中的所有圖像的強度值，以及用戶選擇圖像的情況下，自動選擇(142)被分到與用戶選擇的圖像相同的至少一個類別中的至少一個附加圖像，所述附加圖像的強度值超過閾值，-使選擇的圖像可用于(146)后續(xù)使用。
文檔編號G06K9/00GK102150163SQ200980136044
公開日2011年8月10日 申請日期2009年8月12日 優(yōu)先權(quán)日2008年10月3日
發(fā)明者A·佩恩, G·R·基德爾, H·K·穆阿瑪, J·D·皮佩, P·T·弗賴伊 申請人:伊斯曼柯達公司