專利名稱：具有推薦的社交網(wǎng)絡(luò)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及社交網(wǎng)絡(luò)系統(tǒng)，尤其涉及社交網(wǎng)絡(luò)系統(tǒng)中的圖像匹配和標(biāo)識。
背景技術(shù)：
社交網(wǎng)絡(luò)是允許用戶與朋友共享個人和專業(yè)信息的應(yīng)用。在許多情況下，社交網(wǎng)絡(luò)可允許用戶張貼照片、視頻以及其他內(nèi)容以便與其朋友或同事的網(wǎng)絡(luò)共享。

發(fā)明內(nèi)容
社交網(wǎng)絡(luò)應(yīng)用可標(biāo)識在第一用戶的圖像集合和第二用戶的圖像集合之間具有共同鏈接的圖像。該共同鏈接可以通過圖像的元數(shù)據(jù)或其他類似部分來標(biāo)識。使用第一用戶的圖像集合，可以標(biāo)識感興趣的元素并將其與第二用戶的圖像集合進(jìn)行比較來尋找匹配。 當(dāng)找到匹配時，可從結(jié)果組中選擇結(jié)果來顯示不同的匹配集。可向用戶呈現(xiàn)選擇匹配的圖像并將其添加到用戶的集合、以及瀏覽匹配一個或多個組的更多圖像的選項。
提供本概述是為了以簡化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護(hù)的主題的范圍。


在附圖中， 圖1是示出具有社交網(wǎng)絡(luò)和圖像匹配系統(tǒng)的系統(tǒng)的實施例的圖示。
圖2是示出示例圖像的示例實施例的圖示。
圖3是示出用于從圖像確定人的排名的方法的實施例的流程圖示。
圖4是示出用于基于臉部分析來找到匹配圖像的方法的實施例的流程圖示。
圖5是示出用于臉部分析的預(yù)處理的方法的實施例的流程圖示。
圖6是示出用于用訓(xùn)練集來設(shè)置閾值的方法的實施例的流程圖示。
圖7是示出用于事件匹配的方法的實施例的流程圖示。
圖8是示出用于使用事件匹配來找到朋友的圖像的方法的實施例的流程圖示。
圖9是示出用于使用事件匹配來找到關(guān)于用戶出席的事件的圖像的方法的實施例的流程圖示。
圖10是示出具有事件匹配的輸出的用戶界面的示例實施例的圖示。
圖11是示出用于創(chuàng)建聚類的方法的實施例的流程圖示。
圖12是示出用于使用聚類來匹配圖像的方法的實施例的流程圖示。
具體實施例方式社交網(wǎng)絡(luò)應(yīng)用可找到其他用戶的圖像集合中可能與第一用戶相關(guān)的圖像?？赏ㄟ^創(chuàng)建表示第一用戶的圖像集合中的圖像的聚類來找到圖像。在某些實施例中，可以在若干正交的軸上對圖像進(jìn)行聚類，并在每一軸上獨立地分析各圖像。一個圖像和聚類之間的比較可以通過計算該圖像與聚類的質(zhì)心以及與可以是最接近鄰居的圖像之間的“距離”來執(zhí)行。
聚類的大小可被用作每一聚類的相對重要性的一般度量。當(dāng)向用戶呈現(xiàn)一組圖像結(jié)果時，可根據(jù)聚類大小將表示與每一聚類的匹配的圖像包括在用戶界面中。
本說明書通篇中，在所有附圖的描述中，相同的附圖標(biāo)記表示相同的元素。
在將元素稱為被“連接”或“耦合”時，這些元素可以直接連接或耦合在一起，或者也可以存在一個或多個中間元素。相反，在將元素稱為被“直接連接”或“直接耦合”時，不存在中間元素。
本發(fā)明可被具體化為設(shè)備、系統(tǒng)、方法、和/或計算機程序產(chǎn)品。因此，本發(fā)明的部分或全部能以硬件和/或軟件(包括固件、常駐軟件、微碼、狀態(tài)機、門陣列等)來具體化。 此外，本發(fā)明可以采用其上包含有供指令執(zhí)行系統(tǒng)使用或結(jié)合其使用的計算機可使用或計算機可讀程序代碼的計算機可使用或計算機可讀存儲介質(zhì)上的計算機程序產(chǎn)品的形式。在本文的上下文中，計算機可使用或計算機可讀介質(zhì)可以是可包含、存儲、通信、傳播、或傳輸程序以供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或結(jié)合其使用的任何介質(zhì)。
計算機可使用或計算機可讀介質(zhì)可以是，例如，但不限于，電、磁、光、電磁、紅外、 或半導(dǎo)體系統(tǒng)、裝置、設(shè)備或傳播介質(zhì)。作為示例而非限制，計算機可讀介質(zhì)可以包括計算機存儲介質(zhì)和通信介質(zhì)。
計算機存儲介質(zhì)包括以用于存儲諸如計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)這樣的信息的任意方法或技術(shù)來實現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計算機存儲介質(zhì)包括，但不限于，RAM、ROM、EEPR0M、閃存或其他存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其他光盤存儲、磁帶盒、磁帶、磁盤存儲或其他磁性存儲設(shè)備、或能用于存儲所需信息且可以由指令執(zhí)行系統(tǒng)訪問的任何其他介質(zhì)。注意，計算機可使用或計算機可讀介質(zhì)可以是其上打印有程序的紙張或其他合適的介質(zhì)，因為程序可以經(jīng)由例如對紙張或其他介質(zhì)的光學(xué)掃描而電子地捕獲，隨后如有必要被編譯、解釋，或以其他合適的方式處理，并隨后存儲在計算機存儲器中。
通信介質(zhì)通常以諸如載波或其他傳輸機制等已調(diào)制數(shù)據(jù)信號來體現(xiàn)計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)，并包括任一信息傳送介質(zhì)。術(shù)語“已調(diào)制數(shù)據(jù)信號” 可以被定義為其一個或多個特征以在信號中編碼信息的方式被設(shè)定或更改的信號。作為示例而非限制，通信介質(zhì)包括有線介質(zhì)，如有線網(wǎng)絡(luò)或直接線連接，以及諸如聲學(xué)、射頻(RF)、 紅外線及其他無線介質(zhì)之類的無線介質(zhì)。上述的任意組合也應(yīng)包含在計算機可讀介質(zhì)的范圍內(nèi)。
當(dāng)本發(fā)明在計算機可執(zhí)行指令的一般上下文中具體化時，該實施例可以包括由一個或多個系統(tǒng)、計算機、或其他設(shè)備執(zhí)行的程序模塊。一般而言，程序模塊包括執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等等。通常，程序模塊的功能可以在各個實施例中按需進(jìn)行組合或分布。
圖1是一實施例100的圖示，其示出用于社交網(wǎng)絡(luò)的客戶機和服務(wù)器組件。實施例100是可包括客戶機設(shè)備和通過網(wǎng)絡(luò)訪問的社交網(wǎng)絡(luò)服務(wù)的網(wǎng)絡(luò)環(huán)境的簡化示例。
圖1的示圖示出系統(tǒng)的各個功能組件。在某些情況下，組件可以是硬件組件、軟件組件、或硬件和軟件的組合。某些組件可以是應(yīng)用層軟件，而其他組件可以是操作系統(tǒng)層組件。在某些情況下，一個組件到另一個組件的連接可以是緊密連接，其中兩個或更多個組件在單個硬件平臺上操作。在其他情況下，連接可以通過跨長距離的網(wǎng)絡(luò)連接來進(jìn)行。各實施例可以使用不同的硬件、軟件、以及互連體系結(jié)構(gòu)來實現(xiàn)所描述的功能。
實施例100示出了其中用戶可具有圖像集合的社交網(wǎng)絡(luò)的一個示例。該社交網(wǎng)絡(luò)可以是web應(yīng)用，其中各個用戶可以在社交網(wǎng)絡(luò)中建立賬戶并且可在社交網(wǎng)絡(luò)內(nèi)管理圖像集合。在社交網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)內(nèi)操作的服務(wù)可以分析并比較圖像集合。
實施例100的社交網(wǎng)絡(luò)可以是其中在用戶之間可存在明確或隱含關(guān)系的任何類型的社交網(wǎng)絡(luò)。在某些社交網(wǎng)絡(luò)中，關(guān)系可通過一個用戶正式地與另一用戶建立關(guān)系來表達(dá)。某些社交網(wǎng)絡(luò)可通過這一關(guān)系聲明來建立單向關(guān)系，而其他社交網(wǎng)絡(luò)可在兩個用戶都贊同關(guān)系時建立關(guān)系。
某些社交網(wǎng)絡(luò)可在用戶之間具有非正式關(guān)系。例如，非正式關(guān)系可以在兩個用戶交換電子郵件消息，或在用戶使用另一機制進(jìn)行通信時建立。例如，社交網(wǎng)絡(luò)可以為在聊天室、即時消息收發(fā)服務(wù)或其他機制中通信的用戶建立。在某些情況下，一個人在電子郵件系統(tǒng)或移動電話中的聯(lián)系人列表可被用作用于建立社交網(wǎng)絡(luò)關(guān)系目的的隱含關(guān)系。
在某些社交網(wǎng)絡(luò)中，用戶可以確定其圖像集合內(nèi)的圖像可如何被共享。在某些情況下，用戶可以選擇可被共享給對其存在關(guān)系的朋友的圖像。在其他情況下，用戶可準(zhǔn)許與其共享圖像的任何用戶。
社交網(wǎng)絡(luò)可以是其中每一用戶可創(chuàng)建賬戶來訪問社交網(wǎng)絡(luò)的正式社交網(wǎng)絡(luò)。在許多此類實施例中，用戶可通過web瀏覽器來訪問社交網(wǎng)絡(luò)，且社交網(wǎng)絡(luò)可以是web應(yīng)用。在許多此類實施例中，用戶可在社交網(wǎng)絡(luò)環(huán)境內(nèi)上傳圖像來創(chuàng)建圖像集合。
在社交網(wǎng)絡(luò)的較不正式的版本中，用戶可以在個人計算機上或在由用戶個人地控制或管理的儲存庫中存儲并管理圖像集合。在這一社交網(wǎng)絡(luò)中，用戶可標(biāo)識從中可以與其他人共享圖像的各個存儲位置。在某些此類社交網(wǎng)絡(luò)中，社交網(wǎng)絡(luò)關(guān)系可以使用基礎(chǔ)結(jié)構(gòu)來維護(hù)，該基礎(chǔ)結(jié)構(gòu)可以僅僅是地址交換、論壇、或成員可用于彼此連接的其他機制。
客戶機設(shè)備102可具有一組硬件組件104和軟件組件106?？蛻魴C設(shè)備102可以表示可與社交網(wǎng)絡(luò)服務(wù)136通信的任何類型的設(shè)備。
硬件組件104可表示計算設(shè)備的典型架構(gòu)，如臺式或服務(wù)器計算機。在某些實施例中，客戶機設(shè)備102可以是個人計算機、游戲控制臺、網(wǎng)絡(luò)設(shè)備、交互式自助服務(wù)終端 (kiosk)、或其他設(shè)備。客戶機設(shè)備102也可以是便攜式設(shè)備，如膝上型計算機、上網(wǎng)本計算機、個人數(shù)字助理、移動電話或其他移動設(shè)備。
硬件組件104可以包括處理器108、隨機存取存儲器110、以及非易失性存儲112。 硬件組件104還可包括一個或多個網(wǎng)絡(luò)接口 114和用戶接口設(shè)備116。在許多情況下，客戶機設(shè)備102可包括可捕捉圖像的照相機118或掃描儀120，該圖像可成為用戶的圖像集合的一部分。
軟件組件106可包括操作系統(tǒng)112，諸如web瀏覽器IM等各種應(yīng)用可在操作系統(tǒng)上執(zhí)行。在許多社交網(wǎng)絡(luò)應(yīng)用中，web瀏覽器IM可用于與社交網(wǎng)絡(luò)服務(wù)136通信來訪問社交網(wǎng)絡(luò)應(yīng)用。在其他實施例中，專門化的客戶機應(yīng)用可與社交網(wǎng)絡(luò)服務(wù)通信來提供用戶界面。在某些此類實施例中，這一客戶機應(yīng)用可執(zhí)行可在社交網(wǎng)絡(luò)服務(wù)136中描述的許多功能。
客戶機設(shè)備102可具有本地圖像庫126，該本地圖像庫可包括從諸如照相機118、 掃描儀120或可具有圖像捕捉能力的其他設(shè)備等許多不同源收集的圖像。本地圖像庫1 可包括存儲在其他設(shè)備上的圖像，如存儲在局域網(wǎng)內(nèi)或云存儲服務(wù)內(nèi)的服務(wù)器上。
客戶機設(shè)備102可具有可允許用戶查看并管理本地圖像庫126的若干應(yīng)用。此類應(yīng)用的示例可以是圖像編輯器130和圖像瀏覽器132。在某些情況下，客戶機設(shè)備可具有若干此類應(yīng)用。
本地圖像庫1 可包括靜止圖像和視頻圖像。在某些實施例中，靜止圖像和視頻圖像可被存儲在不同的庫中，并且可用不同應(yīng)用來訪問、編輯和操縱。
在某些實施例中，客戶機設(shè)備102可具有圖像預(yù)處理器128。圖像預(yù)處理器可在將圖像與社交網(wǎng)絡(luò)進(jìn)行關(guān)聯(lián)之前分析圖像內(nèi)容以及與圖像相關(guān)聯(lián)的各種元數(shù)據(jù)。預(yù)處理可以對客戶機可用的圖像執(zhí)行臉部圖像分析、背景分析、色彩直方圖、或其他分析。在其他實施例中，圖像預(yù)處理器1 所執(zhí)行的部分或全部功能可由社交網(wǎng)絡(luò)服務(wù)136來執(zhí)行。當(dāng)圖像預(yù)處理器1 位于客戶機設(shè)備102上時，服務(wù)器設(shè)備可從執(zhí)行此類操作中卸載。
客戶機設(shè)備102可通過網(wǎng)絡(luò)135連接到社交網(wǎng)絡(luò)服務(wù)136。在某些實施例中，網(wǎng)絡(luò)134可以是諸如因特網(wǎng)等廣域網(wǎng)。在某些實施例中，網(wǎng)絡(luò)134可包括可通過網(wǎng)關(guān)或其他設(shè)備連接到廣域網(wǎng)的局域網(wǎng)。
在某些實施例中，客戶機設(shè)備102可以例如通過諸如以太網(wǎng)連接等硬連線連接來連接到網(wǎng)絡(luò)134。在其他實施例中高，客戶機設(shè)備102可以通過諸如蜂窩電話連接或其他無線連接等無線連接來連接到網(wǎng)絡(luò)134。
社交網(wǎng)絡(luò)的各個用戶可使用各種客戶機設(shè)備138來連接。
社交網(wǎng)絡(luò)服務(wù)136可以在硬件平臺140上操作。硬件平臺140可以是具有類似于客戶機設(shè)備102的硬件組件104的硬件平臺的單個服務(wù)器設(shè)備。在某些實施例中，硬件平臺140可以是在兩個或更多硬件設(shè)備上操作的虛擬化的或基于云的硬件平臺。在某些實施例中，硬件平臺可以是其中可使用成千上萬的計算機硬件平臺大數(shù)據(jù)中心。
在某些實施例中，社交網(wǎng)絡(luò)服務(wù)136可以在操作系統(tǒng)142內(nèi)操作。在具有基于云的執(zhí)行環(huán)境的實施例中，單獨的操作系統(tǒng)142的概念可能不存在。
社交網(wǎng)絡(luò)144可包括多個用戶賬戶146。每一用戶賬戶146可包括與該賬戶有關(guān)的元數(shù)據(jù)148，以及可在兩個或更多用戶之間建立的關(guān)系150。
用戶賬戶元數(shù)據(jù)148可包括關(guān)于用戶的信息，如用戶的姓名、家庭地址、位置、以及用戶的喜好和厭惡、教育和其他相關(guān)信息。某些社交網(wǎng)絡(luò)可具有對工作相關(guān)信息的強調(diào)， 這可包括像工作歷史、職業(yè)關(guān)聯(lián)或其他工作相關(guān)信息等項目。其他社交網(wǎng)絡(luò)可強調(diào)朋友和家庭關(guān)系，其中可強調(diào)個人項目。在某些社交網(wǎng)絡(luò)中，可包括非常大量的個人元數(shù)據(jù)148，而其他社交網(wǎng)絡(luò)可具有非常少量的個人元數(shù)據(jù)148。
關(guān)系150可以將一個用戶賬戶關(guān)聯(lián)到另一個。在某些實施例中，關(guān)系可以是單向關(guān)系，其中第一用戶可以與第二用戶共享信息但第二用戶可能無法回復(fù)且可能與第一用戶不共享信息或共享有限量的信息。在其他實施例中，關(guān)系可以是雙向關(guān)系，其中每一用戶同意彼此共享信息。
在還有一些實施例中，用戶可允許其部分或全部信息被共享給任何人，包括不是社交網(wǎng)絡(luò)成員的人。某些此類實施例可允許用戶標(biāo)識可被共享給任何人的信息子集，以及可與社交網(wǎng)絡(luò)的其他成員共享的子集。某些實施例可允許用戶定義與社交網(wǎng)絡(luò)成員的不同組共享的子集。
每一用戶賬戶146可包括一個或多個圖像集合152。圖像集合152可包括圖像 154。每一圖像IM可包括元數(shù)據(jù)156，元數(shù)據(jù)可以是諸如時間戳、位置信息、圖像大小、標(biāo)題和各種標(biāo)簽等一般的元數(shù)據(jù)。標(biāo)簽可以包括關(guān)于圖像要與其相關(guān)的不同社交網(wǎng)絡(luò)成員的標(biāo)識符。
在某些實施例中，圖像元數(shù)據(jù)156可以包含從圖像內(nèi)容中導(dǎo)出的元數(shù)據(jù)。例如，可執(zhí)行臉部分析來標(biāo)識圖像內(nèi)的任何臉部并創(chuàng)建臉部表示或臉部向量。臉部表示可用于例如與其他圖像進(jìn)行比較?？捎糜趯?dǎo)出元數(shù)據(jù)的其他圖像內(nèi)容可包括對背景區(qū)域或個人服飾的紋理分析、整個圖像或圖像各部分的色彩直方圖、或其他分析。
圖像元數(shù)據(jù)156可用于創(chuàng)建聚類158。聚類158可以是圖像或來自圖像的元素的分組。例如，可分析臉部表示來標(biāo)識可包含相似臉部表示的聚類。類似地，可通過對來自圖像的背景區(qū)域的圖像分析結(jié)果進(jìn)行分組來創(chuàng)建聚類。
在某些實施例中，聚類158可以通過基于元數(shù)據(jù)對圖像進(jìn)行分組來創(chuàng)建。例如，在某一時間段內(nèi)拍攝的若干圖像可被分組在一起來作為一個聚類，或者用相同的標(biāo)簽參數(shù)加標(biāo)簽的圖像可形成一個聚類。使用聚類的示例可以在本說明書稍后提出的實施例1100和 1200中找到。
在某些實施例中，社交網(wǎng)絡(luò)服務(wù)136可包括可分析圖像來導(dǎo)出圖像元數(shù)據(jù)的圖像預(yù)處理器160。圖像預(yù)處理器160可用于其中客戶機設(shè)備102可能沒有圖像預(yù)處理器1 或當(dāng)圖像預(yù)處理不是在分析之前執(zhí)行的情況。預(yù)處理步驟的示例可以在本說明書稍后提出的實施例500中示出。
比較引擎162可以使用圖像分析技術(shù)或元數(shù)據(jù)分析來比較兩個或更多圖像以便確定聚類158。比較引擎162的操作的示例可以在本說明書稍后提出的實施例400的各部分中找到。
排名引擎164可以比較各個聚類158來提取信息，如對圖像或附加到圖像的信息的排名或重要性。排名引擎164的操作的示例可以在本說明書稍后提出的實施例300中找到。
分析引擎166可以分析并比較圖像集合來標(biāo)識圖像集合之間的匹配。分析引擎 166可以使用元數(shù)據(jù)分析和圖像內(nèi)容分析來標(biāo)識匹配。
在許多實施例中，社交網(wǎng)絡(luò)服務(wù)136可與web服務(wù)168 —起操作，web服務(wù)168可以與在客戶機設(shè)備上操作的瀏覽器或其他應(yīng)用通信。web服務(wù)168可以接收超文本傳輸協(xié)議(HTTP)形式的請求，并用網(wǎng)頁或其他遵從HTTP的響應(yīng)來響應(yīng)。在某些實施例中，web服務(wù)168可以具有應(yīng)用編程接口(API)，通過該API，客戶機設(shè)備上的應(yīng)用可與社交網(wǎng)絡(luò)服務(wù)交互。
圖2是一示例實施例200的圖示，其示出可通過圖像分析來分析的兩個圖像。實施例200示出兩個圖像202、204，這兩個圖像分別示出了生日聚會和帆船旅行。這些圖像可表示可在用戶的圖像集合中找到的示例圖像。
圖像202可表示具有兩個人的生日聚會。從圖像202中，可標(biāo)識兩個臉部206和
8208?？墒褂萌舾刹煌槻孔R別機制或算法來標(biāo)識臉部206和208。
一旦標(biāo)識，臉部206和208就可被處理來創(chuàng)建臉部的表示。該表示可以是可允許將不同臉部彼此進(jìn)行數(shù)值比較的臉部向量或其他表示。
在某些實施例中，可執(zhí)行另外的圖像分析。例如，可通過分別從臉部206和208中確定幾何關(guān)系并捕捉圖像中可能與相應(yīng)的人穿的服飾相關(guān)的部分來標(biāo)識服飾區(qū)域210和 212。
服飾的圖像分析可用于比較兩個圖像來確定這些圖像是否是在同一事件拍攝的。 當(dāng)兩個圖像包含相似臉部且這些圖像另外包含相似的服飾紋理或色彩直方圖時，可以得出這一結(jié)論。這一分析可以假定圖像表示同一事件，因為圖像中的人穿著相同的服裝。
另外，可分析背景區(qū)域214來進(jìn)行紋理分析、色彩直方圖或其他分析。這些結(jié)果可以與其他圖像進(jìn)行比較來確定圖像之間的相似度和匹配。
在圖像204中，可以標(biāo)識并捕捉臉部216和218。因為臉部216和218的大小可能相對較小，因此圖像204的人的服飾區(qū)域可能不被執(zhí)行，但是可標(biāo)識并分析背景區(qū)域220。
圖3是示出用于從圖像集合確定人的排名的方法的實施例300的流程圖示。實施例300是可由比較引擎和排名引擎，如實施例100的比較引擎162和排名引擎164執(zhí)行的方法的示例。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
實施例300可以是個人的臉在用戶的圖像集合中的出現(xiàn)次數(shù)可被用作用戶對該個人的興趣或該個人對用戶的重要性的近似。
圖像內(nèi)的臉部可被分析、比較并一起分組成聚類?；诰垲惖拇笮?，可對與聚類相關(guān)聯(lián)的個人進(jìn)行排名。
在框302，可接收圖像集合。可以預(yù)處理該圖像集合來標(biāo)識臉部和臉部表示。這一預(yù)處理方法的示例可以在本說明書稍后提出的實施例500中示出。
在框304中，可以處理每一圖像。對于框304中的每一圖像，如果在框306中不存在臉部，則該過程可返回到框304來處理下一圖像。如果在框306中一個或多個臉部出現(xiàn)在圖像中，則可在框308中單獨處理每一臉部。對于框308中的每一臉部，可在框310中將臉部對象和相關(guān)聯(lián)圖像基準(zhǔn)添加到列表。圖像基準(zhǔn)可以是用于從中取得該臉部的圖像的指針或其他指示器。
在處理了框304中的所有圖像之后，可在框312中對所得列表排序。
在框314，可分析該列表來在框314中基于閾值標(biāo)識聚類。聚類可以定義與單個人相關(guān)的一組臉部表示。
確定聚類的一個機制可以是將臉部表示認(rèn)為是向量。任何兩個向量之間的相似度可被認(rèn)為是向量空間中的距離。當(dāng)多個臉部表示反映了同一個人的許多不同圖像時，則臉部表示向量可創(chuàng)建向量聚類。
在許多實施例中，可使用閾值來作為確定給定臉部表示是否“接近”另一臉部表示以便成為匹配的機制的一部分。閾值可以用若干不同方式來確定，且一個這樣的方式可以在實施例600中示出。
在框316中，可以分析每一聚類。對于框316中的每一聚類，如果在框318中該聚類的任何成員沒有標(biāo)簽或其他相關(guān)聯(lián)的元數(shù)據(jù)，則該過程可返回到框316來處理另一聚類。
如果框318中的聚類的一個或多個成員包含標(biāo)簽或其他元數(shù)據(jù)，則可在框320中將這些標(biāo)簽應(yīng)用于其他聚類成員。在某些情況下，可在框322向用戶呈現(xiàn)用戶接口設(shè)備，其中用戶可批準(zhǔn)或不批準(zhǔn)標(biāo)簽。如果用戶在框324中批準(zhǔn)標(biāo)簽，則可在框326中將標(biāo)簽應(yīng)用于該聚類的所有成員。如果用戶在框324中不批準(zhǔn)標(biāo)簽，則在框328中不將標(biāo)簽應(yīng)用于各成員。
在許多社交網(wǎng)絡(luò)應(yīng)用中，用戶可用例如特定人的標(biāo)識符來對圖像加標(biāo)簽?？?16 到328的過程可表示可將此類標(biāo)簽自動應(yīng)用于其他圖像的方法。在某些實施例中，應(yīng)用于聚類成員的標(biāo)簽可以是與該聚類可表示的人相關(guān)的標(biāo)簽。一個簡單的示例可以是定義該人的名字的標(biāo)簽。
在框330中可以分析聚類來根據(jù)大小對聚類排名。排名可以反映人對于用戶的相對重要性。在框332中可以使用聚類排名來在各種應(yīng)用中對人區(qū)分優(yōu)先級。
例如，新聞源可包括消息、狀態(tài)更新、或與用戶的社交網(wǎng)絡(luò)中的人相關(guān)的其他信息。與重要的人相關(guān)的那些項目可被突出顯示或以捕捉用戶注意力的方式來呈現(xiàn)。關(guān)于不經(jīng)常出現(xiàn)在用戶的圖像集合中的人的其他項目可以用次要的或非強調(diào)的方式來呈現(xiàn)。
圖4是示出用于基于臉部分析來找到匹配圖像的方法的實施例400的流程圖示。 實施例400是可由諸如實施例100的分析引擎166等比較引擎執(zhí)行的方法的一個示例。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
實施例400示出了可將來自第二圖像集合的圖像與第一圖像集合進(jìn)行比較來標(biāo)識第二圖像集合中包含與第一圖像集合相同的人的圖像的方法的示例。
在框402，可接收第二圖像集合。在框404，可預(yù)處理第二圖像集合。用于預(yù)處理的方法的一個示例可以在本說明書稍后提出的實施例500中示出。
在框406，可以處理第二圖像集合中的每一圖像。對于框406中的每一圖像，如果在框408中沒有找到臉部，則該過程可返回到框406來處理下一圖像。
如果在框408找到臉部，則在框410可以處理每一臉部對象。對于框410中的每一臉部對象，可以在框412中與第一圖像集合的聚類進(jìn)行比較來找到最接近的匹配。如果在框414該匹配不滿足閾值，則該過程可返回到框410來處理下一臉部對象。如果在框414 匹配在閾值內(nèi)，則在框416將該圖像關(guān)聯(lián)到該聚類。
在處理了框406中的所有圖像之后，結(jié)果可以是來自第二圖像集合的、匹配第一圖像集合中的聚類的圖像的列表。在框418中，可根據(jù)排名來對該列表排序并將其呈現(xiàn)給用戶，該排名可以從實施例300的過程中確定。
圖5是示出用于臉部分析的預(yù)處理的方法的實施例500的流程圖示。實施例500 是可由諸如實施例100的客戶機102的圖像預(yù)處理器1 或社交網(wǎng)絡(luò)服務(wù)136的預(yù)處理器 160等圖像預(yù)處理器來執(zhí)行的方法的示例。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
實施例500的預(yù)處理可以對圖像集合中的所有圖像標(biāo)識臉部并創(chuàng)建臉部向量或臉部圖像的某種其他數(shù)值表示。
在框502可以接收圖像文件，并且可以在框504掃描該圖像文件來標(biāo)識所有臉部。
如果在框506找到臉部，則在框508可以單獨處理每一臉部。對于框508中的每一臉部，在框510中可以將圖像裁剪到該臉部，并且在框512可以從裁剪的圖像創(chuàng)建臉部對象。在框514可以創(chuàng)建臉部向量，該臉部向量可以是臉部圖像的數(shù)值表示。在框516，可將臉部向量和臉部對象作為圖像的元數(shù)據(jù)來存儲。
在框508中處理了所有臉部之后，如果在框518有另一圖像可用，則該過程可循環(huán)回到框502，否則該過程在框520中停止。
圖6是示出用于用訓(xùn)練圖像集來設(shè)置閾值的方法的實施例600的流程圖示。實施例600是可從用戶的朋友收集示例圖像并使用這些示例圖像來設(shè)置可最小化假肯定比較的閾值的方法的示例。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
實施例600可確定一閾值設(shè)置，該閾值設(shè)置在比較圖像集合時可以最小化假肯定比較。在許多社交網(wǎng)絡(luò)應(yīng)用中，相對高的置信閾值可有用于最小化不正確地標(biāo)識匹配的可能性。當(dāng)從第二用戶的圖像集合中選擇照片或視頻圖像來匹配第一用戶的圖像集合時，不正確的匹配可能會向用戶給出匹配過程的低置信度。然而，遺漏的匹配，即匹配存在但是閾值不允許該匹配被檢測到，可能不會對用戶的置信度有很大的損害。
實施例600的過程從用戶的朋友的圖像集合收集代表性圖像來用作用于比較的訓(xùn)練集。臉部比較可基于與用戶相關(guān)聯(lián)的那些人的人種、膚色和其他物理特性而有區(qū)別。 所選圖像可以來自用戶的朋友的朋友，并且可反映用戶的圖像集合中的人的可能的物理特性。
實施例600的過程可試圖從訓(xùn)練集中移除可能在用戶的圖像集合中的任何人。這可以通過檢查與朋友的圖像相關(guān)聯(lián)的任何標(biāo)簽以確保該標(biāo)簽不匹配用戶的朋友來執(zhí)行。
在框602，可標(biāo)識用戶的朋友。用戶的朋友可以從社交網(wǎng)絡(luò)內(nèi)的關(guān)系以及任何其他源確定。在某些情況下，用戶可屬于若干社交網(wǎng)絡(luò)，每一社交網(wǎng)絡(luò)具有一組不同的關(guān)系。在此類情況下，盡可能多地考慮那些關(guān)系。
在框604，可處理用戶的每一個朋友。對于框604中的每一朋友，在框606處理該朋友的圖像集合中的每一圖像。對于框606中的每一圖像，在框608可標(biāo)識與該圖像相關(guān)聯(lián)的標(biāo)簽。如果在框610標(biāo)簽與用戶的朋友相關(guān)聯(lián)，則在框610不考慮該圖像。通過在框 610排除用戶的朋友，該訓(xùn)練集可能不包括可能是對用戶的匹配的圖像，但是可包括具有與可能在用戶的圖像集合中的人相似的特性的人的圖像。
如果在框610標(biāo)簽指示圖像可能不與用戶相關(guān)，則在框612選擇該圖像來用于訓(xùn)練集。在許多情況下，為訓(xùn)練集選擇的圖像可以是朋友的圖像集合中的所有圖像的子集。例如，一過程可以選擇每100或1000個候選圖像中的一個來作為訓(xùn)練集的一部分。在某些實施例中，可對訓(xùn)練集作出隨機選擇。
在框604到612中選擇了要在訓(xùn)練集中的圖像之后，在框614可以對該訓(xùn)練集執(zhí)行臉部預(yù)處理。該預(yù)處理可以類似于實施例500的預(yù)處理。
在框616可以將匹配閾值設(shè)置為默認(rèn)值。
在框618，可以處理用戶的圖像集合的每一圖像來設(shè)置閾值，使得用戶的圖像集合中沒有一個圖像與訓(xùn)練集匹配。對于框618中的每一圖像，如果在框620該圖像不包含臉部，則該過程返回到框618。
當(dāng)在框620中圖像包含臉部時，在框622中可處理每一臉部。對于框622中的每一臉部，在框6M可將該臉部對象與訓(xùn)練集中的臉部對象進(jìn)行比較來找到最相似的臉部對象。如果在框擬6中相似度小于閾值，則該過程可返回到框622。如果在框擬6中相似度大于閾值，則在框628中調(diào)整閾值以使得該閾值低于框628中的相似度。
在框618中處理了用戶的圖像集合中的所有圖像之后，在框630中可存儲當(dāng)前閾值并用于后續(xù)比較。
圖7是示出用于事件匹配的方法的實施例700的流程圖示。實施例700是可由諸如實施例100的分析引擎166等分析引擎執(zhí)行的方法的一個簡化示例。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
實施例700是可用于從元數(shù)據(jù)中檢測事件的方法的示例。元數(shù)據(jù)可以是從圖像， 如從臉部分析或其他圖像分析中導(dǎo)出的元數(shù)據(jù)。元數(shù)據(jù)也可以是并非從圖像導(dǎo)出的元數(shù)據(jù)，如標(biāo)題、時間戳或位置信息。
實施例700可以從兩個用戶的圖像集合的交集中推斷事件。這一交集可以發(fā)生在兩個用戶都出席同一事件且都拍攝了該事件的圖像時發(fā)生。例如，兩個用戶可出席生日宴會或家庭聚會，并拍攝了聚餐的家庭的照片。在另一示例中，兩個用戶可出席會議、體育賽事或其他公共事件，并且可拍攝該集會的圖像。在某些情況下，用戶可能了解彼此對事件的出席，而在其他情況下，用戶可能不知道另一個人已出席。
在框702，可從第一用戶接收圖像集合。在框704，可從第二用戶接收圖像集合。在某些實施例中，所接收的信息可以僅僅是與集合中的圖像相關(guān)的元數(shù)據(jù)，且不是實際圖像本身。
在框706可比較來自每一圖像集合的元數(shù)據(jù)來找到匹配。匹配可基于圖像分析， 如在來自兩個不同集合的圖像中找到匹配的臉部。匹配可基于元數(shù)據(jù)分析，如找到具有匹配的時間戳、標(biāo)簽、位置信息或其他元數(shù)據(jù)的圖像。
在許多情況下，匹配可以用某一容差或偏差級別來確定框706中標(biāo)識的匹配可具有大量偏差或容差，因而在稍后的步驟中可進(jìn)一步評估每一匹配?？?06中的匹配可以是粗略的或初步的匹配，該粗略或初步匹配可被進(jìn)一步細(xì)化來標(biāo)識具有更大確定性的匹配。
框706的結(jié)果可以是來自每一集合的一對圖像。在某些情況下，結(jié)果可以是來自每一集合的、共享相似元數(shù)據(jù)的一組圖像。
在框708，可以比較每一組匹配的圖像。對于框708中的每一組匹配的圖像，在框 710中可比較元數(shù)據(jù)來確定是否可推斷事件。
事件可基于若干因素來推斷。某些因素可以被高度加權(quán)，而其他因素可以具有次要特性。對匹配是否指示事件的判定可以使用各種試探或公式來確定，且此類試探或公式可取決于實施方式。例如，某些實施方式可有大量元數(shù)據(jù)可用，而其他實施方式可具有較少的元數(shù)據(jù)參數(shù)。某些實施方式可具有復(fù)雜的圖像分析，而其他實施例方式可具有較不復(fù)雜的或甚至沒有圖像分析。
高度加權(quán)的因素可以是在其中第二用戶標(biāo)識該第二用戶的圖像之一中的第一用戶的情況中。此類元數(shù)據(jù)明確地標(biāo)識了兩個圖像集合之間的鏈接，且指示兩個用戶可能在同一時間在同一地方。
在某些實施例中，用戶可以為其集合中具有來自其社交網(wǎng)絡(luò)的人的圖像加標(biāo)簽。 在此類實施例中，用戶可手動選擇一圖像并創(chuàng)建標(biāo)識該圖像中的朋友的標(biāo)簽。某些此類實施例可允許用戶指向臉部并將標(biāo)簽附加到圖像上的位置。此類標(biāo)簽可被認(rèn)為是可靠指示器，且被給予比其他元數(shù)據(jù)更高的權(quán)重。
其他高度加權(quán)的因素可以是空間和時間上的非常接近。非常接近的時間戳和物理位置信息可以指示兩個用戶曾經(jīng)在相同時間和地點。在某些實施例中，圖像可包括拍攝該圖像的點以及當(dāng)拍攝該圖像時照相機所面向的方向。當(dāng)此類元數(shù)據(jù)可用時，兩個圖像覆蓋的區(qū)域的重疊可以是事件的證據(jù)。
某些圖像可以用由用戶手動添加的各種描述符來加標(biāo)簽。例如，圖像可以用“Anna 的生日宴會”或“技術(shù)會議”來加標(biāo)簽。當(dāng)來自兩個圖像集合的圖像被加上類似的標(biāo)簽時， 標(biāo)簽可以是事件的良好指示器。
可使用圖像分析來分析匹配以標(biāo)識共同的事件。例如，兩個集合中的圖像之間的臉部圖像匹配可以是兩個用戶出席且捕捉的事件的良好指示器。臉部圖像匹配可由相似的背景圖像區(qū)域并通過對與匹配的臉部相關(guān)聯(lián)的人的服飾分析來進(jìn)一步確認(rèn)。
當(dāng)標(biāo)識共同事件時，在不同情形和不同實施例中可使用各因素的不同組合。例如， 在某些情況下，事件可以單獨通過圖像分析來確定，即使是在元數(shù)據(jù)不相關(guān)的時候。例如， 一個用戶可能購買了照相機設(shè)備并且可能從未正確地設(shè)置照相機中的時間和日期，或者可能將時間設(shè)置為與另一用戶不同的時區(qū)。在這一情況下，時間戳元數(shù)據(jù)可能是不正確的，但是圖像分析可標(biāo)識共同事件。
在另一示例中，即使圖像分析可能無法標(biāo)識任何共同的臉部、背景或其他相似性， 元數(shù)據(jù)也可標(biāo)識共同事件。
不同實施例可具有不同的用于標(biāo)識事件的閾值。在對實施例700的典型社交網(wǎng)絡(luò)使用中，可執(zhí)行分析來基于事件自動向圖像應(yīng)用標(biāo)簽。在這一實施例中，較高程度的確定性可能是合乎需要的，使得不正確的標(biāo)簽不會作為噪聲而引入到圖像集合中。在另一種用途中，匹配可用于標(biāo)識可能事件，用戶可手動檢查可能事件來確定事件實際上是否的確曾經(jīng)發(fā)生。在這一用途中，確定事件的閾值可具有比在其他使用情況中低得多的確定性程度。
如果在框712中未確定事件，則該過程可返回到框708來處理另一匹配。
如果在框712中標(biāo)識了事件，則在框714中可標(biāo)識與該事件相關(guān)聯(lián)的所有圖像。在框716中可對該事件定義元數(shù)據(jù)標(biāo)簽，并且在框718中可將該標(biāo)簽應(yīng)用于圖像。
與事件相關(guān)聯(lián)的圖像可通過標(biāo)識與匹配的圖像相關(guān)或共享共同元數(shù)據(jù)或其他特征的圖像來確定。例如，可匹配兩個圖像，每一圖像來自一個圖像集合。一旦匹配了這些圖像，在框714可標(biāo)識匹配的圖像在其各自的集合中的任何相關(guān)圖像。
框716中的元數(shù)據(jù)標(biāo)簽可通過掃描相關(guān)圖像來確定事件標(biāo)簽是否與任一個相關(guān)圖像相關(guān)聯(lián)來生成。例如，在框714中收集的圖像之一可用諸如“Anna的生日”等事件標(biāo)簽來加標(biāo)簽。在框718，然后可將該標(biāo)簽應(yīng)用于所有相關(guān)圖像。
在某些實施例中，框716的事件標(biāo)簽可以是可標(biāo)識匹配是如何確定的自動生成的事件標(biāo)簽。例如，通過具有時間和位置信息的共同元數(shù)據(jù)確定的匹配可具有包括“耶路撒冷，2010年2月22日”的標(biāo)簽。每一實施例可具有用于確定標(biāo)簽的不同機制。
在某些實施例中，框718中應(yīng)用的標(biāo)簽可能對用戶不可見。這一標(biāo)簽可由社交網(wǎng)絡(luò)用于將不同圖像集合鏈接在一起來提供增強的搜索或瀏覽能力，且不向用戶展示標(biāo)簽供查看或修改。
圖8是示出用于用戶的圖像集合和用戶朋友的圖像集合之間的事件匹配的方法的實施例800的流程圖示。實施例800是實施例700中描述的事件匹配方法的一個使用場旦
ο 其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
實施例800將用戶的圖像集合與用戶朋友的圖像集合進(jìn)行比較。該比較可標(biāo)識被兩個用戶共享的事件，且可以標(biāo)識朋友的圖像集合中第一用戶可能想要添加到他或她的圖像集合的圖像。
實施例800可以是用于在社交網(wǎng)絡(luò)中將兩個圖像集合鏈接在一起的強大工具。在某些用途中，兩個用戶可能知道他們出席了同一事件且可能希望彼此共享他們的圖像。在其他用途中，用戶可能未記住出席同一事件或者可能未認(rèn)識到兩個人都在那里。實施例800 的方法可以通過標(biāo)識其生活中的交集并允許他們通過其圖像來共享事件來增強用戶的交互。
在框802，可接收用戶的圖像集合。在框804，可以標(biāo)識用戶的朋友，并且在框806 可以處理每一朋友。對于框806中的每一朋友，在框808可以在該用戶和用戶的朋友之間執(zhí)行事件匹配來標(biāo)識共同事件。事件匹配可以按實施例700中所描述的相似的方式來執(zhí)行。
在框810，可以分析框808中找到的每一新事件。對于框810中的每一新事件，在框812中可以從朋友的圖像集合中選擇匹配該事件的圖像。在框814，可以標(biāo)識來自從朋友的圖像集合所選的圖像的任何元數(shù)據(jù)，并在框816將其應(yīng)用于與事件相關(guān)的用戶的圖像。
框814和816的操作可以將標(biāo)簽和其他元數(shù)據(jù)從朋友的圖像集合傳播到用戶的圖像集合。在某些實施例中，可給予用戶批準(zhǔn)或不批準(zhǔn)加標(biāo)簽的選項。標(biāo)簽和其他元數(shù)據(jù)可以通過自動或半自動地應(yīng)用有用標(biāo)簽來豐富用戶的圖像集合。
在框818，可以將朋友的圖像呈現(xiàn)給用戶，并且可以按事件來對圖像分組。用戶界面的示例可以在本說明書稍后提出的實施例1000中示出。
在框810中處理了每一事件之后，在框820，用戶可以瀏覽朋友的圖像并選擇朋友的一個或多個圖像。在框822，可將所選圖像添加到用戶的圖像集合。
圖9是示出用于用戶的朋友對之間的事件匹配的方法的實施例900的流程圖示。 實施例900是實施例700中描述的事件匹配方法的一個使用場景。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理 實施例900比較用戶的朋友的圖像集合中的兩個來標(biāo)識可從用戶的兩個朋友推斷的事件?？蓪碜运茢嗟氖录膱D像呈現(xiàn)給用戶且用戶可以將這些圖像添加到用戶的圖像集合。
實施例900在社交網(wǎng)絡(luò)場景中可能是有用的，其中用戶可能出席或未出席事件且可能希望查看該事件的圖像并可將這些圖像中的某一些添加到用戶的圖像集合。例如，無法出席孫輩的聚會的祖父母可能希望看見該聚會的圖像。該聚會可以通過分析來自出席該聚會的兩個或更多人的圖像集合來推斷。通過從對圖像集合的分析中推斷事件，可收集該事件的所有相關(guān)圖像并將其呈現(xiàn)給祖父母供他們欣賞。
實施例900以與實施例800相似的方式來操作，但用于事件匹配的圖像集合可以是來自用戶的朋友的集合對而非將用戶的集合與他或她的朋友的集合進(jìn)行比較。
在框902，可以標(biāo)識用戶的朋友并將其置于列表中。朋友可以通過社交網(wǎng)絡(luò)來標(biāo)識。在框904，可以處理每一朋友。對于框904中的每一朋友，在框906可以分析朋友列表上的每一剩下的朋友。剩下的朋友是對其尚未處理圖像集合的那些朋友。對于框906中的每一剩下的朋友，在框908中可以在兩個朋友的圖像集合之間執(zhí)行事件匹配過程來標(biāo)識共同事件?？?04和906的過程可被安排成使得每一對朋友可被處理來標(biāo)識共同事件。
在框910，可以處理每一共同事件。對于框910中的每一共同事件，某些實施例可以包括框912中的驗證來確定該用戶是否可能在場。
框912的驗證可用于防止示出未邀請用戶的事件。例如，用戶的兩個朋友可聚在一起尋歡作樂一個晚上，但是可能未邀請用戶。為防止用戶被冒犯，某些實施例可包括諸如框912的驗證來防止用戶發(fā)現(xiàn)事件已發(fā)生。在其他實施例中，如對于上述祖父母的示例，可以不包括或可以忽略框912的驗證。
在某些社交網(wǎng)絡(luò)中，用戶可能能夠選擇是否要與其他用戶共享事件，并且可能能夠選擇哪些用戶可查看其共同事件以及哪些用戶不可以。
在框914，可以從共同事件中選擇來自朋友的圖像集合的圖像并在框916中將其按照事件分組來呈現(xiàn)給用戶。在框910中處理了所有共同事件之后，在框918，用戶可瀏覽并選擇圖像，并且在框920可將所選圖像添加到用戶的集合。
圖10是示出具有來自事件匹配分析的結(jié)果的用戶界面的示例實施例1000的圖示。實施例1000是可用于向用戶呈現(xiàn)諸如實施例800或900的事件匹配分析等事件匹配分析的結(jié)果的用戶界面的一個簡化示例。
用戶界面1002可以顯示事件匹配過程的結(jié)果。在用戶界面1002中，示出來自三個事件的結(jié)果。事件1004可具有標(biāo)簽“生日宴會”，事件1006可以具有標(biāo)簽“沙灘假日”，事件1008可具有標(biāo)簽“滑雪假期”。可從定義自朋友的圖像集合的標(biāo)簽中標(biāo)識各種標(biāo)簽。在某些情況下，標(biāo)簽可以從匹配所檢測到的事件的用戶的圖像中確定。
每一事件可以與圖像的源一起呈現(xiàn)。例如，事件1004可具有“來自媽媽和Joe的集合”的圖像源1010。事件1006可具有“來自Joe的集合”的圖像源1012，且事件1008可具有“來自Lora的集合”的圖像源1014。圖像源可使用關(guān)于用戶的朋友的用戶標(biāo)記來創(chuàng)建。
用戶界面1002還可包括關(guān)于事件的各種元數(shù)據(jù)。例如，事件1004可以與指示用戶的哪些朋友被確定為在該事件的元數(shù)據(jù)1016 —起呈現(xiàn)。類似地，事件1006和1008可分別具有元數(shù)據(jù)1018和1020。
每一事件可具有所呈現(xiàn)的圖像的選集。事件1004與圖像1022、1024和1026 —起示出。事件1006與圖像1028和1030 —起示出，事件1008與圖像1032 —起示出。每一圖像旁邊可以是用戶可用于選擇要添加到用戶的圖像集合的一個或多個圖像的按鈕或其他機制。
實施例1000的用戶界面僅是可作為諸如事件匹配等圖像匹配分析的結(jié)果呈現(xiàn)給用戶的某些組件的一個示例。用戶界面可以是用戶可用于瀏覽匹配分析的結(jié)果并對結(jié)果執(zhí)行操作的機制。
圖11是示出用于創(chuàng)建可用于匹配圖像的聚類的方法的實施例1100的流程圖示。 事件1100是可通過分析單個圖像集合并對圖像分組來創(chuàng)建聚類的一種方法的簡化示例。 聚類可在圖像比較分析和元數(shù)據(jù)比較分析中使用。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
實施例1100可示出用于創(chuàng)建圖像聚類的簡化方法。聚類可以是可共享共同特征的一組圖像，并且可以在對臉部分組以及將圖像作為整體來分組時是有用的。
聚類可通過標(biāo)識代表圖像的向量并通過將向量分組在一起來創(chuàng)建。聚類可具有質(zhì)心和半徑，并且可以在圖像和聚類之間作出數(shù)值比較來確定圖像和聚類之間的“距離”以確定匹配。
在框1102，可接收圖像集合，并且在框1104，可分析圖像集合中的每一圖像。在使用臉部識別的實施例中，圖像可以是從較大圖像裁剪的、可以僅包含人的臉部特征的臉部對象。在此類實施例中，該分析可創(chuàng)建代表臉部對象的向量。在其他實施例中，可分析整個圖像來創(chuàng)建圖像向量。
在框1106，可分析圖像來創(chuàng)建圖像向量。圖像向量可包含圖像的各個元素的數(shù)值表示，包括臉部圖像分析、服飾分析、背景圖像分析和紋理分析。
在某些實施例中，框1106的分析可創(chuàng)建若干圖像向量。例如，具有兩個臉部的圖像可用代表臉部的兩個圖像向量、代表兩個人的服飾的兩個圖像向量、以及代表背景圖像或圖像中的各種紋理的一個或多個向量來表示。
在框1104中分析了每一圖像之后，在框1108中可將圖像分組在一起。分組可使用元數(shù)據(jù)分組和圖像分析分組。用于分組的一種機制可以是對于每一元數(shù)據(jù)類別或圖像分析類型，在獨立或正交的分組軸上將圖像分組在一起。例如，可為臉部圖像分析建立一條分組軸。在這一軸上，可將所有臉部圖像表示或向量分組。單獨地，每一圖像可根據(jù)諸如時間戳或位置等不同元數(shù)據(jù)來分組。
在每一軸內(nèi)，在框1110可以標(biāo)識聚類。聚類的定義可以使用可將聚類限制到圖像的嚴(yán)格分組的閾值來控制。聚類可用于用高確定程度來表示圖像的實際匹配，使得諸如圖像比較和排名等其他操作可具有高確定程度。
其上對圖像分組的每一軸可具有用于標(biāo)識聚類的不同閾值。例如，臉部圖像匹配可具有相對嚴(yán)格的閾值，使得僅具有非常高的相似程度的匹配才能被認(rèn)為是聚類。相反，通過背景圖像分析來匹配的圖像可具有較不限制的閾值，使得可將更寬范圍的圖像分組。
每一聚類可具有在框1112中計算的質(zhì)心和半徑。質(zhì)心和半徑可用于在將其他圖像與圖像集合進(jìn)行比較時確定匹配。在框1114，可存儲聚類以及質(zhì)心和半徑。
圖12是示出用于使用聚類的質(zhì)心和半徑分析來匹配圖像的方法的實施例1200的流程圖示。實施例1200可以示出可使用實施例1100所分析的圖像來標(biāo)識用戶的圖像集合和朋友的圖像集合之間的匹配，然后選擇最適當(dāng)或最佳匹配來顯示給用戶的一種方法。
其他實施方式可以使用不同順序的、附加的或更少的步驟以及不同的名稱或術(shù)語來實現(xiàn)類似的功能。在一些實施方式中，各種操作或一組操作可以按同步或異步的方式與其他操作并行執(zhí)行。在此選擇的這些步驟被挑選來以簡化的形式示出操作的一些原理。
在框1202，可接收用戶的圖像集合，并且在框1204，可接收朋友的圖像集合。在框 1205，可預(yù)處理用戶的朋友的圖像集合。預(yù)處理圖像的一個示例可以是實施例500。實施例500的預(yù)處理可以應(yīng)用于臉部圖像分析，并且可被擴展到背景圖像分析、紋理分析、色彩直方圖分析、服飾分析和其他圖像分析預(yù)處理。
框1205的預(yù)處理可以對應(yīng)于在對用戶的圖像集合進(jìn)行聚類之前執(zhí)行的任何分析。
在框1206，可分析朋友的圖像集合中的每一圖像。對于框1206中的每一圖像，在框1208，可以分析與用戶的圖像集合相關(guān)聯(lián)的每一聚類。
如實施例1100中所述，每一圖像集合可包含多個正交軸中的多個聚類。每一聚類可表示用戶的圖像集合的重要方面或元素，且這些方面可用于與來自朋友的圖像集合的圖像進(jìn)行比較。
對于框1208中的每一聚類，在框1210，可確定從所分析的圖像到最近聚類的距離。在框1212，如果該距離在質(zhì)心匹配閾值內(nèi)，則在框1218，將該圖像與該聚類相關(guān)聯(lián)。
如果在框1212該距離不在質(zhì)心匹配閾值內(nèi)，則在框1214可確定到最近鄰居的距離。如果在框1216到最近鄰居的距離不在鄰居閾值內(nèi)，則確定沒有匹配。
最近鄰居可以是在聚類內(nèi)的圖像。最近鄰居評估可以標(biāo)識落在聚類外面但是非常接近與該聚類一起分組的圖像之一的圖像。在一典型實施例中，當(dāng)與質(zhì)心閾值比較時，鄰居閾值可能較小。
在框1206中分析了朋友的圖像集合中的所有圖像之后，可選擇朋友的圖像來呈現(xiàn)給用戶。
在框1220，可按照大小對用戶的聚類排名。排名可用作對用戶的重要性的代表。 在框1222中，可以評估每一聚類。對于框1222中的每一聚類，框1224中可將匹配的圖像與聚類進(jìn)行比較來找到與鄰居最接近的圖像，并在框1226中找到與聚類質(zhì)心最接近的圖像。 在框1228中可確定最佳匹配并在框1230中將其添加到用戶界面顯示。
框1220到1230的過程可標(biāo)識可以是與用戶最相關(guān)以及最可能是良好匹配的那些匹配。相關(guān)性可以通過從用戶的圖像集合中導(dǎo)出的聚類的排名來確定。最佳匹配可以是與聚類的質(zhì)心最近或非常靠近另一圖像的那些圖像，這可以由最近鄰居來表示。
圖像匹配可能易于有噪聲，并且許多圖像匹配算法可導(dǎo)致假肯定結(jié)果，其中圖像被不正確地匹配。在具有圖像匹配的社交網(wǎng)絡(luò)應(yīng)用中，用戶對匹配機制的滿意度在向用戶呈現(xiàn)了有質(zhì)量的匹配時可以較高。
框1220到1230的過程可以從可用匹配中選擇最佳匹配來呈現(xiàn)給用戶。這一過程可以為每一聚類選擇一代表性匹配并向用戶呈現(xiàn)每一匹配，使得用戶能夠查看各種各樣的匹配。
在選擇了圖像之后，在框1232可以向用戶呈現(xiàn)按照聚類組織的圖像。在框1234， 用戶可瀏覽并選擇圖像，并且在框1236，可以將圖像添加到用戶的集合。
在某些實施例中，用戶可能能夠深度挖掘某一聚類的匹配以便查看附加匹配。在這一情況下，框1220到1230的過程可用于組織并從匹配特定聚類的圖像子集中選擇最適當(dāng)?shù)膱D像。
以上對本主題的描述是出于說明和描述的目的而提出的。它不旨在窮舉本主題或?qū)⒈局黝}限于所公開的精確形式，且鑒于以上教導(dǎo)其他修改和變型都是可能的。選擇并描述實施方式來最好地解釋本發(fā)明的原理及其實踐應(yīng)用，從而使本領(lǐng)域的其他技術(shù)人員能夠在各種實施方式和各種適于所構(gòu)想的特定用途的修改中最好地利用本發(fā)明的技術(shù)。所附權(quán)利要求書旨在包括除受現(xiàn)有技術(shù)所限的范圍之外的其他替換實施方式。
權(quán)利要求
1.一種社交網(wǎng)絡(luò)應(yīng)用，包括包括第一圖像集合的第一用戶賬戶(146)，所述第一集合包括圖像元數(shù)據(jù)，所述第一用戶賬戶與第一用戶相關(guān)聯(lián)；包括第二圖像集合的第二用戶賬戶(146)，所述第二集合包括圖像元數(shù)據(jù)，所述第二用戶賬戶與第二用戶相關(guān)聯(lián)；所述第一用戶和所述第二用戶之間的關(guān)系(150)； 比較引擎(162)，所述比較引擎 分析所述第一集合來創(chuàng)建圖像聚類；對所述第二集合中的每一所述圖像，將所述圖像與所述聚類進(jìn)行比較來標(biāo)識聚類匹配，所述聚類匹配按照所述聚類被分組在一起來形成匹配組； 顯示引擎(166)，所述顯示引擎選擇每一所述匹配組的一子集并將所述子集中的圖像顯示在用于所述第一用戶賬戶的用戶界面中。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述聚類通過一種方法來確定，所述方法包括為所述第一圖像集合中的每一所述圖像確定表示向量； 按照具有相似的表示向量的圖像來標(biāo)識所述聚類；以及確定每一所述聚類的質(zhì)心。
3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述聚類匹配通過以下步驟來確定 為所述第二圖像集合中的每一所述圖像確定表示向量；以及將所述第二圖像集合中的所述圖像與所述聚類的所述表示向量進(jìn)行比較來標(biāo)識所述聚類匹配。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述表示向量至少部分地在所述圖像元數(shù)據(jù)中定義。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述表示向量包括所述圖像的一部分的圖像分析。
6.如權(quán)利要求5所述的系統(tǒng)，其特征在于，所述子集包括由下列各項組成的組中的一個人臉； 紋理；以及背景兀素。
7.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述表示向量包括非圖像元數(shù)據(jù)。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述非圖像元數(shù)據(jù)包括由下列各項組成的組中的一個時間戳；以及位置信息。
9.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述顯示引擎還 為第一聚類確定標(biāo)記；以及與對應(yīng)的聚類匹配一起顯示所述標(biāo)記。
10.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述標(biāo)記是從與所述第一聚類的成員相關(guān)聯(lián)的標(biāo)簽中確定的。
11.如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述標(biāo)記是從所述聚類匹配之一確定的。
12.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述顯示引擎還 將所述標(biāo)記關(guān)聯(lián)到所述第一聚類的至少一個成員。
13.如權(quán)利要求12所述的系統(tǒng)，其特征在于，所述關(guān)聯(lián)是響應(yīng)于用戶動作來執(zhí)行的。
14.一種方法，包括接收包括圖像的第一集合(1202)，所述第一集合與社交網(wǎng)絡(luò)的第一用戶相關(guān)聯(lián)； 接收包括圖像的第二集合(1204)，所述第二集合與社交網(wǎng)絡(luò)的第二用戶相關(guān)聯(lián)； 分析所述第一集合(120 來創(chuàng)建圖像聚類；通過確定所述第二集合中的每一所述圖像與每一所述聚類之間的相似度來從所述第二集合中標(biāo)識聚類匹配(1228)；以及向所述第一用戶顯示所述聚類匹配(1230)。
15.如權(quán)利要求14所述的方法，其特征在于，還包括向所述第一用戶呈現(xiàn)將所述聚類匹配中的至少一個添加到所述第一集合的選項。
全文摘要
本發(fā)明公開了一種具有推薦的社交網(wǎng)絡(luò)系統(tǒng)。社交網(wǎng)絡(luò)應(yīng)用可標(biāo)識在第一用戶的圖像集合和第二用戶的圖像集合之間具有共同鏈接的圖像。該共同鏈接可以通過圖像的元數(shù)據(jù)或其他類似部分來標(biāo)識。使用第一用戶的圖像集合，可以標(biāo)識感興趣的元素并將其與第二用戶的圖像集合進(jìn)行比較來尋找匹配。當(dāng)找到匹配時，可從結(jié)果組中選擇結(jié)果來顯示不同的匹配集?？上蛴脩舫尸F(xiàn)選擇匹配的圖像并將其添加到用戶的集合、以及瀏覽匹配一個或多個組的更多圖像的選項。
文檔編號G06F17/30GK102200988SQ201110061369
公開日2011年9月28日 申請日期2011年2月28日 優(yōu)先權(quán)日2010年3月1日
發(fā)明者E·克魯普卡, I·阿布拉莫夫斯基 申請人:微軟公司