提供圖像內(nèi)容的方法和設(shè)備的制造方法
【專利說明】提供圖像內(nèi)容的方法和設(shè)備
[0001]相關(guān)申請的交叉引用
[0002]本申請基于并要求于2015年4月17日在韓國知識產(chǎn)權(quán)局提交的第10-2015-0054757號韓國專利申請以及于2014年8月14日在韓國知識產(chǎn)權(quán)局提交的第10-2014-0105799號韓國專利申請的優(yōu)先權(quán)，韓國專利申請公開的內(nèi)容全部通過引用并入本文。
技術(shù)領(lǐng)域
[0003]本公開涉及提供圖像內(nèi)容的技術(shù)，更具體地，涉及提供用于提供用戶所選人物的圖像內(nèi)容的方法和設(shè)備。
【背景技術(shù)】
[0004]隨著顯示設(shè)備提供各種圖像內(nèi)容的服務(wù)，已研發(fā)了能夠選擇性地只提供用戶期望的圖像內(nèi)容的技術(shù)。通常，選擇性地提供出現(xiàn)用戶期望的男演員或女演員的圖像內(nèi)容的點(diǎn)播式內(nèi)容服務(wù)技術(shù)已經(jīng)商業(yè)化。
[0005]然而，為了提供進(jìn)一步滿足用戶需求的服務(wù)，要求這樣的技術(shù)，S卩，僅編輯和顯示在單個(gè)圖像內(nèi)容中出現(xiàn)用戶所期望的特定人物的圖像。特別地，因?yàn)樵谟脩粜蕾p內(nèi)容的情境中配置內(nèi)容的場景，所以需要考慮根據(jù)場景來提供圖像的方法。換言之，要求根據(jù)場景劃分內(nèi)容并根據(jù)劃分的場景有效地提供用于內(nèi)容中人物的圖像的技術(shù)。

【發(fā)明內(nèi)容】

[0006]示例性實(shí)施方式克服以上缺點(diǎn)和以上未描述的其它缺點(diǎn)。
[0007]本公開提供一種提供圖像內(nèi)容的方法和設(shè)備，該方法和設(shè)備能夠基于場景劃分內(nèi)容并根據(jù)劃分的場景有效地提供內(nèi)容中的人物的圖像。
[0008]根據(jù)示例性實(shí)施方式，提供圖像內(nèi)容的方法包括:將圖像內(nèi)容劃分為多個(gè)場景，每個(gè)場景包括多個(gè)鏡頭；根據(jù)圖像內(nèi)容中出現(xiàn)的多個(gè)人物中的每一個(gè)將每個(gè)場景的圖像幀分類；接收用于選擇多個(gè)人物中的任一個(gè)的用戶輸入；以及顯示與所選擇的人物對應(yīng)的場景。
[0009]根據(jù)另一示例性實(shí)施方式，提供圖像內(nèi)容的方法包括:計(jì)算指示相鄰幀之間的圖像差異的圖像差異特征向量；基于計(jì)算出的圖像差異特征向量檢測鏡頭邊界；根據(jù)檢測到的鏡頭邊界將圖像內(nèi)容劃分為多個(gè)鏡頭；根據(jù)在圖像內(nèi)容中出現(xiàn)的多個(gè)人物中的每一個(gè)將每個(gè)場景的圖像幀分類；接收用于選擇多個(gè)人物中的任一個(gè)的用戶輸入；以及顯示與選擇的人物對應(yīng)的場景。
[0010]在檢測鏡頭邊界的過程中，可以使用機(jī)器學(xué)習(xí)算法檢測鏡頭邊界。
[0011]將圖像內(nèi)容劃分成多個(gè)鏡頭可以例如包括:對于多個(gè)鏡頭中的每一個(gè)，生成鏡頭特征向量，鏡頭特征向量包括指示多個(gè)鏡頭中的每一個(gè)的開始時(shí)信息的鏡頭開始時(shí)間信息、包含在一個(gè)鏡頭中的多個(gè)圖像幀的圖像特征值以及包含在一個(gè)鏡頭中的多個(gè)圖像幀的音頻特征值中的至少一個(gè)；以及基于生成的鏡頭特征向量將多個(gè)鏡頭分組為一個(gè)場景。
[0012]在進(jìn)行分組中，在第一鏡頭特征向量與第η鏡頭特征向量之間的相似度大于或等于預(yù)設(shè)值的情況下，從第一鏡頭到第η鏡頭的所有鏡頭可被分組到相同場景中。
[0013]根據(jù)又一示例性實(shí)施方式，提供圖像內(nèi)容的方法包括:將圖像內(nèi)容劃分成多個(gè)場景，每個(gè)場景包括多個(gè)鏡頭；當(dāng)從第一場景到第二場景產(chǎn)生場景變化時(shí)，根據(jù)包含在第一場景中的圖像幀的身體信息將圖像幀分類；通過分析分類后的圖像幀的面部信息，提取面部特征信息；基于提取的面部特征信息向分類后的圖像幀分配ID ;以及生成分配有第一場景的ID的圖像段信息。提供圖像內(nèi)容的方法還可包括:接收用于選擇多個(gè)人物中的任一個(gè)的用戶輸入；以及顯示與所選擇的人物對應(yīng)的場景。
[0014]面部特征信息可以包括至少一個(gè)面部特征向量。
[0015]在分配ID的步驟中，可向分類后的圖像幀分配具有與提取的面部特征信息相匹配的面部特征信息的ID。
[0016]在將圖像幀分類的步驟中，還可使用音頻信息將圖像幀分類。
[0017]根據(jù)又一示例性實(shí)施方式，提供圖像內(nèi)容的方法包括:將圖像內(nèi)容劃分成多個(gè)場景，每個(gè)場景包括多個(gè)鏡頭；以及在表現(xiàn)包含在圖像幀中人物的面部的圖像包括背景圖像的情況下，使用圖像數(shù)據(jù)將圖像幀分類，在該圖像數(shù)據(jù)中，已移除表現(xiàn)人物的身體的圖像中的與背景圖像相對應(yīng)的區(qū)域。提供圖像內(nèi)容的方法還可以包括:接收用于選擇多個(gè)人物中的任一個(gè)的用戶輸入；以及顯示與所選擇的人物對應(yīng)的場景。
[0018]提供圖像內(nèi)容的方法還可以包括:在表現(xiàn)包含在圖像幀中人物的面部的圖像包括背景圖像的情況下，生成已移除表現(xiàn)該人物身體的圖像中的、與背景圖像相對應(yīng)的區(qū)域的圖像；對包含在生成的圖像中的人物與已分類的組中的人物進(jìn)行比較，以確定相似度值；以及在所述相似度大于或等于預(yù)設(shè)值作為比較結(jié)果的情況下，將生成的圖像包括到已分類的組中。
[0019]在對相似度進(jìn)行比較的步驟中，可將包含在生成的圖像中的人物的圖像的顏色直方圖與已分類的組中的人物的顏色直方圖彼此進(jìn)行比較。
[0020]根據(jù)又一示例性實(shí)施方式，提供圖像內(nèi)容的方法包括:將圖像內(nèi)容劃分成多個(gè)場景，每個(gè)場景包括多個(gè)鏡頭；根據(jù)在圖像內(nèi)容中出現(xiàn)的多個(gè)人物中的每一個(gè)將每個(gè)場景的圖像幀分類；將包含在人物節(jié)點(diǎn)中的場景節(jié)點(diǎn)的特征值與人物節(jié)點(diǎn)的特征值進(jìn)行比較；以及，根據(jù)對場景節(jié)點(diǎn)的特征值與人物節(jié)點(diǎn)的特征值的相似度的比較，從人物節(jié)點(diǎn)中刪除場景節(jié)點(diǎn)。提供圖像內(nèi)容的方法還可以包括:接收用于選擇多個(gè)人物中的任一個(gè)的用戶輸入；以及顯示與所選擇的人物對應(yīng)的場景。
[0021]根據(jù)又一示例性實(shí)施方式，提供圖像內(nèi)容的設(shè)備包括:場景配置單元或電路，用于將圖像內(nèi)容劃分成多個(gè)場景，每個(gè)場景包括多個(gè)鏡頭；分類單元或電路，用于根據(jù)在圖像內(nèi)容中出現(xiàn)的多個(gè)人物中的每一個(gè)，將每個(gè)場景的圖像幀分類；輸入單元或電路，用于接收用于選擇多個(gè)人物中的任一個(gè)的用戶輸入；以及顯示單元或電路，用于顯示與選擇的人物對應(yīng)的場景。
[0022]場景配置單元或電路可以計(jì)算指示相鄰幀之間的圖像差異的圖像差異特征向量、基于計(jì)算出的圖像差異特征向量來檢測鏡頭邊界，以及根據(jù)檢測到的鏡頭邊界將圖像內(nèi)容劃分成多個(gè)鏡頭。
[0023]場景配置單元或電路可以使用機(jī)器學(xué)習(xí)算法檢測鏡頭邊界。
[0024]場景配置單元或電路可以對于多個(gè)鏡頭中的每一個(gè)，生成鏡頭特征向量，其中鏡頭特征向量包括指示多個(gè)鏡頭中的每一個(gè)的開始時(shí)間信息的鏡頭開始時(shí)間信息、包含在一個(gè)鏡頭中的多個(gè)圖像幀的圖像特征值、以及包含在一個(gè)鏡頭中的多個(gè)圖像幀的音頻特征值中的至少一個(gè)；以及基于生成的鏡頭特征向量之間的相似度，將多個(gè)鏡頭分組到一個(gè)場景中。
[0025]場景配置單元或電路可以在第一鏡頭特征向量和第η鏡頭特征向量之間的相似度大于或等于預(yù)設(shè)值的情況下，將從第一鏡頭到第η鏡頭的所有鏡頭分組到相同場景中。
[0026]分類單元或電路可以包括:身體識別單元或電路，用于在從第一場景到第二場景產(chǎn)生場景變化時(shí)，根據(jù)包含在第一場景中的圖像幀的身體信息將圖像幀分類；面部識別單元或電路，用于分析分類后的圖像幀的面部信息以提取面部特征信息；ID分配單元或電路，用于基于提取的面部特征信息向分類后的圖像幀分配ID ;以及圖像段信息生成單元或電路，用于生成分配有第一場景的ID的圖像段信息。
[0027]面部特征信息可以包括至少一個(gè)面部特征向量。
【附圖說明】
[0028]從下文結(jié)合以下附圖進(jìn)行的詳細(xì)描述中，示例性實(shí)施方式的以上和/或其它方面將變得更顯而易見，在附圖中相同的附圖標(biāo)號指代相同的元件，其中，
[0029]圖1是示出根據(jù)一個(gè)示例性實(shí)施方式的提供圖像內(nèi)容的設(shè)備的配置的框圖；
[0030]圖2是示出根據(jù)另一示例性實(shí)施方式的提供圖像內(nèi)容的設(shè)備的配置的框圖；
[0031]圖3A至圖3C是示出作為圖像分析結(jié)果所生成的向量信息的視圖；
[0032]圖4是示出根據(jù)一個(gè)示例性實(shí)施方式的鏡頭特征向量的結(jié)構(gòu)的視圖；
[0033]圖5至圖8是示出根據(jù)一個(gè)示例性實(shí)施方式的場景分組方法的視圖；
[0034]圖9是示出根據(jù)一個(gè)示例性實(shí)施方式的鏡頭差異特征向量的視圖；
[0035]圖10是示出根據(jù)另一示例性實(shí)施方式的提供圖像內(nèi)容的設(shè)備的配置的框圖；
[0036]圖11至圖13是示出根據(jù)多個(gè)示例性實(shí)施方式的用于將圖像幀分類的數(shù)據(jù)結(jié)構(gòu)的視圖；
[0037]圖14至圖16是示出根據(jù)一個(gè)示例性實(shí)施方式的圖像幀分類處理的視圖；
[0038]圖17是示出根據(jù)又一示例性實(shí)施方式的提供圖像內(nèi)容的設(shè)備的配置的框圖；
[0039]圖18是示出人物位置估計(jì)范圍隨人物的姿勢變化的視圖；
[0040]圖19是示出根據(jù)又一示例性實(shí)施方式的提供圖像內(nèi)容的設(shè)備的配置的框圖；
[0041]圖20和圖21是示出根據(jù)多個(gè)示例性實(shí)施方式的檢驗(yàn)方法的視圖；
[0042]圖22至圖26是根據(jù)多個(gè)示例性實(shí)施方式的提供圖像內(nèi)容的方法的流程圖；
[0043]圖27A和圖27B是示出根據(jù)一個(gè)示例性實(shí)施方式的人物選擇屏幕和設(shè)定屏幕的視圖；
[0044]圖28是示出根據(jù)另一示例性實(shí)施方式的人物選擇屏幕的視圖；
[0045]圖29A和圖29B是示出根據(jù)又一示例性實(shí)施方式的人物選擇屏幕的視圖；
[0046]圖30是根據(jù)一個(gè)示例性實(shí)施方式的提供服務(wù)的圖像內(nèi)容的視圖；以及
[0047]圖31是根據(jù)一個(gè)示例性實(shí)施方式的再現(xiàn)圖像內(nèi)容的方法的流程圖。
【具體實(shí)施方式】
[0048]本公開的示例性實(shí)施方式可以進(jìn)行各種修改。相應(yīng)地，特定的示例性實(shí)施方式在附圖中示出并在【具體實(shí)施方式】中詳細(xì)描述。但是，應(yīng)理解，本公開不限于特定的示例性實(shí)施方式，而在不偏離本公開的范圍和精神的情況下包括所有修改、等同以及置換。此外，由于可能因?yàn)椴槐匾募?xì)節(jié)而使本公開不清楚，所以沒有詳細(xì)描述公知的功能或結(jié)構(gòu)。
[0049]“第一”、“第二”等術(shù)語可用來描述不同的部件，但是部件不受術(shù)語的限制。術(shù)語僅用于將一個(gè)部件與其它部件區(qū)分開。
[0050]在本公開中使用的術(shù)語用來描述示例性實(shí)施方式，但不旨在限制本公開的范圍。只要與上下文不沖突，單數(shù)表達(dá)也包括復(fù)數(shù)含義。在本公開中，術(shù)語“包括”和“由…組成”指示在說明書中書寫的特征、數(shù)字、步驟、操作、部件、元件或它們的組合的存在，但是不排除存在或可能添加一個(gè)或多個(gè)其它特征、數(shù)字、步驟、操作、部件、元件或它們的組合。
[0051 ] 如本領(lǐng)域技術(shù)人員應(yīng)理解的，在本公開的示例性實(shí)施方式中，“模塊”或“單元”執(zhí)行至少一個(gè)功能或操作，而且可通過硬件、軟件或他們的任何組合例如使用數(shù)字電路實(shí)現(xiàn)。另外，除了必須通過特定硬件實(shí)現(xiàn)的一個(gè)“模塊”或“單元”外，多個(gè)“模塊”或多個(gè)“單元”可以集成為至少一個(gè)模塊，并且可以通過至少一個(gè)處理器(未圖示)實(shí)現(xiàn)。
[0052]下面，參照附圖對多個(gè)示例性實(shí)施方式進(jìn)行詳細(xì)描述。
[0053]圖1是示出根據(jù)一個(gè)示例性實(shí)施方式的提供圖像內(nèi)容的設(shè)備100-1的配置的框圖。
[0054]根據(jù)多個(gè)示例性實(shí)施方式的提供圖像