專利名稱：信息處理設(shè)備以及信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備以及信息處理方法。更具體地，本發(fā)明涉及分
類和評(píng)價(jià)節(jié)目內(nèi)容、并且基于觀察視聽者的結(jié)果而檢測顯著部分(highlight) 的技術(shù)。
背景技術(shù)：
已經(jīng)進(jìn)行收視率調(diào)查而作為節(jié)目內(nèi)容的評(píng)價(jià)指標(biāo)。然而，存在這樣的問 題收視率調(diào)查耗費(fèi)用大量時(shí)間和工作量，并且，樣本數(shù)也較小。此外，基 于視聽時(shí)間而完成調(diào)查，從而幾乎不能說充分反映了節(jié)目內(nèi)容的質(zhì)量。另夕卜，
的情形中，存在這樣的問題難于從僅當(dāng)廣播節(jié)目時(shí)的收視率掌握節(jié)目內(nèi)容 的原本的收視率。因此，基于這樣的收視率而提取顯著場景(在下文中，還
稱作"顯著部分")是不適當(dāng)?shù)摹?br>
為了彌補(bǔ)這種問題，公開了用以通過評(píng)價(jià)節(jié)目內(nèi)容的視頻自身而檢測顯 著部分的技術(shù)(例如，參見專利文件1 )。日本專利申請(qǐng)公開號(hào)2007-28869
發(fā)明內(nèi)容
然而，根據(jù)專利文件1中公開的技術(shù)，存在這樣的問題因?yàn)橥ㄟ^評(píng)價(jià) 節(jié)目內(nèi)容自身而提取顯著部分，所以，不能提取反映視聽者對(duì)節(jié)目的評(píng)價(jià)的 顯著部分。
就上述問題而言，已經(jīng)作出了本發(fā)明，并且，期望提供能夠提取反映視 聽者對(duì)節(jié)目的評(píng)價(jià)的顯著部分的技術(shù)。
根據(jù)本發(fā)明的實(shí)施例，提供了信息處理設(shè)備，包括視聽者信息輸入單 元，其通過觀看在監(jiān)視器上顯示的視頻或者收聽從揚(yáng)聲器輸出的聲音，而接 收關(guān)于視聽再現(xiàn)的節(jié)目內(nèi)容的視聽者的信息的輸入作為視聽者信息；高潮程 度獲取單元，其基于所述視聽者信息而獲取所述視聽者的高潮程度，其中，
5所述視聽者信息輸入單元接收了所述視聽者信息的輸入；以及顯著部分提取
單元，其基于由所述高潮程度獲取單元獲取的高潮程度而提取所述節(jié)目內(nèi)容 的顯著部分。
依據(jù)上述配置，根據(jù)視聽者的高潮程度而提取節(jié)目內(nèi)容的顯著部分成為 可能。因此，可以提取反映視聽者對(duì)節(jié)目的評(píng)價(jià)的顯著部分。
根據(jù)上述本發(fā)明的實(shí)施例，可以提供能夠提取反映視聽者對(duì)節(jié)目的評(píng)價(jià) 的顯著部分的技術(shù)。
圖1是示出根據(jù)本實(shí)施例的系統(tǒng)配置的圖示；
圖2是示出根據(jù)本實(shí)施例的信息處理設(shè)備的功能配置的圖示；
圖3是說明根據(jù)本實(shí)施例的用于計(jì)算高潮程度的算法的圖示；
圖4是示出根據(jù)本實(shí)施例的由信息處理設(shè)備執(zhí)行的處理流程的流程圖;
以及
圖5是示出根據(jù)本實(shí)施例的系統(tǒng)的修改的圖示。
具體實(shí)施例方式
此后，將參考附圖而詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在此說明書 和附圖中，用相同的標(biāo)號(hào)表示具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)單元，并 且，省略對(duì)這些結(jié)構(gòu)單元的重復(fù)說明。
根據(jù)本實(shí)施例的系統(tǒng)配置》
首先，將描述才艮據(jù)本實(shí)施例的系統(tǒng)配置，以幫助理解本實(shí)施例。 在本實(shí)施例中，通過不僅獲取節(jié)目內(nèi)容的視聽時(shí)間、還獲取包括視聽者 的情緒和屬性(例如，年齡和性別)的信息，連續(xù)地執(zhí)行節(jié)目內(nèi)容的"分類"、 "評(píng)價(jià)，，以及"顯著部分檢測"。此外，基于其結(jié)果，提供用來之后幫助由視 聽者進(jìn)行節(jié)目內(nèi)容選擇的系統(tǒng)。
圖1是示出根據(jù)本實(shí)施例的系統(tǒng)配置的圖示。如圖1中所示，假設(shè)視聽 者30出現(xiàn)，并且通過例如電視機(jī)的監(jiān)視器19來視聽節(jié)目內(nèi)容。假設(shè)監(jiān)視器 19(例如，在監(jiān)視器19的上部)包含嵌入其中的相機(jī)11和麥克風(fēng)12,或者 包含相機(jī)11和麥克風(fēng)12作為選項(xiàng)。記錄/再現(xiàn)設(shè)備40出現(xiàn)在系統(tǒng)內(nèi)部。假 設(shè)記錄/再現(xiàn)設(shè)備被包含在監(jiān)視器19中、或連接到監(jiān)視器19,并且，可以從監(jiān)視器19或記錄/再現(xiàn)設(shè)備40連接到例如家庭LAN (局域網(wǎng))和因特網(wǎng)的網(wǎng) 絡(luò)50。
假設(shè)用以管理從節(jié)目內(nèi)^4僉測的信息的服務(wù)器60存在于網(wǎng)絡(luò)50之外， 以能夠接收多條節(jié)目內(nèi)容的信息、執(zhí)行作為集合知識(shí)的信息處理，并向視聽 者30給出反饋。
在本實(shí)施例中，使用相機(jī)11和麥克風(fēng)12來識(shí)別視聽者30的情緒。相機(jī) 11拍攝視聽者30,以從其圖像檢測面部表情。此外，從視線的移動(dòng)來確定專 注度、以及節(jié)目內(nèi)容中的活動(dòng)的強(qiáng)度。此外，從相機(jī)11的圖像確定視聽者的 數(shù)量、年齡、性別等，作為視聽者30的屬性信息。
麥克風(fēng)12用于擔(dān)任幫助由相機(jī)進(jìn)行的分類/評(píng)價(jià)的角色，并且用于通過 音量來確定笑聲和哭泣聲的程度，并從音質(zhì)識(shí)別性別。此外，記錄/再現(xiàn)設(shè)備 40從網(wǎng)絡(luò)中的EPG (電子節(jié)目指南)信息或EPG鏈接信息來獲取關(guān)于節(jié)目 內(nèi)容的表演者、提供方的分類等的信息。
在分類處理中，匯總上述每條信息來分類節(jié)目內(nèi)容。在評(píng)價(jià)處理中，將 從視聽者30的面部表情、聲音等數(shù)字化表示的高潮情形、及其時(shí)間順序記錄 定義為高潮程度，并且，將基于視聽者30的實(shí)際數(shù)量和比率而被數(shù)字化表示 的節(jié)目內(nèi)容的質(zhì)量定義為節(jié)目評(píng)價(jià)。通過選擇特定較高的高潮程度的部分， 來提取顯著部分。
可以通過每個(gè)監(jiān)視器19、每個(gè)連接的記錄/再現(xiàn)設(shè)備40、或包含監(jiān)視器 19的每個(gè)系統(tǒng)來獨(dú)立地執(zhí)行分類、評(píng)價(jià)和顯著部分^r測中的每個(gè)處理。另一 方面，作為反饋，向視聽者30給出作為連接到網(wǎng)絡(luò)50的服務(wù)器60上的集合 知識(shí)被處理、并具有較高精度的信息。
利用期望在個(gè)人信息保護(hù)范圍內(nèi)開展廣告的、由節(jié)目制作方或公司利用 的集合知識(shí)，制作更加有針對(duì)性的節(jié)目并且開展廣告成為可能。
信息處理設(shè)備的功能配置》
圖2是示出根據(jù)本實(shí)施例的信息處理設(shè)備的功能配置的圖示。將參考圖 2(如果必要，則參考圖l)來描述根據(jù)本實(shí)施例的信息處理設(shè)備的功能配置。
如圖2中所示，在本實(shí)施例中，將信息處理設(shè)備10合并到記錄/再現(xiàn)設(shè) 備40中，但是，可以不將信息處理設(shè)備10合并到記錄/再現(xiàn)設(shè)備40中。信 息處理設(shè)備10至少包括視聽者輸入單元110、高潮程度獲取單元120以及顯 著部分4是耳又單元130。并且，如圖2中所示， 一見聽者信息輸入單元110可以具有視頻信息輸入單元111和聲音信息輸入單元112中的至少一個(gè)。可替換 地，可以包括閾值存儲(chǔ)單元140、節(jié)目信息存儲(chǔ)單元150、分類信息獲取單元 160、評(píng)價(jià)信息獲取單元170、或傳送單元180。
相機(jī)11拍攝通過觀看在監(jiān)視器19上顯示的視頻或收聽從揚(yáng)聲器(未示 出)輸出的聲音而視聽所再現(xiàn)的節(jié)目內(nèi)容192的視聽者30，以獲取視聽者30 的視頻信息。如圖1中所示，可以將相機(jī)11包含在監(jiān)視器19中、或安裝在 監(jiān)視器19附近。通過再現(xiàn)單元193而再現(xiàn)節(jié)目內(nèi)容192。通過監(jiān)視器控制單 元191而控制監(jiān)視器19。
麥克風(fēng)12獲取由視聽者30發(fā)出的聲音，以獲取視聽者30的聲音信息。 如圖1中所示，麥克風(fēng)12可以包含在監(jiān)視器19中或安裝在監(jiān)視器19附近。
視聽者信息輸入單元110接收關(guān)于通過觀看在監(jiān)視器19上顯示的視頻或 收聽從揚(yáng)聲器(未示出)輸出的聲音而視聽再現(xiàn)的節(jié)目內(nèi)容的視聽者30的信 息的輸入，作為視聽者信息。
視頻信息輸入單元111經(jīng)由相機(jī)11接收一見聽者30的視頻信息的輸入， 作為視聽者信息。例如，由USB (通用串行總線)接口等組成視頻信息輸入 單元111。
聲音信息輸入單元112經(jīng)由麥克風(fēng)12接收視聽者30的聲音信息輸入， 作為視聽者信息。例如，由USB (通用串行總線)接口等組成聲音信息輸入' 單元112。
高潮程度獲取單元120基于被視聽者信息輸入單元110接收其輸入的視 聽者信息，獲取視聽者30的高潮程度。
如果視聽者信息輸入單元110具有視頻信息輸入單元111 ，則高潮程度獲 取單元120獲取下面描述的顯示視聽者30的面部表情的值和比率、以及視聽 者30的數(shù)量中的至少一個(gè)，作為高潮程度。
高潮程度獲取單元120基于被視頻信息輸入單元111接收其輸入的視頻 信息，獲取顯示視聽者30的面部表情的值。不具體限制用以獲取顯示視聽者 30的面部表情的值的技術(shù)。例如，在"索尼公司主頁，[online],[在2008年6 月 11 日 檢 索 ], Internet <URL:
http:〃www.sony.jp/products/Consumer/DSC/DSC-T200/featl.html〉"描述了這樣 的技術(shù)。
高潮程度獲取單元120還基于被視頻信息輸入單元111接收其輸入的視頻信息，獲取視聽者30的視線在監(jiān)視器19的^L頻顯示面上的時(shí)間對(duì)視聽者 30視聽節(jié)目內(nèi)容的時(shí)間的比率，作為高潮程度。不具體限制用以檢測視聽者 30的視線的技術(shù)。例如，在"Prof. Kenzo Kurihara et al., [online],[在2008年 6月11曰4全索],Internet <URL: http:〃joint.idec.orjp/koryu/020426—2.php>"中
描述了這樣的技術(shù)。
高潮程度獲取單元120還基于被視頻信息輸入單元111接收其輸入的視 頻信息，獲取視聽者的數(shù)量而作為高潮程度。
如果視聽者信息輸入單元110具有聲音信息輸入單元112,則高潮程度獲 取單元120獲取下面描述的視聽者30的音量和視聽者30的音高中的至少一 個(gè)而作為高潮程度。
高潮程度獲取單元120還基于被聲音信息輸入單元112接收其輸入的聲 音信息，獲取視聽者30的音量而作為高潮程度。
高潮程度獲取單元120還基于被聲音信息輸入單元112接收其輸入的聲 音信息，獲取視聽者30的音高而作為高潮程度。
如果獲取了多個(gè)高潮程度，則高潮程度獲取單元120可以獲取通過將多 個(gè)所獲取的高潮程度相乘而獲得的值，作為新的高潮程度。隨后，將參考圖 3而描述用以計(jì)算高潮程度的算法的詳細(xì)描述。順便提及，高潮程度可以是 通過高潮程度獲取單元120獲取的視聽者30的數(shù)量、音量、音高等其自身、 或者是通過將視聽者30的數(shù)量、音量或音高劃分為多級(jí)而獲得的。
高潮程度獲取單元120由CPU (中央處理單元)等組成。在此情況下， 通過存儲(chǔ)在ROM (只讀存儲(chǔ)器)等中被展開到RAM (隨機(jī)存取存儲(chǔ)器)等 中的程序，來實(shí)現(xiàn)高潮程度獲取單元120的功能，并且，由CPU執(zhí)行所述展 開到RAM中的程序。例如，高潮程度獲取單元120還可以由專用硬件等組 成。
閾值存儲(chǔ)單元140用于存儲(chǔ)閾值。例如，閾值存儲(chǔ)單元140由RAM、 HDD (硬盤驅(qū)動(dòng)器)等組成。
節(jié)目信息存儲(chǔ)單元150用于存儲(chǔ)隨后描述的諸如顯著部分信息、分類信 息和評(píng)價(jià)信息等的節(jié)目信息。例如，節(jié)目信息存儲(chǔ)單元150由RAM、 HDD
等組成。
顯著部分提取單元130用于基于由高潮程度獲取單元120獲取的高潮程 度而^是取節(jié)目內(nèi)容的顯著部分。此外，顯著部分提取單元130可以比較由高潮程度獲取單元120獲取的 高潮程度與存儲(chǔ)在閾值存儲(chǔ)單元140中的閾值。在此情況下，顯著部分提取 單元130將把高潮程度超過閾值或高潮程度降到閾值之下的時(shí)間、以及節(jié)目 識(shí)別信息相關(guān)聯(lián)的信息存儲(chǔ)節(jié)目信息存儲(chǔ)單元150中作為顯著部分信息，其 中，該節(jié)目識(shí)別信息被附加于節(jié)目內(nèi)容，并且使得節(jié)目內(nèi)容192可被識(shí)別。 這里，例如，可以使得從使再現(xiàn)的節(jié)目內(nèi)容192可被識(shí)別的節(jié)目識(shí)別信息 再現(xiàn)單元193通知節(jié)目識(shí)別信息。用于通知的時(shí)刻可以是例如當(dāng)再現(xiàn)單元193 開始再現(xiàn)節(jié)目內(nèi)容192時(shí)，但是不具體限制所述時(shí)刻。例如，所述時(shí)間是從 節(jié)目內(nèi)容的起始起所經(jīng)過的再現(xiàn)時(shí)間，并且，如果所述時(shí)間繼續(xù)了預(yù)定時(shí)間， 則可以將把其起始時(shí)間和結(jié)束時(shí)間、以及節(jié)目識(shí)別信息的信息相關(guān)聯(lián)的信息 存儲(chǔ)在節(jié)目信息存儲(chǔ)單元150中而作為顯著部分信息。以此方式，^是fl了節(jié) 目內(nèi)容的顯著部分。
顯著部分提取單元130可以選擇由高潮程度獲取單元120獲取的新的高 潮程度用于比較。
顯著部分提取單元130由CPU等組成。在此情況下，通過存儲(chǔ)在ROM 等中的^M開到RAM等中的程序來實(shí)現(xiàn)顯著部分提取的功能，并且由CPU 執(zhí)行在RAM中展開的程序。例如，顯著部分提取單元130還可以由專用硬 件等組成。
如果視聽者信息輸入單元IIO具有視頻信息輸入單元111，則分類信息獲 取單元160用于基于視頻信息而獲取節(jié)目內(nèi)容中活動(dòng)的強(qiáng)度、以及視聽者30 的屬性信息(指示數(shù)量、年齡、性別等的信息)中的至少一個(gè)。于是，分類 信息獲取單元160將把所獲取的信息與節(jié)目識(shí)別信息相關(guān)聯(lián)的信息存儲(chǔ)在節(jié) 目信息存儲(chǔ)單元150中作為分類信息，其中，該節(jié)目識(shí)別信息被附加于節(jié)目 內(nèi)容，并且使得節(jié)目內(nèi)容可被識(shí)別。例如，可以當(dāng)視聽者30的視線在監(jiān)視器 19的范圍內(nèi)移動(dòng)時(shí)，根據(jù)在測量其移動(dòng)速度之后的移動(dòng)速度的大小，而確定 節(jié)目內(nèi)容中的活動(dòng)強(qiáng)度。例如，可以不同于與^L聽者30的事先的注冊(cè)信息匹 配，^U人碎見頻確定年齡和性別。
不具體限制用以檢測視聽者30的年齡的技術(shù)。例如，在"索尼公司主頁, [online],[在 2008 年 6 月 11 日才企索],Internet <URL: http:〃www.sonyjp/products/Consumer/DSC/DSC-T300/featl.html〉"描述了這樣 的技術(shù)。不具體限制用以檢測視聽者30的性別的技術(shù)。例如，在"[online],[在 2008 年 6 月 11 日 檢 索 ]， Internet <URL: http:〃www.jst.go.jp/chiiki/kesshu/seika/c-hl 1-gifb/tech/ct-hll-gifU-2.html>，，才笛述 了這樣的技術(shù)。在此網(wǎng)站，還描述了用以檢測視聽者30的年齡的技術(shù)。
例^口, 在"Softopia Japan Foundation homepage, [online],[在2008年6月 11日4全索]，Internet <URL:http:〃www.softopia.or.jp/rd/hoip.html>"也4苗述了》匕 技術(shù)。在此網(wǎng)站，還描述了用以檢測視聽者30的年齡和視線的技術(shù)。
如果^L聽者信息輸入單元110具有聲音信息輸入單元112,則分類信息獲 取單元160可以用于基于聲音信息而獲取關(guān)于視聽者30的性別的信息。在此 情況下，分類信息獲取單元160將把所獲取的信息與節(jié)目識(shí)別信息相關(guān)聯(lián)的 信息存儲(chǔ)在節(jié)目信息存儲(chǔ)單元150中作為分類信息，其中，該節(jié)目識(shí)別信息 被附加于節(jié)目內(nèi)容，并且使得節(jié)目內(nèi)容可被識(shí)別。因此，麥克風(fēng)12用于擔(dān)任 幫助由相機(jī)ll進(jìn)行的分類/評(píng)價(jià)的角色，并且，用于當(dāng)視聽者30笑時(shí)確定笑 到什么程度、以及當(dāng)視聽者30顯示出哭泣面部時(shí)確定視聽者30是哭泣還是 鳴咽。麥克風(fēng)12還用于確定性別等。
分類信息獲取單元160由CPU等組成。在此情況下，由存儲(chǔ)在ROM等 中的被展開到RAM等中的程序來實(shí)現(xiàn)分類信息獲取單元160的功能，并且 由CPU執(zhí)行展開在RAM中的程序。例如，分類信息獲取單元160還可以由 專用硬件等組成。
分類信息獲取單元160通過聯(lián)合每條上述信息而對(duì)節(jié)目內(nèi)容192分類。 例如，分類信息獲取單元160可以依據(jù)"小于十幾歲"、"男性"、"視線頻繁 移動(dòng)"、"笑聲突發(fā)"、以及"動(dòng)畫X"的信息，將節(jié)目內(nèi)容192 "動(dòng)畫X"分 類到"具有比十幾歲小的男孩所喜愛的情節(jié)的滑稽動(dòng)畫"中。
例如，分類信息獲取單元160還可以依據(jù)"三十多歲"、"女性"、"視線 的不頻繁移動(dòng)"、"專注的"、以及"戲劇"的信息，將節(jié)目內(nèi)容192 "戲劇Y，， 分類到"受三十多歲女性喜愛的平靜的戲劇"中。
評(píng)價(jià)信息獲取單元170用于將把由高潮程度獲取單元120獲取的高潮程 度與時(shí)間和節(jié)目識(shí)別信息相關(guān)聯(lián)的信息存儲(chǔ)在節(jié)目信息存儲(chǔ)單元150中作為 評(píng)價(jià)信息，其中，所述節(jié)目識(shí)別信息被附加于節(jié)目內(nèi)容，并且使得節(jié)目內(nèi)容 可4皮識(shí)別。
例如，評(píng)價(jià)信息獲取單元170將從微笑的面部、笑聲、哭泣的面部、哭
ii泣聲音或嚴(yán)肅的面部、以及它們的時(shí)間順序記錄而被數(shù)字化表示的高潮情況 定義為"高潮程度"。評(píng)價(jià)信息獲取單元170將依據(jù)"高潮程度"的時(shí)間平均
以及與正在視聽的視聽者30的總數(shù)和比率相關(guān)的信息而被數(shù)字化表示的節(jié) 目內(nèi)容192的質(zhì)量定義為"節(jié)目評(píng)價(jià)"。當(dāng)選擇節(jié)目內(nèi)容192時(shí)，視聽者30 使用該"節(jié)目評(píng)價(jià)"。
評(píng)價(jià)信息獲取單元170由CPU等組成。在此情況下，通過存儲(chǔ)在ROM 等中一t艮開到RAM等中的程序?qū)崿F(xiàn)評(píng)價(jià)信息獲取單元170的功能，并且所 述展開在RAM中的程序由CPU執(zhí)行。例如，評(píng)價(jià)信息獲取單元170還可以 由專用硬件等組成。
可以通過每個(gè)監(jiān)視器19和每個(gè)連接的記錄/再現(xiàn)設(shè)備40來分別操作由顯 著部分提取單元130、分類信息獲取單元160以及評(píng)價(jià)信息獲取單元170存 儲(chǔ)在節(jié)目信息存儲(chǔ)單元150中的信息(顯著部分信息、分類信息以及評(píng)價(jià)信 息)。另 一方面，由連接到網(wǎng)絡(luò)50的服務(wù)器60作為集合知識(shí)來處理上述信息。 因此，可以向視聽者30給出更加精確的信息而作為反饋。關(guān)于集合知識(shí)的信 息還可以用于個(gè)人信息保護(hù)范圍內(nèi)的節(jié)目制作和廣告。
傳送單元180用于經(jīng)由網(wǎng)絡(luò)50向服務(wù)器60傳送存儲(chǔ)在節(jié)目信息存儲(chǔ)單 元150中的信息。例如，傳送單元180由通信-接口等組成。此外，傳送單元 180可以用于從網(wǎng)絡(luò)50中的服務(wù)器60獲取通常用在TV中的EPG信息或EPG 鏈接信息，并且獲取關(guān)于節(jié)目內(nèi)容192的演員、由提供方創(chuàng)建的分類等的信 息。
<<用于計(jì)算高潮程度的算法>> 將描述根據(jù)本實(shí)施例的用于計(jì)算高潮程度的算法。
圖3是說明根據(jù)本實(shí)施例的用于計(jì)算高潮程度的算法的圖示。將參考圖 3(如果必要?jiǎng)t還參考其它附圖)描述用于計(jì)算高潮程度的算法示例。 這里，將用以計(jì)算高潮程度的每個(gè)參數(shù)設(shè)置如下 視聽者30的視線在監(jiān)視器19內(nèi)的時(shí)間比率e[%]
微笑面部級(jí)別s(-5:大哭，-3:哭泣面部，0:嚴(yán)肅面部，+3:微笑面 部，+5:大笑)
^L聽者的音量級(jí)別v (0:無聲，-5:大聲) 高潮量=sxvxe (單位時(shí)間平均)
如圖3中所示的曲線圖，々￡設(shè)對(duì)于每個(gè)高潮量而將高潮程度在-3 (大哭)與+3 (大笑)之間分級(jí)。
例如，可以考慮將-3的高潮程度設(shè)置為頂點(diǎn)而將+3的高潮程度設(shè)置為大 笑、以便檢測兩者為顯著部分場景的情況。此外，通過使用高潮量的相對(duì)值 而代替絕對(duì)值，還可以從其高潮量的絕對(duì)值較小的內(nèi)容檢測顯著部分。
<<由信息處理設(shè)備10執(zhí)行的處理流程》
圖4是示出根據(jù)本實(shí)施例的由信息處理設(shè)備執(zhí)行的處理流程的流程圖。 將參考圖4 (如果必要?jiǎng)t還參考其它附圖)描述根據(jù)本實(shí)施例由信息處理設(shè) 備執(zhí)行的處理。
視頻信息輸入單元111經(jīng)由相機(jī)11而接收視聽者30的視頻信息的輸入， 作為視聽者信息?；诒灰曨l信息輸入單元111接收其輸入的視頻信息，高 潮程度獲取單元120檢測視聽者30的面部位置(步驟S101 )。 一見頻信息輸入 單元111還檢測視聽者30面部的數(shù)量作為視聽者30的數(shù)量(步驟S102 )。
隨后，執(zhí)行步驟S103至步驟S106的重復(fù)處理。作為面部纟企測處理(步 驟S104)的示例，分類信息獲取單元160檢測視聽者30的年齡(步驟S1041 )。 此外，作為面部檢測處理(步驟S104)的示例，分類信息獲取單元160檢測 視聽者30的性別(步驟S1042)。此外，作為面部4企測處理(步驟S104)的 示例，高潮程度獲取單元120檢測視聽者30的面部表情(步驟S1043 )。將 檢測結(jié)果存儲(chǔ)在存儲(chǔ)器(節(jié)目信息存儲(chǔ)單元150)中(步驟S105)。
聲音信息輸入單元112經(jīng)由麥克風(fēng)12接收視聽者30的聲音信息而作為 視聽者信息。作為聲音檢測處理(步驟S107)的示例，高潮程度獲取單元120 基于被聲音信息輸入單元112接收其輸入的聲音信息，檢測視聽者30的聲量 (音量)(步驟S1071)。此外，作為聲音檢測處理(步驟S107)的示例，高 潮程度獲取單元120基于被聲音信息輸入單元112接收其輸入的聲音信息， 檢測視聽者30的聲高(音高)(步驟S1072 )。將檢測結(jié)果存儲(chǔ)在存儲(chǔ)器(節(jié) 目信息存儲(chǔ)單元150)中(步驟S108)。
高潮程度獲取單元120獲取音量、音高、指示視聽者30的面部表情、數(shù) 量等的值，作為高潮程度(步驟S109)。將獲取結(jié)果存儲(chǔ)在存儲(chǔ)器(節(jié)目信 息存儲(chǔ)單元150)中(步驟SllO)。
基于由高潮程度獲取單元120獲取的高潮程度，顯著部分提取單元130 提取節(jié)目內(nèi)容192的顯著部分(步驟Slll )。顯著部分提取單元130將提取 結(jié)果存儲(chǔ)在存儲(chǔ)器(節(jié)目信息存儲(chǔ)單元150)中(步驟S112)。當(dāng)經(jīng)過預(yù)定時(shí)等待直到經(jīng)過預(yù)定時(shí)間為止，對(duì)于由相機(jī)11拍攝的視頻的每幀而重復(fù)執(zhí)行步
驟S101至步驟S112的處理。
根據(jù)本實(shí)施例的系統(tǒng)的修改》
圖5是示出根據(jù)本實(shí)施例的系統(tǒng)的修改的圖示。將參考圖5 (如果必要 則還參考其它附圖)描述根據(jù)本實(shí)施例的系統(tǒng)的修改。
在圖5中的示例中，在監(jiān)視器19中提供兩個(gè)單元的相機(jī)11以及兩個(gè)單 元的麥克風(fēng)12。通過以此方式提供多個(gè)相機(jī)11,認(rèn)為視聽者30的視線位置 變得更易檢測。此外，通過提供多個(gè)麥克風(fēng)12,認(rèn)為視聽者30的聲音變得 更易檢測。
此外，當(dāng)使用一個(gè)單元的相機(jī)11時(shí)，由于面部的角度或頭發(fā)的影響而導(dǎo) 致對(duì)面部或視線的檢測會(huì)變得較不精確。通過使用兩個(gè)或更多單元的相機(jī)11 并且平均其結(jié)果，變化很少并且更加精確的檢測變?yōu)榭赡堋?br>
當(dāng)存在多個(gè)相機(jī)ll時(shí)，存在多個(gè)視頻信息輸入單元111,從而經(jīng)由多個(gè) 相機(jī)11的每一個(gè)而接收視聽者30的視頻信息的輸入。當(dāng)存在多個(gè)麥克風(fēng)12 時(shí)，存在多個(gè)聲音信息輸入單元12,從而經(jīng)由多個(gè)麥克風(fēng)12的每一個(gè)而接 收視聽者30的聲音信息的輸入。
<<通過本實(shí)施例實(shí)現(xiàn)的效果>>
在相關(guān)技術(shù)中，已經(jīng)參考節(jié)目內(nèi)容的視聽時(shí)間而在收視率的基礎(chǔ)上評(píng)價(jià) 節(jié)目內(nèi)容。根據(jù)本實(shí)施例，另一方面，分類并評(píng)價(jià)節(jié)目內(nèi)容，并且通過識(shí)別 視聽者的情緒而檢測其顯著部分。因此，本實(shí)施例實(shí)現(xiàn)了下面所示的優(yōu)越效 果。
1 )視聽者可以在基于包括視聽者自己的多個(gè)視聽者的高潮情況的信息的 基礎(chǔ)上選擇節(jié)目內(nèi)容。
2) 可以基于視聽者的屬性(年齡、性別)以及節(jié)目內(nèi)容的屬性而選擇適 合視聽者偏好的節(jié)目內(nèi)容。除了由視聽者自己所做的選擇之外，這里所述選 擇包括由系統(tǒng)對(duì)節(jié)目內(nèi)容的推薦。
3) 當(dāng)期望視聽節(jié)目內(nèi)容但不能預(yù)留足夠時(shí)間、或者期望在短時(shí)間內(nèi) /斤 節(jié)目內(nèi)容時(shí)，可以通過選擇基于高潮情況的顯著部分而視聽節(jié)目內(nèi)容。此外， 可以將對(duì)僅顯著部分的提取留給系統(tǒng)，隨后，作為內(nèi)容序列提供所述顯著部 分。使用此功能，可以縮短視聽者的視聽時(shí)間。4) 通過在網(wǎng)絡(luò)中的服務(wù)器60上執(zhí)行對(duì)來自許多視聽者的信息的信息處 理，將許多視聽者的偏好合并為高潮信息而作為集合知識(shí)。此外，通過使用 所述高潮信息，視聽者可以以更高的精度選擇適合視聽者的偏好的節(jié)目內(nèi)容。
5) 可以通過由節(jié)目內(nèi)容的制作方使用的視聽者的屬性(年齡、性別)信 息，而制作針對(duì)目標(biāo)視聽者的更加適當(dāng)?shù)墓?jié)目內(nèi)容。
6) 通過將視聽者的屬性(年齡、性別)信息用于廣告，而開展更加有針 對(duì)性的廣告(CM)。
7) 由于僅從由相機(jī)獲取的視頻確定視聽者的屬性(年齡、性別)信息， 所以不需要由視聽者對(duì)面部信息的事先注冊(cè)等。
本申請(qǐng)包括相關(guān)于2008年7月1日在日本專利局提交的日本在先專利申 請(qǐng)JP 2008-172594中/>開的主旨，將其全部內(nèi)容合并在此作為參考。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，在各種修改、結(jié)合、子結(jié)合以及改變?cè)谒?附權(quán)利要求書或其等價(jià)物的范圍內(nèi)的情況下，可以取決于設(shè)計(jì)需求和其它因 素而發(fā)生各種修改、結(jié)合、子結(jié)合以及改變。
權(quán)利要求
1.一種信息處理設(shè)備，包括視聽者信息輸入單元，其通過觀看在監(jiān)視器上顯示的視頻或者收聽從揚(yáng)聲器輸出的聲音，而接收與視聽再現(xiàn)的節(jié)目內(nèi)容的視聽者有關(guān)的信息的輸入作為視聽者信息；高潮程度獲取單元，其基于所述視聽者信息而獲取所述視聽者的高潮程度，其中，所述視聽者信息輸入單元接收了所述視聽者信息的輸入；以及顯著部分提取單元，其基于由所述高潮程度獲取單元獲取的高潮程度而提取所述節(jié)目內(nèi)容的顯著部分。
2. 如權(quán)利要求1所述的信息處理設(shè)備，其中，所述視聽者信息輸入單元 包括下列至少一個(gè)視頻信息輸入單元，其經(jīng)由相機(jī)接收所述視聽者的視頻信息的輸入，作 為所述一見聽者信息；以及聲音信息輸入單元，其經(jīng)由麥克風(fēng)接收所述視聽者的聲音信息的輸入， 作為所述視聽者信息。
3. 如權(quán)利要求2所述的信息處理設(shè)備，還包括存儲(chǔ)閾值的閾值存儲(chǔ)單元，其中，所述顯著部分提取單元通過下列步驟 而提取所述節(jié)目內(nèi)容的顯著部分比較由所述高潮程度獲取單元獲取的高潮 程度與存儲(chǔ)在所述閾值存儲(chǔ)單元中的閾值；并且，將把高潮程度超過所述閾 值的時(shí)間或高潮程度降到閾值之下的時(shí)間、與節(jié)目識(shí)別信息相關(guān)聯(lián)的信息存 儲(chǔ)在節(jié)目信息存儲(chǔ)單元中作為顯著部分信息，其中，該節(jié)目識(shí)別信息被附加 到所述節(jié)目內(nèi)容，并使得所述節(jié)目內(nèi)容可被識(shí)別。
4. 如權(quán)利要求3所述的信息處理設(shè)備，其中，當(dāng)所述視聽者信息輸入單 元具有所述視頻信息輸入單元時(shí)，所述高潮獲取單元基于所述視頻信息而獲 取下列中的至少一個(gè)，作為所述高潮程度指示所述^L聽者的面部表情的值；所述視聽者的視線在所述監(jiān)視器的視頻顯示面上的時(shí)間、與所述視聽者 視聽所述節(jié)目內(nèi)容的時(shí)間的比率；以及 所述視聽者的數(shù)量。
5. 如權(quán)利要求3所述的信息處理設(shè)備，其中，當(dāng)所述視聽者信息輸入單元具有所述聲音信息輸入單元時(shí)，所述高潮程度獲取單元基于所述聲音信息而獲取下列至少一個(gè)，作為高潮程度 所述^L聽者的音量，以及 所述視聽者的音高。
6. 如權(quán)利要求3所述的信息處理設(shè)備，其中，當(dāng)獲取了多個(gè)高潮程度時(shí)，所述高潮程度獲取單元獲取通過將所述多個(gè) 高潮程度相乘而得到的值，作為新的高潮程度，以及所述顯著部分提取單元將由所述高潮程度獲:f又單元獲取的所述新高潮程 度設(shè)置為所述比較的對(duì)象。
7. 如權(quán)利要求3所述的信息處理設(shè)備，還包括分類信息獲取單元，其當(dāng)所述視聽者信息輸入單元具有所述視頻信息輸 入單元時(shí)，基于視頻信息而獲取所述節(jié)目內(nèi)容中的活動(dòng)強(qiáng)度、視聽者的數(shù)量、 以及指示年齡和性別的信息中的至少一個(gè)，并且，將把所獲取的信息與節(jié)目 識(shí)別信息相關(guān)聯(lián)的信息存儲(chǔ)在所述節(jié)目信息存儲(chǔ)單元中作為分類信息，其中， 所述節(jié)目識(shí)別信息被附加于所述節(jié)目內(nèi)容，并使得所述節(jié)目內(nèi)容可被識(shí)別。
8. 如權(quán)利要求3所述的信息處理設(shè)備，還包括分類信息獲取單元，其當(dāng)所述視聽者信息輸入單元具有所述聲音信息輸 入單元時(shí)，基于所述聲音信息而獲取指示所述視聽者的性別的信息，并且， 將把所獲取的信息與節(jié)目識(shí)別信息相關(guān)聯(lián)的信息存儲(chǔ)在所述節(jié)目信息存儲(chǔ)單 元中作為分類信息，其中，所述節(jié)目識(shí)別信息被附加于所述節(jié)目內(nèi)容，并使 得所述節(jié)目內(nèi)容可被識(shí)別。
9. 如權(quán)利要求3所述的信息處理設(shè)備，還包括評(píng)價(jià)信息獲取單元，其將把由所述高潮程度獲取單元獲取的高潮程度、 與所述時(shí)間和所述節(jié)目識(shí)別信息相關(guān)聯(lián)的信息存儲(chǔ)在所述節(jié)目信息存儲(chǔ)單元 中作為評(píng)價(jià)信息，其中，所述節(jié)目識(shí)別信息被附加于所述節(jié)目內(nèi)容，并使得 所述節(jié)目內(nèi)容可被識(shí)別。
10. 如權(quán)利要求7至9中的任一個(gè)所述的信息處理設(shè)備，還包括 傳送單元，其經(jīng)由網(wǎng)絡(luò)，將存儲(chǔ)在所述節(jié)目信息存儲(chǔ)單元中的信息傳送至服務(wù)器。
11. 如權(quán)利要求3所述的信息處理設(shè)備，其中，當(dāng)存在多個(gè)視頻信息輸入單元時(shí)，所述視頻信息輸入單元經(jīng)由多個(gè)相機(jī)的每一個(gè)接收所述視聽者的視頻信息輸入，并且，當(dāng)存在多個(gè)聲音信息輸入 單元時(shí)，所述聲音信息輸入單元經(jīng)由多個(gè)麥克風(fēng)的每一個(gè)接收所述視聽者的 聲音信息輸入。
12. —種信息處理方法，包括步驟由視聽者信息輸入單元接收與通過觀看在監(jiān)視器上顯示的視頻或收聽從視聽者信息；由高潮程度獲取單元基于所述視聽者信息而獲取所述視聽者的高潮程 度，其中所述視聽者信息輸入單元接收了所述視聽者信息的輸入；以及由顯著部分提取單元基于由所述高潮程度獲取單元獲取的高潮程度，而 提取所述節(jié)目內(nèi)容的顯著部分。
全文摘要
一種信息處理設(shè)備包括視聽者信息輸入單元，其通過觀看監(jiān)視器上顯示的視頻或者收聽從揚(yáng)聲器輸出的聲音，而接收關(guān)于視聽再現(xiàn)的節(jié)目內(nèi)容的視聽者的信息輸入而作為視聽者信息；高潮程度獲取單元，其基于被所述視聽者信息輸入單元接收其輸入的所述視聽者信息，而獲取所述視聽者的高潮程度；以及顯著部分提取單元，其基于由所述高潮程度獲取單元獲取的高潮程度而提取所述節(jié)目內(nèi)容的顯著部分。
文檔編號(hào)G10L25/90GK101621668SQ200910151270
公開日2010年1月6日 申請(qǐng)日期2009年7月1日 優(yōu)先權(quán)日2008年7月1日
發(fā)明者永井努 申請(qǐng)人:索尼株式會(huì)社