專利名稱：用于監(jiān)視來自各種源的音頻/視覺內容的方法及裝置的制作方法
技術領域：
本公開總體上涉及收視率調查，更具體地涉及用于監(jiān)視來自各個源的音頻/視覺內容的方法及裝置。
背景技術：
電視收視率及測量信息通常是通過收集來自一組統(tǒng)計選擇的家庭的觀看記錄和/ 或其他觀看信息而生成的。各個統(tǒng)計選擇的家庭通常具有數(shù)據(jù)記錄及處理單元，該數(shù)據(jù)記錄及處理單元通常被稱作“家用單元”。在具有多個觀看點(例如，多個電視系統(tǒng))的家庭中，所述數(shù)據(jù)記錄及處理功能可分布在單個家用單元和多個“點單元”(每個觀看點一個點單元)之間。家用單元(或家用單元與點單元的組合)經(jīng)常與向家用單元提供輸入或者接收來自家用單元的輸出的各種附件通信。例如，諸如檢頻器附件的源識別單元可與電視通信來感測電視調諧器的本振頻率。按照這種方式，檢頻器附件可用來基于檢測到的頻率確定當前電視調到哪個頻道。例如可提供諸如屏幕上閱讀器和發(fā)光二極管(LED)顯示閱讀器的附加源識別設備，來確定電視機是否在工作(即，是否打開)并且/或者來確定電視調到的頻道。人員計數(shù)器可置于電視機的觀看地方并與家用單元通信，由此使得家用單元能夠檢測當前正在觀看電視機上顯示的節(jié)目的人的身份和/或個數(shù)。家用單元通常處理來自附件的輸入(例如，頻道調諧信息、觀看者身份等)，來生成觀看記錄。可周期性地(例如，以固定的時間間隔)或非周期性地(例如，響應于一個或更多個預定事件，例如內存已滿或者輸入變化(例如觀看電視的人的身份的變化、頻道調諧信息的變化(即，頻道變化))等)生成觀看記錄。各觀看記錄通常包含頻道信息(例如， 頻道號和/或臺標(ID))以及顯示該頻道的時間(例如，日期和時刻)。在正顯示的節(jié)目內容與本地音頻/視頻內容遞送設備(例如，數(shù)字多功能盤(DVD)播放器(也公知為數(shù)字視頻盤播放器)、數(shù)字錄像機(DVR)、盒式錄像機(VCR)等)相關聯(lián)的情況下，觀看記錄可包括內容標識(即，節(jié)目標識)信息以及與顯示相關聯(lián)的內容的時間和方式有關的信息。觀看記錄還可包含諸如在觀看時間存在的觀看者的個數(shù)的附加信息。家用單元通常收集多個觀看記錄，并周期性地(例如，每日)將收集到的觀看記錄發(fā)送到中央局或數(shù)據(jù)處理設施以進行進一步的處理或分析。中央數(shù)據(jù)處理設施接收來自位于統(tǒng)計選擇的家庭中的一些或全部家庭中的家用單元的觀看記錄，并對這些觀看記錄進行分析來確定在所關注的地理區(qū)域或市場中的家庭、從所有參與的家庭中選出的特定家庭和 /或特定家庭組的觀看行為。另外，中央數(shù)據(jù)處理設施可生成表示與一些或全部參與家庭相關聯(lián)的觀看行為的測量統(tǒng)計和其他參數(shù)?？蓪υ摂?shù)據(jù)進行外推以反映通過統(tǒng)計選擇的家庭來建模的市場和/或區(qū)域的觀看行為。
為了從觀看記錄生成觀看行為信息，中央局或數(shù)據(jù)處理設施可將諸如節(jié)目單(例如，電視節(jié)目時間表或電視指南)的參考數(shù)據(jù)與觀看記錄進行比較。按照這種方式，中央局通過將觀看記錄中的時間及頻道信息和節(jié)目時間表中與相同的時間及頻道相關聯(lián)的節(jié)目進行對照，就可推斷顯示了哪個節(jié)目。可針對中央局接收到的各個觀看記錄來執(zhí)行這種對照處理，由此使得中央局能夠重構所選家庭顯示的節(jié)目以及節(jié)目顯示的時間。當然，前述對照處理在節(jié)目的標識通過家用單元來獲得并包含在觀看記錄中的系統(tǒng)內是不必要的。多種多樣的音頻/視頻內容遞送及發(fā)布平臺的快速發(fā)展和應用使得向中央數(shù)據(jù)收集設施提供觀看記錄或信息的家用單元任務變得復雜得多。例如，盡管可采用上述檢頻器設備來檢測在正顯示網(wǎng)絡電視廣播的點處的頻道信息(因為，在正常工作狀況下，本振頻率對應于已知的網(wǎng)絡頻道)，但是這種設備通常無法用于數(shù)字廣播系統(tǒng)。具體來說，數(shù)字廣播系統(tǒng)(例如，基于衛(wèi)星的數(shù)字電視系統(tǒng)、數(shù)字線纜系統(tǒng)等)通常在各用戶點處包括數(shù)字接收器或機頂盒宏塊。數(shù)字接收器或機頂盒對多節(jié)目數(shù)據(jù)流進行解調、將多節(jié)目數(shù)據(jù)流解析為各個音頻和/或視頻數(shù)據(jù)包，并且選擇性地對那些數(shù)據(jù)包進行處理以生成希望節(jié)目的音頻/視頻信號?？蓪⒂蓹C頂盒生成的音頻和/或視頻輸出信號直接耦合到輸出設備(例如，電視機、視頻監(jiān)視器等)的音頻/視頻輸入。因此，輸出設備調諧器(如果有的話)的本振頻率未必標識當前正顯示的頻道或節(jié)目。為了能夠在例如由監(jiān)視信息提供設備調諧的頻道不易識別或者可能不唯一對應于所顯示的節(jié)目的情況下生成有意義的觀看記錄，可以采用基于使用輔助碼和/或內容特征的測量技術?；谳o助碼的測量技術經(jīng)常按照使得觀看者不會注意到碼的方式在廣播信號中編碼并嵌入標識信息(例如，廣播/網(wǎng)絡頻道號、節(jié)目標識碼、廣播時間戳、用于識別提供并且/或者廣播內容的網(wǎng)絡和/或臺的源標識符、等等)。例如，在電視廣播中采用的廣為公知的技術包括在視頻信號的看不見的垂直空白間隔(VBI)中嵌入輔助碼。另一示例包括在伴隨廣播節(jié)目的部分音頻信號中嵌入聽不到的碼。由于所嵌入的碼例如可由電視揚聲器再現(xiàn)并且由諸如麥克風的外部傳感器非干擾地監(jiān)視，所以后一種技術尤為有利。一般來說，基于特征的節(jié)目識別技術采用當前顯示(但還未識別出)的音頻/視頻內容的一個或更多個特性來生成該內容的基本上唯一的代理(proxy)或特征(例如，一系列數(shù)字值、波形等)?？蓪⒄陲@示的內容的特征信息與和一組已知的節(jié)目相對應的一組參考特征進行比較。當發(fā)現(xiàn)基本匹配時，可相對較高可能性地識別出當前顯示的節(jié)目內容。由于目前將多個音頻/視覺內容源并入單個家庭觀看區(qū)中的趨勢，所以生成準確的監(jiān)視信息正日益引起人們的興趣。例如，典型的家用娛樂系統(tǒng)可包括帶有集成的或分立的DVR、DVD播放器、DVD記錄器、VCR、視頻游戲機等的有線電視或廣播衛(wèi)星機頂盒。為了生成準確的監(jiān)視信息，必須準確地確定音頻/視頻內容源和任何相關聯(lián)的內容標識信息。然而，單獨地監(jiān)視各個可能的音頻/視頻內容源可能導致過度復雜并且/或者笨重的監(jiān)視系統(tǒng)。另外，希望按照無需對各種可能的音頻/視頻內容源進行任何售后改進的方式來執(zhí)行監(jiān)視。


圖1是由示例多引擎測量儀監(jiān)視的示例家用娛樂系統(tǒng)的框圖。圖2是可用在圖1的示例中的示例多引擎測量儀的框圖。
圖3是可用來實現(xiàn)圖2中的示例多引擎測量儀的一組示例音頻引擎的框圖。圖4是可用來實現(xiàn)圖2中的示例多引擎測量儀的一組示例視頻引擎的框圖。圖5是可用來實現(xiàn)圖2中的示例多引擎測量儀的一組示例元數(shù)據(jù)引擎的框圖。圖6是可用來實現(xiàn)圖2中的示例多引擎測量儀的示例判定處理器的框圖。圖7A到圖7D —同形成了表示可執(zhí)行用來實現(xiàn)圖6中的示例判定處理器的示例可機讀指令的流程圖。圖8是表示可執(zhí)行用來實現(xiàn)圖3中的示例音量及靜音檢測器的示例可機讀指令的流程圖。圖9是表示可執(zhí)行用來實現(xiàn)圖3中的示例壓縮檢測器的示例可機讀指令的流程圖。圖10是表示可執(zhí)行用來實現(xiàn)圖3中的示例鈴聲檢測器的示例可機讀指令的流程圖。圖11是表示可執(zhí)行用來實現(xiàn)圖3中的示例譜形處理器的示例可機讀指令的流程圖。圖12是表示可執(zhí)行用來實現(xiàn)圖4中的示例場景變化及空白幀檢測器的示例可機讀指令的流程圖。圖13是表示可執(zhí)行用來實現(xiàn)圖4中的示例宏塊檢測器的示例可機讀指令的流程圖。圖14是表示可執(zhí)行用來實現(xiàn)圖4中的示例模板匹配器的示例可機讀指令的流程圖。圖15是可執(zhí)行圖7A到7D、圖8到圖13以及/或者圖14中的示例可機讀指令來實現(xiàn)圖2中的示例多引擎測量儀的示例計算機的框圖。圖16A到圖16F例示了可由圖6中的示例判定處理器采用的示例判定量度 (metrics)0
具體實施例方式圖1中例示了帶有內容監(jiān)視能力的示例家用娛樂系統(tǒng)100的框圖。示例家用娛樂系統(tǒng)100包括多個音頻/視覺(A/V)內容源102，所述多個音頻/視覺(A/V)內容源102 可包括游戲機104、機頂盒(STB) 106、數(shù)字視頻盤(DVD)播放器108、盒式錄像機(VCR) 110、 個人錄像機(PVR)、數(shù)字錄像機(DVR) 112等中的任一個或全部。A/V內容源102連接到A/ V切換器114的輸入以將來自所選的A/V內容源102的輸出擇路到電視機116或其他信息呈現(xiàn)設備的輸入。另外，信號分離器118將提供給電視機116的輸入擇路到多引擎測量儀 120以便于監(jiān)視提供給電視機116并由電視機116來呈現(xiàn)的A/V內容。家用娛樂系統(tǒng)100 的部件可按照包括圖1中所示的方式在內的任意的公知方式來連接。游戲機104可以是任意能夠玩視頻游戲的設備。示例游戲機104是標準的專用游戲機，例如 Microsoft 的 XBOX、Nintendo 的 GameCube、Sony 的 PlayStation 等。另一示例游戲機104是便攜式專用游戲設備，例如Nintendo的GameBoy SP或Game Boy DS、或者 Sony的PSP。其他的示例游戲機104包括個人數(shù)字助理(PDA)、個人計算機、DVD播放器、 DVR, PVR、蜂窩式/移動電話等等。
STB106可以是任意的機頂盒，例如有線電視轉換器、直播衛(wèi)星(DBS)解碼器、空中 (OTA)數(shù)字電視(DTV)接收器、VCR等。機頂盒106接收來自廣播源(未示出)的多個廣播頻道。通常，STB106基于用戶輸入選擇多個廣播頻道中的一個廣播頻道，并輸出經(jīng)由所選的廣播頻道接收到的一個或更多個信號。在模擬信號的情況下，STB106調到特定頻道來獲得在該頻道上傳送的節(jié)目。對于數(shù)字信號，STB106可調到一頻道并對特定數(shù)據(jù)包進行解碼來獲得在所選頻道上傳送的節(jié)目。例如，STB106可調到主頻道，然后通過上述解碼處理提取在主頻道內的子頻道上載送的節(jié)目。DVD播放器108可設置為例如輸出按照數(shù)字格式存儲在DVD上的A/V內容和/或按照數(shù)字格式存儲在光盤(CD)上的音頻內容。VCRllO可設置為例如輸出存儲在視頻盒上的預先記錄的A/V內容，并且/或者設置為記錄由另一 A/V內容源102提供的A/V內容用于稍后通過電視機116進行呈現(xiàn)。PVR/DVR112可設置為支持例如由STB106提供的A/V內容的時移呈現(xiàn)。PVR/DVR112通常支持包括以下內容的各種特性呈現(xiàn)實況A/V內容、延遲實況A/V內容的呈現(xiàn)、快進以及回倒A/V內容、暫停A/V內容的呈現(xiàn)、記錄A/V內容用于日后在觀看其他A/V內容的實況廣播時進行呈現(xiàn)、等等。PVR通常是DVR，其被構造為自動地適于或者自動地響應于特定家庭中的特定用戶或用戶群的觀看喜好。例如，很多DVR提供電話線連接，電話線連接使得DVR能夠與中央服務設施通信，該中央服務設施從DVR接收觀看者喜好信息并基于那些觀看者喜好將配置信息發(fā)送給DVR。DVR利用配置信息自動地將其配置為記錄符合與該DVR相關聯(lián)的一個或多個觀看者的喜好的視頻節(jié)目。TiVo 是一種廣為公知的將PVR功能提供給其他標準或常規(guī)DVR的服務。A/V切換器114被配置為將用戶選擇的A/V輸入擇路到切換器輸出。如圖1所示， 多個A/V內容源102中的每一個的輸出被擇路到A/V切換器114的相應輸入。用戶然后可采用A/V切換器114來選擇將哪個A/V內容源102連接到電視機116。A/V切換器114的輸入和輸出的格式將取決于A/V內容源102的輸出格式和電視機116的輸入格式。例如， A/V切換器114的輸入和輸出可以是合成音頻/視頻、分量音頻/視頻、RF等。另外，如本領域普通技術人員將認識到的，A/V切換器114可實現(xiàn)為獨立設備或者例如集成到家用娛樂接收器、電視機或類似設備中。來自A/V切換器114的輸出被饋送到信號分離器118，信號分離器118在A/V切換器114與電視機116之間是直接合成音頻/視頻連接的情況下例如為合成音頻/視頻分離器，或者在A/V切換器114與電視機116之間是RF同軸連接的情況下例如為單模擬y分離器。在示例家用娛樂系統(tǒng)100中，信號分離器118生成表示來自A/V切換器114的輸出的兩個信號。當然，本領域普通技術人員將容易地理解，信號分離器118可生成任意數(shù)量的信號。在所例示的示例中，將來自信號分離器118的兩個信號之一饋送到電視機116，并將另一個信號遞送到多引擎測量儀120。電視機116可以是任意類型的電視機或電視顯示設備。例如，電視機116可以是支持國家電視標準委員會(NTSC)標準、逐行倒相(PAL)標準、順序與存儲彩色電視系統(tǒng)(SECAM)標準、先進電視系統(tǒng)委員會(ATSC)開發(fā)的標準(例如，高清電視(HDTV))、數(shù)字視頻廣播(DVB)項目開發(fā)的標準、多媒體計算機系統(tǒng)等的電視機和/或顯示設備。將來自信號分離器118的兩個信號中的第二個信號(即，圖1中的連接部122載送的信號)耦合到多引擎測量儀120的輸入。多引擎測量儀120是能夠確定向電視機116 提供A/V內容的A/V內容源102的A/V內容監(jiān)視設備。這種源標識信息可經(jīng)由源標識輸出 124輸出。另外，可將多引擎測量儀120配置為確定取決于內容源的內容標識信息(也稱為調諧信息)(例如，視頻游戲標題、廣播節(jié)目標題、記錄節(jié)目標題、初始廣播時間、呈現(xiàn)時間、 使用的技巧模式(trickmode)等等)。這種內容標識信息可經(jīng)由內容信息輸出126輸出。 多引擎測量儀120基于與通過A/V切換器114輸出的A/V內容相對應的信號來確定內容標識fe息。為了便于確定源標識信息和內容標識信息，多引擎測量儀120還可設置有一個或更多個傳感器128。例如，可將一個傳感器128配置為檢測通過遠程控制設備130發(fā)送的信號。如圖1所示，示例家用娛樂系統(tǒng)100還包括遠程控制設備130用以發(fā)送可被A/V內容源102中的任一個或全部、電視機116以及/或者多引擎測量儀120接收的控制信息。本領域普通技術人員將認識到，遠程控制設備130可利用包括(但不限于)紅外(IR)發(fā)送、 射頻發(fā)送、有線/線纜連接等在內的各種技術來發(fā)送該信息。圖2例示了可用來實現(xiàn)圖1中的多引擎測量儀120的示例多引擎測量儀200的框圖。示例多引擎測量儀200被配置為處理包括立體聲左和右音頻輸入信號204以及視頻輸入信號208的合成A/V輸入。音頻采樣器212以適當?shù)牟蓸勇?例如，48kHz)對立體聲音頻輸入信號204進行采樣，并將其轉換為數(shù)字單聲道音頻信號。將所得數(shù)字音頻樣本存儲在音頻緩沖器216中。通過視頻采樣器220對視頻輸入信號208進行采樣來形成視頻緩沖器224中存儲的數(shù)字視頻樣本。在本示例中，視頻采樣器220和視頻緩沖器224被配置為以640 X 480像素的分辨率按照29. 97幀/秒的NTSC幀率對視頻輸入208進行采樣。另外， 輸入的彩色視頻信號被轉換為黑白亮度信號。然而，本領域普通技術人員將理解，還可以采用各種采樣率、分辨率以及色彩轉換。多引擎測量儀200包括一個或更多個音頻引擎228用以處理存儲在音頻緩沖器 216中的數(shù)字音頻樣本。音頻引擎228被配置為確定輸入音頻信號204的特性和/或輸入音頻信號204中包括的可用來確定連接到多引擎測量儀200的A/V內容源的信息(例如， 圖1中的哪個A/V內容源102連接到多引擎測量儀120并因此連接到電視機116)。另外， 音頻引擎228可配置為基于輸入音頻信號204確定A/V內容標識信息。下面將關于圖3來更詳細地討論音頻引擎228的示例。示例多引擎測量儀200還包括一個或更多個視頻引擎232用以處理存儲在視頻緩沖器224中的數(shù)字視頻樣本。類似于音頻引擎228，視頻引擎232被配置為確定輸入視頻信號208的特性和/或輸入視頻信號208中包括的可用來確定連接到多引擎測量儀200的 A/V內容源的信息(例如，圖1中的哪個A/V內容源102連接到多引擎測量儀120并因此連接到電視機116)。另外，視頻引擎232可配置為基于輸入視頻信號208確定A/V內容標識信息。下面將關于圖4來更詳細地討論視頻引擎232的示例。為了接收、解碼并處理可嵌入輸入音頻信號204和/或輸入視頻信號208中的元數(shù)據(jù)，示例多引擎測量儀200包括元數(shù)據(jù)提取器236和一個或更多個相關聯(lián)的元數(shù)據(jù)引擎 240。元數(shù)據(jù)提取器236被配置為提取并且/或者處理輸入音頻信號204和/或輸入視頻信號208中可用來載送嵌入的元數(shù)據(jù)信息的部分。然后進一步通過元數(shù)據(jù)引擎240對所提取/處理的信號部分進行處理，來確定信號部分中是否存在元數(shù)據(jù)，并且如果存在則接收/解碼這種元數(shù)據(jù)。所得元數(shù)據(jù)可用來確定連接到多引擎測量儀200的A/V內容源，并且/ 或者確定與輸入信號204、208相關聯(lián)的A/V內容信息。下面將關于圖5來更詳細地討論元數(shù)據(jù)引擎240的示例。示例多引擎測量儀200包括判定處理器244，用以對音頻引擎228、視頻引擎232 以及元數(shù)據(jù)引擎240所生成的輸出信息進行處理。另外，示例多引擎測量儀200的判定處理器244被配置為處理由遠程控制設備(例如，圖1中的遠程控制設備130)發(fā)送的遠程控制信號248。正如所示，遠程控制信號248由遠程控制檢測器252接收并作為輸入提供給判定處理器244。判定處理器244對可用輸入信息進行處理，來確定連接到多引擎測量儀200 的A/V內容源，并經(jīng)由源標識(ID)輸出256輸出該信息。另外，判定處理器244可確定A/ V內容標識信息并經(jīng)由內容信息(Info)輸出260輸出該信息。下面將關于圖6來更詳細地討論示例判定處理器244。圖3中示出了可用來實現(xiàn)圖2中的音頻引擎228的一組示例音頻引擎300。音頻引擎300對例如由圖2中的音頻緩沖器216提供的輸入音頻樣本304進行處理。輸入音頻樣本304對應于正由A/V內容源(例如，圖1中的一個A/V內容源102)輸出的并作為輸入提供給所監(jiān)視的呈現(xiàn)設備(例如，電視機116)的音頻信號。音頻引擎300中包括的音頻引擎被配置為按照取決于特定音頻引擎執(zhí)行的處理的速率及頻率來讀取多個輸入音頻樣本 304。因此，音頻引擎300可自主運轉，并且按照自主方式讀取輸入音頻樣本304且生成對應的音頻引擎輸出308。示例音頻引擎組300包括音頻碼檢測器312、音頻特征處理器316、音量及靜音檢測器320、壓縮檢測器324、鈴聲檢測器328以及譜形處理器332。示例音頻碼檢測器312 被配置為檢測并處理可嵌入與輸入音頻樣本304相對應的音頻信號中的輔助音頻碼。如上所述，輔助音頻碼可用來在例如伴隨廣播節(jié)目的音頻信號的聽不見部分中編碼并嵌入標識信息(例如，廣播/網(wǎng)絡頻道號、節(jié)目標識碼、廣播時間戳、用于識別提供并且/或者廣播內容的網(wǎng)絡和/或臺的源標識符、等等)。用于實現(xiàn)音頻碼檢測器312的方法和裝置在本領域中是公知的。例如，在本文通過引用并入其全部內容的美國專利No. 6，272，176中， Srinivasan公開了用于對音頻信號中發(fā)送的信息進行編碼和解碼的廣播編碼系統(tǒng)及方法。 可采用這種和/或任何其他適合技術來實現(xiàn)音頻碼檢測器312。示例音頻特征處理器316被配置為生成并處理對應于輸入音頻樣本304的音頻特征。如上所述，所呈現(xiàn)的A/V內容的音頻部分的特性可用來為該內容生成基本上唯一的代理或特征(例如，一系列數(shù)字值、波形等)。所呈現(xiàn)的內容的特征信息可與和一組已知的內容相對應的一組參考特征進行比較。當發(fā)現(xiàn)基本匹配時，可相對較高可能性地識別出當前顯示的A/V內容。用于實現(xiàn)音頻特征處理器316的方法和裝置在本領域中是公知的。例如， 在本文通過引用并入其全部內容的序列號為09/427,970的美國專利中，Srinivasan等公開了音頻特征提取和相關技術。作為另一示例，在本文通過引用并入其全部內容的序列號為US03/22562的2012年6月27日 申請日期2005年8月9日 優(yōu)先權日2004年8月9日
發(fā)明者阿倫·拉馬斯瓦米 申請人:尼爾森(美國)有限公司