用于生成語義標注的系統(tǒng)和方法
【專利說明】 用于生成語義標注的系統(tǒng)和方法
[0001]相關申請的交叉引用
本申請要求美國臨時專利申請N0.61/700542 (2012年9月13日提交，標題為“Situat1nal awareness for gas stat1ns and similar commercial sites ofinterest”)的權益，通過引用將其完整地結合到本文中。
技術領域
[0002]本文所公開的主題一般涉及生成語義標注。更具體來說，本主題涉及用于基于先前事件的語義標注來生成事件敘述、即事件的語義標注序列的系統(tǒng)和方法。
【背景技術】
[0003]當前智能平臺接收大量輸入(例如視頻輸入、音頻輸入、地理信號等)，并且使用基于規(guī)則的系統(tǒng)、有限狀態(tài)機等從所接收輸入來確定關鍵事件。例如，制造工廠包括視頻監(jiān)控系統(tǒng)，以用于接收即時視頻饋送并且從所接收視頻饋送中檢測犯罪現(xiàn)場。在這種示例中，視頻監(jiān)控系統(tǒng)從即時視頻饋送來生成元數(shù)據(jù)，并且分析元數(shù)據(jù)是否滿足例如描述犯罪的預定義規(guī)則。
[0004]這類智能平臺具有許多問題。例如，這類智能平臺無法檢測先前尚未遇到并且由智能平臺的管理員預先定義的事件。因此，需要用于生成語義標注的增強系統(tǒng)和方法，其將允許超越原始元數(shù)據(jù)的分析、對事件的推理。

【發(fā)明內容】

[0005]按照本技術的一個方面，公開一種方法。該方法包括從一個或多個傳感器接收新視頻，并且基于新視頻來生成新內容圖表(CG)。該方法還包括將新CG與多個先前CG進行比較，其中多個先前CG從先前接收的視頻來生成。該方法還包括識別與第一先前CG的一部分匹配的新CG的第一部分以及與第二先前CG的一部分匹配的新CG的第二部分。該方法還包括分析與第一先前CG的部分關聯(lián)的語義標注(SA)的第一集合以及與第二先前CG的部分關聯(lián)的SA的第二集合。該方法還包括基于SA的第一和第二集合的分析來生成新視頻的SA序列。
[0006]按照本系統(tǒng)的一個方面，公開一種系統(tǒng)。該系統(tǒng)包括圖表模塊，以用于從一個或多個傳感器接收新視頻，并且基于新視頻來生成新內容圖表(CG)。該系統(tǒng)還包括比較模塊，以用于將新CG與多個先前CG進行比較，并且識別與第一先前CG的一部分匹配的新CG的第一部分以及與第二先前CG的一部分匹配的新CG的第二部分，其中多個先前CG從先前接收的視頻來生成。該系統(tǒng)還包括敘述模塊，以用于分析與第一先前CG的部分關聯(lián)的語義標注(SA)的第一集合以及與第二先前CG的部分關聯(lián)的SA的第二集合，并且基于SA的第一和第二集合的分析來生成新視頻的SA序列。
[0007]按照本技術的一個方面，公開對指令進行編碼的計算機程序產(chǎn)品。指令在由處理器運行時使該處理器從一個或多個傳感器接收新視頻，并且基于新視頻來生成新內容圖表(CG)，其中多個先前CG從先前接收的視頻來生成。指令還使處理器將新CG與多個先前CG進行比較，其中多個先前CG從先前接收的視頻來生成。指令還使處理器識別與第一先前CG的一部分匹配的新CG的第一部分以及與第二先前CG的一部分匹配的新CG的第二部分。指令還使處理器分析與第一先前CG的部分關聯(lián)的語義標注(SA)的第一集合以及與第二先前CG的部分關聯(lián)的SA的第二集合。指令還使處理器基于SA的第一和第二集合的分析來生成新視頻的SA序列。
【附圖說明】
[0008]通過參照附圖閱讀以下詳細描述，將會更好地了解本發(fā)明的這些及其他特征、方面和優(yōu)點，附圖中，相似標號在附圖中通篇表示相似部件，附圖包括:
圖1是示出按照一個實施例、用于生成語義標注的系統(tǒng)的框圖；
圖2是示出按照一個實施例的語義引擎的框圖；
圖3是示出按照一個實施例、用于生成語義標注的方法的圖形表示；以及圖4是示出按照一個實施例、用于生成語義標注的方法的流程圖。
【具體實施方式】
[0009]在以下說明書和權利要求書中，將參照定義成具有下列含意的多個術語。
[0010]單數(shù)形式“一”、“一個”、“該”和“所述”包括復數(shù)引用，除非上下文另加明確說明。[0011 ] 如本文所使用的術語“非暫時計算機可讀介質”意在表示按照任何方法或技術所實現(xiàn)以用于信息(例如計算機可讀指令、數(shù)據(jù)結構、程序模塊和子模塊或者任何裝置中的其他數(shù)據(jù))的短期和長期存儲的任何有形的基于計算機的裝置。因此，本文所述的方法可編碼為包含在有形非暫時計算機可讀介質(非限制性地包括存儲裝置和/或存儲器裝置)中的可執(zhí)行指令。這類指令在由處理器運行時使該處理器執(zhí)行本文所述方法的至少一部分。此外，如本文所使用的術語“非暫時計算機可讀介質”包括所有有形計算機可讀介質，非限制性地包括非暫時計算機存儲裝置(非限制性地包括易失性和非易失性介質、可拆卸和不可拆卸介質，例如固件、物理的虛擬存儲裝置、CD-ROM、DVD)和任何其他數(shù)字源(例如網(wǎng)絡或因特網(wǎng))以及有待開發(fā)的數(shù)字部件，其中唯一例外是暫時傳播信號。
[0012]如本文所使用的術語“軟件”和“固件”是可互換的，并且包括存儲器中存儲的任何計算機程序，以供非限制性地包括移動裝置集群、個人計算機、工作站、客戶端和服務器的裝置執(zhí)行。
[0013]如本文所使用的術語“計算機”及相關術語、例如“計算裝置”并不局限于本領域稱作計算機的集成電路，而是廣義地表示至少一個微控制器、微處理器、可編程邏輯控制器(PLC)、專用集成電路以及其他可編程電路，并且這些術語在本文中可互換地使用。
[0014]本文所使用的近似語言在本說明書和權利要求書中通篇可適用于修改可準許改變的任何定量表示，而沒有引起與其相關的基本功能的變化。相應地，通過諸如“大約”和“基本上”之類的一個或多個術語所修改的值并不局限于所指定的精確值。在至少一些情況下，近似語言可對應于用于測量該值的儀器的準確度。在這里并且在整個說明書和權利要求書中，范圍限制可以相結合和/或互換，這類范圍被標識，并且包括其中包含的所有子范圍，除非上下文或語言另加說明。
[0015]本文描述用于生成語義標注的系統(tǒng)和方法。圖1示出按照一個實施例、用于生成語義標注的系統(tǒng)100的框圖。所示系統(tǒng)100包括一個或多個傳感器120和語義引擎130，其經(jīng)由網(wǎng)絡170在通信上耦合。
[0016]傳感器120是任何類型的裝置，其配置成測量物理量或特征，例如壓力、光、聲、溫度、運動等。傳感器120可包括圖像傳感器、聲傳感器、接近傳感器、生物傳感器、機械傳感器、陀螺傳感器、熱傳感器、壓力傳感器等，并且生成輸入數(shù)據(jù)。在一個實施例中，傳感器120安裝在商業(yè)場所，例如燃料站、便利店、醫(yī)院等。在這種實施例中，傳感器120配置成生成與在商業(yè)場所發(fā)生的事件關聯(lián)的輸入數(shù)據(jù)。
[0017]在一個示例中，傳感器120包括圖像傳感器(例如攝像機、閉路電視攝像機等)，以用于捕獲圖像和/或記錄進入燃料站的汽車的視頻。在另一示例中，傳感器120包括機械傳感器，以用于確定是否移開燃料分配機并且抽吸汽油。在另一個示例中，傳感器120包括錄音機，以用于記錄客戶的語音。在另一個示例中，傳感器120包括銷售點傳感器，以用于確定客戶是否為汽油付款。在一個實施例中，傳感器120還配置成經(jīng)由網(wǎng)絡170向語義引擎130發(fā)送所生成的輸入數(shù)據(jù)。傳感器120經(jīng)由信號線125在通信上耦合到網(wǎng)絡170。信號線125是為了便于說明而提供的，并且表示一個或多個傳感器120通過有線或元件部件經(jīng)由網(wǎng)絡170進行通信。在一個示例中，傳感器120具有發(fā)出傳感器和成像數(shù)據(jù)的傳輸能力。在另一個示例中，120耦合到通信裝置(未示出)，其促進傳感器數(shù)據(jù)的傳輸。雖然在所示實施例中示出多個傳感器120，但是在其他實施例中，單個傳感器120可耦合到網(wǎng)絡170。
[0018]語義引擎130是用于接收輸入數(shù)據(jù)(即，來自傳感器120的傳感器數(shù)據(jù))并且生成所接收輸入數(shù)據(jù)的語義標注的任何類型的裝置。語義引擎130基于與先前接收的輸入數(shù)據(jù)關聯(lián)的語義關聯(lián)來生成所接收輸入數(shù)據(jù)的語義標注序列。在所示系統(tǒng)100中，語義引擎130包括語義應用140。語義引擎130經(jīng)由信號線135在通信上耦合到網(wǎng)絡170。雖然在所示實施例中示出一個語義引擎130，