專利名稱：一種視頻碼流過濾方法和過濾節(jié)點(diǎn)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體通信技術(shù)，特別涉及一種多媒體通信過程中的視頻碼流過濾方法和過濾節(jié)點(diǎn)。
背景技術(shù)：
流媒體(Streaming Media)作為一種基本的多媒體通信形式，派生出了眾多的多媒體通信業(yè)務(wù)形式會(huì)議電視/可視電話，IPTV，VOD，即時(shí)通信等等。因此流媒體將成為下一代網(wǎng)絡(luò)NGN(Next Generation Network)上的基本通信形式。尤其是近幾年來(lái)國(guó)內(nèi)外IPTV(Internet Protocol Television，IP電視)業(yè)務(wù)的快速興起，流媒體在網(wǎng)絡(luò)上的應(yīng)用也在急速發(fā)展。
流媒體上的一類業(yè)務(wù)比如IPTV和VOD(Video on Demand，視頻點(diǎn)播)，都是以提供視頻音頻內(nèi)容為功能的。內(nèi)容的范圍非常廣闊，包括影視節(jié)目、新聞、體育比賽、演唱會(huì)等等。各個(gè)國(guó)家，尤其是我國(guó)，對(duì)于內(nèi)容的安全和監(jiān)控一直是高度重視的，都有相關(guān)的法律。從保護(hù)未成年人角度出發(fā)，各國(guó)也有相關(guān)的規(guī)定。同時(shí)，在運(yùn)營(yíng)商/ISP(Internet Service Provider，因特網(wǎng)服務(wù)提供商)和內(nèi)容提供商那里也有這樣的需求。國(guó)內(nèi)即將大規(guī)模開展IPTV的運(yùn)營(yíng)，那么首先一個(gè)問題是如何保證有效的內(nèi)容監(jiān)控和過濾，把有害的內(nèi)容屏蔽掉，不解決這個(gè)問題，IPTV在國(guó)內(nèi)的運(yùn)營(yíng)將無(wú)從談起，國(guó)家相關(guān)部門也不可能發(fā)放牌照。因此，這個(gè)問題的解決對(duì)于推動(dòng)IPTV產(chǎn)業(yè)的發(fā)展有著重要的意義。對(duì)于內(nèi)容安全，通常的理解包括兩個(gè)方面1、對(duì)于內(nèi)容的保護(hù)，防止內(nèi)容被沒有權(quán)限的用戶接收；比如防止盜看電視節(jié)目等。對(duì)于這類入侵，有很多成熟技術(shù)，比如加密(Encryption)和加擾(Scrambling)、認(rèn)證鑒權(quán)、以及數(shù)字版權(quán)管理DRM(DigitalRight Management)等。
2、對(duì)于有害和非法內(nèi)容的入侵的防范，保護(hù)的對(duì)象是內(nèi)容攻擊的對(duì)象，通常是受眾。
所謂內(nèi)容過濾，就是對(duì)于內(nèi)容的某些屬性進(jìn)行處理和判斷，這些內(nèi)容屬性可以包括內(nèi)容提供商的名字、內(nèi)容的URL(Universal Resource Locator通用資源定位器，網(wǎng)址是一類重要的URL)、內(nèi)容提供服務(wù)器的IP地址等，以及媒體流以數(shù)據(jù)包封裝情況下的數(shù)據(jù)包的包頭(packet header)信息、包中的信息等?？梢钥闯?，這種處理和過濾也是按照由淺入深的層次進(jìn)行的。
現(xiàn)有技術(shù)一主要是依據(jù)內(nèi)容的外部特征，或者叫做淺層特征來(lái)進(jìn)行內(nèi)容過濾。其中最典型的例子是基于URL的過濾，其原理如圖1所示內(nèi)容過濾設(shè)備位于網(wǎng)絡(luò)上的核心網(wǎng)和邊緣接入網(wǎng)之間，那么是來(lái)自內(nèi)容源的媒體流到達(dá)接收終端之間的必由之路關(guān)口，在實(shí)際中，可以和企業(yè)網(wǎng)的代理、NAT(NetworkAddress Translator，網(wǎng)絡(luò)地址翻譯設(shè)備)/FW(Firewall，防火墻)放在同一個(gè)網(wǎng)絡(luò)位置，對(duì)于寬帶家庭用戶的情況，可以和BAS(Broadband AdministrationSystem，寬帶管理系統(tǒng))/BRAS(Broadband Registration and Admission System，寬帶注冊(cè)和準(zhǔn)入系統(tǒng))、DISLAM放在同一個(gè)位置，或者放在ISP的POP(Pointof Presence，存在點(diǎn))上。
過濾設(shè)備自己有內(nèi)部數(shù)據(jù)庫(kù)，存有多個(gè)內(nèi)容源URL的信息，根據(jù)這個(gè)數(shù)據(jù)庫(kù)就可以判斷一部分內(nèi)容源是否有害，并屏蔽有害內(nèi)容源、放行無(wú)害內(nèi)容源。同時(shí)，還有很多提供第三方服務(wù)的內(nèi)容分級(jí)服務(wù)商，他們的數(shù)據(jù)庫(kù)更加豐富和專業(yè)，內(nèi)容過濾設(shè)備也可以和這種第三方服務(wù)商連接，使用他們的服務(wù)來(lái)進(jìn)行基于URL的過濾。
現(xiàn)有技術(shù)一存在如下問題1、錯(cuò)殺問題根據(jù)基于URL的過濾，可能把無(wú)害的內(nèi)容過濾掉了，比如有的網(wǎng)站提供視頻節(jié)目點(diǎn)播，其中有些節(jié)目是有害的，但是有些是健康的電影，僅根據(jù)URL無(wú)法區(qū)分；2、錯(cuò)放問題有些URL可能因?yàn)樵诜旨?jí)體制中被認(rèn)為是資質(zhì)優(yōu)良的網(wǎng)站，可能也會(huì)出問題(被黑客攻擊冒充其網(wǎng)址，或者自己有違法的企圖等)；3、采用基于URL的過濾，通常也還需要第三方的評(píng)級(jí)體系，這樣的評(píng)級(jí)體系是有的，有些收費(fèi)的評(píng)級(jí)服務(wù)商專門提供評(píng)級(jí)服務(wù)。但是他們的結(jié)果也不能完全準(zhǔn)確和窮盡網(wǎng)絡(luò)上所有的內(nèi)容。并且網(wǎng)絡(luò)上的內(nèi)容也是經(jīng)常變化的，任何一個(gè)評(píng)級(jí)體系也不可能及時(shí)跟上這些變化。
對(duì)于要求非常高的應(yīng)用場(chǎng)景，比如面向全國(guó)公眾的IPTV，如果一旦有有害內(nèi)容尤其是政治敏感內(nèi)容入侵成功，造成的危害是巨大的。必須做到萬(wàn)無(wú)一失，因此采用淺層次的過濾都是不可靠的。必須采用最深層次的內(nèi)容過濾，即視頻音頻數(shù)據(jù)本身的過濾，比如對(duì)于圖像的識(shí)別，識(shí)別其中的有害場(chǎng)景(暴力、色情等)、有害文字信息(字幕)、特定人物的面孔等等。
要達(dá)到很高的過濾正確率，必須深入到最深的層次，即內(nèi)容數(shù)據(jù)本身。這個(gè)方面屬于目前研究熱點(diǎn)，深度包過濾DPF(Deep Packet Filtering)。
現(xiàn)有技術(shù)二深度DPF基于人工的深度內(nèi)容設(shè)別，這種情況下，內(nèi)容過濾設(shè)備能夠?qū)τ诿襟w流進(jìn)行解碼并將內(nèi)容播放出來(lái)(假設(shè)加密不是問題，因?yàn)榧用艿膯栴}可以通過通信設(shè)備的合法監(jiān)聽要求解決)，供人工監(jiān)控者審查。如果發(fā)現(xiàn)有問題，監(jiān)控者立即采取措施，切斷有害內(nèi)容，同時(shí)切換到一段無(wú)害的內(nèi)容比如公益廣告等。當(dāng)然在內(nèi)容過濾設(shè)備之后必須有一個(gè)相當(dāng)大容量的延遲設(shè)備，來(lái)延遲有害內(nèi)容，給監(jiān)控人員一定的判斷和反應(yīng)處置時(shí)間(比如5秒)。
現(xiàn)有技術(shù)二存在如下問題1、缺乏通用性和可擴(kuò)展性顯然人工的方法無(wú)法適應(yīng)未來(lái)網(wǎng)絡(luò)的需求。通用性差，可擴(kuò)展性差。并且人工判別，判別標(biāo)準(zhǔn)和人的教育、文化水平和意識(shí)形態(tài)等很主觀的因素有關(guān)，無(wú)法做到標(biāo)準(zhǔn)一致；2、無(wú)法適用于IPTV的情況以上人工方法可以適用于電視節(jié)目的監(jiān)控，但是對(duì)于IPTV非常不適合。因?yàn)镮PTV內(nèi)容數(shù)量巨大，網(wǎng)絡(luò)上的內(nèi)容源數(shù)量更多，因此靠人工幾乎無(wú)法勝任；3、有大的延遲，不能適用于雙方實(shí)時(shí)通信的情況流媒體在雙向的情況下，要求延時(shí)不能超過400ms，人工判別不可能做到這么低的延時(shí)。但是雙向通信中，比如視頻聊天卻是很容易存在有害內(nèi)容的地方。

發(fā)明內(nèi)容
本發(fā)明提供一種多媒體通信過程中的視頻碼流過濾方法和過濾節(jié)點(diǎn)，以解決現(xiàn)有基于人工識(shí)別的深度內(nèi)容過濾方法效率低，缺乏通用性的問題。
本發(fā)明所述一種多媒體通信過程中的視頻碼流過濾方法，包括如下步驟A、從多媒體通信過程中傳輸?shù)囊曨l碼流中獲取待檢測(cè)的幀內(nèi)編碼幀，部分解碼該幀內(nèi)編碼幀圖像；B、識(shí)別所述內(nèi)編碼幀圖像中是否包含有害內(nèi)容，如果是則切斷所述視頻碼流的播放；否則播放該視頻碼流。
所述步驟A中還包括獲取并部分解碼所述幀內(nèi)編碼幀之前和/或之后相鄰的一定數(shù)目幀的圖像；所述步驟B中還包括，利用所述相鄰幀的圖像輔助識(shí)別所述幀內(nèi)編碼幀圖像。
所述步驟A中，所述待檢測(cè)的幀內(nèi)編碼幀包括所述視頻碼流中的每一個(gè)幀內(nèi)編碼幀，根據(jù)包含幀內(nèi)編碼幀的數(shù)據(jù)包的包頭中相應(yīng)設(shè)置的幀內(nèi)編碼幀標(biāo)識(shí)信息進(jìn)行識(shí)別。
所述步驟A中，所述待檢測(cè)的幀內(nèi)編碼幀為所述視頻碼流中包含的每一個(gè)場(chǎng)景中的第一個(gè)幀內(nèi)編碼幀。
所述方法中還包括如下步驟根據(jù)視頻數(shù)據(jù)包的結(jié)構(gòu)信息對(duì)所述的視頻碼流進(jìn)行場(chǎng)景分割；和/或，根據(jù)視頻流的統(tǒng)計(jì)信息對(duì)所述的視頻碼流進(jìn)行場(chǎng)景分割。
所述方法中，當(dāng)所述視頻碼流采用H.264協(xié)議編碼時(shí)，所述的幀內(nèi)編碼幀是指包含幀內(nèi)編碼條帶或宏塊MB最多的幀，該幀標(biāo)識(shí)有瞬時(shí)解碼刷新IDR標(biāo)志。
所述方法還同時(shí)包括利用預(yù)存的有害通用資源定位器URL信息庫(kù)，對(duì)多媒體通信過程中的相關(guān)信令進(jìn)行基于URL的過濾。
所述步驟B中還同時(shí)包括記錄識(shí)別出的有害內(nèi)容的相關(guān)URL信息并根據(jù)歷史記錄對(duì)該URL信息進(jìn)行評(píng)級(jí)，如果該URL信息達(dá)到設(shè)定的級(jí)別則將該URL信息添加到有害URL信息庫(kù)中。
所述方法還同時(shí)包括識(shí)別所述視頻碼流對(duì)應(yīng)的音頻碼流中是否包含有害聲音，如果是則切斷所述視頻碼流的播放；否則繼續(xù)播放該視頻碼流。
所述步驟B中，將所述幀內(nèi)編碼幀圖像輸入自動(dòng)識(shí)別模塊，自動(dòng)識(shí)別模塊將預(yù)存的有害內(nèi)容數(shù)據(jù)庫(kù)中的有害內(nèi)容與所述幀內(nèi)編碼幀圖像中包含的相關(guān)內(nèi)容進(jìn)行逐一比對(duì)來(lái)進(jìn)行有害內(nèi)容的自動(dòng)識(shí)別；和/或?qū)⑺鰩瑑?nèi)編碼幀圖像顯示給監(jiān)控者來(lái)進(jìn)行有害內(nèi)容的人工識(shí)別。
當(dāng)人工識(shí)別和自動(dòng)識(shí)別同時(shí)進(jìn)行時(shí)，如果二者的識(shí)別結(jié)果出現(xiàn)不一致，則優(yōu)先執(zhí)行自動(dòng)識(shí)別模塊或監(jiān)控者的判決結(jié)果。
當(dāng)人工識(shí)別和自動(dòng)識(shí)別同時(shí)進(jìn)行時(shí)，由自動(dòng)識(shí)別模塊和監(jiān)控者分別根據(jù)預(yù)先設(shè)定的規(guī)則，為識(shí)別出的有害內(nèi)容給出相應(yīng)的有害程度分值，然后對(duì)兩個(gè)分值進(jìn)行加權(quán)處理后得到最終執(zhí)行的判決結(jié)果，當(dāng)僅收到一方為認(rèn)定的有害內(nèi)容給出的分值時(shí)，默認(rèn)另一方為該內(nèi)容給出的分值為零。
所述的加權(quán)處理方法為SI＝(WM×SM+WH×SH)/(WM+WH)其中，WM和WH表示自動(dòng)識(shí)別模塊和監(jiān)控者的權(quán)值，WM和WH之間的相對(duì)大小表示了對(duì)識(shí)別結(jié)果的信任度，SM和SH分別自動(dòng)識(shí)別模塊和監(jiān)控者給出的分?jǐn)?shù)，如果SI大于一個(gè)給定值，則判決結(jié)果為有害，否則判決結(jié)果為無(wú)害，WM、WH和給定值分別根據(jù)經(jīng)驗(yàn)值設(shè)定。
所述方法還同時(shí)包括錄制識(shí)別出的有害內(nèi)容，當(dāng)人工識(shí)別和自動(dòng)識(shí)別同時(shí)進(jìn)行時(shí)，如果自動(dòng)識(shí)別和人工識(shí)別結(jié)果不一致并最終執(zhí)行了人工識(shí)別的有害判決結(jié)果，則學(xué)習(xí)被識(shí)別出的有害內(nèi)容并將學(xué)習(xí)結(jié)果添加到有害內(nèi)容數(shù)據(jù)庫(kù)中。
所述的有害內(nèi)容至少包括如下之一有害圖像、有害疊加文字或符號(hào)、特定人臉圖像。
所述的過濾方法中，切斷播放所述視頻碼流的同時(shí)，啟動(dòng)播放備用無(wú)害視頻碼流。
所述方法還同時(shí)包括錄制并保存指定時(shí)段播放的視頻碼流。
所述方法還同時(shí)包括將有害內(nèi)容的識(shí)別情況記錄在日志并生成日志報(bào)告。
所述方法還同時(shí)包括根據(jù)識(shí)別有害內(nèi)容所需要的時(shí)間，延遲播放所述視頻碼流。
本發(fā)明所述一種多媒體通信過程中的視頻碼流過濾節(jié)點(diǎn)，包括視頻碼流延遲模塊，用于接收多媒體通信過程中待播放的視頻碼流并延遲輸出該視頻碼；開關(guān)模塊，連接所述視頻碼流延遲模塊，用于切斷該視頻碼流延遲模塊輸出的視頻碼流；幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于從多媒體通信過程中待播放視頻碼流中獲取待檢測(cè)的幀內(nèi)編碼幀或者該幀內(nèi)編碼幀及其之前和/或之后的相鄰的一定數(shù)目幀，部分解碼獲取的相鄰幀的圖像；有害內(nèi)容識(shí)別模塊，連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于識(shí)別所述圖像中是否包含有害內(nèi)容，如果是則輸出相應(yīng)的控制信號(hào)；判決模塊，連接在有害內(nèi)容識(shí)別模塊和開關(guān)模塊之間，用于接收到所述控制信號(hào)時(shí)向所述開關(guān)模塊輸出斷開所述視頻碼流的觸發(fā)信號(hào)。
所述的過濾節(jié)點(diǎn)還包括場(chǎng)景分割模塊，連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于接收待播放的視頻碼流并對(duì)該視頻碼流進(jìn)行場(chǎng)景分割。
所述的過濾節(jié)點(diǎn)還包括基于URL的過濾模塊，用于接收多媒體通信的相關(guān)信令，并利用預(yù)存的有害通用資源定位器URL信息庫(kù)對(duì)所述相關(guān)信令進(jìn)行基于URL的過濾。
URL記錄和評(píng)級(jí)模塊，用于記錄有害內(nèi)容的相關(guān)URL信息并根據(jù)歷史記錄對(duì)該URL信息進(jìn)行評(píng)級(jí)，如果該URL信息達(dá)到設(shè)定的級(jí)別則將該URL信息添加到有害URL信息庫(kù)中；URL評(píng)級(jí)數(shù)據(jù)庫(kù)，用于保存URL評(píng)級(jí)的規(guī)則和歷史記錄。
所述的有害內(nèi)容識(shí)別模塊包括自動(dòng)識(shí)別子模塊，連接在所述幀內(nèi)編碼幀檢測(cè)/解碼模塊和判決模塊之間，用于將有害內(nèi)容數(shù)據(jù)庫(kù)中的有害內(nèi)容與所述幀內(nèi)編碼幀圖像中包含的相關(guān)內(nèi)容進(jìn)行逐一比對(duì)來(lái)進(jìn)行有害內(nèi)容的自動(dòng)識(shí)別；和/或人工識(shí)別子模塊，該人工識(shí)別子模塊具體包括幀內(nèi)編碼幀圖像顯示單元和監(jiān)控指令輸入單元，其中，幀內(nèi)編碼幀圖像顯示單元連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于將所述幀內(nèi)編碼幀圖像顯示給監(jiān)控者進(jìn)行有害內(nèi)容的人工識(shí)別；監(jiān)控指令輸入單元連接所述判決模塊，用于接收到監(jiān)控者在識(shí)別出有害內(nèi)容時(shí)輸入的切斷指令時(shí)，向所述判決模塊輸出所述控制信號(hào)。
根據(jù)有害內(nèi)容的類型，所述自動(dòng)識(shí)別子模塊至少包括如下之一有害圖像識(shí)別單元和相連接的有害圖像數(shù)據(jù)庫(kù)、有害疊加文字/符號(hào)識(shí)別單元和相連接的有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)、人臉識(shí)別單元和相連接的人臉數(shù)據(jù)庫(kù)；其中，有害圖像識(shí)別單元、有害疊加文字/符號(hào)識(shí)別單元和人臉識(shí)別單元并行連接在所述幀內(nèi)編碼幀檢測(cè)/解碼模塊和判決模塊之間，分別對(duì)所述幀內(nèi)編碼幀圖像中是否包含相應(yīng)的有害內(nèi)容進(jìn)行識(shí)別。
當(dāng)所述有害內(nèi)容識(shí)別模塊中同時(shí)包含有自動(dòng)識(shí)別子模塊和指令輸入子模塊時(shí)，所述判決模塊中包括第一判決單元，接收所述自動(dòng)識(shí)別子模塊輸出的控制信號(hào)；第二判決單元，接收所述操作界面子模塊輸出的控制信號(hào)；聯(lián)合判決單元，分別連接所述第一判決單元和第二判決單元，用于根據(jù)設(shè)定的規(guī)則優(yōu)先執(zhí)行第一判決單元或第二判決單元的控制信號(hào)；或者，所述自動(dòng)識(shí)別子模塊和監(jiān)控者分別根據(jù)預(yù)先設(shè)定的規(guī)則，為識(shí)別出的有害內(nèi)容給出相應(yīng)的有害程度分值，聯(lián)合判決單元對(duì)兩個(gè)分值進(jìn)行加權(quán)處理后得到最終執(zhí)行的判決結(jié)果，當(dāng)僅收到一方為認(rèn)定的有害內(nèi)容給出的分值時(shí)，默認(rèn)另一方為該內(nèi)容給出的分值為零。
所述判決模塊中還包括第三判決單元，用于接收到所述視頻碼流對(duì)應(yīng)的音頻碼流的有害聲音判決結(jié)果時(shí)，直接或通過聯(lián)合判決單元向所述開關(guān)模塊輸出斷開所述視頻碼流的控制指令。
所述過濾節(jié)點(diǎn)還包括有害內(nèi)容錄制模塊，分別連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊和判決模塊，所述判決模塊觸發(fā)斷開所述視頻碼流的同時(shí)，啟動(dòng)該有害內(nèi)容錄制模塊錄制識(shí)別出的有害內(nèi)容；錄制內(nèi)容存儲(chǔ)模塊，連接所述有害內(nèi)容錄制模塊，用于保存錄制的有害內(nèi)容。
所述過濾節(jié)點(diǎn)還包括有害內(nèi)容學(xué)習(xí)模塊，連接所述錄制內(nèi)容存儲(chǔ)模塊，用于當(dāng)自動(dòng)識(shí)別子模塊和監(jiān)控者的對(duì)該內(nèi)容的識(shí)別結(jié)果不一致并最終執(zhí)行了監(jiān)控者的有害判決結(jié)果時(shí)，學(xué)習(xí)該有害內(nèi)容并將學(xué)習(xí)結(jié)果添加到有害內(nèi)容數(shù)據(jù)庫(kù)中。
當(dāng)自動(dòng)識(shí)別子模塊根據(jù)有害內(nèi)容的類型分別設(shè)置時(shí)，所述有害內(nèi)容學(xué)習(xí)模塊對(duì)應(yīng)包括如下之一圖像學(xué)習(xí)單元，連接有害圖像數(shù)據(jù)庫(kù)，用于學(xué)習(xí)有害圖像并將學(xué)習(xí)結(jié)果添加到有害圖像數(shù)據(jù)庫(kù)中；疊加文字/符號(hào)學(xué)習(xí)單元，連接有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)，用于學(xué)習(xí)有害疊加文字/符號(hào)并將學(xué)習(xí)結(jié)果添加到有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)中；人臉學(xué)習(xí)單元，連接人臉數(shù)據(jù)庫(kù)，用于學(xué)習(xí)人臉圖像并將學(xué)習(xí)結(jié)果添加到人臉數(shù)據(jù)庫(kù)中。
所述過濾節(jié)點(diǎn)還包括
操作界面模塊，用于輸入相關(guān)參數(shù)或操作指令；視頻內(nèi)容錄制模塊，連接所述操作界面模塊和錄制內(nèi)容存儲(chǔ)模塊之間，錄制監(jiān)控者指定時(shí)段的視頻流并存儲(chǔ)到錄制內(nèi)容存儲(chǔ)模塊。
當(dāng)自動(dòng)識(shí)別子模塊中包含有害圖像識(shí)別單元時(shí)，所述過濾節(jié)點(diǎn)還包括特征網(wǎng)絡(luò)模塊，連接在所述操作界面模塊和有害圖像數(shù)據(jù)庫(kù)之間，用于向所述有害圖像數(shù)據(jù)庫(kù)中輸入/調(diào)整特征網(wǎng)絡(luò)模型和/或事件特征模板。
所述過濾節(jié)點(diǎn)還包括參數(shù)設(shè)置模塊，連接在所述操作界面模塊和場(chǎng)景分割模塊之間，用于向所述場(chǎng)景分割模塊中輸入/調(diào)整進(jìn)行場(chǎng)景分割所需的相關(guān)參數(shù)。
所述過濾節(jié)點(diǎn)還包括判決規(guī)則設(shè)置模塊，連接在所述操作界面模塊和判決模塊之間，用于向所述判決模塊輸入/調(diào)整控制信號(hào)的判決規(guī)則；和/或評(píng)級(jí)規(guī)則設(shè)置模塊，連接在所述操作界面模塊和URL評(píng)級(jí)數(shù)據(jù)庫(kù)之間，用于向所述URL評(píng)級(jí)數(shù)據(jù)庫(kù)中輸入/調(diào)整評(píng)級(jí)規(guī)則。
所述過濾節(jié)點(diǎn)還包括替換片源庫(kù)，連接所述開關(guān)模塊為轉(zhuǎn)換開關(guān)，該轉(zhuǎn)換開關(guān)在斷開所述視頻碼流的同時(shí)，接通該替換片源庫(kù)。
所述過濾節(jié)點(diǎn)還包括主控模塊，分別連接該過濾節(jié)點(diǎn)中的其他任何一個(gè)模塊、子模塊或單元，用于進(jìn)行運(yùn)行控制；日志報(bào)告模塊，分別連接該過濾節(jié)點(diǎn)中的其他任何一個(gè)模塊、子模塊或單元，用于生成并輸出該過濾節(jié)點(diǎn)的運(yùn)行日志。
所述過濾節(jié)點(diǎn)還包括外部控制模塊，連接所述主控模塊，用于完成和外部控制設(shè)備的數(shù)據(jù)/信令交互。
所述過濾節(jié)點(diǎn)還包括控制指令模塊，連接在操作界面模塊和主控模塊之間，用于接受人類監(jiān)控者的指令。
當(dāng)所述過濾節(jié)點(diǎn)同時(shí)包括所述監(jiān)控指令輸入單元時(shí)，該監(jiān)控指令輸入單元設(shè)置在該控制指令模塊中。
本發(fā)明的有益效果如下本發(fā)明提供的一種多媒體通信過程中的視頻碼流過濾方法，只需要部分解碼視頻碼流中的I幀圖像或者該I幀以及之前和/或之后相鄰的一定數(shù)目幀的圖像，不需要解碼其他絕大多數(shù)據(jù)幀的圖像，減小了處理復(fù)雜度，縮短了視頻碼流播放的延遲時(shí)間，提高了視頻內(nèi)容深度過濾的效率；本發(fā)明進(jìn)一步基于場(chǎng)景分割技術(shù)，部分解碼每一個(gè)場(chǎng)景中的第一幀圖像或者該第一幀以及之前和/或之后相鄰的一定數(shù)目幀的圖像，并利用解碼的圖像進(jìn)行識(shí)別，在保證識(shí)別可靠性的同時(shí)一定程度的減少了需要解碼的數(shù)據(jù)幀，使處理復(fù)雜獨(dú)進(jìn)一步降低；本發(fā)明所述方法基于現(xiàn)有有害內(nèi)容的自動(dòng)識(shí)別技術(shù)，可以高效的實(shí)現(xiàn)自動(dòng)識(shí)別過濾，保證了常見有害內(nèi)容的快速有效識(shí)別；本發(fā)明所述方法同時(shí)可以和人工識(shí)別機(jī)制配合使用，可以防止新發(fā)生有害內(nèi)容的漏查；本發(fā)明還提供有害內(nèi)容學(xué)習(xí)機(jī)制，在人工識(shí)別出新發(fā)生有害內(nèi)容時(shí)，可以學(xué)習(xí)并添加到有害內(nèi)容數(shù)據(jù)庫(kù)中；本發(fā)明多數(shù)方法還可以同時(shí)采用現(xiàn)有的基于URL的過濾技術(shù)，可以在信令層面禁止有害內(nèi)容的來(lái)源；并且，發(fā)明進(jìn)一步提供了有害內(nèi)容的URL信息評(píng)級(jí)機(jī)制，可以逐步發(fā)現(xiàn)新的有害URL源，并將新的有害URL源及時(shí)添加到有害URL信息庫(kù)中；本發(fā)明所述方法還提供日志報(bào)告機(jī)制，可以記錄視頻碼流過濾過程中的各種事件；本發(fā)明所述的視頻碼流過濾節(jié)點(diǎn)可以方便實(shí)現(xiàn)本發(fā)明所述的方法，具有很好的通用性；顯然，應(yīng)用本發(fā)明技術(shù)方案可以解決目前IPTV、數(shù)字電視等多媒體業(yè)務(wù)中的內(nèi)容安全問題，保證這些業(yè)務(wù)提供的安全可靠。


圖1為現(xiàn)有基于內(nèi)容的URL進(jìn)行過濾的原理示意圖；圖2為本發(fā)明視頻序列中幀和場(chǎng)景的關(guān)系示意圖；圖3為本發(fā)明場(chǎng)景、幀和視頻碼流中數(shù)據(jù)包之間的對(duì)應(yīng)關(guān)系示意圖；圖4為本發(fā)明特征網(wǎng)絡(luò)模型的一個(gè)示例圖；圖5為本發(fā)明所述的一種視頻碼流內(nèi)容過濾方法的流程示意圖；圖6-圖9為實(shí)現(xiàn)本發(fā)明所述視頻碼流過濾方法的一種視頻碼流過濾節(jié)點(diǎn)的主要結(jié)構(gòu)示意圖。
具體實(shí)施例方式
本發(fā)明提供一種設(shè)置在網(wǎng)絡(luò)種合適位置上的視頻碼流過濾節(jié)點(diǎn)(Node)，該過濾節(jié)點(diǎn)可以實(shí)現(xiàn)對(duì)于流式視頻中的內(nèi)容進(jìn)行自動(dòng)過濾和人工過濾，并可以同時(shí)基于URL的過濾或者類似的淺層過濾方法進(jìn)行過濾。
下面首先給出本發(fā)明的視頻內(nèi)容的自動(dòng)過濾方法，本發(fā)明的自動(dòng)過濾方法是將視頻碼流中的I幀作為待檢測(cè)對(duì)象，解碼I幀后還原出I幀圖像進(jìn)行有害內(nèi)容的識(shí)別，具體包括兩種方法，一種是將所有的I幀進(jìn)行解碼并還原，另一種是將每一個(gè)場(chǎng)景中的第一個(gè)I幀進(jìn)行解碼還原。視頻碼流中，包含I幀的數(shù)據(jù)包的包頭中相應(yīng)設(shè)置有I幀標(biāo)識(shí)，可以進(jìn)行識(shí)別。
下面詳細(xì)說明第二種方法，參閱圖2，圖2所示為視頻序列中幀和場(chǎng)景的關(guān)系示意圖，對(duì)于通過過濾節(jié)點(diǎn)的視頻碼流，首先分割成不同的場(chǎng)景(Scene)，將原來(lái)作為一個(gè)由多個(gè)幀(Frame)組成的視頻序列，分割成不同場(chǎng)景組成的場(chǎng)景序列。一個(gè)場(chǎng)景包含不等個(gè)數(shù)的幀，每個(gè)場(chǎng)景內(nèi)部的各個(gè)幀在背景和前景上基本相同，只是存在一定的運(yùn)動(dòng)。可以理解成一個(gè)鏡頭，鏡頭切換的時(shí)候，產(chǎn)生新的場(chǎng)景。
對(duì)于分割場(chǎng)景，必須說明的是，場(chǎng)景本來(lái)是在視頻內(nèi)容拍攝(鏡頭切換)和制作(加入特效比如兩個(gè)鏡頭之間的3D過渡效果等)的時(shí)候已經(jīng)產(chǎn)生了的。在過濾節(jié)點(diǎn)上進(jìn)行場(chǎng)景分割就是要把視頻碼流中的碼流分成一段一段的，每一段對(duì)應(yīng)于原來(lái)的一個(gè)場(chǎng)景。當(dāng)然因?yàn)槟壳暗膱?chǎng)景設(shè)別技術(shù)還不能做到100％的識(shí)別精度，因此可能最終在過濾節(jié)點(diǎn)上分割出來(lái)的場(chǎng)景和視頻碼流中固有的場(chǎng)景不完全一致，但是不影響本發(fā)明的應(yīng)用。
參閱圖3，圖3為場(chǎng)景、幀和視頻碼流中數(shù)據(jù)包之間的對(duì)應(yīng)關(guān)系示意圖，因?yàn)橐曨l碼流是從流媒體服務(wù)器(Streaming Media Server)等設(shè)備發(fā)出來(lái)的，是在壓縮后進(jìn)行了打包(Packetization)，和具體的打包協(xié)議無(wú)關(guān))的，包是按照時(shí)間順序發(fā)出的，每個(gè)包都有對(duì)應(yīng)的序列號(hào)或者時(shí)間戳(Time Stamp等)，根據(jù)這些信息就過濾節(jié)點(diǎn)就可以正確重構(gòu)包的原來(lái)順序，從而把包和場(chǎng)景進(jìn)行對(duì)應(yīng)。因此，最終是一個(gè)場(chǎng)景對(duì)應(yīng)于一系列的視頻數(shù)據(jù)包。
其實(shí)，過濾節(jié)點(diǎn)只要識(shí)別每個(gè)場(chǎng)景的第一幀就可以了，這樣就能夠把所有的場(chǎng)景分割出來(lái)，在一個(gè)場(chǎng)景第一幀和下一個(gè)場(chǎng)景第一幀之間的所有幀都屬于該場(chǎng)景。一般來(lái)說，一個(gè)場(chǎng)景中存在至少一個(gè)I幀(幀內(nèi)編碼幀)，所謂I幀是對(duì)于P(預(yù)測(cè)編碼幀)幀和B幀(雙向預(yù)測(cè)編碼幀)而言的。I幀的編碼完全由其本身決定，而不需要依賴其他幀，而P幀要依賴其前面的參考幀才能解碼，B幀則要依賴其前后的參考幀才能解碼。因此I幀的解碼最為簡(jiǎn)單。只要是基于DCT變換+熵編碼思想的壓縮編碼標(biāo)準(zhǔn)中，比如ITU H.26x系列和MPEG系列，I幀的解碼都只需要進(jìn)行反熵編碼，去量化和反DCT變換就可以了，不需要運(yùn)動(dòng)補(bǔ)償。因此解碼的計(jì)算量最少。其他類型的幀，比如P幀，要從視頻碼流中解碼該P(yáng)幀，則需要解碼其前面若干個(gè)P幀，一直到前面離它最近的一個(gè)I幀。但是對(duì)于I幀，則只需要解碼該I幀本身。兩相比較，解碼的復(fù)雜度相差巨大。其實(shí)在編碼器中，雖然標(biāo)準(zhǔn)一般沒有強(qiáng)制規(guī)定，但是一般來(lái)說，在場(chǎng)景發(fā)生變化時(shí)都會(huì)加入I幀，場(chǎng)景的第一幀往往就是I幀。對(duì)于H.264這類新的標(biāo)準(zhǔn)中，視頻碼流中可能沒有完整的I幀，而只是一個(gè)幀的某個(gè)部分進(jìn)行幀內(nèi)編碼比如一個(gè)條帶(Slice)可以獨(dú)立進(jìn)行幀內(nèi)編碼。對(duì)于可能不存在完整I幀的這種情況，可以定義一些修正的選取準(zhǔn)則比如選取存在幀內(nèi)編碼條帶或者宏塊MB(Macroblock)最多的幀。對(duì)于一般的編碼協(xié)議，都有標(biāo)識(shí)機(jī)制來(lái)標(biāo)識(shí)I幀或者幀內(nèi)編碼的條帶等。比如在ITU的H.264標(biāo)準(zhǔn)中，是通過瞬時(shí)解碼刷新IDR(Instantaneous Decoding Refresh)標(biāo)志來(lái)標(biāo)識(shí)的。因此過濾節(jié)點(diǎn)依據(jù)這些具體的標(biāo)識(shí)就可以正確提取I幀或者幀內(nèi)編碼的條帶/宏塊等。
為了能夠精確識(shí)別，還可以同時(shí)部分解碼I幀之前及之后的相鄰幾幀相鄰圖像，用于輔助識(shí)別I幀圖像，根據(jù)經(jīng)驗(yàn)，在絕大多數(shù)情況下，一般取5幀就可以達(dá)到精確識(shí)別的目的了。當(dāng)然，也可以在解碼出的I幀圖像的精度無(wú)法進(jìn)行精確識(shí)別時(shí)，再部分解碼I幀之前及之后的相鄰幾幀相鄰圖像，用于輔助識(shí)別I幀圖像。
為了表述方便，下面以I幀為例進(jìn)行說明。可能在一個(gè)場(chǎng)景內(nèi)(鏡頭比較長(zhǎng))，存在多個(gè)I幀，那么規(guī)定一個(gè)場(chǎng)景內(nèi)選取第一個(gè)I幀。
在獲得了一個(gè)場(chǎng)景內(nèi)的第一個(gè)I幀后，過濾節(jié)點(diǎn)解碼該I幀并還原該I幀圖像，然后對(duì)該幀圖像進(jìn)行識(shí)別，包括以下兩種識(shí)別方式1、人工識(shí)別，將I幀圖像顯示出來(lái)供人類監(jiān)控者察看以實(shí)現(xiàn)人工過濾功能；2、自動(dòng)識(shí)別，將I幀圖像輸入自動(dòng)識(shí)別模塊中，利用有害內(nèi)容數(shù)據(jù)庫(kù)進(jìn)行自動(dòng)的比對(duì)識(shí)別，如果發(fā)現(xiàn)馬上切斷視頻碼流的播放并報(bào)告給人類監(jiān)控者進(jìn)行處理，現(xiàn)有技術(shù)中可以進(jìn)行自動(dòng)識(shí)別的有害內(nèi)容包括下述方面1)、對(duì)于有害的圖像內(nèi)容進(jìn)行自動(dòng)識(shí)別，比如淫穢、暴力等場(chǎng)景，該圖像識(shí)別技術(shù)屬于成熟的已有技術(shù)；2)、對(duì)于有害的疊加文字或者符號(hào)進(jìn)行識(shí)別。首先經(jīng)過處理，將文字或者符號(hào)所在區(qū)域定位出來(lái)，然后識(shí)別是垂直方向還是水平方向，再具體進(jìn)行文字和背景的分割，最后把處理的結(jié)果送入一個(gè)已有的光學(xué)文字識(shí)別OCR(Optical Character Recognition)模塊進(jìn)行識(shí)別。將識(shí)別結(jié)果和數(shù)據(jù)庫(kù)進(jìn)行匹配，如果和數(shù)據(jù)庫(kù)中的有害判斷條件匹配成功，則確定為有害疊加文字或者符號(hào)，該疊加文字或者符號(hào)的識(shí)別技術(shù)屬于成熟的已有技術(shù)；3)、對(duì)于圖像中可能存在的特定人臉進(jìn)行識(shí)別，將該幀圖像直接送入已有的人臉識(shí)別模塊進(jìn)行識(shí)別。當(dāng)然已有人臉識(shí)別模塊的數(shù)據(jù)庫(kù)中的數(shù)據(jù)由內(nèi)容監(jiān)控部門自行建立，其中可以根據(jù)需要存儲(chǔ)各類人臉嫌疑犯、重要人物、恐怖分子等，該人臉識(shí)別技術(shù)屬于成熟的已有技術(shù)。
當(dāng)人工識(shí)別和自動(dòng)識(shí)別同時(shí)采用時(shí)，可以定義判斷條件1、完全以自動(dòng)識(shí)別模塊的識(shí)別結(jié)果為準(zhǔn)。
2、完全以人類監(jiān)控者的識(shí)別結(jié)果為準(zhǔn)。
3、介于兩者之間的，要同時(shí)參考以上兩種識(shí)別結(jié)果，給出聯(lián)合判決。一個(gè)實(shí)施例是基于分?jǐn)?shù)的加權(quán)平均。自動(dòng)識(shí)別模塊和人類監(jiān)控者不但要判定是否有害，還有給出有害的分?jǐn)?shù)，比如從0-100，有害程度越高，分?jǐn)?shù)越高，0表示無(wú)害。那么將自動(dòng)識(shí)別模塊的分?jǐn)?shù)和人類監(jiān)控者的分?jǐn)?shù)加權(quán)相加如下SI＝(WM×SM+WH×SH)/(WM+WH)其中WM和WH表示自動(dòng)識(shí)別模塊和人類監(jiān)控者的權(quán)值。兩者之間的相對(duì)大小表示了更加信任自動(dòng)識(shí)別模塊還是人類，SM和SH分別表示自動(dòng)識(shí)別模塊和人類給出的分?jǐn)?shù)。如果最終得到的綜合分?jǐn)?shù)SI大于一個(gè)給定的值，比如50，那么聯(lián)合判決是有害，否則是無(wú)害，如果僅有一方識(shí)別出有害內(nèi)容并給出了有害內(nèi)容的分值，則可以默認(rèn)另一方對(duì)該內(nèi)容給出的分值為0。
上述判斷條件可以根據(jù)具體情況靈活使用，當(dāng)然在實(shí)際中，還可以制定更為詳細(xì)的綜合判決規(guī)則。
一旦發(fā)現(xiàn)有害內(nèi)容，采取的措施可以是1、馬上切斷有害視頻碼流和相應(yīng)的音頻碼流，以及相關(guān)聯(lián)的其他媒體流；2、插播無(wú)害內(nèi)容(公益廣告或者系統(tǒng)檢修等文字)。
過濾節(jié)點(diǎn)還應(yīng)該具有學(xué)習(xí)功能，如果有害內(nèi)容不是自動(dòng)識(shí)別模塊自動(dòng)發(fā)現(xiàn)的，而是人類監(jiān)控者發(fā)現(xiàn)的，或者通過其他渠道發(fā)現(xiàn)的，那么過濾節(jié)點(diǎn)中的學(xué)習(xí)模塊就要學(xué)寫該有害視頻碼流。為了學(xué)習(xí)系統(tǒng)需要把每個(gè)被監(jiān)控的碼流進(jìn)行一定時(shí)間長(zhǎng)度的存儲(chǔ)比如(10分鐘，考慮到需要的容量，這個(gè)時(shí)間長(zhǎng)度應(yīng)該進(jìn)行最佳地調(diào)整)。為了進(jìn)一步降低需要的存儲(chǔ)容量，可以對(duì)于每個(gè)場(chǎng)景只存儲(chǔ)其用于識(shí)別的I幀。一旦人類監(jiān)控者發(fā)現(xiàn)有害內(nèi)容發(fā)生于某個(gè)時(shí)刻t前后，那么學(xué)習(xí)模塊就要把t-TW/2到t+TW/2(TW為學(xué)習(xí)的時(shí)間窗口長(zhǎng)度，比如30秒)內(nèi)對(duì)應(yīng)的場(chǎng)景的I幀從數(shù)據(jù)庫(kù)中讀取出來(lái)，進(jìn)行學(xué)習(xí)。經(jīng)過學(xué)習(xí)，自動(dòng)識(shí)別模塊以后就可以識(shí)別此類相關(guān)的場(chǎng)景。學(xué)習(xí)的方法有很多，包括人工智能(ArtificialIntelligence)、模糊推理(Fuzzy Logic)、人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Network)等。
當(dāng)同時(shí)基于URL進(jìn)行過濾時(shí)，過濾節(jié)點(diǎn)還要“記住”有害內(nèi)容所來(lái)自內(nèi)容源的URL和其它相關(guān)信息，存入對(duì)應(yīng)的“嫌疑”數(shù)據(jù)庫(kù)，并根據(jù)歷史記錄對(duì)URL和其它相關(guān)信息進(jìn)行評(píng)級(jí)。對(duì)于存入這個(gè)“嫌疑”數(shù)據(jù)庫(kù)的URL，也是需要一些更加精細(xì)的處理。如果某個(gè)合法的URL只是因?yàn)橐恍┎铄e(cuò)或者被別人假冒了URL播放了有害內(nèi)容，那么雖然被存入了“嫌疑”數(shù)據(jù)庫(kù)，只要以后不再發(fā)生，經(jīng)過一段時(shí)間可以消除其“嫌疑”，相反，如果多次發(fā)現(xiàn)某個(gè)URL的不良行為，就可以確定為“黑名單”，從而進(jìn)行完全屏蔽。也可以把信息和第三方URL評(píng)級(jí)服務(wù)提供商的數(shù)據(jù)庫(kù)進(jìn)行共享，把過濾節(jié)點(diǎn)的識(shí)別結(jié)果發(fā)送給第三方評(píng)級(jí)服務(wù)提供商數(shù)據(jù)庫(kù)，這樣可以進(jìn)行互利互惠的合作。
本發(fā)明用到的場(chǎng)景分割技術(shù)一般包括以下兩種1、通過視頻數(shù)據(jù)包中的結(jié)構(gòu)信息(比如運(yùn)動(dòng)向量)等對(duì)于圖像中的運(yùn)動(dòng)區(qū)域進(jìn)行估計(jì)，可以判斷多大區(qū)域在運(yùn)動(dòng)、運(yùn)動(dòng)方向，運(yùn)動(dòng)模式(單向運(yùn)動(dòng)，往復(fù)運(yùn)動(dòng)等等)，運(yùn)動(dòng)幅度大小等，從而判斷哪些幀在運(yùn)動(dòng)模式上比較相似，運(yùn)動(dòng)模式相似的幀一般屬于同一個(gè)場(chǎng)景；2、通過視頻碼流的統(tǒng)計(jì)信息進(jìn)行分析，將視頻碼流中比特率看成關(guān)于時(shí)間的隨機(jī)過程，然后進(jìn)行統(tǒng)計(jì)建模(Statistical Modelling)，從而利用統(tǒng)計(jì)模型估算場(chǎng)景的開始和結(jié)束的位置。
以上兩種技術(shù)都不需要解碼，因此都具有很高的效率。但是和解碼之后再進(jìn)行的場(chǎng)景分割技術(shù)(比如直方圖求差等)相比，一個(gè)缺點(diǎn)就是分割精度相對(duì)較低。這個(gè)缺點(diǎn)可以通過調(diào)整場(chǎng)景分割模塊的參數(shù)(比如一些門限值)來(lái)進(jìn)行解決。將參數(shù)設(shè)置得非常靈敏有可能導(dǎo)致的結(jié)果是可能把原本一個(gè)場(chǎng)景分割成了多個(gè)場(chǎng)景(過分割)，而不要發(fā)生把原本多個(gè)場(chǎng)景分割成了一個(gè)場(chǎng)景(欠分割)。
一種兩級(jí)的視頻有害內(nèi)容過濾技術(shù)可以解決這類問題。其基本思想是對(duì)于圖像特征進(jìn)行分層定義，一般分成兩個(gè)大的層面，即語(yǔ)義(Semantic或者叫做概念Conceptual)層面特征，以及事件(Event)層面特征。例如圖4所示，如果要檢測(cè)的最高的語(yǔ)義特征是“室外場(chǎng)景”，對(duì)應(yīng)的較低層面語(yǔ)義特征包括是“海灘”、“山林”、“原野”等等，進(jìn)一步有對(duì)應(yīng)更低層面的語(yǔ)義特征，最后到事件特征，比如一座山，或者一片樹木。每個(gè)事件特征都有具體的識(shí)別方法，比如識(shí)別道路，人的運(yùn)動(dòng)等。采用這種兩層識(shí)別方法的好處是把可以自動(dòng)識(shí)別的低級(jí)特征和人類可以理解的高級(jí)特征結(jié)合起來(lái)，這樣的對(duì)應(yīng)關(guān)系可以形成一個(gè)特征網(wǎng)絡(luò)模型。
同樣道理，可以建立“色情”，“暴力”等概念的特征網(wǎng)絡(luò)模型，建立特征網(wǎng)絡(luò)模型需要根據(jù)人類的理解認(rèn)知過程的機(jī)理和特定領(lǐng)域的專家知識(shí)，屬于現(xiàn)有技術(shù)，本發(fā)明不做進(jìn)一步描述。本發(fā)明提供的是一個(gè)輸入接口，通過該接口，人類專家可以定義特征網(wǎng)絡(luò)模型的表達(dá)形式，而過濾節(jié)點(diǎn)可以根據(jù)這個(gè)特征網(wǎng)絡(luò)模型進(jìn)行自動(dòng)識(shí)別工作。
用于本發(fā)明的有害疊加文字和圖形符號(hào)的過濾方法，不需要解碼即可定位到圖像中的疊加字幕和圖形符號(hào)區(qū)域，然后把他們提取出來(lái)，經(jīng)過一定的背景前景分割，輸入一個(gè)OCR(Optical Character Recognition，光學(xué)字符識(shí)別)模塊進(jìn)行識(shí)別，通過對(duì)于視頻碼流中數(shù)據(jù)包中離散余玄變換DCT(Discrete CosineTransform)系數(shù)的處理，可以定為出包含疊加文字或者圖形符號(hào)的矩形區(qū)域，然后通過對(duì)于該區(qū)域的水平和垂直投影(Projection，實(shí)際上就是沿著通過該區(qū)域的所有水平或者垂直直線，對(duì)于直線上的像素亮度進(jìn)行積分求和，從而得到一個(gè)一維亮度分布曲線)，判斷文字或者符號(hào)的走向，然后利用類似的投影方法進(jìn)行行和字的分割。
本發(fā)明所述的過濾節(jié)點(diǎn)還可以實(shí)現(xiàn)日志記錄功能，并和外部控制設(shè)備相連，實(shí)現(xiàn)與外不控制設(shè)備的數(shù)據(jù)和信令交互。
綜上所述，本發(fā)明首先提供了一種基于I幀的深度內(nèi)容過濾方法，如圖5所示，每一個(gè)待檢測(cè)I幀的識(shí)別處理方法包括如下步驟S1、從多媒體通信過程中待播放視頻碼流中荻取一個(gè)待檢測(cè)的I幀以及該I幀之前和之后的相鄰幾幀；待檢測(cè)的I幀可以包括視頻碼流中的每一個(gè)I幀，根據(jù)包含I幀的數(shù)據(jù)包的包頭中相應(yīng)設(shè)置的I幀標(biāo)識(shí)信息進(jìn)行識(shí)別；也可以只將視頻碼流中包含的每一個(gè)場(chǎng)景中的第一個(gè)I幀作為待檢測(cè)的I幀。一個(gè)場(chǎng)景中的第一幀一般為該場(chǎng)景的I幀，當(dāng)視頻碼流采用H.264協(xié)議編碼時(shí)，I幀是指包含幀內(nèi)編碼條帶或宏塊MB最多的幀，該幀標(biāo)識(shí)有瞬時(shí)解碼刷新IDR標(biāo)志。
S2、部分解碼該待檢測(cè)的I幀及其前后的若干幀圖像；也可以在解碼出的I幀圖像的精度無(wú)法進(jìn)行精確識(shí)別時(shí)，再部分解碼I幀之前及之后的相鄰幾幀相鄰圖像，用于輔助識(shí)別I幀圖像。
S3、識(shí)別該I幀圖像中是否包含有害內(nèi)容，如果是則執(zhí)行步驟S4；否則執(zhí)行步驟S5；S4、立即切斷該視頻碼流的播放；在切斷該視頻碼流的播放的同時(shí)，還可以啟動(dòng)播放替換視頻源。
S5、繼續(xù)播放該視頻碼流。
如果基于場(chǎng)景分割技術(shù)，則在獲取待檢測(cè)幀之前，先對(duì)視頻碼流進(jìn)行場(chǎng)景分割，然后將每一個(gè)場(chǎng)景中的第一幀作為待檢測(cè)幀，部分解碼該第一幀或幀該第一幀以及之前和/或之后相鄰的一定數(shù)目幀。
本發(fā)明所述方法可以和現(xiàn)有的基于URL的過濾配合使用，基于URL的過濾可以對(duì)多媒體通信過程中的相關(guān)信令進(jìn)行過濾，如果相關(guān)信令中包含有害URL信息，則拒絕執(zhí)行該信令，從而防止接收來(lái)自有害URL源的視頻碼流。
本發(fā)明在基于URL的過濾的同時(shí)，還提供了有害URL信息評(píng)級(jí)機(jī)制，可以防止錯(cuò)殺偶發(fā)有害URL信息，并發(fā)現(xiàn)新的有害URL信息，然后及時(shí)將新發(fā)現(xiàn)的有害URL信息添加到有害URL信息庫(kù)中。
本發(fā)明所述方法中，具體識(shí)別方法可以采用人工識(shí)別和自動(dòng)識(shí)別，一般情況下，同時(shí)采用兩種識(shí)別方法可以得到更高的效率和更保險(xiǎn)的識(shí)別，這時(shí)，可以設(shè)定優(yōu)先執(zhí)行人工識(shí)別或自動(dòng)識(shí)別的判決結(jié)果，當(dāng)然，也可以綜合考慮雙方的判決結(jié)果以便得到更負(fù)責(zé)任的控制模式。
本發(fā)明所述方法還提供內(nèi)容錄制機(jī)制，包括對(duì)識(shí)別出的有害內(nèi)容的錄制和指定時(shí)段中播放的視頻碼流的錄制，對(duì)有害內(nèi)容進(jìn)行錄制的目的在于如果自動(dòng)識(shí)別中沒有儲(chǔ)存的有害內(nèi)容信息被人工識(shí)別出來(lái)，則本發(fā)明還提供學(xué)習(xí)機(jī)制保證新出現(xiàn)的有害內(nèi)容及時(shí)的添加到自動(dòng)識(shí)別機(jī)制的有害內(nèi)容數(shù)據(jù)庫(kù)中；對(duì)指定時(shí)段中播放的視頻碼流錄制目的在于可以進(jìn)一步檢查來(lái)自特定URL源的視頻碼流，或者在視頻碼流中的有害內(nèi)容被漏查后，為以后的學(xué)習(xí)提供資料。
本發(fā)明所述方法還同時(shí)提供日志記錄和報(bào)告機(jī)制，對(duì)視頻碼流的過濾過程進(jìn)行記錄并可以生成日志報(bào)告。
如圖6所示，為實(shí)現(xiàn)本發(fā)明所述的視頻碼流過濾方法，本發(fā)明提供的視頻碼流過濾結(jié)點(diǎn)主要包括視頻碼流延遲模塊，用于接收多媒體通信過程中待播放的視頻碼流并延遲輸出該視頻碼；具體延遲時(shí)間根據(jù)識(shí)別有害內(nèi)容的所需要的經(jīng)驗(yàn)時(shí)間確定；開關(guān)模塊，連接所述視頻碼流延遲模塊，用于切斷該視頻碼流延遲模塊輸出的視頻碼流；I幀檢測(cè)/解碼模塊，用于從多媒體通信過程中待播放視頻碼流中獲取待檢測(cè)的I幀I幀之前及之后的相鄰幾幀，部分解碼待檢測(cè)的I幀圖像以及該I幀之前及之后的相鄰幾幀相鄰圖像；當(dāng)然，也可以在解碼出的I幀圖像的精度無(wú)法進(jìn)行精確識(shí)別時(shí)，再?gòu)囊曨l碼流延遲模塊中獲取該I幀之前及之后的相鄰幾幀，并部分解碼I幀之前及之后的相鄰幾幀相鄰圖像，用于輔助識(shí)別I幀圖像，這時(shí)，I幀檢測(cè)/解碼模塊同時(shí)連接視頻碼流延遲模塊。
有害內(nèi)容識(shí)別模塊，連接所述I幀檢測(cè)/解碼模塊，用于識(shí)別所述I幀圖像中是否包含有害內(nèi)容，如果是則輸出相應(yīng)的控制信號(hào)；判決模塊，連接在有害內(nèi)容識(shí)別模塊和開關(guān)模塊之間，用于接收到所述控制信號(hào)時(shí)向所述開關(guān)模塊輸出斷開所述視頻碼流的觸發(fā)信號(hào)；如果基于場(chǎng)景分割技術(shù)獲取待檢測(cè)的I幀，則過濾節(jié)點(diǎn)還包括場(chǎng)景分割模塊，連接I幀檢測(cè)/解碼模塊，用于和視頻碼流延遲模塊并行接收待播放的視頻碼流并對(duì)該視頻碼流進(jìn)行場(chǎng)景分割；如圖7所示，圖7為有害內(nèi)容識(shí)別模塊和判決模塊的一種機(jī)構(gòu)示意圖，其中有害內(nèi)容識(shí)別模塊中包括實(shí)現(xiàn)自動(dòng)識(shí)別功能的自動(dòng)識(shí)別子模塊，連接在所述I幀檢測(cè)/解碼模塊和判決模塊之間，用于將有害內(nèi)容數(shù)據(jù)庫(kù)中的有害內(nèi)容與所述I幀圖像中包含的相關(guān)內(nèi)容進(jìn)行逐一比對(duì)來(lái)進(jìn)行有害內(nèi)容的自動(dòng)識(shí)別；根據(jù)有害內(nèi)容的類型，自動(dòng)識(shí)別子模塊進(jìn)一步包括有害圖像識(shí)別單元和相連接的有害圖像數(shù)據(jù)庫(kù)、有害疊加文字/符號(hào)識(shí)別單元和相連接的有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)、人臉識(shí)別單元和相連接的人臉數(shù)據(jù)庫(kù)，并行對(duì)所述I幀圖像中是否包含相應(yīng)的有害內(nèi)容進(jìn)行識(shí)別。其中，有害圖像數(shù)據(jù)庫(kù)中還保存有害圖像內(nèi)容識(shí)別的各種已有特征網(wǎng)絡(luò)(每次人類輸入的特征網(wǎng)絡(luò)都存儲(chǔ)在這里)和識(shí)別低級(jí)事件特征的各種模板，比如統(tǒng)計(jì)直方圖模板等；有害文字和符號(hào)數(shù)據(jù)庫(kù)存儲(chǔ)各種有害文字和符號(hào)的模板，比如反動(dòng)和色情的詞匯俚語(yǔ)等，還有已知的有害圖形符號(hào)，比如納粹符號(hào)等；人臉數(shù)據(jù)庫(kù)為人臉識(shí)別模塊提供必要數(shù)據(jù)和各種模板，比如嫌疑犯、被檢控對(duì)象，重要人物的人臉模板等；有害內(nèi)容識(shí)別模塊中還包括用于實(shí)現(xiàn)人工識(shí)別功能人工識(shí)別子模塊，該人工識(shí)別子模塊中具體包括I幀圖像顯示單元和監(jiān)控指令輸入單元，其中，I幀圖像顯示單元連接所述I幀檢測(cè)/解碼模塊，用于將所述I幀圖像顯示給監(jiān)控者進(jìn)行有害內(nèi)容的人工識(shí)別；監(jiān)控指令輸入單元連接所述判決模塊，用于接收到監(jiān)控者在識(shí)別出有害內(nèi)容時(shí)輸入的切斷指令時(shí)，向所述判決模塊輸出所述控制信號(hào)。
判決模塊中相應(yīng)的包括第一判決單元，接收所述自動(dòng)識(shí)別子模塊輸出的控制信號(hào)；第二判決單元，接收所述操作界面子模塊輸出的控制信號(hào)；聯(lián)合判決單元，分別連接所述第一判決單元和第二判決單元，用于根據(jù)設(shè)定的規(guī)則優(yōu)先執(zhí)行第一判決單元或第二判決單元的控制信號(hào)；或者，所述自動(dòng)識(shí)別子模塊和監(jiān)控者分別根據(jù)預(yù)先設(shè)定的規(guī)則，為識(shí)別出的有害內(nèi)容給出相應(yīng)的有害程度分值，聯(lián)合判決單元對(duì)兩個(gè)分值進(jìn)行加權(quán)處理后得到最終執(zhí)行的判決結(jié)果，當(dāng)僅收到一方為認(rèn)定的有害內(nèi)容給出的分值時(shí)，默認(rèn)另一方為該內(nèi)容給出的分值為零；很多情況下，單獨(dú)根據(jù)視頻可能不足以判斷內(nèi)容是否有害，還要聯(lián)合音頻的判決結(jié)果，因此本模塊可以引入來(lái)自本節(jié)點(diǎn)外部的音頻內(nèi)容過濾結(jié)果作為一個(gè)輸入，所以判決模塊中還包括第三判決單元，用于接收到所述視頻碼流對(duì)應(yīng)的音頻碼流的有害聲音判決結(jié)果時(shí)直接向所述開關(guān)模塊輸出斷開所述視頻碼流的觸發(fā)信號(hào)，或通過聯(lián)合判決單元向所述開關(guān)模塊輸出斷開所述視頻碼流的觸發(fā)信號(hào)，圖7中所示結(jié)構(gòu)為后一種實(shí)現(xiàn)方式。
仍參閱圖6，視頻碼流過濾結(jié)點(diǎn)中還可以同時(shí)包括基于URL的過濾模塊，用于接收多媒體通信的相關(guān)信令，并利用預(yù)存的有害通用資源定位器URL信息庫(kù)對(duì)所述相關(guān)信令進(jìn)行基于URL的過濾，如果判斷某個(gè)URL為有害，則禁止相應(yīng)的信令建立過程，從而使得對(duì)于內(nèi)容的請(qǐng)求和發(fā)送無(wú)法正確進(jìn)行；該過濾節(jié)點(diǎn)還可以包括URL記錄和評(píng)級(jí)模塊和URL評(píng)級(jí)數(shù)據(jù)庫(kù)，其中，URL記錄和評(píng)級(jí)模塊用于記錄有害內(nèi)容的URL信息，URL評(píng)級(jí)數(shù)據(jù)庫(kù)用于記錄URL評(píng)級(jí)數(shù)據(jù)；URL記錄和評(píng)級(jí)模塊根據(jù)一個(gè)URL以前發(fā)生不良行為的頻率和嚴(yán)重性，進(jìn)行評(píng)級(jí)調(diào)整，如果該URL信息達(dá)到設(shè)定的級(jí)別則將該URL信息添加到有害URL信息庫(kù)中。這樣可以保證，不會(huì)因?yàn)槟硞€(gè)URL偶然的問題，而被永遠(yuǎn)封殺，還可以向第三方評(píng)級(jí)服務(wù)上輸出記錄和評(píng)級(jí)結(jié)果。
URL記錄和評(píng)級(jí)模塊除了進(jìn)行記錄和評(píng)級(jí)外，還作為URL評(píng)級(jí)數(shù)據(jù)庫(kù)模塊對(duì)外的接口。除了主控模塊外的其它模塊和數(shù)據(jù)庫(kù)都沒有直接連線，都要通過URL記錄和評(píng)級(jí)模塊來(lái)訪問數(shù)據(jù)庫(kù)。
因此數(shù)據(jù)庫(kù)只有和URL記錄和評(píng)級(jí)模塊以及主控模塊有連線。URL記錄和評(píng)級(jí)模塊和以下模塊有連線主控模塊；URL評(píng)級(jí)數(shù)據(jù)庫(kù)模塊；判決模塊，判決結(jié)果引入來(lái)給相關(guān)聯(lián)的URL評(píng)分定級(jí)；學(xué)習(xí)模塊，學(xué)習(xí)過程中可能要參考數(shù)據(jù)庫(kù)的數(shù)據(jù)；有害內(nèi)容識(shí)別模塊在識(shí)別過程中，可能需要使用到數(shù)據(jù)庫(kù)中的URL數(shù)據(jù)。一個(gè)例子是如果視頻中疊加了一個(gè)字幕，告訴觀眾去訪問某個(gè)URL，比如非法網(wǎng)站，那么也是要進(jìn)行識(shí)別和控制的。
仍參閱圖6，該過濾節(jié)點(diǎn)還包括有害內(nèi)容錄制模塊，分別連接所述I幀檢測(cè)/解碼模塊和判決模塊，所述判決模塊觸發(fā)斷開所述視頻碼流的同時(shí)，啟動(dòng)該有害內(nèi)容錄制模塊錄制識(shí)別出的有害內(nèi)容；錄制的時(shí)間窗口長(zhǎng)度TW可以由人類監(jiān)控者指定；視頻內(nèi)容錄制模塊，用于錄制監(jiān)控者指定時(shí)段的視頻流并存儲(chǔ)到錄制內(nèi)容存儲(chǔ)模塊；錄制的時(shí)間窗口長(zhǎng)度TW可以由人類監(jiān)控者指定；一般情況下，有害內(nèi)容錄制模塊和視頻內(nèi)容錄制模塊合并設(shè)置為一個(gè)錄制模塊；錄制內(nèi)容存儲(chǔ)模塊，分別連接有害內(nèi)容錄制模塊和視頻內(nèi)容錄制模塊(即錄制模塊)，用于保存錄制的有害內(nèi)容。
仍參閱圖6，該過濾節(jié)點(diǎn)還包括有害內(nèi)容學(xué)習(xí)模塊，連接所述錄制內(nèi)容存儲(chǔ)模塊，用于當(dāng)自動(dòng)識(shí)別子模塊和監(jiān)控者的對(duì)該內(nèi)容的識(shí)別結(jié)果不一致并最終執(zhí)行了監(jiān)控者的有害判決結(jié)果時(shí)，學(xué)習(xí)該有害內(nèi)容并將學(xué)習(xí)結(jié)果添加到有害內(nèi)容數(shù)據(jù)庫(kù)中。
如圖8所示，當(dāng)自動(dòng)識(shí)別子模塊根據(jù)有害內(nèi)容的類型分別設(shè)置時(shí)，有害內(nèi)容學(xué)習(xí)模塊對(duì)應(yīng)包括圖像學(xué)習(xí)單元，連接有害圖像數(shù)據(jù)庫(kù)，用于學(xué)習(xí)有害圖像并將學(xué)習(xí)結(jié)果添加到有害圖像數(shù)據(jù)庫(kù)中；疊加文字/符號(hào)學(xué)習(xí)單元，連接有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)，用于學(xué)習(xí)有害疊加文字/符號(hào)并將學(xué)習(xí)結(jié)果添加到有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)中；人臉學(xué)習(xí)單元，連接人臉數(shù)據(jù)庫(kù)，用于學(xué)習(xí)人臉圖像并將學(xué)習(xí)結(jié)果添加到人臉數(shù)據(jù)庫(kù)中。
如圖9所示，為實(shí)現(xiàn)對(duì)過濾節(jié)點(diǎn)的控制以及參數(shù)的設(shè)置，該過濾結(jié)點(diǎn)還包括以下結(jié)構(gòu)操作界面模塊，用于輸入相關(guān)參數(shù)或操作指令；為人類監(jiān)控者提供操作界面包括用戶圖形界面和命令行等方式。
特征網(wǎng)絡(luò)模塊，連接在所述操作界面模塊和有害圖像數(shù)據(jù)庫(kù)之間，用于向所述有害圖像識(shí)別單元輸入/調(diào)整特征網(wǎng)絡(luò)模型和/或事件特征模板。
參數(shù)設(shè)置模塊，連接在所述操作界面模塊和場(chǎng)景分割模塊之間，用于向所述場(chǎng)景分割模塊中輸入/調(diào)整進(jìn)行場(chǎng)景分割所需的相關(guān)參數(shù)。
判決規(guī)則設(shè)置模塊，連接在所述操作界面模塊和判決模塊之間，用于向所述判決模塊輸入/調(diào)整控制信號(hào)的判決規(guī)則；評(píng)級(jí)規(guī)則設(shè)置模塊，連接在所述操作界面模塊和URL評(píng)級(jí)數(shù)據(jù)庫(kù)之間，用于向所述URL評(píng)級(jí)數(shù)據(jù)庫(kù)中輸入/調(diào)整評(píng)級(jí)規(guī)則；主控模塊，分別連接該過濾節(jié)點(diǎn)中的其他任何一個(gè)模塊、子模塊或單元，該模塊是本過濾節(jié)點(diǎn)的中心模塊，起到控制全部其它模塊、子模塊或單元的作用；日志報(bào)告模塊，分別連接該過濾節(jié)點(diǎn)中的其他任何一個(gè)模塊、子模塊或單元，用于對(duì)于本節(jié)點(diǎn)的運(yùn)行狀態(tài)和發(fā)生的事件以及內(nèi)容過濾的結(jié)果等進(jìn)行日志記錄和報(bào)告生成。
外部控制模塊，連接所述主控模塊，用于完成和外部控制設(shè)備的數(shù)據(jù)/信令交互。因?yàn)楸竟?jié)點(diǎn)在網(wǎng)絡(luò)位置上和媒體網(wǎng)關(guān)等其它網(wǎng)絡(luò)設(shè)備部署在同一網(wǎng)絡(luò)位置，甚至在物理設(shè)備形態(tài)上，可以和媒體網(wǎng)關(guān)等實(shí)現(xiàn)在同一個(gè)物理設(shè)備中。因此，很可能接受外部控制設(shè)備比如網(wǎng)關(guān)控制器的控制，并且向外部設(shè)備上報(bào)信息，控制命令和數(shù)據(jù)上報(bào)采用的通信協(xié)議可以是H.248/MGCP(Media GatewayControl Protocol)等，本模塊完成和外部控制設(shè)備的數(shù)據(jù)交互等。
控制指令模塊，連接在操作界面模塊和主控模塊之間，用于接受人類監(jiān)控者的指令，比如切斷有害的視頻碼流，用無(wú)害碼流替代、啟動(dòng)或者禁止基于URL的過濾功能、重新啟動(dòng)本節(jié)點(diǎn)等；前述的監(jiān)控指令輸入單元可以設(shè)置在該控制指令模塊中；最后需要說明，本發(fā)明的過濾節(jié)點(diǎn)可以部署在網(wǎng)絡(luò)上，對(duì)于網(wǎng)絡(luò)位置并沒有嚴(yán)格指定。其實(shí)可以部署在內(nèi)容源到用戶終端之間的任何網(wǎng)絡(luò)位置上，只要所要過濾的媒體流通過該網(wǎng)絡(luò)位置就可以。在極端情況下，可以部署在用戶終端上，那么就相當(dāng)于在終端內(nèi)置了一個(gè)內(nèi)容過濾子系統(tǒng)。
需要說明的是，視頻碼流被加密并不影響本發(fā)明技術(shù)方案的實(shí)施，視頻碼流的加密有以下兩種可能1、來(lái)自合法的內(nèi)容源的內(nèi)容，如果經(jīng)過DRM等手段加密，作為國(guó)家機(jī)關(guān)的內(nèi)容監(jiān)控部門可以獲取密鑰；2、來(lái)自非法內(nèi)容源的內(nèi)容，其目的是要散布有害內(nèi)容，需要廣大的網(wǎng)絡(luò)人群能夠接收到，必然不加密或者采用較低級(jí)的加密手段，因此可以方便解密。
本發(fā)明的上述方法中，有害內(nèi)容的特定分級(jí)標(biāo)準(zhǔn)和相應(yīng)的識(shí)別標(biāo)準(zhǔn)根據(jù)實(shí)際應(yīng)用場(chǎng)景確定，具體標(biāo)準(zhǔn)或識(shí)別方法并不限定本發(fā)明的保護(hù)范圍。
顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種多媒體通信過程中的視頻碼流過濾方法，其特征在于，包括如下步驟A、從多媒體通信過程中傳輸?shù)囊曨l碼流中獲取待檢測(cè)的幀內(nèi)編碼幀，部分解碼該幀內(nèi)編碼幀圖像；B、識(shí)別所述幀內(nèi)編碼幀圖像中是否包含有害內(nèi)容，如果是則切斷所述視頻碼流的播放；否則播放該視頻碼流。
2.如權(quán)利要求1所述的過濾方法，其特征在于，所述步驟A中還包括獲取并部分解碼所述幀內(nèi)編碼幀之前和/或之后相鄰的一定數(shù)目幀的圖像；所述步驟B中還包括，利用所述相鄰幀的圖像輔助識(shí)別所述幀內(nèi)編碼幀圖像。
3.如權(quán)利要求1所述的過濾方法，其特征在于，所述步驟A中，所述待檢測(cè)的幀內(nèi)編碼幀包括所述視頻碼流中的每一個(gè)幀內(nèi)編碼幀，根據(jù)包含幀內(nèi)編碼幀的數(shù)據(jù)包的包頭中相應(yīng)設(shè)置的幀內(nèi)編碼幀標(biāo)識(shí)信息進(jìn)行識(shí)別。
4.如權(quán)利要求1所述的過濾方法，其特征在于，所述步驟A中，所述待檢測(cè)的幀內(nèi)編碼幀為所述視頻碼流中包含的每一個(gè)場(chǎng)景中的第一個(gè)幀內(nèi)編碼幀。
5.如權(quán)利要求4所述的過濾方法，其特征在于，所述方法中還包括如下步驟根據(jù)視頻數(shù)據(jù)包的結(jié)構(gòu)信息對(duì)所述的視頻碼流進(jìn)行場(chǎng)景分割；和/或，根據(jù)視頻流的統(tǒng)計(jì)信息對(duì)所述的視頻碼流進(jìn)行場(chǎng)景分割。
6.如權(quán)利要求1-4任意之一所述的過濾方法，其特征在于，所述方法中，當(dāng)所述視頻碼流采用H.264協(xié)議編碼時(shí)，所述的幀內(nèi)編碼幀是指包含幀內(nèi)編碼條帶或宏塊最多的幀，該幀標(biāo)識(shí)有瞬時(shí)解碼刷新標(biāo)志。
7.如權(quán)利要求1所述的過濾方法，其特征在于，所述方法還同時(shí)包括利用預(yù)存的有害通用資源定位器URL信息庫(kù)，對(duì)多媒體通信過程中的相關(guān)信令進(jìn)行基于URL的過濾。
8.如權(quán)利要求7所述的過濾方法，其特征在于，所述步驟B中還同時(shí)包括記錄識(shí)別出的有害內(nèi)容的相關(guān)URL信息并根據(jù)歷史記錄對(duì)該URL信息進(jìn)行評(píng)級(jí)，如果該URL信息達(dá)到設(shè)定的級(jí)別則將該URL信息添加到有害URL信息庫(kù)中。
9.如權(quán)利要求1所述的過濾方法，其特征在于，所述方法還同時(shí)包括識(shí)別所述視頻碼流對(duì)應(yīng)的音頻碼流中是否包含有害聲音，如果是則切斷所述視頻碼流的播放；否則繼續(xù)播放該視頻碼流。
10.如權(quán)利要求1所述的過濾方法，其特征在于，所述步驟B中，將所述幀內(nèi)編碼幀圖像輸入自動(dòng)識(shí)別模塊，自動(dòng)識(shí)別模塊將預(yù)存的有害內(nèi)容數(shù)據(jù)庫(kù)中的有害內(nèi)容與所述幀內(nèi)編碼幀圖像中包含的相關(guān)內(nèi)容進(jìn)行逐一比對(duì)來(lái)進(jìn)行有害內(nèi)容的自動(dòng)識(shí)別；和/或?qū)⑺鰩瑑?nèi)編碼幀圖像顯示給監(jiān)控者來(lái)進(jìn)行有害內(nèi)容的人工識(shí)別。
11.如權(quán)利要求10所述的過濾方法，其特征在于，當(dāng)人工識(shí)別和自動(dòng)識(shí)別同時(shí)進(jìn)行時(shí)，如果二者的識(shí)別結(jié)果出現(xiàn)不一致，則優(yōu)先執(zhí)行自動(dòng)識(shí)別模塊或監(jiān)控者的判決結(jié)果。
12.如權(quán)利要求10所述的過濾方法，其特征在于，當(dāng)人工識(shí)別和自動(dòng)識(shí)別同時(shí)進(jìn)行時(shí)，由自動(dòng)識(shí)別模塊和監(jiān)控者分別根據(jù)預(yù)先設(shè)定的規(guī)則，為識(shí)別出的有害內(nèi)容給出相應(yīng)的有害程度分值，然后對(duì)兩個(gè)分值進(jìn)行加權(quán)處理后得到最終執(zhí)行的判決結(jié)果，當(dāng)僅收到一方為認(rèn)定的有害內(nèi)容給出的分值時(shí)，默認(rèn)另一方為該內(nèi)容給出的分值為零。
13.如權(quán)利要求12所述的過濾方法，其特征在于，所述的加權(quán)處理方法為SI＝(WM×SM+WH×SH)/(WM+WH)其中，WM和WH表示自動(dòng)識(shí)別模塊和監(jiān)控者的權(quán)值，WM和WH之間的相對(duì)大小表示了對(duì)識(shí)別結(jié)果的信任度，SM和SH分別自動(dòng)識(shí)別模塊和監(jiān)控者給出的分?jǐn)?shù)，如果SI大于一個(gè)給定值，則判決結(jié)果為有害，否則判決結(jié)果為無(wú)害，WM、WH和給定值分別根據(jù)經(jīng)驗(yàn)值設(shè)定。
14.如權(quán)利要求11或12所述的過濾方法，其特征在于，所述方法還同時(shí)包括錄制識(shí)別出的有害內(nèi)容，當(dāng)人工識(shí)別和自動(dòng)識(shí)別同時(shí)進(jìn)行時(shí)，如果自動(dòng)識(shí)別和人工識(shí)別結(jié)果不一致并最終執(zhí)行了人工識(shí)別的有害判決結(jié)果，則學(xué)習(xí)被識(shí)別出的有害內(nèi)容并將學(xué)習(xí)結(jié)果添加到有害內(nèi)容數(shù)據(jù)庫(kù)中。
15.如權(quán)利要求1所述的過濾方法，其特征在于，所述的有害內(nèi)容至少包括如下之一有害圖像、有害疊加文字或符號(hào)、特定人臉圖像。
16.如權(quán)利要求1或9所述的過濾方法，其特征在于，切斷播放所述視頻碼流的同時(shí)，啟動(dòng)播放備用無(wú)害視頻碼流。
17.如權(quán)利要求1所述的過濾方法，其特征在于，所述方法還同時(shí)包括錄制并保存指定時(shí)段播放的視頻碼流。
18.如權(quán)利要求1所述的過濾方法，其特征在于，所述方法還同時(shí)包括將有害內(nèi)容的識(shí)別情況記錄在日志并生成日志報(bào)告。
19.如權(quán)利要求1所述的過濾方法，其特征在于，所述方法還同時(shí)包括根據(jù)識(shí)別有害內(nèi)容所需要的時(shí)間，延遲播放所述視頻碼流。
20.一種多媒體通信過程中的視頻碼流過濾節(jié)點(diǎn)，包括視頻碼流延遲模塊，用于接收多媒體通信過程中待播放的視頻碼流并延遲輸出該視頻碼；開關(guān)模塊，連接所述視頻碼流延遲模塊，用于切斷該視頻碼流延遲模塊輸出的視頻碼流；其特征在于，所述過濾節(jié)點(diǎn)還包括幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于從多媒體通信過程中待播放視頻碼流中獲取待檢測(cè)的幀內(nèi)編碼幀或者該幀內(nèi)編碼幀及其之前和/或之后的相鄰的一定數(shù)目幀，部分解碼獲取的相鄰幀的圖像；有害內(nèi)容識(shí)別模塊，連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于識(shí)別所述圖像中是否包含有害內(nèi)容，如果是則輸出相應(yīng)的控制信號(hào)；判決模塊，連接在有害內(nèi)容識(shí)別模塊和開關(guān)模塊之間，用于接收到所述控制信號(hào)時(shí)向所述開關(guān)模塊輸出斷開所述視頻碼流的觸發(fā)信號(hào)。
21.如權(quán)利要求20所述的過濾節(jié)點(diǎn)，其特征在于，該過濾節(jié)點(diǎn)還包括場(chǎng)景分割模塊，連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于接收待播放的視頻碼流并對(duì)該視頻碼流進(jìn)行場(chǎng)景分割。
22.如權(quán)利要求20所述的過濾節(jié)點(diǎn)，其特征在于，該過濾節(jié)點(diǎn)還包括基于URL的過濾模塊，用于接收多媒體通信的相關(guān)信令，并利用預(yù)存的有害通用資源定位器URL信息庫(kù)對(duì)所述相關(guān)信令進(jìn)行基于URL的過濾。
23.如權(quán)利要求22所述的過濾節(jié)點(diǎn)，其特征在于，該過濾節(jié)點(diǎn)還包括URL記錄和評(píng)級(jí)模塊，用于記錄有害內(nèi)容的相關(guān)URL信息并根據(jù)歷史記錄對(duì)該URL信息進(jìn)行評(píng)級(jí)，如果該URL信息達(dá)到設(shè)定的級(jí)別則將該URL信息添加到有害URL信息庫(kù)中；URL評(píng)級(jí)數(shù)據(jù)庫(kù)，用于保存URL評(píng)級(jí)的規(guī)則和歷史記錄。
24.如權(quán)利要求23所述的過濾節(jié)點(diǎn)，其特征在于，所述的有害內(nèi)容識(shí)別模塊包括自動(dòng)識(shí)別子模塊，連接在所述幀內(nèi)編碼幀檢測(cè)/解碼模塊和判決模塊之間，用于將有害內(nèi)容數(shù)據(jù)庫(kù)中的有害內(nèi)容與所述幀內(nèi)編碼幀圖像中包含的相關(guān)內(nèi)容進(jìn)行逐一比對(duì)來(lái)進(jìn)行有害內(nèi)容的自動(dòng)識(shí)別；和/或人工識(shí)別子模塊，該人工識(shí)別子模塊具體包括幀內(nèi)編碼幀圖像顯示單元和監(jiān)控指令輸入單元，其中，幀內(nèi)編碼幀圖像顯示單元連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊，用于將所述幀內(nèi)編碼幀圖像顯示給監(jiān)控者進(jìn)行有害內(nèi)容的人工識(shí)別；監(jiān)控指令輸入單元連接所述判決模塊，用于接收到監(jiān)控者在識(shí)別出有害內(nèi)容時(shí)輸入的切斷指令時(shí)，向所述判決模塊輸出所述控制信號(hào)。
25.如權(quán)利要求24所述的過濾節(jié)點(diǎn)，其特征在于，根據(jù)有害內(nèi)容的類型，所述自動(dòng)識(shí)別子模塊至少包括如下之一有害圖像識(shí)別單元和相連接的有害圖像數(shù)據(jù)庫(kù)、有害疊加文字/符號(hào)識(shí)別單元和相連接的有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)、人臉識(shí)別單元和相連接的人臉數(shù)據(jù)庫(kù)；其中，有害圖像識(shí)別單元、有害疊加文字/符號(hào)識(shí)別單元和人臉識(shí)別單元并行連接在所述幀內(nèi)編碼幀檢測(cè)/解碼模塊和判決模塊之間，分別對(duì)所述幀內(nèi)編碼幀圖像中是否包含相應(yīng)的有害內(nèi)容進(jìn)行識(shí)別。
26.如權(quán)利要求25所述的過濾節(jié)點(diǎn)，其特征在于，當(dāng)所述有害內(nèi)容識(shí)別模塊中同時(shí)包含有自動(dòng)識(shí)別子模塊和指令輸入子模塊時(shí)，所述判決模塊中包括第一判決單元，接收所述自動(dòng)識(shí)別子模塊輸出的控制信號(hào)；第二判決單元，接收所述操作界面子模塊輸出的控制信號(hào)；聯(lián)合判決單元，分別連接所述第一判決單元和第二判決單元，用于根據(jù)設(shè)定的規(guī)則優(yōu)先執(zhí)行第一判決單元或第二判決單元的控制信號(hào)；或者，所述自動(dòng)識(shí)別子模塊和監(jiān)控者分別根據(jù)預(yù)先設(shè)定的規(guī)則，為識(shí)別出的有害內(nèi)容給出相應(yīng)的有害程度分值，聯(lián)合判決單元對(duì)兩個(gè)分值進(jìn)行加權(quán)處理后得到最終執(zhí)行的判決結(jié)果，當(dāng)僅收到一方為認(rèn)定的有害內(nèi)容給出的分值時(shí)，默認(rèn)另一方為該內(nèi)容給出的分值為零。
27.如權(quán)利要求26所述的過濾節(jié)點(diǎn)，其特征在于，所述判決模塊中還包括第三判決單元，用于接收到所述視頻碼流對(duì)應(yīng)的音頻碼流的有害聲音判決結(jié)果時(shí)，直接或通過聯(lián)合判決單元向所述開關(guān)模塊輸出斷開所述視頻碼流的控制指令。
28.如權(quán)利要求18或25所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括有害內(nèi)容錄制模塊，分別連接所述幀內(nèi)編碼幀檢測(cè)/解碼模塊和判決模塊，所述判決模塊觸發(fā)斷開所述視頻碼流的同時(shí)，啟動(dòng)該有害內(nèi)容錄制模塊錄制識(shí)別出的有害內(nèi)容；錄制內(nèi)容存儲(chǔ)模塊，連接所述有害內(nèi)容錄制模塊，用于保存錄制的有害內(nèi)容。
29.如權(quán)利要求28所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括有害內(nèi)容學(xué)習(xí)模塊，連接所述錄制內(nèi)容存儲(chǔ)模塊，用于當(dāng)自動(dòng)識(shí)別子模塊和監(jiān)控者的對(duì)該內(nèi)容的識(shí)別結(jié)果不一致并最終執(zhí)行了監(jiān)控者的有害判決結(jié)果時(shí)，學(xué)習(xí)該有害內(nèi)容并將學(xué)習(xí)結(jié)果添加到有害內(nèi)容數(shù)據(jù)庫(kù)中。
30.如權(quán)利要求28所述的過濾節(jié)點(diǎn)，其特征在于，當(dāng)自動(dòng)識(shí)別子模塊根據(jù)有害內(nèi)容的類型分別設(shè)置時(shí)，所述有害內(nèi)容學(xué)習(xí)模塊對(duì)應(yīng)包括如下之一圖像學(xué)習(xí)單元，連接有害圖像數(shù)據(jù)庫(kù)，用于學(xué)習(xí)有害圖像并將學(xué)習(xí)結(jié)果添加到有害圖像數(shù)據(jù)庫(kù)中；疊加文字/符號(hào)學(xué)習(xí)單元，連接有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)，用于學(xué)習(xí)有害疊加文字/符號(hào)并將學(xué)習(xí)結(jié)果添加到有害疊加文字/符號(hào)數(shù)據(jù)庫(kù)中；人臉學(xué)習(xí)單元，連接人臉數(shù)據(jù)庫(kù)，用于學(xué)習(xí)人臉圖像并將學(xué)習(xí)結(jié)果添加到人臉數(shù)據(jù)庫(kù)中。
31.如權(quán)利要求28所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括操作界面模塊，用于輸入相關(guān)參數(shù)或操作指令；視頻內(nèi)容錄制模塊，連接所述操作界面模塊和錄制內(nèi)容存儲(chǔ)模塊之間，錄制監(jiān)控者指定時(shí)段的視頻流并存儲(chǔ)到錄制內(nèi)容存儲(chǔ)模塊。
32.如權(quán)利要求31所述的過濾節(jié)點(diǎn)，其特征在于，當(dāng)自動(dòng)識(shí)別子模塊中包含有害圖像識(shí)別單元時(shí)，所述過濾節(jié)點(diǎn)還包括特征網(wǎng)絡(luò)模塊，連接在所述操作界面模塊和有害圖像數(shù)據(jù)庫(kù)之間，用于向所述有害圖像數(shù)據(jù)庫(kù)中輸入/調(diào)整特征網(wǎng)絡(luò)模型和/或事件特征模板。
33.如權(quán)利要求32所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括參數(shù)設(shè)置模塊，連接在所述操作界面模塊和場(chǎng)景分割模塊之間，用于向所述場(chǎng)景分割模塊中輸入/調(diào)整進(jìn)行場(chǎng)景分割所需的相關(guān)參數(shù)。
34.如權(quán)利要求32所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括判決規(guī)則設(shè)置模塊，連接在所述操作界面模塊和判決模塊之間，用于向所述判決模塊輸入/調(diào)整控制信號(hào)的判決規(guī)則；和/或評(píng)級(jí)規(guī)則設(shè)置模塊，連接在所述操作界面模塊和URL評(píng)級(jí)數(shù)據(jù)庫(kù)之間，用于向所述URL評(píng)級(jí)數(shù)據(jù)庫(kù)中輸入/調(diào)整評(píng)級(jí)規(guī)則。
35.如權(quán)利要求18所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括替換片源庫(kù)，連接所述開關(guān)模塊為轉(zhuǎn)換開關(guān)，該轉(zhuǎn)換開關(guān)在斷開所述視頻碼流的同時(shí)，接通該替換片源庫(kù)。
36.如權(quán)利要求22-35所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括主控模塊，分別連接該過濾節(jié)點(diǎn)中的其他任何一個(gè)模塊、子模塊或單元，用于進(jìn)行運(yùn)行控制；日志報(bào)告模塊，分別連接該過濾節(jié)點(diǎn)中的其他任何一個(gè)模塊、子模塊或單元，用于生成并輸出該過濾節(jié)點(diǎn)的運(yùn)行日志。
37.如權(quán)利要求36所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括外部控制模塊，連接所述主控模塊，用于完成和外部控制設(shè)備的數(shù)據(jù)/信令交互。
38.如權(quán)利要求36所述的過濾節(jié)點(diǎn)，其特征在于，所述過濾節(jié)點(diǎn)還包括控制指令模塊，連接在操作界面模塊和主控模塊之間，用于接受人類監(jiān)控者的指令。
39.如權(quán)利要求38所述的過濾節(jié)點(diǎn)，其特征在于，當(dāng)所述過濾節(jié)點(diǎn)同時(shí)包括所述監(jiān)控指令輸入單元時(shí)，該監(jiān)控指令輸入單元設(shè)置在該控制指令模塊中。
全文摘要
本發(fā)明涉及多媒體通信技術(shù)，特別涉及一種多媒體通信過程中的視頻碼流過濾方法和過濾節(jié)點(diǎn)，以解決現(xiàn)有基于人工識(shí)別的深度內(nèi)容過濾方法效率低，缺乏通用性的問題。本發(fā)明提供的過濾方法只需要部分解碼視頻碼流中的部分?jǐn)?shù)據(jù)，進(jìn)一步基于場(chǎng)景分割技術(shù)進(jìn)行識(shí)別。本發(fā)明所述方法可以基于現(xiàn)有有害內(nèi)容的自動(dòng)識(shí)別技術(shù)，可以高效的實(shí)現(xiàn)自動(dòng)識(shí)別過濾并和人工識(shí)別機(jī)制配合使用，還可以同時(shí)采用現(xiàn)有的基于URL的過濾技術(shù)。本發(fā)明的過濾節(jié)點(diǎn)主要包括視頻碼流延遲模塊、開關(guān)模塊、I幀檢測(cè)/解碼模塊、符合特定分類定性分級(jí)標(biāo)準(zhǔn)的內(nèi)容識(shí)別模塊和判決模塊，本發(fā)明技術(shù)方案減少了需要解碼的數(shù)據(jù)數(shù)量，降低了處理復(fù)雜度。
文檔編號(hào)H04N7/16GK1968408SQ20061007902
公開日2007年5月23日 申請(qǐng)日期2006年4月30日 優(yōu)先權(quán)日2006年4月30日
發(fā)明者羅忠 申請(qǐng)人:華為技術(shù)有限公司