專利名稱：一種媒體流審查系統(tǒng)及審查碼流生成節(jié)點設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體通信技術(shù)，特別涉及一種多媒體通信過程中，對來自流媒體源的媒體流進行審查的審查系統(tǒng)和一種用于該審查系統(tǒng)的審查碼流生成節(jié)點。
背景技術(shù)：
流媒體(Streaming Media)作為一種基本的多媒體通信形式，派生出了眾多的多媒體通信業(yè)務(wù)形式會議電視/可視電話，IPTV，VOD，即時通信等等。因此流媒體將成為NGN(Next Generation Network，下一代網(wǎng)絡(luò))上的基本通信形式。尤其是近幾年來國內(nèi)外IPTV(Internet Protocol Television，IP電視)業(yè)務(wù)的快速興起，流媒體在網(wǎng)絡(luò)上的應(yīng)用也在急速發(fā)展。
流媒體上的一類業(yè)務(wù)比如IPTV和VOD(Video on Demand，視頻點播)，都是以提供視頻音頻內(nèi)容為功能的。內(nèi)容的范圍非常廣闊，包括影視節(jié)目、新聞、體育比賽、演唱會等等。各個國家，尤其是我國，對于內(nèi)容的安全和監(jiān)控一直是高度重視的，都有相關(guān)的法律。從保護未成年人角度出發(fā)，各國也有相關(guān)的規(guī)定。同時，在運營商/ISP(Internet Service Provider，因特網(wǎng)服務(wù)提供商)和內(nèi)容提供商那里也有這樣的需求。國內(nèi)即將大規(guī)模開展IPTV的運營，那么首先一個問題是如何保證有效的內(nèi)容監(jiān)控和過濾，實現(xiàn)有害內(nèi)容的過濾。不解決這個問題，IPTV在國內(nèi)的運營將無從談起，國家相關(guān)部門也不可能發(fā)放牌照。因此，這個問題的解決對于推動IPTV產(chǎn)業(yè)的發(fā)展有著重要的意義。對于內(nèi)容安全，通常的理解包括兩個方面1、對于內(nèi)容的保護，防止內(nèi)容被沒有權(quán)限的用戶接收；比如防止盜看電視節(jié)目等。對于這類入侵，有很多成熟技術(shù)，比如加密(Encryption)和加擾(Scrambling)、認證鑒權(quán)、以及數(shù)字版權(quán)管理DRM(DigitalRight Management)等。
2、對于有害和非法內(nèi)容的入侵的防范，保護的對象是內(nèi)容攻擊的對象，通常是受眾。
這需要對于內(nèi)容進行實時的審查，借鑒目前在廣播電視行業(yè)的做法，主要是把電視節(jié)目碼流(一般都是按照DVB-T，Digital Video Broadcasting-Terrestrial傳送的，視頻音頻的壓縮格式是MPEG-2、MPEG＝Moving Picture ExpertsGroup，一個國際標(biāo)準組織)在從節(jié)目源(比如衛(wèi)星)傳送到用戶電視機/STB的路徑上設(shè)置檢查節(jié)點，進行人工審查。當(dāng)然隨著技術(shù)的進步，有些內(nèi)容的審查可以有系統(tǒng)自動完成或者半自動(人機結(jié)合)來完成。人工審查一旦發(fā)現(xiàn)節(jié)目內(nèi)容有問題，就要采取措施，停止該節(jié)目碼流的傳送，并且(多數(shù)情況下)用一個臨時替代的節(jié)目來替代被中斷的內(nèi)容有害的節(jié)目，比如公益廣告或者字幕公告等等。當(dāng)然人工判斷需要集合內(nèi)容的上下文，并且反應(yīng)和處置需要一定的時間，因此必須有一個延遲裝置來提供這個延時，比如5秒鐘。
所謂內(nèi)容過濾，就是對于內(nèi)容的某些屬性進行處理和判斷，這些內(nèi)容屬性可以包括內(nèi)容提供商的名字、內(nèi)容的URL(Universal Resource Locator通用資源定位器，網(wǎng)址是一類重要的URL)、內(nèi)容提供服務(wù)器的IP地址等，以及媒體流以數(shù)據(jù)包封裝情況下的數(shù)據(jù)包的包頭(packet header)信息、包中的信息等?？梢钥闯?，這種處理和過濾也是按照由淺入深的層次進行的。
現(xiàn)有技術(shù)一主要是依據(jù)內(nèi)容的外部特征，或者叫做淺層特征來進行內(nèi)容過濾。其中最典型的例子是URL過濾，其原理如圖1所示內(nèi)容過濾設(shè)備位于網(wǎng)絡(luò)上的核心網(wǎng)和邊緣接入網(wǎng)之間，那么是來自內(nèi)容源的媒體流到達接收終端之間的必由之路關(guān)口，在實際中，可以和企業(yè)網(wǎng)的代理、NAT(Network AddressTranslator，網(wǎng)絡(luò)地址翻譯設(shè)備)/FW(Firewall，防火墻)放在同一個網(wǎng)絡(luò)位置，對于寬帶家庭用戶的情況，可以和BAS(Broadband Administration System，寬帶管理系統(tǒng))/BRAS(Broadband Registration and Admission System，寬帶注冊和準入系統(tǒng))、DISLAM放在同一個位置，或者放在ISP的POP(Point ofPresence，存在點)上。
過濾設(shè)備自己有內(nèi)部數(shù)據(jù)庫，存有多個內(nèi)容源URL的信息，根據(jù)這個數(shù)據(jù)庫就可以判斷一部分內(nèi)容源是否有害，并屏蔽有害內(nèi)容源、放行無害內(nèi)容源。同時，還有很多提供第三方服務(wù)的內(nèi)容分級服務(wù)商，他們的數(shù)據(jù)庫更加豐富和專業(yè)，內(nèi)容過濾設(shè)備也可以和這種第三方服務(wù)商連接，使用他們的服務(wù)來進行URL過濾。
現(xiàn)有技術(shù)一存在如下問題1、錯殺問題根據(jù)URL過濾，可能把無害的內(nèi)容過濾掉了，比如有的網(wǎng)站提供視頻節(jié)目點播，其中有些節(jié)目是有害的，但是有些是健康的電影，僅根據(jù)URL無法區(qū)分；2、錯放問題有些URL可能因為在分級體制中被認為是資質(zhì)優(yōu)良的網(wǎng)站，可能也會出問題(被黑客攻擊冒充其網(wǎng)址，或者自己有違法的企圖等)；3、采用URL過濾，通常也還需要第三方的評級體系，這樣的評級體系是有的，有些收費的評級服務(wù)商專門提供評級服務(wù)。但是他們的結(jié)果也不能完全準確和窮盡網(wǎng)絡(luò)上所有的內(nèi)容。并且網(wǎng)絡(luò)上的內(nèi)容也是經(jīng)常變化的，任何一個評級體系也不可能及時跟上這些變化。
對于要求非常高的應(yīng)用場景，比如面向全國公眾的IPTV，如果一旦有有害內(nèi)容尤其是政治敏感內(nèi)容入侵成功，造成的危害是巨大的。必須做到萬無一失，因此采用淺層次的過濾都是不可靠的。必須采用最深層次的內(nèi)容過濾，即視頻音頻數(shù)據(jù)本身的過濾，比如對于圖像的識別，識別其中的有害場景(暴力、色情等)、有害文字信息(字幕)、特定人物的面孔等等。
要達到很高的過濾正確率，必須深入到最深的層次，即內(nèi)容數(shù)據(jù)本身。這個方面屬于目前研究熱點，深度包過濾DPF(Deep Packet Filtering)。
現(xiàn)有技術(shù)二深度DPF基于人工的深度內(nèi)容設(shè)別，這種情況下，內(nèi)容過濾設(shè)備能夠?qū)τ诿襟w流進行解碼并將內(nèi)容播放出來(假設(shè)加密不是問題，因為加密的問題可以通過通信設(shè)備的合法監(jiān)聽要求解決)，供人工監(jiān)控者審查。如果發(fā)現(xiàn)有問題，監(jiān)控者立即采取措施，切斷有害內(nèi)容，同時切換到一段無害的內(nèi)容比如公益廣告等。當(dāng)然在內(nèi)容過濾設(shè)備之后必須有一個相當(dāng)大容量的延遲設(shè)備，來延遲有害內(nèi)容，給監(jiān)控人員一定的判斷和反應(yīng)處置時間(比如5秒)。當(dāng)然，這個過程目前也可以采用自動或者人機結(jié)合半自動的方法實現(xiàn)，其實現(xiàn)原理如圖2所示。
現(xiàn)有技術(shù)二的基本思想是對的，并且在廣播電視領(lǐng)域?qū)嶋H應(yīng)用了多年，效果還是不錯的。但是要用于IP(Internet Protocol)網(wǎng)絡(luò)上的流媒體內(nèi)容服務(wù)的內(nèi)容審查，還需要進行相當(dāng)多的改進和完善。問題主要有1、IP網(wǎng)絡(luò)的情況比廣播電視網(wǎng)絡(luò)在結(jié)構(gòu)和網(wǎng)絡(luò)拓撲上要復(fù)雜得多，節(jié)目也要多得多，被審查的節(jié)目如果都傳送到網(wǎng)絡(luò)中心來，則占用過多通信資源；2、IP網(wǎng)絡(luò)的內(nèi)容源多、節(jié)目多，如果在進行審查時都進行集中的解碼處理，則解碼的處理量太大，對審查設(shè)備的容量要求過高，現(xiàn)有設(shè)備無法滿足。

發(fā)明內(nèi)容
本發(fā)明提供一種多媒體通信過程中，對媒體流進行審查的審查系統(tǒng)和一種用于該審查系統(tǒng)的審查碼流生成節(jié)點，以解決如何對現(xiàn)有流媒體業(yè)務(wù)實現(xiàn)深度內(nèi)容審查的問題。
本發(fā)明所述的媒體流內(nèi)容審查系統(tǒng)包括審查碼流生成節(jié)點，用于延遲轉(zhuǎn)發(fā)來自流媒體源的媒體流，并根據(jù)該媒體流生成審查碼流；審查中心，通信連接所述審查碼流生成節(jié)點，用于審查從所述審查碼流生成節(jié)點接收的所述審查碼流，并在識別出該審查碼流中包含有害內(nèi)容時向所述審查碼流生成節(jié)點發(fā)送斷開轉(zhuǎn)發(fā)所述媒體流的控制信號。
其中，所述的審查碼流生成節(jié)點中包括第一通信模塊，用于通信連接所述審查中心，向所述審查中心發(fā)送所述審查碼流并接收所述控制信號；
主控模塊，用于控制所述審查碼流生成節(jié)點的運行并執(zhí)行所述審查中心的控制信號。
所述的審查碼流生成節(jié)點還包括視頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)所述媒體流中的視頻碼流；視頻審查碼流生成模塊，用于根據(jù)所述視頻碼流生成相應(yīng)的視頻審查碼流并通過所述第一通信模塊發(fā)送給所述審查中心進行審查；第一開關(guān)模塊，連接所述視頻碼流延遲模塊的輸出端，所述主控模塊接收到所述控制信號時觸發(fā)該第一開關(guān)模塊斷開轉(zhuǎn)發(fā)所述視頻碼流。
所述視頻審查碼流生成模塊至少包括如下之一第一子模塊，用于對所述視頻碼流進行場景分割后，復(fù)制每一個場景中包含第一個幀的數(shù)據(jù)包或者第一個幀以及前后一定數(shù)目幀的數(shù)據(jù)包，然后將復(fù)制的數(shù)據(jù)包順序組合為所述視頻審查碼流；第二子模塊，用于復(fù)制所述視頻碼流中包含每一個幀內(nèi)編碼幀的數(shù)據(jù)包或者該幀內(nèi)編碼幀以及前后一定數(shù)目幀的數(shù)據(jù)包，然后將復(fù)制的數(shù)據(jù)包順序組合為所述視頻審查碼流；第三子模塊，用于將所述視頻碼流進行降低空間分辨率的處理后形成所述視頻審查碼流；第四子模塊，用于將所述視頻碼流進行降低幀率的處理后形成所述視頻審查碼流；第五子模塊，用于利用加大的量化步長重新將所述視頻碼流進行量化處理后形成所述視頻審查碼流。
當(dāng)所述視頻審查碼流生成模塊中包含有第一子模塊、第二子模塊或第五子模塊時，被包含的每一個子模塊同時連接所述視頻碼流延遲模塊；或者被包含的每一個子模塊之前連接有數(shù)據(jù)緩存模塊，用于緩存設(shè)定時段的視頻碼流。
當(dāng)所述視頻審查碼流生成模塊中包含有第三子模塊、第四子模塊或第五子模塊時，所述的審查碼流生成節(jié)點還包括視頻底層處理公共模塊，分別連接視頻碼流延遲模塊和被包含的每一個子模塊，用于存儲公用視頻處理程序。
所述的審查碼流生成節(jié)點還包括音頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)所述媒體流中的音頻碼流；音頻審查碼流生成模塊，用于根據(jù)所述音頻碼流生成相應(yīng)的音頻審查碼流并通過所述第一通信模塊發(fā)送給所述審查中心進行審查；第二開關(guān)模塊，連接所述音頻碼流延遲模塊的輸出端，所述主控模塊接收到所述控制信號時觸發(fā)該第二開關(guān)模塊斷開所述音頻碼流的轉(zhuǎn)發(fā)。
所述的審查碼流生成節(jié)點還包括音頻底層處理公共模塊，分別連接音頻碼流延遲模塊和音頻審查碼流生成模塊，用于存儲公用音頻處理程序。
所述音頻審查碼流生成模塊中至少包括如下之一音頻碼流復(fù)制子模塊，用于將所述音頻碼流直接復(fù)制為所述音頻審查碼流；音頻碼流節(jié)選子模塊，用于根據(jù)設(shè)定的間隔時間段節(jié)選所述音頻碼流，并利用節(jié)選出的音頻碼流順序組合為所述音頻審查碼流；音頻碼流編碼轉(zhuǎn)換子模塊，用于將所述音頻碼流重新編碼轉(zhuǎn)換為低比特率的音頻審查碼流。
所述審查碼流生成節(jié)點還包括內(nèi)容錄制模塊，用于錄制指定時段的媒體流。
替換視頻源庫，連接所述第一開關(guān)模塊的輸入端，該第一開關(guān)模塊在斷開所述視頻碼流的同時，接通該替換視頻源庫；和/或視頻協(xié)議轉(zhuǎn)換模塊，連接所述第一開關(guān)模塊的輸出端，用于對該第一開關(guān)模塊輸出的視頻碼流進行編碼協(xié)議轉(zhuǎn)換的處理。
替換音頻源庫，連接所述第二開關(guān)模塊的輸入端，該第二開關(guān)模塊在斷開所述音頻碼流的同時，接通該替換音頻源庫；和/或音頻協(xié)議轉(zhuǎn)換模塊，連接所述第二開關(guān)模塊的輸出端，用于對該第二開關(guān)模塊輸出的音頻碼流進行編碼協(xié)議轉(zhuǎn)換的處理。
日志報告模塊，分別連接該系統(tǒng)的其它模塊，用于生成系統(tǒng)的運行日志。
所述第一通信模塊還同時連接通信連接所述審查碼流生成節(jié)點的控制設(shè)備。
所述審查中心包括第二通信模塊，用于通信連接所述第一通信模塊，接收所述審查碼流并發(fā)送所述控制信號；解碼還原模塊，用于解碼并還原所述審查碼流；有害內(nèi)容識別模塊，用于識別還原的審查碼流中是否包含有害內(nèi)容；判決模塊，連接在所述有害內(nèi)容識別模塊和第二通信模塊之間，用于在識別出有害內(nèi)容時產(chǎn)生所述控制信號并通過所述第二通信模塊發(fā)送。
所述有害內(nèi)容識別模塊中包括自動識別子模塊，用于對有害內(nèi)容進行自動識別；和/或人工識別子模塊，用于對有害內(nèi)容進行人工識別。
所述審查中心分級設(shè)置，用于逐級審查所述媒體流中是否包含有害內(nèi)容。
本發(fā)明的有益效果如下本發(fā)明所述技術(shù)方案將審查中心和審查碼流生成節(jié)點有機的結(jié)合為流媒體審查系統(tǒng)中，由審查碼流生成節(jié)點根據(jù)大量原始碼流生成數(shù)據(jù)量相對較少的審查碼流并發(fā)送給審查中心，實現(xiàn)了對現(xiàn)有大容量流媒體業(yè)務(wù)進行深度內(nèi)容審查，解決了目前IPTV或數(shù)字電視等流媒體業(yè)務(wù)的內(nèi)容安全問題；本發(fā)明的審查碼流生成節(jié)點有效利用了現(xiàn)有媒體流的處理技術(shù)，生成的審查碼流的數(shù)據(jù)量僅為原始碼流的幾十分之一甚至更少，因此僅占用很少的帶寬，不會對現(xiàn)有系統(tǒng)造成負擔(dān)；本發(fā)明所述技術(shù)方案中，審查中心可以應(yīng)用自動識別技術(shù)審查視頻碼流，因此提高了識別效率，極大的降低了人工審查成本；本發(fā)明所述技術(shù)方案中，審查中心根據(jù)網(wǎng)絡(luò)情況集中設(shè)置，不用跟隨媒體流內(nèi)容源的增減而變化，因此節(jié)省了設(shè)備投入，組網(wǎng)更加靈活。


圖1為現(xiàn)有基于內(nèi)容的URL進行過濾的原理示意圖；圖2為現(xiàn)有流媒體內(nèi)容的深度審查原理示意圖；圖3為本發(fā)明所述審查系統(tǒng)的結(jié)構(gòu)示意圖；圖4為視頻序列中幀和場景的關(guān)系示意圖；圖5為場景、幀和視頻碼流中數(shù)據(jù)包之間的對應(yīng)關(guān)系示意圖；圖6-圖8為用于圖3所述審查系統(tǒng)的一種審查碼流生成節(jié)點結(jié)構(gòu)示意圖。
具體實施例方式
本發(fā)明所述技術(shù)方案的原理如圖3所示，將審查中心設(shè)置在運營商的核心網(wǎng)絡(luò)中心，該審查中心與周邊的審查碼流生成節(jié)點通信連接，審查碼流生成節(jié)點可以單獨設(shè)置，也可以和其它現(xiàn)有網(wǎng)絡(luò)實體合并設(shè)置，例如媒體網(wǎng)關(guān)或媒體資源服務(wù)器等。審查碼流生成節(jié)點可能相聯(lián)的網(wǎng)絡(luò)有1、本運營商的接入網(wǎng)絡(luò)，可以有多個；2、其它運營商的核心網(wǎng)絡(luò)，可以有多個；3、互聯(lián)網(wǎng)(Internet)。
流媒體內(nèi)容服務(wù)的內(nèi)容源(由流媒體服務(wù)器和周邊設(shè)備組成，比如web服務(wù)器，負載均衡設(shè)備等)可以直接通過本運營商的接入網(wǎng)接入到核心網(wǎng)，也可以通過其它運營商的核心網(wǎng)絡(luò)或互聯(lián)網(wǎng)接入到本運營商的核心網(wǎng)，當(dāng)然還有一種情況，就是內(nèi)容源可能布署在本運營商核心網(wǎng)中央，和內(nèi)容審查中心在相同的網(wǎng)絡(luò)位置。
除了上述最后一種情況，當(dāng)審查碼流生成節(jié)點單獨設(shè)置時，可以連接在媒體網(wǎng)關(guān)之前或之后，當(dāng)審查碼流生成節(jié)點和媒體網(wǎng)關(guān)合并設(shè)置時，可以由審查碼流生成節(jié)點直接承擔(dān)媒體網(wǎng)關(guān)的功能，這樣來自內(nèi)容源的媒體流必須經(jīng)過各自所對應(yīng)的審查碼流生成節(jié)點，一般情況下，審查碼流生成節(jié)點僅僅進行編碼轉(zhuǎn)換，包括兩種情況
1、跨協(xié)議的編碼轉(zhuǎn)換，比如MPEG-2和MPEG-4之間、MPEG-2和H.264之間的轉(zhuǎn)換等；2、同一個協(xié)議內(nèi)部的編碼轉(zhuǎn)換，比如在H.264中，從高比特率轉(zhuǎn)換到低比特率(接入網(wǎng)需要較低的比特率，比如用戶如果用的是ISDN接入，2B+D，最高速率只能支持到128kbps，如果來自內(nèi)容源的節(jié)目流為768kbps，那么就需要進行這種轉(zhuǎn)換)。
在本發(fā)明中，審查碼流生成節(jié)點除了完成上述常規(guī)功能外，還需要能夠根據(jù)原始內(nèi)容媒體流，產(chǎn)生一個審查媒體流發(fā)送給審查中心。這樣做的必要性在于首先審查碼流是必要的，因為審查碼流生成節(jié)點是分散在網(wǎng)絡(luò)邊緣的，不可能在每個審查碼流生成節(jié)點位置派專業(yè)審查人員來進行審查，審查最好是集中在少數(shù)幾個審查中心進行。這樣就要求審查碼流生成節(jié)點把關(guān)于內(nèi)容的一個“濃縮”或者“摘要”版本發(fā)送到內(nèi)容審查中心去。這種審查碼流要求能夠包含原始內(nèi)容碼流的在內(nèi)容審查方面需要的全部信息，同時又要有盡可能低的比特率，避免給網(wǎng)絡(luò)因為審查帶來額外的開銷。如果開銷只有原始內(nèi)容碼流的幾十分之一甚至更低，那么是可以接受的。
產(chǎn)生的審查媒體流可以同樣看成是一種特殊的編碼轉(zhuǎn)換，該編碼轉(zhuǎn)換的要求是1、盡可能保持原始內(nèi)容碼流的信息，至少在人工觀看的時候，能夠判定內(nèi)容的性質(zhì)；2、比特率盡可能低。
因此，本發(fā)明在通常的審查碼流生成節(jié)點上增加了一項功能，根據(jù)設(shè)定的編碼轉(zhuǎn)化方法，利用原始碼流產(chǎn)生審查碼流并發(fā)送給審查中心。根據(jù)后面的具體方案，我們可以看到，在某些情況下，審查碼流的產(chǎn)生需要對于原始碼流進行解碼，然后再進行特殊的編碼；或者部分解碼，在進行特殊處理和編碼；或者完全不需要解碼等等。凡是需要解碼的情況下，解碼都和審查碼流生成節(jié)點原有的編碼轉(zhuǎn)換需要的解碼重用，或者大部分重用，盡量減少計算負擔(dān)。
來自各處審查碼流生成節(jié)點的審查媒體流被匯總到內(nèi)容審查中心后，審查中心可以對審查碼流進行人工識別或自動識別，如果有害，則要采取措施，命令有問題內(nèi)容所經(jīng)過的審查碼流生成節(jié)點進行如下處理1、切斷有害內(nèi)容碼流；2、用無害的備用替換內(nèi)容碼流進行替換，這樣用戶仍然可以看到內(nèi)容，最常用的方式是插播廣告等；當(dāng)然，如果運營商的網(wǎng)絡(luò)很大，審查中心也可以分級設(shè)置，一個審查中心負責(zé)網(wǎng)絡(luò)一部分。仍參閱圖3所示，存在一個最高的1級審查中心，另外，最高審查中心中的審查專家的權(quán)成最高，對于存在疑問的內(nèi)容，如果下面的2級審查中心無法判定，可以交給最高審查中心利用人工識別進行判定。
2級或更低級的審查中心可以進行自動或者半自動的內(nèi)容審查，如果無法確定，可以有1級審查中心最后進行人工判定。
媒體流中一般都包括視頻碼流和對應(yīng)的音頻碼流，下面首先給出音頻審查碼流的產(chǎn)生方法，基于現(xiàn)有技術(shù)，音頻審查碼流的產(chǎn)生方法可以包括以下三種一、每隔時間周期T，從原始音頻碼流中抽取播放時間長度L的音頻數(shù)據(jù)包，發(fā)送給內(nèi)容審查中心。因為音頻每單位時間采樣點數(shù)固定，比如44.1KHz等，包和播放時間嚴格對應(yīng)，比如每個數(shù)據(jù)包對于20ms或者30ms時間等，上述方法很好實現(xiàn)。對于審查人員他們每隔時間周期T，聽到長度為L的一段聲音；二、因為聲音中加入有害的內(nèi)容可能很短，周期檢查容易漏掉。這種情況下，可以發(fā)送全部的音頻碼流，相當(dāng)于把原始音頻碼流復(fù)制一份轉(zhuǎn)發(fā)到內(nèi)容審查中心；三、要求全部監(jiān)聽的情況下，為了降低帶寬的消耗，可以進行編碼轉(zhuǎn)換，比如把256kbps的MP3或者AAC(Advanced Audio Codec，MPEG-2/MPEG-4標(biāo)準中的音頻編碼部分標(biāo)準)轉(zhuǎn)換成G.723.1，這樣比特率降低到5.3/6.3kbps。雖然很多寬頻帶音頻信息(音樂等)損失了，但是有害內(nèi)容主要是人的語音，因此影響不大。
視頻審查碼流的產(chǎn)生方法較為復(fù)雜，可以包括以下幾種一、基于場景分割的視頻審查碼流產(chǎn)生方法理想的情況下，是對于視頻的每個鏡頭或者叫做場景都抽去一幀代表圖像組成審查視頻流。每個場景中的圖像變化都不是很大，這樣的抽檢是最好的。
參閱圖4，圖4所示為視頻序列中幀和場景的關(guān)系示意圖，對于通過過濾節(jié)點的視頻碼流，首先分割成不同的場景(Scene)，將原來作為一個由多個幀(Frame)組成的視頻序列，分割成不同場景組成的場景序列。一個場景包含不等個數(shù)的幀，每個場景內(nèi)部的各個幀在背景和前景上基本相同，只是存在一定的運動?？梢岳斫獬梢粋€鏡頭，鏡頭切換的時候，產(chǎn)生新的場景。
對于分割場景，必須說明的是，場景本來是在視頻內(nèi)容拍攝(鏡頭切換)和制作(加入特效比如兩個鏡頭之間的3D過渡效果等)的時候已經(jīng)產(chǎn)生了的。在過濾節(jié)點上進行場景分割就是要把視頻碼流中的碼流分成一段一段的，每一段對應(yīng)于原來的一個場景。當(dāng)然因為目前的場景設(shè)別技術(shù)還不能做到100％的識別精度，因此可能最終在過濾節(jié)點上分割出來的場景和視頻碼流中固有的場景不完全一致，但是不影響本發(fā)明的應(yīng)用。
參閱圖5，圖5為場景、幀和視頻碼流中數(shù)據(jù)包之間的對應(yīng)關(guān)系示意圖，因為視頻碼流是從流媒體服務(wù)器(Streaming Media Server)等設(shè)備發(fā)出來的，是在壓縮后進行了打包(Packetization，和具體的打包協(xié)議無關(guān))的，包是按照時間順序發(fā)出的，每個包都有對應(yīng)的序列號或者時間戳(Time Stamp等)，根據(jù)這些信息就過濾節(jié)點就可以正確重構(gòu)包的原來順序，從而把包和場景進行對應(yīng)。因此，最終是一個場景對應(yīng)于一系列的視頻數(shù)據(jù)包。
其實，內(nèi)容審查只要審查每個場景的第一幀就可以了，這樣就能夠把所有的場景分割出來，在一個場景第一幀和下一個場景第一幀之間的所有幀都屬于該場景。一般來說，一個場景中存在至少一個I幀(幀內(nèi)編碼幀)，所謂I幀是對于P(預(yù)測編碼幀)幀和B幀(雙向預(yù)測編碼幀)而言的。I幀的編碼完全由其本身決定，而不需要依賴其他幀，而P幀要依賴其前面的參考幀才能解碼，B幀則要依賴其前后的參考幀才能解碼。因此I幀的解碼最為簡單。只要是基于DCT變換+熵編碼思想的壓縮編碼標(biāo)準中，比如ITU H.26x系列和MPEG系列，I幀的解碼都只需要進行反熵編碼，去量化和反DCT變換就可以了，不需要運動補償。因此解碼的計算量最少。其他類型的幀，比如P幀，要從視頻碼流中解碼該P幀，則需要解碼其前面若干個P幀，一直到前面離它最近的一個I幀。但是對于I幀，則只需要解碼該I幀本身。兩相比較，解碼的復(fù)雜度相差巨大。其實在編碼器中，雖然標(biāo)準一般沒有強制規(guī)定，但是一般來說，在場景發(fā)生變化時都會加入I幀，場景的第一幀往往就是I幀。對于H.264這類新的標(biāo)準中，視頻碼流中可能沒有完整的I幀，而只是一個幀的某個部分進行幀內(nèi)編碼比如一個條帶(Slice)可以獨立進行幀內(nèi)編碼。對于可能不存在完整I幀的這種情況，可以定義一些修正的選取準則比如選取存在幀內(nèi)編碼條帶或者宏塊MB(Macroblock)最多的幀。對于一般的編碼協(xié)議，都有標(biāo)識機制來標(biāo)識I幀或者幀內(nèi)編碼的條帶等。比如在ITU的H.264標(biāo)準中，是通過瞬時解碼刷新IDR(Instantaneous Decoding Refresh)標(biāo)志來標(biāo)識的。因此過濾節(jié)點依據(jù)這些具體的標(biāo)識就可以正確提取I幀或者幀內(nèi)編碼的條帶/宏塊等。
對于分割場景，必須說明的是，場景本來是在視頻內(nèi)容拍攝(鏡頭切換)和制作(加入特效比如兩個鏡頭之間的3D過渡效果等)的時候已經(jīng)產(chǎn)生了的。在內(nèi)容過濾節(jié)點上進行場景分割就是要把視頻碼流中的碼流分成一段一段的，每一段對應(yīng)于原來的一個場景。當(dāng)然因為目前的場景設(shè)別技術(shù)還不能做到100％的識別精度，因此可能最終在內(nèi)容過濾節(jié)點上分割出來的場景和視頻碼流中固有的場景不完全一致。但是不影響本發(fā)明的應(yīng)用。
也有可能在一個場景內(nèi)(鏡頭比較長)，存在多個I幀，那么規(guī)定選取第一個I幀。于是，把每個場景內(nèi)的第一個I幀對應(yīng)的數(shù)據(jù)包復(fù)制一份轉(zhuǎn)發(fā)給內(nèi)容審查中心。
本發(fā)明用到的場景分割技術(shù)一般包括以下兩種
1、通過視頻數(shù)據(jù)包中的結(jié)構(gòu)信息(比如運動向量)等對于圖像中的運動區(qū)域進行估計，可以判斷多大區(qū)域在運動、運動方向，運動模式(單向運動，往復(fù)運動等等)，運動幅度大小等，從而判斷哪些幀在運動模式上比較相似，運動模式相似的幀一般屬于同一個場景；2、通過視頻碼流的統(tǒng)計信息進行分析，將視頻碼流中比特率看成關(guān)于時間的隨機過程，然后進行統(tǒng)計建模(Statistical Modelling)，從而利用統(tǒng)計模型估算場景的開始和結(jié)束的位置。
以上兩種技術(shù)都不需要解碼，因此都具有很高的效率。
二、根據(jù)視頻碼流中的所有I幀生成視頻審查碼流的方法對于一般的編碼協(xié)議，都有標(biāo)識機制來標(biāo)識I幀或者幀內(nèi)編碼的條帶等。比如在ITU的H.264標(biāo)準中，是通過IDR(instantaneous decoding refresh即瞬時解碼刷新)標(biāo)志來標(biāo)識的。因此審查碼流生成節(jié)點依據(jù)這些具體的標(biāo)識就可以正確提取I幀或者幀內(nèi)編碼的條帶/宏塊等。本方法就是在原始碼流中，根據(jù)I幀在數(shù)據(jù)包頭信息中含有的標(biāo)志，識別I幀，順序復(fù)制轉(zhuǎn)發(fā)給內(nèi)容審查中心。
根據(jù)上述兩種方法生成的是視頻審查碼流被發(fā)送到審查中心后，審查中心可以基于現(xiàn)有技術(shù)可以在一定程度上實現(xiàn)有害內(nèi)容的自動識別，并可以結(jié)合人工識別的方法。
具體識別方法為，從視頻審查碼流中一次獲取一個I幀，解碼該I幀并還原該I幀圖像，然后對該幀圖像進行識別，包括以下兩種識別方式1、人工識別，將I幀圖像顯示出來供人類監(jiān)控者察看以實現(xiàn)人工過濾功能；2、自動識別，將I幀圖像輸入自動識別模塊中，利用有害內(nèi)容數(shù)據(jù)庫進行自動的比對識別，如果發(fā)現(xiàn)馬上切斷視頻碼流的播放并報告給人類監(jiān)控者進行處理，現(xiàn)有技術(shù)中可以進行自動識別的有害內(nèi)容包括下述方面a、對于有害的圖像內(nèi)容進行自動識別，比如淫穢、暴力等場景，該圖像識別技術(shù)屬于成熟的已有技術(shù)；b、對于有害的疊加文字或者符號進行識別。首先經(jīng)過處理，將文字或者符號所在區(qū)域定位出來，然后識別是垂直方向還是水平方向，再具體進行文字和背景的分割，最后把處理的結(jié)果送入一個已有的光學(xué)文字識別OCR(OpticalCharacter Recognition)模塊進行識別。將識別結(jié)果和數(shù)據(jù)庫進行匹配，如果和數(shù)據(jù)庫中的有害判斷條件匹配成功，則確定為有害疊加文字或者符號，該疊加文字或者符號的識別技術(shù)屬于成熟的已有技術(shù)；c、對于圖像中可能存在的特定人臉進行識別，將該幀圖像直接送入已有的人臉識別模塊進行識別。當(dāng)然已有人臉識別模塊的數(shù)據(jù)庫中的數(shù)據(jù)由內(nèi)容監(jiān)控部門自行建立，其中可以根據(jù)需要存儲各類人臉嫌疑犯、重要人物、恐怖分子等，該人臉識別技術(shù)屬于成熟的已有技術(shù)。
當(dāng)人工識別和自動識別同時采用時，可以定義判斷條件1、完全以自動識別模塊的識別結(jié)果為準。
2、完全以人類監(jiān)控者的識別結(jié)果為準。
3、介于兩者之間的，要同時參考以上兩種識別結(jié)果，給出聯(lián)合判決。一個實施例是基于分數(shù)的加權(quán)平均。自動識別模塊和人類監(jiān)控者不但要判定是否有害，還有給出有害的分數(shù)，比如從0-100，有害程度越高，分數(shù)越高，0表示無害。那么將自動識別模塊的分數(shù)和人類監(jiān)控者的分數(shù)加權(quán)相加如下SI＝(WM×SM+WH×SH)/(WM+WH)其中WM和WH表示自動識別模塊和人類監(jiān)控者的權(quán)值。兩者之間的相對大小表示了更加信任自動識別模塊還是人類，SM和SH分別表示自動識別模塊和人類給出的分數(shù)。如果最終得到的綜合分數(shù)SI大于一個給定的值，比如50，那么聯(lián)合判決是有害，否則是無害，如果僅有一方識別出有害內(nèi)容并給出了有害內(nèi)容的分值，則可以默認另一方對該內(nèi)容給出的分值為0。
三、基于重新量化DCT系數(shù)的視頻審查碼流產(chǎn)生辦法對于每一幀的DCT系數(shù)進行重新量化，用比原來量化步長大的新量化步長對于從數(shù)據(jù)包中提取的DCT系數(shù)進行量化，達到降低數(shù)據(jù)量的結(jié)果，具體步驟包括
1、提取每個數(shù)據(jù)包中的DCT系數(shù)，按照數(shù)據(jù)包結(jié)構(gòu)信息中的量化步長進行反量化；2、按照新的量化步長進行重新量化，得到新的DCT系數(shù)量化結(jié)果；3、將量化結(jié)果打包發(fā)送給內(nèi)容審查中心，同時要注意變更數(shù)據(jù)包中結(jié)構(gòu)信息中的量化步長為新的量化步長。
同時，還可以通過在上述步驟1-3中丟棄原來視頻的色度分量對應(yīng)的DCT系數(shù)(U，V/CbCr分量)，只進一步降低數(shù)據(jù)量。如果按照4∶2∶2采樣率計算，通過丟棄色度分量系數(shù)，又至少可以降低一半的數(shù)據(jù)量。
四、基于降低圖像分辨率的視頻審查碼流產(chǎn)生辦法這種技術(shù)可以在不需要對于原始媒體流完全解碼的情況下，將圖像的分辨率降低，比如從原來的CIF(Common Interchange Format)圖像降低到QCIF(Quarter CIF)，原則上可以把數(shù)據(jù)量降低到1/r。r是分辨率降低的倍數(shù)，r＝rh*rv，即等于水平方向和垂直方向分辨率降低倍數(shù)的乘積。
五、基于降低幀率的視頻審查碼流產(chǎn)生辦法將原始內(nèi)容碼流的幀率降低，一般是丟棄視頻序列中的P幀和B幀還有PB幀。通過丟棄這些幀達到降低幀率，從而降低比特率的目的。2.2.4節(jié)只選擇I幀，等于是把全部其他類型的幀丟棄，可以算作是這種情況的一個特例。丟棄幀的方法，不需要對于原始碼流完全解碼。
根據(jù)上述分生成的審查碼流，數(shù)據(jù)量僅為原始碼流的幾十分之一甚至更少，因此僅占用很少的帶寬，不會對現(xiàn)有系統(tǒng)造成負擔(dān)。
在上述方法一、方法二和方法五中，審查中心對于視頻審查碼流進行審查時，例如確定視頻碼流中的場景性質(zhì)、定位字幕或者其它疊加文字圖形符號信息等，需要相繼的若干幀來精確分析，才能達到識別的目的。對于由I幀或者場景中第一幀，或者通過降低幀率等方法獲得的視頻審查碼流發(fā)送給審查中心后，審查中心需要在審查過程中反饋是否需要補充某個幀的前后的相鄰幀。如果沒有這些相鄰幀，審查中心不能精確進行分析和識別，為避免上述情況，可以有以下解決方法1、對于方法一、方法二，可以根據(jù)經(jīng)驗，直接截取所述I幀或第一幀以及前后一定數(shù)目相鄰幾幀生成視頻審查碼流，例如前后相鄰的各2幀或3幀，一般不多于5幀，以免審查碼流中的數(shù)據(jù)太多，對系統(tǒng)造成負擔(dān)；2、對于方法一、方法二和方法五，審查中心在審查過程中，對于無法清楚識別的內(nèi)容，通知審查碼流生成節(jié)點發(fā)送相應(yīng)的相鄰幀數(shù)據(jù)包給審查中心。
審查碼流生成節(jié)點接到通知后，可以從延遲發(fā)送的原始視頻碼流中截取相應(yīng)的相鄰幀數(shù)據(jù)包并發(fā)送給審查中心；或者，審查碼流生成節(jié)點中再建立一個緩存模塊，對于每個時刻t，緩存t時刻至t-δ時刻之間時間窗口內(nèi)的所有視頻碼流數(shù)據(jù)包。這個時間窗口其實是一個滑動窗口，隨著時刻t的變化，不斷丟棄過時的數(shù)據(jù)，納入新的數(shù)據(jù)。
這個緩存模塊其實緩存固定時間長度δ的數(shù)據(jù)，因為壓縮碼流在單位時間內(nèi)的數(shù)據(jù)量是變化的，因此緩存中數(shù)據(jù)量也是隨時間變化的。那么如果在時刻t0產(chǎn)生的視頻審查碼流數(shù)據(jù)包被審查中心接收，如果發(fā)現(xiàn)僅僅憑借視頻審查碼流中的數(shù)據(jù)無法精確識別，審查中心則通過通信方式請求視頻審查碼流生成節(jié)點發(fā)送對應(yīng)幀的相鄰幀，比如前面的1-ka幀，共ka幀，后面的1-kp幀共kp幀，因為存在時間對應(yīng)關(guān)系，因為單位時間內(nèi)的幀數(shù)是可控制的，因此可以得到對應(yīng)的時間對應(yīng)關(guān)系，所需要的時間是t0-ta，到t0+tp。如果視頻審查碼流生成節(jié)點來自審查中心的請求并開始處理的時刻是t0+td，那么只要滿足ta，＞δ-td并且Tp，＞td審查碼流生成節(jié)點就可以在緩存中找到需要的相鄰幀對應(yīng)的數(shù)據(jù)包，把這些數(shù)據(jù)包發(fā)送給審查中心就可以了。參數(shù)δ決定了緩存數(shù)據(jù)量的大小(雖然不是嚴格的，因為壓縮碼流在單位時間內(nèi)的數(shù)據(jù)量是變化的，因此緩存中數(shù)據(jù)量也是隨時間變化的。)，它越大對于請求前后相鄰幀的命中率越高，但是對于視頻審查碼流生成節(jié)點設(shè)備的成本和效率的影響越大，因此必須有一種折衷。另外，隨著相關(guān)的識別處理技術(shù)的日益發(fā)展，需要的ka和kp將會越來越小，對應(yīng)的ta和tp也將會越來越小，從而對于δ大小的要求會隨著技術(shù)進步日益降低。甚至可以到0，即完全不需要緩存。緩存模塊是根據(jù)每個時刻t和參數(shù)δ，根據(jù)數(shù)據(jù)包上的時間戳信息來決定哪些數(shù)據(jù)包需要緩存的。當(dāng)然在實現(xiàn)中，也可以采用前后多少幀來作為度量的單位。比如就規(guī)定緩存當(dāng)前處理幀前面的ka幀和后面的kp幀。
上述方法中，需要在視頻審查碼流生成節(jié)點和審查中心之間的通信中，增加對于如下信令的支持審查中心告訴視頻審查碼流生成節(jié)點，需要發(fā)送前后相鄰幀數(shù)據(jù)的請求和相應(yīng)的參數(shù)ta和tp或者等價的ka和kp。
上述五種方法可以單獨使用，也可以配合使用，例如對根據(jù)方法一生成的視頻審查碼流進一步利用方法四進行降低分辨率的處理后再發(fā)送，可以有很多種組合應(yīng)用模式，這里不一一描述。
如果審查碼流生成節(jié)點對延遲轉(zhuǎn)發(fā)的視頻碼流的處理方法和正在采用的視頻審查碼流的生成方法一樣時，可以直接延遲轉(zhuǎn)發(fā)視頻審查碼流，不再進行重復(fù)處理。
如圖6所示，圖6為本發(fā)明提出的用于實現(xiàn)媒體流內(nèi)容審查的審查碼流生成節(jié)點的一種結(jié)構(gòu)示意圖，包括主控模塊，該模塊是本裝置的中心模塊，起到控制全部其它模塊運行的作用，和其它所有模塊或子模塊都有連線；通信模塊，作為常規(guī)的審查碼流生成節(jié)點，受到審查碼流生成節(jié)點控制設(shè)備的控制，那么審查碼流生成節(jié)點和它的這個控制設(shè)備之間要交換信息?？刂泼詈蛿?shù)據(jù)上報采用的通信協(xié)議可以是H.248/MGCP(Media Gateway ControlProtocol)等。同時，作為具有內(nèi)容審查功能的審查碼流生成節(jié)點，還要和媒體審查中心進行通信，接受后者的控制，并且向后者上報信息。因為，內(nèi)容審查設(shè)備之間的信令在國際標(biāo)準組織中是沒有定義的(因為是全新的東西)，因此，可以采用兩種辦法解決信令問題完全重新定義一套；或者基于H.248/MGCP等協(xié)議進行擴展，定義新的Package(包)、Profile和Method(方法)等。
該審查碼流生成節(jié)點還包括與視頻審查相關(guān)的第一部分，該第一部分具體包括1、視頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)來自流媒體服務(wù)器的視頻碼流，延遲的時間長度可以設(shè)定，或者采用缺省的延遲時間長度。目的是為了給視頻審查碼流得產(chǎn)生、傳送到內(nèi)容審查中心、審查人員進行判斷和反應(yīng)并且下達命令、再到審查碼流生成節(jié)點接到命令后采取動作這個整個過程預(yù)留充分的時間；2、視頻審查碼流生成模塊，連接所述通信模塊，用于根據(jù)所述視頻碼流生成相應(yīng)的視頻審查碼流并通過所述通信模塊發(fā)送；3、第一開關(guān)模塊，連接所述主控模塊，用于根據(jù)該主控模塊的觸發(fā)信號斷開所述視頻碼流的轉(zhuǎn)發(fā)；4、替換視頻源庫，連接所述第一開關(guān)模塊，該第一開關(guān)模塊在斷開所述視頻碼流的同時，接通該替換視頻源庫，該替換視頻源庫中保存有多個可供用于替換有害內(nèi)容的無害內(nèi)容片斷，比如公益廣告、提示字幕、動畫短片等等。替換的命令由主控模塊發(fā)出，當(dāng)然主控模塊又是在內(nèi)容審查中心的命令下進行控制的，內(nèi)容審查中心的命令通過通信模塊發(fā)送到主控模塊；5、視頻協(xié)議轉(zhuǎn)換模塊，連接所述第一開關(guān)模塊，用于對該第一開關(guān)模塊輸出的視頻碼流進行編碼協(xié)議轉(zhuǎn)換，該模塊采用已有技術(shù)，對于輸入視頻碼流進行所需要的編碼轉(zhuǎn)換。包括但是不限于下述處理a、壓縮編碼協(xié)議之間的轉(zhuǎn)換，比如MPEG-2到H.264等；b、同一種編碼協(xié)議內(nèi)部編碼參數(shù)之間的轉(zhuǎn)換幀率、空間分辨率等；c、錯誤健壯性(Error Resilient)的編碼轉(zhuǎn)換通過審查碼流生成節(jié)點的轉(zhuǎn)換，使得原來沒有加傳送保護措施的輸入視頻碼流加上要求的傳送保護措施，比如FEC等；或者原來保護強度的調(diào)整；d、其它編碼轉(zhuǎn)換比如插入疊加文字和圖形符號，如本地運營商臺標(biāo)等。
根據(jù)前述的視頻審查碼流生成方法，該視頻審查碼流生成模塊中可以至少包括如下之一子模塊
第一子模塊，用于對所述視頻碼流進行場景分割后，提取出每個場景的開始圖像幀和結(jié)束圖像幀，然后復(fù)制每一個場景中包含第一個幀或者第一個幀以及前后一定數(shù)目幀的數(shù)據(jù)包，該一定數(shù)目根據(jù)識別精度等因素確定，利用復(fù)制的I幀數(shù)據(jù)包生成所述視頻審查碼流，對于沒有完整I幀的情況需要特殊處理，比如選擇幀內(nèi)編碼條帶或者宏塊最多的那個幀)；第二子模塊，用于復(fù)制所述視頻碼流中包含每一個I幀或者該I幀以及前后一定數(shù)目幀的數(shù)據(jù)包，然后利用復(fù)制的I幀數(shù)據(jù)包生成所述視頻審查碼流；第三子模塊，用于將所述視頻碼流進行降低空間分辨率的處理后形成所述視頻審查碼流；設(shè)定r是整體空間分辨率降低的倍數(shù)，r＝rh*rv，即等于水平方向和垂直方向分辨率降低倍數(shù)的乘積，對于輸入的視頻流不需要完全進行解碼。在一般情況下，rh和rv都是整數(shù)，但是，rh和rv也可以是任意有理數(shù)(對于無理數(shù)比如sqrt(2)、sqrt(3)等可以用有理數(shù)近似，比如sqrt(2)＝1.414、sqrt(3)＝1.732等)；第四子模塊，用于將所述視頻碼流進行降低幀率的處理后形成所述視頻審查碼流，本模塊對于輸入的視頻流不需要完全進行解碼，降低的倍數(shù)r必須是整數(shù)；第五子模塊，用于利用加大的量化步長重新將所述視頻碼流進行量化處理后形成所述視頻審查碼流。
參閱圖7所示，圖7給出了其中一種并行連接示意圖，事實上，視頻審查碼流生成模塊中只要包含其中一個子模塊，就可以完成本發(fā)明的目的。
上述每一個子模塊中分別存儲有相應(yīng)的處理程序，并分別連接到主控模塊，主控模塊可以調(diào)用其中之一用于生成視頻審查碼流，或調(diào)用其中可以組合應(yīng)用的子模塊對視頻審查碼流進行分步處理，盡量降低視頻審查碼流中包含的數(shù)據(jù)量。
參閱圖6、圖7所示，當(dāng)前的視頻審查碼流由第一子模塊、第二子模塊或第五子模塊產(chǎn)生時，第一子模塊、第二子模塊或第五子模塊分別連接視頻碼流延遲模塊，在收到審查中心的通知時，從中截取需要的數(shù)據(jù)包并通過通信模塊再發(fā)送給審查中心。
當(dāng)然，如前所述，視頻審查碼流生成模塊中還可能包括數(shù)據(jù)緩存模塊，分別連接在第一子模塊、第二子模塊或第五子模塊之前，用于緩存固定時間長度δ的數(shù)據(jù)，當(dāng)當(dāng)前的視頻審查碼流是由視頻審查碼流生成第一子模塊、第二子模塊或第五子模塊產(chǎn)生時，如果審查中心需要緩存數(shù)據(jù)，則第一子模塊、第二子模塊或第五子模塊從數(shù)據(jù)緩存模塊中獲取相應(yīng)的數(shù)據(jù)包。
如果審查碼流生成節(jié)點中已經(jīng)包含了第三子模塊、第四子模塊或第五子模塊，已經(jīng)包含的子模塊的輸出端還可以直接連接到視頻延遲模塊的輸入端，這樣，根據(jù)主控模塊的控制，當(dāng)視頻審查碼流的生成方式和視頻碼流的常規(guī)協(xié)議轉(zhuǎn)換的處理方法相同時，為避免重復(fù)處理，根據(jù)主控模塊的控制，視頻協(xié)議轉(zhuǎn)換模塊可以停止工作，視頻延遲模塊直接將視頻審查碼流進行延遲轉(zhuǎn)發(fā)給目的地。
審查碼流生成節(jié)點中還可以包括與音頻審查相關(guān)的第二部分，該第二部分具體包括6、音頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)來自流媒體服務(wù)器的音頻碼流；延遲的時間長度可以設(shè)定，或者采用缺省的延遲時間長度。目的是為了給音頻審查碼流得產(chǎn)生、傳送到內(nèi)容審查中心、審查人員進行判斷和反應(yīng)并且下達命令、再到審查碼流生成節(jié)點接到命令后采取動作這個整個過程預(yù)留充分的時間；7、音頻審查碼流生成模塊，連接所述通信模塊，用于根據(jù)所述音頻碼流生成相應(yīng)的音頻審查碼流并通過所述通信模塊發(fā)送；8、第二開關(guān)模塊，連接所述主控模塊，用于根據(jù)該主控模塊的觸發(fā)信號斷開所述音頻碼流的轉(zhuǎn)發(fā)。
9、替換音頻源庫，連接所述第二開關(guān)模塊，該第二開關(guān)模塊在斷開所述音頻碼流的同時，接通該替換音頻源庫；該替換音頻源庫中保存有多個可供用于替換有害內(nèi)容的無害音頻內(nèi)容片斷，比如音樂、語音公益廣告等等。替換的命令由主控模塊發(fā)出，當(dāng)然主控模塊又是在內(nèi)容審查中心的命令下進行控制的，內(nèi)容審查中心的命令通過通信模塊發(fā)送到主控模塊；10、音頻協(xié)議轉(zhuǎn)換模塊，連接所述第二開關(guān)模塊，用于對該第二開關(guān)模塊輸出的音頻碼流進行編碼協(xié)議轉(zhuǎn)換。
根據(jù)前述的音頻審查碼流生成方法，音頻審查碼流生成模塊中至少包括如下之一子模塊音頻碼流復(fù)制子模塊，用于將所述音頻碼流直接復(fù)制為所述音頻審查碼流；音頻碼流節(jié)選子模塊，用于根據(jù)設(shè)定的間隔時間段節(jié)選所述音頻碼流，并利用節(jié)選出的音頻碼流生成所述音頻審查碼流；音頻碼流編碼轉(zhuǎn)換子模塊，用于將所述音頻碼流重新編碼轉(zhuǎn)換為低比特率的音頻審查碼流。
參閱圖8，圖8給出了同時包含三個模塊的連接示意圖，事實上，音頻審查碼流生成模塊中只要包含其中一個子模塊，就可以實現(xiàn)本發(fā)明的目的。
同樣，上述任何一個子模塊中分別存儲有相應(yīng)的處理程序，并同時連接主控模塊，主控模塊可以調(diào)用其中一個子模塊執(zhí)行當(dāng)前處理，其中每一個子模塊的輸出端可以直接連接音頻延遲模塊的輸入端，當(dāng)音頻審查碼流生成方法和音頻協(xié)議轉(zhuǎn)換模塊采用的處理方法相同時，為避免重復(fù)處理，根據(jù)主控模塊的控制，音頻協(xié)議轉(zhuǎn)換模塊停止工作，音頻延遲模塊直接將音頻審查碼流延遲轉(zhuǎn)發(fā)給目的地。
本發(fā)明的審查碼流生成節(jié)點還包括11、內(nèi)容錄制模塊，用于錄制并保存指定時段的媒體流，對于指定的視頻音頻流進行指定時間范圍的錄制，以備以后檢索(比如查找違法犯罪證據(jù)等)使途。內(nèi)容審查中心可以通過指令指定對于哪個視頻或者音頻流進行錄制，從什么時候開始到什么時候結(jié)束；
12、日志報告模塊，分別連接該審查碼流生成節(jié)點的其他模塊或子模塊，用于生成審查碼流生成節(jié)點的運行日志和報告生成；13、視頻底層處理公共模塊，分別相關(guān)模塊或子模塊連接，用于存儲公共處理程序。因為在視頻編碼轉(zhuǎn)換過程中，不同的技術(shù)可能都使用到一些公共的技術(shù)模塊。比如下采樣、熵編碼和熵解碼、量化和反量化、DCT和反DCT等。同樣在審查碼流生成過程中，也需要使用到這些公共模塊。因此為了提高效率，把這些技術(shù)提取出來，形成一個公共模塊。
14.音頻頻底層處理公共模塊，分別相關(guān)模塊或子模塊連接，用于存儲公共處理程序。因為在音頻編碼轉(zhuǎn)換過程中，不同的技術(shù)可能都使用到一些公共的技術(shù)模塊。比如下采樣、熵編碼和熵解碼、量化和反量化、預(yù)測參數(shù)估計等等。同樣在審查碼流生成過程中，也需要使用到這些公共模塊。因此為了提高效率，把這些技術(shù)提取出來，形成一個公共模塊。
審查中心可以采用分級設(shè)置的方法，每一級審查中心一般包括以下主要結(jié)構(gòu)主控模塊，用于控制審查中心的運行；通信模塊，用于和審查碼流生成節(jié)點或上一級審查中心進行通信；解碼還原模塊，用于解碼并還原所述審查碼流；當(dāng)然，這里分別包括視頻審查碼流解碼還原子模塊和音頻審查碼流解碼還原子模塊；有害內(nèi)容識別模塊，用于識別還原的審查碼流中是否包含有害內(nèi)容；判決模塊，連接所述有害內(nèi)容識別模塊用于在識別出有害內(nèi)容時產(chǎn)生所述控制信號并通過所述第二通信模塊發(fā)送給所述審查碼流生成節(jié)點。
相應(yīng)的，有害內(nèi)容識別模塊也可以分別包括有害視頻內(nèi)容識別子模塊和有害聲音識別子模塊；根據(jù)具體的識別方式，視頻有害內(nèi)容識別子模塊可以包括自動識別子單元，用于對有害內(nèi)容進行自動識別；和/或人工識別單元，用于對有害內(nèi)容進行人工識別，這時，必須包括用于接收識別結(jié)果的操作單元；
音頻有害內(nèi)容識別中包括音頻播放裝置和用于接收識別結(jié)果的操作單元。
對于在核心網(wǎng)內(nèi)部的內(nèi)容源，其網(wǎng)絡(luò)位置更加靠近某個內(nèi)容審查中心，該內(nèi)容源發(fā)出的內(nèi)容媒體流首先經(jīng)過內(nèi)容審查中心，再到達審查碼流生成節(jié)點。這種情況下，審查碼流如果由下面的審查碼流生成節(jié)點產(chǎn)生，效率就比較低了。為了解決這個問題，可以在和這個內(nèi)容源相連的審查中心中內(nèi)置一個審查碼流生成節(jié)點，或者在內(nèi)容源和審查中心之間連接一個審查碼流生成節(jié)點，用于生成該內(nèi)容源的審查碼流并發(fā)送給審查中心。
本發(fā)明的上述方法中，有害內(nèi)容的特定分級標(biāo)準和相應(yīng)的識別標(biāo)準根據(jù)實際應(yīng)用場景確定，具體標(biāo)準或識別方法并不限定本發(fā)明的保護范圍。
通過本發(fā)明的應(yīng)用，可以解決目前IPTV，數(shù)字電視等多媒體業(yè)務(wù)中的內(nèi)容安全問題，保證這些業(yè)務(wù)提供的安全可靠，既給電信廣電運營商/內(nèi)容提供商和設(shè)備廠商帶來巨大的經(jīng)濟利益，也同時保證了社會特別是未成年人不受有害視頻內(nèi)容的毒害，社會效益更為顯著。
顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權(quán)利要求
1.一種媒體流內(nèi)容審查系統(tǒng)，其特征在于，包括審查碼流生成節(jié)點，用于延遲轉(zhuǎn)發(fā)來自流媒源的媒體流，并根據(jù)該媒體流生成審查碼流；審查中心，通信連接所述審查碼流生成節(jié)點，用于審查從所述審查碼流生成節(jié)點接收的所述審查碼流，并在識別出該審查碼流中包含有害內(nèi)容時向所述審查碼流生成節(jié)點發(fā)送斷開轉(zhuǎn)發(fā)所述媒體流的控制信號。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點中包括第一通信模塊，用于通信連接所述審查中心，向所述審查中心發(fā)送所述審查碼流并接收所述控制信號；主控模塊，用于控制所述審查碼流生成節(jié)點的運行并執(zhí)行來自所述審查中心的控制信號。
3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點包括視頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)所述媒體流中的視頻碼流；視頻審查碼流生成模塊，用于根據(jù)所述視頻碼流生成相應(yīng)的視頻審查碼流并通過所述第一通信模塊發(fā)送給所述審查中心進行審查；第一開關(guān)模塊，連接所述視頻碼流延遲模塊的輸出端，所述主控模塊接收到所述控制信號時觸發(fā)該第一開關(guān)模塊斷開轉(zhuǎn)發(fā)所述視頻碼流。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述視頻審查碼流生成模塊至少包括如下之一第一子模塊，用于對所述視頻碼流進行場景分割后，復(fù)制每一個場景中包含第一個幀的數(shù)據(jù)包或者第一個幀以及前后一定數(shù)目幀的數(shù)據(jù)包，然后將復(fù)制的數(shù)據(jù)包順序組合為所述視頻審查碼流；第二子模塊，用于復(fù)制所述視頻碼流中包含每一個幀內(nèi)編碼幀的數(shù)據(jù)包或者該幀內(nèi)編碼幀以及前后一定數(shù)目幀的數(shù)據(jù)包，然后將復(fù)制的數(shù)據(jù)包順序組合為所述視頻審查碼流；第三子模塊，用于將所述視頻碼流進行降低空間分辨率的處理后形成所述視頻審查碼流；第四子模塊，用于將所述視頻碼流進行降低幀率的處理后形成所述視頻審查碼流；第五子模塊，用于利用加大的量化步長重新將所述視頻碼流進行量化處理后形成所述視頻審查碼流。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，當(dāng)所述視頻審查碼流生成模塊中包含有第一子模塊、第二子模塊或第五子模塊時，被包含的每一個子模塊同時連接所述視頻碼流延遲模塊；或者被包含的每一個子模塊之前連接有數(shù)據(jù)緩存模塊，用于緩存設(shè)定時段的視頻碼流。
6.如權(quán)利要求4所述的系統(tǒng)，其特征在于，當(dāng)所述視頻審查碼流生成模塊中包含有第三子模塊、第四子模塊或第五子模塊時，所述的審查碼流生成節(jié)點還包括視頻底層處理公共模塊，分別連接視頻碼流延遲模塊和被包含的每一個子模塊，用于存儲公用視頻處理程序。
7.如權(quán)利要求2或3所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點包括音頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)所述媒體流中的音頻碼流；音頻審查碼流生成模塊，用于根據(jù)所述音頻碼流生成相應(yīng)的音頻審查碼流并通過所述第一通信模塊發(fā)送給所述審查中心進行審查；第二開關(guān)模塊，連接所述音頻碼流延遲模塊的輸出端，所述主控模塊接收到所述控制信號時觸發(fā)該第二開關(guān)模塊斷開所述音頻碼流的轉(zhuǎn)發(fā)。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點還包括音頻底層處理公共模塊，分別連接音頻碼流延遲模塊和音頻審查碼流生成模塊，用于存儲公用音頻處理程序。
9.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述音頻審查碼流生成模塊中至少包括如下之一音頻碼流復(fù)制子模塊，用于將所述音頻碼流直接復(fù)制為所述音頻審查碼流；音頻碼流節(jié)選子模塊，用于根據(jù)設(shè)定的間隔時間段節(jié)選所述音頻碼流，并利用節(jié)選出的音頻碼流順序組合為所述音頻審查碼流；音頻碼流編碼轉(zhuǎn)換子模塊，用于將所述音頻碼流重新編碼轉(zhuǎn)換為低比特率的音頻審查碼流。
10.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點包括內(nèi)容錄制模塊，用于錄制指定時段的媒體流。
11.如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述內(nèi)容錄制模塊中包括視頻內(nèi)容錄制子模塊和音頻內(nèi)容錄制子模塊。
12.如權(quán)利要求3或4所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點包括替換視頻源庫，連接所述第一開關(guān)模塊的輸入端，該第一開關(guān)模塊在斷開所述視頻碼流的同時，接通該替換視頻源庫；和/或視頻協(xié)議轉(zhuǎn)換模塊，連接所述第一開關(guān)模塊的輸出端，用于對該第一開關(guān)模塊輸出的視頻碼流進行編碼協(xié)議轉(zhuǎn)換的處理。
13.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點包括替換音頻源庫，連接所述第二開關(guān)模塊的輸入端，該第二開關(guān)模塊在斷開所述音頻碼流的同時，接通該替換音頻源庫；和/或音頻協(xié)議轉(zhuǎn)換模塊，連接所述第二開關(guān)模塊的輸出端，用于對該第二開關(guān)模塊輸出的音頻碼流進行編碼協(xié)議轉(zhuǎn)換的處理。
14.如權(quán)利2所述的系統(tǒng)，其特征在于，所述的審查碼流生成節(jié)點還包括日志報告模塊，分別連接該系統(tǒng)的其它模塊，用于生成系統(tǒng)的運行日志。
15.如權(quán)利2所述的系統(tǒng)，其特征在于，所述第一通信模塊還同時連接通信連接所述審查碼流生成節(jié)點的控制設(shè)備。
16.如權(quán)利2所述的系統(tǒng)，其特征在于，所述審查中心包括第二通信模塊，用于通信連接所述第一通信模塊，接收所述審查碼流并發(fā)送所述控制信號；解碼還原模塊，用于解碼并還原所述審查碼流；有害內(nèi)容識別模塊，用于識別還原的審查碼流中是否包含有害內(nèi)容；判決模塊，連接在所述有害內(nèi)容識別模塊和第二通信模塊之間，用于在識別出有害內(nèi)容時產(chǎn)生所述控制信號并通過所述第二通信模塊發(fā)送。
17.如權(quán)利16所述的系統(tǒng)，其特征在于，所述有害內(nèi)容識別模塊中包括自動識別子模塊，用于對有害內(nèi)容進行自動識別；和/或人工識別子模塊，用于對有害內(nèi)容進行人工識別。
18.如權(quán)利16或17所述的系統(tǒng)，其特征在于，所述審查中心分級設(shè)置，用于逐級審查所述媒體流中是否包含有害內(nèi)容。
19.一種審查碼流生成節(jié)點，包括實現(xiàn)通信的通信模塊和用于控制所述審查碼流生成節(jié)點運行的主控模塊，其特征在于，該審查碼流生成節(jié)點還包括第一部分和/或第二部分，其中所述第一部分包括視頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)來自流媒體源的視頻碼流；視頻審查碼流生成模塊，用于根據(jù)所述視頻碼流生成相應(yīng)的視頻審查碼流并通過所述第一通信模塊發(fā)送；第一開關(guān)模塊，連接所述視頻碼流延遲模塊的輸出端，用于根據(jù)所述主控模塊的觸發(fā)信號斷開轉(zhuǎn)發(fā)所述視頻碼流；所述第二部分包括音頻碼流延遲模塊，用于延遲轉(zhuǎn)發(fā)來自流媒體源的音頻碼流；音頻審查碼流生成模塊，用于根據(jù)所述音頻碼流生成相應(yīng)的音頻審查碼流并通過所述第一通信模塊發(fā)送；第二開關(guān)模塊，連接所述音頻碼流延遲模塊的輸出端，用于根據(jù)所述主控模塊的觸發(fā)信號斷開轉(zhuǎn)發(fā)所述音頻碼流。
20.如權(quán)利要求19所述的審查碼流生成節(jié)點，其特征在于，當(dāng)該審查碼流生成節(jié)點中包括所述視頻審查碼流生成模塊時，該視頻審查碼流生成模塊至少包括如下之一第一子模塊，用于對所述視頻碼流進行場景分割后，復(fù)制每一個場景中包含第一個幀的數(shù)據(jù)包或者第一個幀以及前后一定數(shù)目幀的數(shù)據(jù)包，然后將復(fù)制的數(shù)據(jù)包順序組合為所述視頻審查碼流；第二子模塊，用于復(fù)制所述視頻碼流中包含每一個幀內(nèi)編碼幀的數(shù)據(jù)包或者該幀內(nèi)編碼幀以及前后一定數(shù)目幀的數(shù)據(jù)包，然后將復(fù)制的數(shù)據(jù)包順序組合為所述視頻審查碼流；第三子模塊，用于將所述視頻碼流進行降低空間分辨率的處理后形成所述視頻審查碼流；第四子模塊，用于將所述視頻碼流進行降低幀率的處理后形成所述視頻審查碼流；第五子模塊，用于利用加大的量化步長重新將所述視頻碼流進行量化處理后形成所述視頻審查碼流。
21.如權(quán)利要求20所述的審查碼流生成節(jié)點，其特征在于，當(dāng)所述視頻審查碼流生成模塊中包含有第一子模塊、第二子模塊或第五子模塊時，被包含的每一個子模塊同時連接所述視頻碼流延遲模塊；或者被包含的每一個子模塊之前連接有數(shù)據(jù)緩存模塊，用于緩存設(shè)定時段的視頻碼流。
22.如權(quán)利要求20所述的審查碼流生成節(jié)點，其特征在于，當(dāng)所述視頻審查碼流生成模塊中包含有第三子模塊、第四子模塊或第五子模塊時，所述的審查碼流生成節(jié)點還包括視頻底層處理公共模塊，分別連接視頻碼流延遲模塊和被包含的每一個子模塊，用于存儲公用視頻處理程序。
23.如權(quán)利要求19所述的審查碼流生成節(jié)點，其特征在于，當(dāng)該審查碼流生成節(jié)點中包括所述音頻審查碼流生成模塊時，該音頻審查碼流生成模塊中至少包括如下之一音頻碼流復(fù)制子模塊，用于將所述音頻碼流直接復(fù)制為所述音頻審查碼流；音頻碼流節(jié)選子模塊，用于根據(jù)設(shè)定的間隔時間段節(jié)選所述音頻碼流，并利用節(jié)選出的音頻碼流順序組合為所述音頻審查碼流；音頻碼流編碼轉(zhuǎn)換子模塊，用于將所述音頻碼流重新編碼轉(zhuǎn)換為低比特率的音頻審查碼流。
24.如權(quán)利要求19所述的審查碼流生成節(jié)點包，其特征在于，所述的審查碼流生成節(jié)點還包括音頻底層處理公共模塊，分別連接音頻碼流延遲模塊和音頻審查碼流生成模塊，用于存儲公用音頻處理程序。
25.如權(quán)利要求19所述的審查碼流生成節(jié)點，其特征在于，所述審查碼流生成節(jié)點還包括內(nèi)容錄制模塊，用于錄制指定時段的媒體流。
26.如權(quán)利要求19所述的審查碼流生成節(jié)點，其特征在于，當(dāng)該審查碼流生成節(jié)點中包括所述視頻審查碼流生成模塊時，所述審查碼流生成節(jié)點還包括替換視頻源庫，連接所述第一開關(guān)模塊的輸入端，該第一開關(guān)模塊在斷開所述視頻碼流的同時，接通該替換視頻源庫；和/或視頻協(xié)議轉(zhuǎn)換模塊，連接所述第一開關(guān)模塊的輸出端，用于對該第一開關(guān)模塊輸出的視頻碼流進行編碼協(xié)議轉(zhuǎn)換的處理。
27.如權(quán)利要求19所述的審查碼流生成節(jié)點，其特征在于，當(dāng)該審查碼流生成節(jié)點中包括所述音頻審查碼流生成模塊時，所述審查碼流生成節(jié)點還包括替換音頻源庫，連接所述第二開關(guān)模塊的輸入端，該第二開關(guān)模塊在斷開所述音頻碼流的同時，接通該替換音頻源庫；和/或音頻協(xié)議轉(zhuǎn)換模塊，連接所述第二開關(guān)模塊的輸出端，用于對該第二開關(guān)模塊輸出的音頻碼流進行編碼協(xié)議轉(zhuǎn)換的處理。
28.如權(quán)利19-27任意之一所述的審查碼流生成節(jié)點，其特征在于，所述審查碼流生成節(jié)點還包括日志報告模塊，分別連接該審查碼流生成節(jié)點的其他模塊或子模塊，用于生成審查碼流生成節(jié)點的運行日志。
全文摘要
本發(fā)明涉及多媒體通信技術(shù)，特別涉及一種多媒體通信過程中，對來自流媒體源的媒體流進行審查的審查系統(tǒng)和一種用于該審查系統(tǒng)的審查碼流生成節(jié)點，以解決如何對現(xiàn)有流媒體業(yè)務(wù)實現(xiàn)深度內(nèi)容審查的問題。本發(fā)明所述的審查系統(tǒng)包括審查碼流生成節(jié)點，用于延遲轉(zhuǎn)發(fā)來自流媒體源的媒體流，并根據(jù)該媒體流生成審查碼流；審查中心，通過通信方式連接所述審查碼流生成節(jié)點，用于審查從所述審查碼流生成節(jié)點接收的所述審查碼流，并在識別出該審查碼流中包含有害內(nèi)容時向所述審查碼流生成節(jié)點發(fā)送斷開轉(zhuǎn)發(fā)所述媒體流的控制信號。本發(fā)明所述的審查碼流生成節(jié)點主要包括視、音頻碼流延遲模塊和視、音頻審查碼流生成模塊。
文檔編號H04N7/173GK1968137SQ20061007902
公開日2007年5月23日 申請日期2006年4月30日 優(yōu)先權(quán)日2006年4月30日
發(fā)明者羅忠 申請人:華為技術(shù)有限公司