專利名稱：播放流媒體字幕的方法及其流媒體播放器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及流媒體技術(shù)，尤其涉及播放流媒體字幕的方法及流媒體播放器。
背景技術(shù)：
流媒體(Streaming Media)技術(shù)是一種新興的網(wǎng)絡(luò)傳輸技術(shù)，用于在互聯(lián)網(wǎng)上實時順序地傳輸和播放視/音頻等多媒體內(nèi)容的連續(xù)時基數(shù)據(jù)流，流媒體技術(shù)包括流媒體數(shù)據(jù)采集、視/音頻編解碼、存儲、傳輸、播放等領(lǐng)域。在網(wǎng)絡(luò)上傳播多媒體信息主要有兩種方式下載和流式傳輸。下載方式是傳統(tǒng)的傳輸方式，指在播放之前由用戶下載多媒體文件至本地。流式傳輸則把多媒體信息通過服務(wù)器向用戶實時地提供，采用這種方式時，用戶不必等到整個文件全部下載完畢，而只需經(jīng)過幾秒或幾十秒的啟動時延即可播放，之后，客戶端邊接收數(shù)據(jù)邊播放。
目前，流媒體技術(shù)廣泛應(yīng)用在多媒體新聞發(fā)布、網(wǎng)上演示、在線直播、網(wǎng)絡(luò)廣告、電子商務(wù)、視頻點播、遠(yuǎn)程教育、實時視頻會議和即時通訊等互聯(lián)網(wǎng)的信息服務(wù)上。為了向用戶提供更豐富的流媒體服務(wù)，一般在向用戶提供流媒體服務(wù)地同時還提供字幕服務(wù)，現(xiàn)有技術(shù)提供字幕服務(wù)有以下兩種方案
1、流媒體服務(wù)器端解決方案，該方案在制作媒體流的時候同時制作好字幕流，再存儲為媒體流和字幕流按時間順序交錯的媒體流文件；播放時，由客戶端播放器直接解碼媒體流和字幕流。
這種方案的缺點是字幕流和媒體流交錯存儲在文件里，對所有的用戶都是提供相同的字幕流，不能針對不同的用戶發(fā)送不同的字幕流，其靈活性較差，而且修改字幕流也不方便。
2、流媒體播放器客戶端解決方案，該方案預(yù)先制作和對應(yīng)媒體流匹配的字幕流文件，將該文件保存在客戶端本地，客戶端播放媒體流文件的同時顯示相應(yīng)字幕。
這種方案的缺點是字幕流內(nèi)容不受服務(wù)器端控制，而且字幕流也不受流媒體供應(yīng)商控制，對于一些現(xiàn)場直播類媒體流的字幕服務(wù)不能及時更新，因此，其靈活性和動態(tài)可控性差。

發(fā)明內(nèi)容
本發(fā)明提供一種播放流媒體字幕的方法及流媒體播放器，以解決現(xiàn)有技術(shù)在同時提供流媒體和字幕服務(wù)時存在靈活性和動態(tài)可控性差的問題。
一種傳送流媒體字幕的方法，該方法包括下述步驟
向流媒體服務(wù)器和字幕服務(wù)器分別請求流媒體服務(wù)和該流媒體對應(yīng)的字幕服務(wù)；
所述流媒體服務(wù)器和字幕服務(wù)器分別向流媒體播放器發(fā)送媒體流和字幕流；
流媒體播放器判斷字幕流時間戳與媒體流時間戳是否匹配，并至少將時間戳匹配的字幕流轉(zhuǎn)換為視頻流與所述媒體流同步播放。
其中
先向流媒體服務(wù)器請求流媒體服務(wù)，并在得到流媒體服務(wù)器的應(yīng)答后再向字幕服務(wù)器請求字幕流服務(wù)。
所述流媒體服務(wù)器和/或字幕服務(wù)器在收到請求后還要求驗證簽名，并在對請求方提供的簽名驗證成功后向流媒體播放器發(fā)送流媒體和/或字幕流。
在判斷時間戳匹配時，以第一個媒體流樣本的時間戳與第一個字幕流樣本的時間戳的差值為參考值，若當(dāng)前媒體樣本的時間戳與當(dāng)前字幕流樣本的時間戳的差值與所述參考值之差不大于設(shè)定的閾值，則確定所述當(dāng)前媒體流時間戳與當(dāng)前字幕流時間戳匹配，否則確定時間戳不匹配。
若所述流媒體中包含有視頻流，則從流媒體中分離出視頻流并與所字幕流合成新的視頻流后進(jìn)行播放。
一種流媒體播放器，包括將流媒體分離并解碼出音頻流和視頻流的媒體流處理單元，用于播放音頻流和視頻流的播放單元；其中，所述播放器還包括合成單元，該合成單元用于接收和解碼字幕流，以及將解碼后的字幕流轉(zhuǎn)換為新的視頻流或者將解碼后的字幕流與所述媒體流處理單元輸出的視頻流合成新的視頻流后輸出到所述播放單元。
一種流媒體字幕合成裝置，包括
字幕接收/緩沖組件，用于接收并緩存字幕流；
字幕解碼組件，用于解碼緩存的字幕流；
視頻/字幕合成組件，用于將字幕解碼組件輸出的字幕流和接收到的視頻流合成新的視頻流。
本發(fā)明在播放媒體流的過程中，將媒體流中的視頻流與字幕流動態(tài)的合成新的視頻流播放，因而在對IM用戶提供流媒體服務(wù)的時候，可以靈活的提供對應(yīng)的字幕服務(wù)，這種字幕可以是對應(yīng)的視頻對白、音頻字幕、廣告字幕、消息字幕等；在本發(fā)明中字幕服務(wù)由服務(wù)器端提供，其動態(tài)可控性好，能夠根據(jù)需要及時更新。采用本發(fā)明不僅能夠滿足不同的業(yè)務(wù)需求，而且也可作為一種增值服務(wù)為流媒體服務(wù)商增加收入來源、為用戶提供更豐富的流媒體服務(wù)。


圖1為實現(xiàn)本發(fā)明網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)示意圖2為媒體流和字幕流服務(wù)的流程示意圖3A為媒體流的存儲格式示意圖3B為字幕流存儲格式示意圖4為流媒體播放器結(jié)構(gòu)示意圖5為字幕組件處理字幕流的流程圖。
具體實施例方式
為了滿足多媒體新聞發(fā)布、網(wǎng)上演示、在線直播、網(wǎng)絡(luò)廣告、電子商務(wù)、視頻點播、遠(yuǎn)程教育、實時視頻會議和即時通訊等信息服務(wù)對流媒體字幕技術(shù)的不同需求，提高其靈活性，本發(fā)明由字幕服務(wù)器控制字幕流，在流媒體播放器請求流媒體服務(wù)器提供流媒體服務(wù)時，向字幕服務(wù)器請求該流媒體對應(yīng)的字幕服務(wù)；流媒體播放器接收到流媒體服務(wù)器和字幕服務(wù)器發(fā)送來的媒體流和字幕流后匹配時間戳，在字幕流時間戳與媒體流時間戳匹配時，將該字幕流轉(zhuǎn)換為視頻流與所述媒體流同步播放。
以下主要以即時通訊服務(wù)為例，結(jié)合附圖對實現(xiàn)本發(fā)明進(jìn)行詳細(xì)說明
如圖1所示，實現(xiàn)本發(fā)明的即時網(wǎng)絡(luò)系統(tǒng)包括即時通訊用戶客戶端(IMClient)400(用戶客戶端為多個)、即時通訊服務(wù)器(IM Server)100、流媒體服務(wù)器200和字幕服務(wù)器300。其中即時通訊服務(wù)器200負(fù)責(zé)管理用戶和對即時通訊用戶(IM User)登錄進(jìn)行認(rèn)證，并對用戶發(fā)放簽名。流媒體服務(wù)器200向用戶提供流媒體服務(wù)，并對訪問流媒體服務(wù)器的用戶進(jìn)行認(rèn)證。字幕服務(wù)器300向用戶提供字幕服務(wù)，并對訪問字幕服務(wù)器的用戶進(jìn)行認(rèn)證。
參閱圖2所示，在即時通訊客戶端具有流媒體播放器500，該流媒體播放器500包括媒體流處理單元510、合成單元520和播放單元530。媒體流處理單元510接收和解碼流媒體服務(wù)器通過網(wǎng)絡(luò)傳送來的媒體流，合成單元520將媒體流處理單元510輸出的媒體流和字幕服務(wù)器300通過網(wǎng)絡(luò)傳送來的字幕流合成新的媒體流，播放單元530播放合成單元520輸出的媒體流。
流媒體播放器500中，除合成單元520外，媒體流處理單元510和播放單元530可以是Windows操作系統(tǒng)上安裝的Windows Media Player中的單元。
參閱圖3A所示，媒體流在流媒體服務(wù)器200上的存儲格式和普通的流媒體服務(wù)器媒體流儲存格式一致。
參閱圖3B所示，在字幕服務(wù)器300上，期望和媒體流里某時間點同時出現(xiàn)的字幕則打上和該媒體流里相同的時間戳，以保證流媒體播放和字幕流同步顯示。字幕服務(wù)器300上的字幕流采用無損壓縮編碼算法進(jìn)行編碼，如LZ77算法。
參閱圖4所示，媒體流處理單元510包括接收/緩沖組件511、音/視頻媒體流分離組件512、音頻解碼組件513和視頻解碼組件514。接收/緩沖組件511接收并緩存從流媒體服務(wù)器200傳送來的流媒體；音/視頻媒體流分離組件512將接收/緩沖組件511輸出的媒體流分離為音頻流和視頻流，并分別輸出到音頻解碼組件513和視頻解碼組件514；音頻解碼組件513對音頻流進(jìn)行解碼，視頻解碼組件514對視頻流進(jìn)行解碼。
合成單元520包括字幕接收/緩沖組件521、字幕解碼組件522和視頻/字幕合成組件523。字幕接收/緩沖組件521接收由字幕服務(wù)器300發(fā)送來的字幕流，并把接收到字幕流按字幕流時間樣本先后順序保存在本地的一個緩沖隊列里；字幕解碼組件522對字幕接收/緩沖組件521輸出的已編碼字幕流數(shù)據(jù)，采用相應(yīng)的解碼算法進(jìn)行解碼，并將解碼后的數(shù)據(jù)流寫入字幕緩沖文件，如，字幕服務(wù)器300上的字幕流采用LZ77算法編碼，字幕解碼組件522則采用LZ77解碼算法進(jìn)行解碼。既使用和字幕流編碼對應(yīng)的解碼算法解碼。視頻/字幕合成組件523將視頻解碼組件514輸出的視頻流和字幕解碼組件522輸出的字幕流合成新的視頻流并輸出。
播放單元530包括音頻播放組件531和視頻播放組件532，音頻播放組件531用于播放音頻解碼組件513輸出的音頻流，視頻播放組件532用于播放視頻/字幕合成組件523輸出的視頻流。
為了使字幕流和對應(yīng)的媒體流同步播放，字幕流的時間戳必須與對應(yīng)的媒體流的時間戳匹配(或者說明媒體流和字幕流的時間戳必須一致)。流媒體播放器500在確定字幕流和媒體流的時間戳是否匹配時，以第一個媒體流樣本的時間戳與第一個字幕流樣本的時間戳的差值為參考值，如果當(dāng)前字幕流樣本的時間戳與當(dāng)前媒體流樣本時間戳的差值與所述參考值之差不大于設(shè)定的閾值，則確定所述當(dāng)前媒體流時間戳與當(dāng)前字幕流時間戳匹配。如閾值設(shè)定為2，媒體流的第一個媒體樣本的時間戳是10，字幕流第一個樣本的時間戳是110，則參考值為110-10＝100。若經(jīng)過5秒以后，當(dāng)前媒體流的時間戳為10+5＝15，此時收到的字幕流樣本的時間戳為116，則當(dāng)前字幕流樣本的時間戳與當(dāng)前媒體流樣本時間戳的差值101(116-15＝101)與參考值100的差為1，此時該差值1小于閾值2，流媒體播放器500則確定字幕流時間戳與流媒體時間戳匹配。
參閱圖5所示，播放流媒體字幕的過程如下
步驟10即時通訊用戶A首先向流媒體服務(wù)器200申請流媒體服務(wù)(標(biāo)識該流媒體為C)，在收到流媒體服務(wù)器200的應(yīng)答后，通訊用戶A再向字幕服務(wù)器300申請媒體流C對應(yīng)的字幕服務(wù)。流媒體服務(wù)器對即時通訊用戶A的應(yīng)答中包括了是否需要認(rèn)證、是否提供字幕流服務(wù)等信息。
步驟20流媒體服務(wù)器200和字幕服務(wù)器300分別檢查后確認(rèn)可為該新用戶提供流媒體服務(wù)和字幕服務(wù)，并要求用戶A提供簽名。
步驟30用戶A向即時通訊服務(wù)器100獲取用于訪問流媒體服務(wù)器200和字幕服務(wù)器300的簽名，即時通訊服務(wù)器100返回一個可訪問流媒體服務(wù)器的簽名S1和一個可訪問字幕服務(wù)器的簽名S2，由用戶發(fā)送簽名給流媒體服務(wù)器200和字幕服務(wù)器300。
步驟40流媒體服務(wù)器200和字幕服務(wù)器300分別認(rèn)證簽名S1和簽名S2，若兩個簽名均通過認(rèn)證，則流媒體服務(wù)器200和字幕服務(wù)器300分別向用戶A發(fā)送媒體流C和對應(yīng)的字幕流。若簽名未通過認(rèn)證，則服務(wù)器不會向用戶A提供服務(wù)。
步驟50即時通訊用戶A客戶端(IM Client)上啟動的流媒體播放器500接收媒體流C和對應(yīng)的字幕流，由媒體流處理單元510解碼媒體流C并分離出音頻流和視頻流，合成單元520接收到視頻流和解碼后的字幕服務(wù)流后，判斷視頻流的時間戳與字幕流的時間戳是否匹配，如果匹配，則將該視頻流和字幕流合成新的視頻流，播放單元530播放媒體流處理單元510輸出的音頻流和合成單元520輸出的視頻流，從而達(dá)到媒體流和對應(yīng)的字幕流同頻播放。若不匹配，則緩存該字幕流，如果該字幕流時間戳的絕對差值和當(dāng)前媒體流時間戳的絕對差值大于限定值，則認(rèn)為該字幕樣本已經(jīng)無效，丟棄該樣本。
在媒體流處理單元510中，視頻解碼組件514將媒體流中的視頻流解碼后，以位圖(Bitmap)的格式傳輸給合成單元520中的視頻/字幕合成組件523，視頻/字幕合成組件523合成新的視頻幀時將要顯示字幕點陣在位圖上對應(yīng)的位置的位圖點陣替換成字幕顏色，處理完當(dāng)前幀要顯示的所有字符的點陣即完成一幀的字幕、視頻合成。
若上述的媒體流中不包含視頻流即僅有音頻流，視頻/字幕合成組件523將字幕流單獨轉(zhuǎn)化成視頻流的格式發(fā)送給視頻顯示組件532進(jìn)行顯示。
當(dāng)然，流媒體服務(wù)器200和字幕服務(wù)器300也可能不需要用戶提供簽名而直接提供服務(wù)，即在上述步驟20、步驟30和步驟40中沒有要求簽名、獲取簽名和簽名認(rèn)證過程。
本發(fā)明在多媒體新聞發(fā)布、網(wǎng)上演示、在線直播、網(wǎng)絡(luò)廣告、電子商務(wù)、視頻點播、遠(yuǎn)程教育和實時視頻會議服務(wù)上的實現(xiàn)與上述即時通訊服務(wù)上的實現(xiàn)同理，在此不再贅述。
顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進(jìn)行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
權(quán)利要求
1、一種播放流媒體字幕的方法，其特征在于包括下述步驟
向流媒體服務(wù)器和字幕服務(wù)器分別請求流媒體服務(wù)和該流媒體對應(yīng)的字幕服務(wù)；
所述流媒體服務(wù)器和字幕服務(wù)器分別向流媒體播放器發(fā)送媒體流和字幕流；
流媒體播放器判斷字幕流時間戳與媒體流時間戳是否匹配，并至少將時間戳匹配的字幕流轉(zhuǎn)換為視頻流與所述媒體流同步播放。
2、如權(quán)利要求1所述的方法，其特征在于，先向流媒體服務(wù)器請求流媒體服務(wù)，并在得到流媒體服務(wù)器的應(yīng)答后再向字幕服務(wù)器請求字幕流服務(wù)。
3、如權(quán)利要求1所述的方法，其特征在于，所述流媒體服務(wù)器和/或字幕服務(wù)器在收到請求后還要求驗證簽名，并在對請求方提供的簽名驗證成功后向流媒體播放器發(fā)送流媒體和/或字幕流。
4、如權(quán)利要求1所述的方法，其特征在于，在判斷時間戳是否匹配時，以第一個媒體流樣本的時間戳與第一個字幕流樣本的時間戳的差值為參考值，若當(dāng)前字幕流樣本的時間戳與當(dāng)前媒體流樣本時間戳的差值與所述參考值之差不大于設(shè)定的閾值，則確定所述當(dāng)前媒體流時間戳與當(dāng)前字幕流時間戳匹配，否則確定時間戳不匹配。
5、如權(quán)利要求1至4任一項所述的方法，其特征在于，若所述流媒體中包含有視頻流，則從流媒體中分離出視頻流并與所字幕流合成新的視頻流后進(jìn)行播放。
6、如權(quán)利要求5所述的方法，其特征在于，在合成視頻流前還分別對視頻流和字幕流進(jìn)行解碼。
7、如權(quán)利要求6所述的方法，其特征在于，將視頻流解碼為位圖格式，在合成視頻流時，將位圖上待顯示字幕點陣所占用位置的位圖點陣替換成字幕顏色。
8、一種流媒體播放器，包括將流媒體分離并解碼出音頻流和視頻流的媒體流處理單元，用于播放音頻流和視頻流的播放單元；其特征在于，所述播放器還包括合成單元，該合成單元用于接收和解碼字幕流，以及將解碼后的字幕流轉(zhuǎn)換為新的視頻流或者將解碼后的字幕流與所述媒體流處理單元輸出的視頻流合成新的視頻流后輸出到所述播放單元。
9、如權(quán)利要求8所述的流媒體播放器，其特征在于，所述合成單元包括
字幕接收/緩沖組件，用于接收并緩存字幕流；
字幕解碼組件，用于解碼緩存的字幕流；
視頻/字幕合成組件，用于將解碼后的字幕流轉(zhuǎn)換為新的視頻流，或者將解碼后的字幕流與所述視頻流合成新的視頻流。
10、一種流媒體字幕合成裝置，其特征在于該組件包括
字幕接收/緩沖組件，用于接收并緩存字幕流；
字幕解碼組件，用于解碼緩存的字幕流；
視頻/字幕合成組件，用于將字幕解碼組件輸出的字幕流和接收到的視頻流合成新的視頻流。
全文摘要
本發(fā)明公開了一種播放流媒體字幕的方法，以解決現(xiàn)有技術(shù)在同時提供流媒體和字幕服務(wù)時存在靈活性和動態(tài)可控性差的問題；該方法通過向流媒體服務(wù)器和字幕服務(wù)器分別請求流媒體服務(wù)和該流媒體對應(yīng)的字幕服務(wù)，由所述流媒體服務(wù)器和字幕服務(wù)器分別向流媒體播放器發(fā)送媒體流和字幕流，所述流媒體播放器判斷字幕流時間戳與媒體流時間戳是否匹配，并至少將時間戳匹配的字幕流轉(zhuǎn)換為視頻流與所述媒體流同步播放。
文檔編號H04N7/173GK1859565SQ200510034548
公開日2006年11月8日 申請日期2005年5月1日 優(yōu)先權(quán)日2005年5月1日
發(fā)明者伍海君, 王宇 申請人:騰訊科技(深圳)有限公司