專利名稱：影像處理方法
技術領域：
本發(fā)明是有關于一種影像處理方法，且特別是有關于一種以字幕的數(shù)據(jù)為索引以搜尋所要播放的視頻幀的影像處理方法。
背景技術：
當播放一個視頻時，經(jīng)常會需要快進/快退播放節(jié)目。當前采取的做法是快進/ 快退中不顯示字幕信息，也不播放音頻，只有視頻圖像需要解碼。此時視頻圖像的解碼是根據(jù)當中某些關鍵幀(例如I幀)出現(xiàn)的時間點來確定是否跳轉(zhuǎn)，由于關鍵幀在流中出現(xiàn)的時間是隨機的，所以每次跳轉(zhuǎn)的時間間隔并不全部相等。當快進/快退播放節(jié)目時，因節(jié)目畫面中并不顯示字幕，故使用者難以從快進/快退播放的節(jié)目畫面中掌握清楚的信息。在不顯示字幕的情況下，倘若使用者想要以快進/ 快退播放的方式搜尋節(jié)目中特定的畫面或片段，則使用者只能從不包含字幕的畫面中猜測節(jié)目的內(nèi)容(如演員的對白)，對想快速地搜尋以掌握相關信息的使用者來說，這樣的操作方式并不友善。

發(fā)明內(nèi)容
本發(fā)明提供一種影像處理方法，其以字幕的數(shù)據(jù)為索引，搜尋所要播放的視頻幀。 如此，當使用者快進/快退播放視頻時，畫面上仍能顯示字幕，而使人機介面更為友善、操作更為人性化。本發(fā)明提出一種影像處理方法。上述的影像處理方法包括下述步驟接收視頻串流，視頻串流具有多個視頻幀以及相對于上述視頻幀的多個字幕信息，上述視頻幀適以以第一播放速度完整地被播放，上述視頻幀包括多個關鍵幀及多個非關鍵幀，每一字幕信息包含字串、起始顯示時間及結束顯示時間；解碼上述視頻串流，以取得多個視頻幀及多個字幕信息；以快于第一播放速度的第二播放速度，沿第二播放速度的播放方向，尋找以目前播放時間起算一預定時間間隔內(nèi)的多個關鍵幀及至少一字幕信息；以及依據(jù)所取得的至少一字幕信息的起始顯示時間或結束顯示時間，擇一輸出其播放時間最接近上述至少一字幕信息的起始顯示時間或結束顯示時間的關鍵幀。在本發(fā)明的一實施例中，上述第一播放速度與第二播放速度的播放方向相同，且其中是依據(jù)所取得的上述至少一字幕信息的起始顯示時間，擇一輸出其播放時間最接近上述至少一字幕信息的起始顯示時間的關鍵幀。在本發(fā)明的一實施例中，倘若在上述預定時間間隔找到任一字幕信息，則依據(jù)預定時間間隔內(nèi)的字幕信息的起始顯示時間，擇一輸出預定時間間隔內(nèi)的關鍵幀，其中被選擇輸出的關鍵幀的時間戳(timestamp)所對應的一播放時間最接近預定時間間隔內(nèi)的字幕信息的起始顯示時間。在本發(fā)明的一實施例中，上述的影像處理方法另包括倘若在預定時間間隔尋找不到任一字幕信息，則擇一輸出在預定時間間隔內(nèi)的關鍵幀。
在本發(fā)明的一實施例中，其中倘若在預定時間間隔內(nèi)被選擇的關鍵幀的時間戳所對應的播放時間并不介于在預定時間間隔內(nèi)所找到字幕信息的起始顯示時間和起始顯示時間之間，則判斷被選擇的關鍵幀所對應的播放時間與在預定時間間隔內(nèi)所找到字幕信息的起始顯示時間之間的時間間隔是否大于一預設臨界值。倘若被選擇的關鍵幀所對應的播放時間與在預定時間間隔內(nèi)所找到字幕信息的起始顯示時間之間的時間間隔大于預設臨界值，則輸出在預定時間間隔內(nèi)被選擇且未嵌入任一字串的關鍵幀。倘若被選擇的關鍵幀所對應的播放時間與在預定時間間隔內(nèi)所找到字幕信息的起始顯示時間之間的時間間隔小于預設臨界值，則將預定時間間隔內(nèi)所找到字幕信息的字串嵌入至被選擇的關鍵幀，并輸出以嵌入字串的關鍵幀。在本發(fā)明的一實施例中，上述的第一播放速度與第二播放速度的播放方向相反， 且其中是依據(jù)所取得的上述至少一字幕信息的結束顯示時間，擇一輸出其播放時間最接近上述至少一字幕信息的結束顯示時間的關鍵幀。在本發(fā)明的一實施例中，倘若在預定時間間隔找到任一字幕信息，則依據(jù)預定時間間隔內(nèi)的字幕信息的結束顯示時間，擇一輸出預定時間間隔內(nèi)的關鍵幀，其中被選擇輸出的關鍵幀的一時間戳(timestamp)所對應的播放時間最接近預定時間間隔內(nèi)的字幕信息的結束顯示時間。在本發(fā)明的一實施例中，其中倘若在預定時間間隔內(nèi)被選擇的關鍵幀的時間戳所對應的播放時間并不介于在預定時間間隔內(nèi)所找到字幕信息的起始顯示時間和結束顯示時間之間，則判斷被選擇的關鍵幀所對應的播放時間與在預定時間間隔內(nèi)所找到字幕信息的結束顯示時間之間的時間間隔是否大于一預設臨界值。倘若被選擇的關鍵幀所對應的播放時間與在預定時間間隔內(nèi)所找到字幕信息的結束顯示時間之間的時間間隔大于預設臨界值，則輸出在預定時間間隔內(nèi)被選擇且未嵌入任一字串的關鍵幀。倘若被選擇的關鍵幀所對應的播放時間與在預定時間間隔內(nèi)所找到字幕信息的結束顯示時間之間的時間間隔小于預設臨界值，則將預定時間間隔內(nèi)所找到字幕信息的字串嵌入至被選擇的關鍵幀，并輸出以嵌入字串的關鍵幀。在本發(fā)明的一實施例中，上述的影像處理方法另包括通過一顯示器，播放上述擇一輸出的關鍵幀。在本發(fā)明的一實施例中，上述的影像處理方法另包括將所取得的至少一字幕信息的字串嵌入至上述擇一輸出的關鍵幀。在本發(fā)明的一實施例中，上述的視頻串流為符合MPEG2標準的視頻串流，而上述的關鍵幀為MPEG2標準的I幀。在本發(fā)明的一實施例中，上述的視頻串流為符合H. 264標準的視頻串流，而上述的關鍵幀為H. 264標準的I幀。本發(fā)明的上述實施例，以字幕的數(shù)據(jù)為索引，來搜尋并播放上述視頻串流的視頻幀。當以快于一般的播放速度來快進或快退地播放視頻串流時，會先尋找離目前播放時間一預定時間間隔內(nèi)的至少一字幕信息及多個關鍵幀。之后，再依據(jù)所尋找到的字幕信息的起始顯示時間或結束顯示時間，擇一輸出上述預定時間間隔內(nèi)的關鍵幀。藉此，當快進或快退地播放視頻串流時，使觀看者仍可觀看到字幕。為讓本發(fā)明的上述特征和優(yōu)點能更明顯易懂，下文特舉實施例，并配合所附圖式作詳細說明如下。


圖1為依據(jù)本發(fā)明一實施例的影像處理方法處理視頻串流的視頻解碼引擎以及耦接于上述視頻解碼引擎的顯示器的功能方塊圖。圖2為用以說明當圖1的視頻解碼引擎進行快進操作時，視頻串流、的時序圖。圖3為用以說明當圖1的視頻解碼引擎進行快退操作時，視頻串流、的時序圖。圖4為圖2中的字幕信息的數(shù)據(jù)結構示意圖。圖5為本發(fā)明一實施例的視頻幀的數(shù)據(jù)結構示意圖。圖6為本發(fā)明一實施例的影像處理方法的流程圖。圖7為依據(jù)本發(fā)明一實施例的影像處理方法處理視頻串流的視頻解碼引擎以及耦接于上述視頻解碼引擎的顯示器的功能方塊圖。圖8為用以說明當圖7的視頻解碼引擎進行快進操作時，視頻串流、的時序圖。圖9為圖7的視頻解碼引擎進行快進操作時的流程圖。圖10為用以說明當圖7的視頻解碼引擎進行快退操作時，視頻串流& 的時序圖。圖11為圖7的視頻解碼引擎進行快退操作時的流程圖。附圖標號100、700 視頻解碼引擎110、710 字幕處理單元120 顯示器210 視頻幀212:時間戳214 影像數(shù)據(jù)區(qū)220 字幕信息222 字串a(chǎn)、b、c、d、e 關鍵幀N 非關鍵幀S:關鍵幀Sln 視頻串流S610 S640、S910 S990、SlllO Sl 190 流程步驟Ts、Tsi、Ts2、Ts3 起始顯示時間TE、Tei、TE2、Te3 結束顯示時間Td:預定時間間隔Vl 第一播放速度VlV2 第二播放速度
具體實施例方式請參考圖1和圖2，圖1為依據(jù)本發(fā)明一實施例的影像處理方法處理視頻串流
的視頻解碼引擎100以及耦接于視頻解碼引擎100的顯示器120的功能方塊圖，圖2為圖1
6中視頻串流Sln的時序圖。視頻解碼引擎100依據(jù)本發(fā)明一實施例的影像處理方法處理視頻串流SIn。在本實施例中，視頻解碼引擎100是一種微處理器。在本發(fā)明另一實施例中， 視頻解碼引擎100則是一種軟件或是固件，而可由特定的硬件(如中央處理器)所執(zhí)行。視頻串流Sln具有多個視頻幀210以及在時間軸上相對于上述視頻幀210的多個字幕信息220。值得注意地，雖然圖2中以上下分離的方式來表示視頻串流Sln中的視頻幀 210及字幕信息220，但實際上，視頻幀210及字幕信息220是以編碼的方式包含在視頻串流，而視頻解碼引擎100則是在接收到視頻串流Sln之后，再解碼視頻串流Sln以取得其中的視頻幀210及字幕信息220。在本發(fā)明一實施例中，視頻解碼引擎100會先讀取儲存在媒體(如光盤)的檔案，以產(chǎn)生上述的視頻串流&n。另外，在本發(fā)明一實施例中，視頻解碼引擎100則會以無線或有線的方式從網(wǎng)絡中接收視頻串流Sln，其中上述的網(wǎng)絡可以是利用 WiMAX, WiFi, LTE等技術的網(wǎng)絡。在本發(fā)明一實施例中，視頻解碼引擎100具有字幕處理單元110。視頻解碼引擎 100通過字幕處理單元110，解碼視頻串流Sln以取得其中的字幕信息220。此外，在本發(fā)明另一實施例中，字幕處理單元110則獨立于視頻解碼引擎100，其中視頻解碼引擎100與視頻解碼引擎100同時接收視頻串流Sln，以分別解碼以取得視頻幀210及字幕信息220。字幕處理單元110會將所解碼的字幕信息220再傳送至視頻解碼引擎100。上述的多個視頻幀210包括多個關鍵幀S及多個非關鍵幀N，而關鍵幀S和非關鍵幀N是依其播放的時間先后次序繪示于圖2上。在以正常速度播放的模式下，視頻解碼引擎100會依照視頻幀210的播放次序輸出視頻幀210至顯示器120，之后顯示器120再顯示視頻幀210所對應的畫面。以圖2為例，當以上述正常速度播放，越靠近時間軸的左側(cè)的視頻幀210會較早從視頻解碼引擎100輸出，而越靠近時間軸的右側(cè)的視頻幀210會較晚從視頻解碼引擎100輸出。視頻解碼引擎100所解碼取得的多個視頻幀210適以以第一播放速度Vl完整地被播放。舉例來說，在本發(fā)明一實施例中，第一播放速度Vl為每秒播放60個視頻幀210(即 60視頻幀/秒)。又例如在本發(fā)明另一個實施例中，第一播放速度Vl為每秒播放240個視頻幀210 (即240視頻幀/秒)。值得注意地，上述60視頻幀/秒或240視頻幀/秒的第一播放速度Vl僅為示例性的說明，本發(fā)明并不以此為限，本發(fā)明所屬技術領域的技術人員應能理解第一播放速度Vl可以是其他的播放速度。當視頻串流Sln以第一播放速度Vl時，視頻解碼引擎100會依照視頻幀210的播放次序連續(xù)地輸出視頻幀210。舉例來說，倘若第一播放速度Vl為60視頻幀/秒，且視頻解碼引擎100在時間點TSl和時間點TS2之間以第一播放速度Vl輸出視頻幀210，則介于時間點TSl和時間點TS2的關鍵幀S和多個非關鍵幀N會照著其播放的次序，一一地由視頻解碼引擎100輸出至顯示器120。視頻解碼引擎100除了以第一播放速度Vl正常地輸出視頻幀210之外，亦可以快進或快退的方式輸出視頻幀210。當視頻解碼引擎100以快進或快退的方式輸出視頻幀210 時，視頻幀210在顯示器120的播放速度在圖示中是以第二播放速度V2表示，其中第二播放速度V2快于第一播放速度VI。其中，第一播放速度Vl和第二播放速度V2的播放方向， 在圖示中是以對應的箭頭所指向的方向表示。當視頻解碼引擎100以快進的方式輸出視頻幀210時，第一播放速度Vl與第二播放速度V2的播放方向相同，如圖2所示。當視頻解碼引擎100以快退的方式輸出視頻幀210時，第一播放速度Vl與第二播放速度V2的播放方向相反，如圖3所示。在本實施例中，當視頻幀210以第二播放速度V2被播放時，視頻解碼引擎100只會選擇關鍵幀S，并輸出到顯示器120。因此，當視頻幀210以第二播放速度V2播放時，顯示器120只會顯示關鍵幀S所對應的畫面，而不顯示非關鍵幀N所對應的畫面。在本發(fā)明的一實施例中，上述的視頻串流Sln為符合MPEG2標準的視頻串流，而上述的關鍵幀S為MPEG2 標準的I幀。此外，在本發(fā)明的一實施例中，上述的視頻串流Sln為符合H. 264標準的視頻串流，而上述的關鍵幀S為H. 264標準的I幀。此外，當視頻幀210以第二播放速度V2被播放時，視頻解碼引擎100會依據(jù)字幕信息220的起始顯示時間(例如TS1、TS2、TS3)或結束顯示時間(例如Tei、TE2、TE3)，來選擇所要輸出的關鍵幀S。請參考圖4，圖4為字幕信息220的數(shù)據(jù)結構示意圖。每一字幕信息220包含字串222、起始顯示時間Ts及結束顯示時間TE。字串222通常是有意義的句子或文字，適于嵌入至視頻解碼引擎100所輸出的視頻幀210中，以與對應的視頻幀210同時顯示于顯示器 120。起始顯示時間Ts用以標示字串222開始顯示的時間點，而結束顯示時間Te用以標示字串222結束顯示的時間點。視頻解碼引擎100依據(jù)字幕信息220的起始顯示時間Ts及結束顯示時間Te將對應的字串222嵌入至于時間軸上對應的視頻幀210。值得注意地，圖4 所繪示的字幕信息220的數(shù)據(jù)結構僅為示例性的說明，本發(fā)明所屬技術領域的技術人員應能理解字串222、起始顯示時間Ts及結束顯示時間Te在字幕信息220中的排列位置可依需要或規(guī)格而變更。請參考圖1 圖4，在本發(fā)明一實施例中，當以快進的方式輸出視頻幀210時，第一播放速度Vl與第二播放速度V2的播放方向相同，而視頻解碼引擎100會依據(jù)字幕信息220 的起始顯示時間(例如TS1、TS2、Ts3)，來選擇所要輸出的關鍵幀S。而當以快退的方式輸出視頻幀210時，第一播放速度Vl與第二播放速度V2的播放方向相反，而視頻解碼引擎100 會依據(jù)字幕信息220的結束顯示時間(例如1^1、1^、10)，來選擇所要輸出的關鍵幀5。然而，值得注意地，本發(fā)明并不以此為限。舉例來說，在本發(fā)明另一實施例中，當以快進的方式輸出視頻幀210時，視頻解碼引擎100會依據(jù)字幕信息220的結束顯示時間(例如TE1、TE2、 TE3)，來選擇所要輸出的關鍵幀S。而當以快退的方式輸出視頻幀210時，視頻解碼引擎100 會依據(jù)字幕信息220的起始顯示時間(例如！^、1^、1^)，來選擇所要輸出的關鍵幀5。在此一實施例中，當視頻解碼引擎100操作于第二播放速度V2時，由于視頻解碼引擎100只會選擇部分的關鍵幀S，故當以第二播放速度V2進行操作時，視頻解碼引擎 100 “選擇性地”輸出上述的關鍵幀S，而非輸出全部的關鍵幀S。在本發(fā)明一實施例中，當視頻解碼引擎100操作于第二播放速度V2時，視頻解碼引擎100會選擇離字幕信息220的起始顯示時間或結束顯示時間最近的關鍵幀S。更進一步地說，在本發(fā)明一實施例中，當以快進的方式處理并播放視頻串流時，視頻解碼引擎 100會依據(jù)起始顯示時間(例如TS1、TS2、TS3)，選擇離字幕信息220的起始顯示時間最近的關鍵幀S ；而當以快退的方式處理并播放視頻串流Sln時，視頻解碼引擎100會依據(jù)結束顯示時間(例如TE1、TE2, TE3)，選擇離字幕信息220的結束顯示時間最近的關鍵幀S。在本發(fā)明一實施例中，每一視頻幀210具有時間戳(timestamp)，用以標示視頻幀 210在時間軸上的播放時間。請參考圖5，圖5為本發(fā)明一實施例的視頻幀210的數(shù)據(jù)結構示意圖。每一視頻幀210具有時間戳212以及影像數(shù)據(jù)區(qū)214。其中，時間戳212用以表示視頻幀210所對應的播放時間，而影像數(shù)據(jù)區(qū)214則具有視頻幀210相關的畫面數(shù)據(jù)。當視頻解碼引擎100處理視頻串流Sln時，會依據(jù)關鍵幀S的時間戳所對應的播放時間，判斷哪一個關鍵幀S在時間軸上最接近字幕信息220的起始顯示時間或結束顯示時間，進而選出所要輸出的關鍵幀S。值得注意地，圖5所繪示的視頻幀210的數(shù)據(jù)結構僅為示例性的說明，本發(fā)明所屬技術領域的技術人員應能理解時間戳212以及影像數(shù)據(jù)區(qū)214在視頻幀 210中的排列位置及編碼方式可依需要或規(guī)格而變更。請參考圖6，圖6為本發(fā)明一實施例的影像處理方法的流程圖。首先，在步驟S610 中，視頻解碼引擎100會接收視頻串流&n。之后，在步驟S620中，視頻解碼引擎100會解碼視頻串流&n，以取得多個視頻幀210及多個字幕信息220。在步驟S630中，視頻解碼引擎 100以快于第一播放速度Vl的第二播放速度V2，沿第二播放速度V2的播放方向，尋找以目前播放時間Tp起算一預定時間間隔Td內(nèi)的多個關鍵幀S及至少一字幕信息220。之后，在步驟S640中，視頻解碼引擎100依據(jù)所取得的上述至少一字幕信息220的起始顯示時間Ts 或結束顯示時間TE，擇一輸出其播放時間最接近上述至少一字幕信息220的起始顯示時間 Ts或結束顯示時間Te的關鍵幀S。在本實施例中，依據(jù)字幕信息220的起始顯示時間Ts或結束顯示時間Te選擇所要輸出的關鍵幀S的方式，可參照前面的說明，在此即不再贅述。此外，在本發(fā)明另一實施例中，視頻解碼引擎100會依據(jù)一預設臨界值，判斷是否需將步驟S620所取得的字幕信息220的字串222嵌入至所選擇輸出的關鍵幀S中。以圖 2為例，假設目前播放時間為TP，當視頻解碼引擎100以第二播放速度V2進行視頻的快進操作時，視頻解碼引擎100會解碼以取得其起始顯示時間和結束顯示時間分別為Ts2和Te2 的字幕信息220。之后，視頻解碼引擎100選擇離起始顯示時間Ts2最近且介于目前播放時間Tp與起始顯示時間間的關鍵幀S為所要輸出的關鍵幀S。在所選擇的關鍵幀S與所解碼取得的字幕信息220在時間軸上的播放區(qū)段并不重疊的情況下，視頻解碼引擎100會進一步地判斷所要輸出的關鍵幀S的播放時間與起始顯示時間Ts2之間的時間間隔是否大于上述的預設臨界值。倘若所要輸出的關鍵幀S其播放時間與起始顯示時間Ts2之間的時間間隔大于上述的預設臨界值，則視頻解碼引擎100不會將所取得的字幕信息220的字串 222嵌入至所選擇輸出的關鍵幀S中；相對地，倘若所要輸出的關鍵幀S其播放時間與起始顯示時間1^2之間的時間間隔小于上述的預設臨界值，則視頻解碼引擎100會將所取得的字幕信息220的字串222嵌入至所選擇輸出的關鍵幀S中，以使顯示器120顯示嵌有字串222 的關鍵幀S。請參考圖7和圖8，圖7為依據(jù)本發(fā)明一實施例的影像處理方法處理視頻串流
的視頻解碼引擎700以及耦接于視頻解碼引擎700的顯示器120的功能方塊圖，圖8為用以說明當視頻解碼引擎700進行快進操作時，視頻串流Sln的時序圖。視頻解碼引擎700依據(jù)本發(fā)明一實施例的影像處理方法處理視頻串流SIn。在本實施例中，視頻解碼引擎700亦可以是一種微處理器。而在本發(fā)明另一實施例中，視頻解碼引擎700則是一種軟件或固件， 并可由特定的硬件(如中央處理器)所執(zhí)行。在本發(fā)明一實施例中，視頻解碼引擎700亦具有字幕處理單元710。視頻解碼引擎700通過字幕處理單元710，解碼視頻串流Sln以取得字幕信息220。如上所述，視頻串流Sln具有多個視頻幀210以及在時間軸上相對于上述視頻幀210的多個字幕信息220。上述的多個視頻幀210包括多個關鍵幀S及多個非關鍵幀N，而關鍵幀S和非關鍵幀N是依其播放的先后次序繪示于圖8上。在以正常速度播放的模式下 (即播放速度為第一播放速度VI)，視頻解碼引擎700同樣地會依照視頻幀210的播放次序輸出視頻幀210至顯示器120，之后顯示器120再顯示視頻幀210所對應的畫面。當視頻解碼引擎700進行快進操作時，視頻解碼引擎700沿第二播放速度V2的播放方向(即播放時間較晚的方向)，尋找離目前播放時間Tp —預定時間間隔Td內(nèi)的多個關鍵幀S及至少一字幕信息220。以圖8為例，視頻解碼引擎700會尋找到分別標示為a、b、 c、d、e的關鍵幀S，以及其起始顯示時間與結束顯示時間分別為Tsa及TEa的字幕信息220。 其中，視頻解碼引擎700會先判斷在上述預定時間間隔Td內(nèi)是否有任何的字幕信息220。倘若在預定時間間隔Td尋找不到任一字幕信息220，則將在預定時間間隔Td內(nèi)的關鍵幀a、b、 c、d、e擇一地輸出；倘若在上述預定時間間隔Td內(nèi)找到任一字幕信息200，則依據(jù)預定時間間隔Td內(nèi)的字幕信息220的起始顯示時間Tsa，擇一地輸出關鍵幀a、b、C、d、e，其中被選擇輸出的關鍵幀的時間戳所對應的播放時間最接近起始顯示時間TSa。其中，所述的“最接近” 是相較于其他未被選到的關鍵幀S的時間戳所對應的播放時間來說，被選到的關鍵幀S的時間戳所對應的播放時間最近接起始顯示時間TSa。以圖8為例，視頻解碼引擎700會選擇關鍵幀a為所要輸出的關鍵幀。值得注意地，預定時間間隔Td可依據(jù)第二播放速度V2調(diào)整，當快進或快退的速度越快時，第二播放速度V2越大，且對應的預定時間間隔Td越長；而當快進或快退的速度越慢時，第二播放速度V2越小，且對應的預定時間間隔Td越短。此外，倘若在上述預定時間間隔Td內(nèi)被選擇的關鍵幀a的時間戳所對應的播放時間并不介于在預定時間間隔Td內(nèi)所找到字幕信息220的起始顯示時間Tsa和結束顯示時間TEa之間，則表示關鍵幀a所對應的播放時間落在所找到的字幕信息220的字幕播放時間 (即AaSTJ之外。在此情況下，視頻解碼引擎700會判斷關鍵幀a所對應的播放時間與起始顯示時間之間的時間間隔是否大于上述的預設臨界值。倘若關鍵幀a所對應的播放時間與起始顯示時間之間的時間間隔大于上述的預設臨界值，視頻解碼引擎700則輸出未嵌入任一字串222的關鍵幀a ；倘若關鍵幀a所對應的播放時間與起始顯示時間1^之間的時間間隔小于上述的預設臨界值，視頻解碼引擎700則輸出嵌入字串222的關鍵幀a， 其中其字串222被嵌入至關鍵幀a的字幕信息220其對應的起始顯示時間與結束顯示時間分別為I^&TEa。值得注意地，在本發(fā)明一實施例中，上述的預設臨界值為一秒。然而，本發(fā)明所屬技術領域的技術人員應能理解上述的預設臨界值可以是不同長度的時間間隔。此外，在本發(fā)明的其他實施例中，上述的預設臨界值可依據(jù)第二播放速度V2加以調(diào)整。再者，上述說明是在以選擇到關鍵幀a的狀況下來說明，而本發(fā)明所屬技術領域的技術人員應能理解倘若選到其他關鍵幀S (例如關鍵幀b、c、d或e)時，視頻解碼引擎700在決定是否將字幕信息220的字串222嵌入至所選到的關鍵幀S的判斷方式，亦是依據(jù)被選到的關鍵幀S其所對應的播放時間以及字幕信息220的顯示時間來加以判斷。舉例來說，倘若視頻解碼引擎700選擇到關鍵幀是關鍵幀b，此情況下會因關鍵幀b所對應的播放時間落在起始顯示時間Tsa和結束顯示時間TEa之間，故視頻解碼引擎700會將字幕信息220的字串222嵌入至關鍵幀b。
10
請參考圖9并同時參照圖8，其中圖9為圖7的視頻解碼引擎700進行快進操作時的流程圖。在步驟S910中，視頻解碼引擎700會往播放時間較晚的方向(即與圖8中的第二播放速度V2相同的方向)尋找以目前播放時間Tp起算一預定時間間隔Td內(nèi)的關鍵幀 S。在步驟S920中，視頻解碼引擎700會判斷是否在上述的預定時間間隔Td內(nèi)找到任何的關鍵幀S。倘若視頻解碼引擎700沒有在上述的預定時間間隔Td內(nèi)找到任何的關鍵幀S， 則結束本次的快進操作，以開始進行下一次的快進操作(即再次執(zhí)行步驟S910)。倘若視頻解碼引擎700于步驟S920中在上述的預定時間間隔Td內(nèi)尋找到關鍵幀S，則視頻解碼引擎 700會判斷是否在上述的預定時間間隔Td內(nèi)找到任一字幕信息220(步驟S930)。倘若視頻解碼引擎700在上述的預定時間間隔Td內(nèi)并未找到任何的字幕信息220，則視頻解碼引擎700會擇一地輸出在預定時間間隔Td內(nèi)所找到的關鍵幀S (步驟S940)，并回到步驟S910 進行下一次的快進操作。相對地，倘若視頻解碼引擎700在上述的預定時間間隔Td內(nèi)找到任一字幕信息220，則視頻解碼引擎700會選擇在預定時間間隔Td內(nèi)的一個關鍵幀S (步驟 S950)。之后，視頻解碼引擎700會判斷在上述的預定時間間隔Td內(nèi)被選擇的關鍵幀S所對應的播放時間，是否介于在預定時間間隔Td內(nèi)所找到字幕信息220的起始顯示時間Tsa和結束顯示時間TEa之間(步驟S960)。倘若上述的預定時間間隔Td內(nèi)被選擇的關鍵幀S所對應的播放時間，介于起始顯示時間1^和結束顯示時間TEa之間，則視頻解碼引擎700會將在預定時間間隔Td內(nèi)所找到字幕信息220的字串222嵌入至被選擇最接近的關鍵幀S，并輸出已嵌入字串222的關鍵幀(步驟S970)，并回到步驟S910進行下一次的快進操作。相對地，倘若上述的預定時間間隔Td內(nèi)被選擇的關鍵幀S所對應的播放時間，并不介于起始顯示時間Tsa和結束顯示時間TEa之間，則視頻解碼引擎700會進一步地判斷被選擇最接近的關鍵幀S所對應的播放時間，與在預定時間間隔Td內(nèi)所找到字幕信息220的起始顯示時間之間的時間間隔，是否大于上述的預設臨界值(步驟S980)。倘若被選擇的關鍵幀S 所對應的播放時間，與在預定時間間隔Td內(nèi)所找到字幕信息220的起始顯示時間之間的時間間隔小于上述的預設臨界值，則視頻解碼引擎700會將在預定時間間隔Td內(nèi)所找到字幕信息220的字串222嵌入至被選擇最接近的關鍵幀S，并輸出已嵌入字串222的關鍵幀(步驟S970)，并回到步驟S910進行下一次的快進操作。相對地，倘若被選擇的關鍵幀S 所對應的播放時間，與在預定時間間隔Td內(nèi)所找到字幕信息220的起始顯示時間之間的時間間隔大于上述的預設臨界值，則視頻解碼引擎700會輸出在預定時間間隔Td內(nèi)被選擇最接近且未嵌入任一字串的關鍵幀S (步驟990)，并回到步驟S910進行下一次的快進操作。如此一來，當視頻解碼引擎700進行快進操作時，即可以字幕信息220為索引，來搜尋并輸出視頻串流Sln中的關鍵幀S。請參考圖7和圖10，圖10為用以說明當視頻解碼引擎700進行快退操作時，視頻串流Sln的時序圖。當視頻解碼引擎700進行快退操作時，視頻解碼引擎700沿第二播放速度V2的播放方向(即播放時間較早的方向)，尋找離目前播放時間Tp —預定時間間隔Td內(nèi)的多個關鍵幀S及至少一字幕信息220。以圖10為例，視頻解碼引擎700會尋找到分別標示為a、b、C、d、e的關鍵幀S，以及其起始顯示時間與結束顯示時間分別為1^及TEa的字幕信息220。其中，視頻解碼引擎700會先判斷在上述預定時間間隔Td內(nèi)是否有任何的字幕信息220，倘若在預定時間間隔Td尋找不到任一字幕信息220，則擇一地輸出在預定時間間隔Td內(nèi)的關鍵幀a、b、C、d、e。倘若在上述預定時間間隔Td內(nèi)找到任一字幕信息200，則依據(jù)預定時間間隔Td內(nèi)的字幕信息220的結束顯示時間TEa，擇一地輸出關鍵幀a、b、C、d、e， 其中被選擇輸出的關鍵幀S的時間戳所對應的播放時間最接近結束顯示時間TEa。其中，所述的「最接近」是相較于其他未被選到的關鍵幀S的時間戳所對應的播放時間來說，被選到的關鍵幀S的時間戳所對應的播放時間最近接結束顯示時間TEa。以圖10為例，視頻解碼引擎700會選擇關鍵幀d為所要輸出的關鍵幀。請參考圖11并同時參照圖10，其中圖11為圖7的視頻解碼引擎700進行快退操作時的流程圖。在步驟SlllO中，視頻解碼引擎700會往時間較早的方向(即與圖10中的第二播放速度V2相同的方向)尋找以目前播放時間Tp起算一預定時間間隔Td內(nèi)的關鍵幀S。在步驟S1120中，視頻解碼引擎700會判斷是否在上述的預定時間間隔Td內(nèi)找到任何的關鍵幀S。倘若視頻解碼引擎700沒有在上述的預定時間間隔Td內(nèi)找到任何的關鍵幀 S，則結束本次的快退操作，以開始進行下一次的快退操作(即再次執(zhí)行步驟S1110)。倘若視頻解碼引擎700于步驟S1120中在上述的預定時間間隔Td內(nèi)尋找到關鍵幀S，則視頻解碼引擎700判斷是否在上述的預定時間間隔Td內(nèi)找到任一字幕信息220 (步驟S1130)。倘若視頻解碼引擎700在上述的預定時間間隔Td內(nèi)并未找到任何的字幕信息220，則視頻解碼引擎700會擇一地輸出在預定時間間隔Td內(nèi)所找到的關鍵幀S (步驟S1140)，并回到步驟SlllO進行下一次的快退操作。相對地，倘若視頻解碼引擎700在上述的預定時間間隔 Td內(nèi)找到任一字幕信息220，則視頻解碼引擎700會選擇在預定時間間隔Td內(nèi)的一個關鍵幀S(步驟S1150)。之后，視頻解碼引擎700會判斷在上述的預定時間間隔Td內(nèi)被選擇的關鍵幀S所對應的播放時間，是否介于在預定時間間隔Td內(nèi)所找到字幕信息220的起始顯示時間Tsa和結束顯示時間TEa之間(步驟S1160)。倘若上述的預定時間間隔Td內(nèi)被選擇的關鍵幀S所對應的播放時間，介于起始顯示時間1^和結束顯示時間TEa之間，則視頻解碼引擎700會將在預定時間間隔Td內(nèi)所找到字幕信息220的字串222嵌入至被選擇最接近的關鍵幀S，并輸出已嵌入字串222的關鍵幀(步驟Sl 170)，并回到步驟SlllO進行下一次的快退操作。相對地，倘若上述的預定時間間隔Td內(nèi)被選擇的關鍵幀S所對應的播放時間， 并不介于起始顯示時間Tsa和結束顯示時間TEa之間，則視頻解碼引擎700會進一步地判斷被選擇最接近的關鍵幀S所對應的播放時間，與在預定時間間隔Td內(nèi)所找到字幕信息220 的結束顯示時間TEa之間的時間間隔，是否大于上述的預設臨界值(步驟S1180)。倘若被選擇的關鍵幀S所對應的播放時間，與在預定時間間隔Td內(nèi)所找到字幕信息220的結束顯示時間TEa之間的時間間隔小于上述的預設臨界值，則視頻解碼引擎700會將在預定時間間隔Td內(nèi)所找到字幕信息220的字串222嵌入至被選擇最接近的關鍵幀S，并輸出已嵌入字串222的關鍵幀(步驟S1170)，并回到步驟SlllO進行下一次的快退操作。相對地，倘若被選擇的關鍵幀S所對應的播放時間，與在預定時間間隔Td內(nèi)所找到字幕信息220的結束顯示時間TEa之間的時間間隔大于上述的預設臨界值，則視頻解碼引擎700會輸出在預定時間間隔Td內(nèi)被選擇最接近且未嵌入任一字串的關鍵幀S (步驟1190)，并回到步驟SlllO進行下一次的快退操作。如此一來，當視頻解碼引擎700進行快退操作時，即可以字幕信息220 為索引，來搜尋并輸出視頻串流Sln中的關鍵幀S。綜上所述，本發(fā)明的上述實施例，以字幕的數(shù)據(jù)為索引，來搜尋并播放上述視頻串流的視頻幀。當以快于一般的播放速度來快進或快退地播放視頻串流時，會先尋找離目前播放時間一預定時間間隔內(nèi)的至少一字幕信息及多個關鍵幀。之后，再依據(jù)所尋找到的字幕信息的起始顯示時間或結束顯示時間，擇一地輸出上述預定時間間隔內(nèi)的關鍵幀。藉此， 當快進或快退地播放視頻串流時，使觀看者仍可觀看到字幕，而使人機介面更為友善、操作更為人性化。 雖然本發(fā)明已以實施例揭露如上，然其并非用以限定本發(fā)明，任何本發(fā)明所屬技術領域的技術人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當可作些許的更動與潤飾，故本發(fā)明的保護范圍當以權利要求所界定的為準。
權利要求
1.一種影像處理方法，其特征在于，所述影像處理方法包括下述步驟接收一視頻串流，所述視頻串流具有多個視頻幀以及相對于所述視頻幀的多個字幕信息，所述視頻幀以一第一播放速度完整地被播放，所述視頻幀包括多個關鍵幀及多個非關鍵幀，每一字幕信息包含一字串、一起始顯示時間及一結束顯示時間；解碼所述視頻串流，以取得多個視頻幀及多個字幕信息；以快于所述第一播放速度的一第二播放速度，沿所述第二播放速度的播放方向，尋找以目前播放時間起算一預定時間間隔內(nèi)的多個關鍵幀及至少一字幕信息；以及依據(jù)所取得的所述至少一字幕信息的所述起始顯示時間或所述結束顯示時間，擇一輸出其播放時間最接近所述至少一字幕信息的所述起始顯示時間或所述結束顯示時間的關鍵幀。
2.如權利要求1所述的影像處理方法，其特征在于，所述第一播放速度與所述第二播放速度的播放方向相同，且其中是依據(jù)所取得的所述至少一字幕信息的所述起始顯示時間，擇一輸出其播放時間最接近所述至少一字幕信息的所述起始顯示時間的關鍵幀。
3.如權利要求2所述的影像處理方法，其特征在于，倘若在所述預定時間間隔找到任一字幕信息，則依據(jù)所述預定時間間隔內(nèi)的所述字幕信息的所述起始顯示時間，擇一輸出所述預定時間間隔內(nèi)的所述關鍵幀，其中被選擇輸出的所述關鍵幀的一時間戳所對應的一播放時間最接近所述預定時間間隔內(nèi)的所述字幕信息的所述起始顯示時間。
4.如權利要求3所述的影像處理方法，其特征在于，所述影像處理方法另包括倘若在所述預定時間間隔尋找不到任一字幕信息，則擇一輸出在所述預定時間間隔內(nèi)的所述關鍵幀。
5.如權利要求3所述的影像處理方法，其特征在于，倘若在所述預定時間間隔內(nèi)被選擇的所述關鍵幀的所述時間戳所對應的所述播放時間介于在所述預定時間間隔內(nèi)所找到所述字幕信息的所述起始顯示時間和所述結束顯示時間之間，則將所述預定時間間隔內(nèi)所找到所述字幕信息的所述字串嵌入至被選擇的所述關鍵幀，并輸出以嵌入所述字串的所述關鍵幀。
6.如權利要求3所述的影像處理方法，其特征在于，倘若在所述預定時間間隔內(nèi)被選擇的所述關鍵幀的所述時間戳所對應的所述播放時間并不介于在所述預定時間間隔內(nèi)所找到所述字幕信息的所述起始顯示時間和所述結束顯示時間之間，則判斷被選擇的所述關鍵幀所對應的所述播放時間與在所述預定時間間隔內(nèi)所找到所述字幕信息的所述起始顯示時間之間的時間間隔是否大于一預設臨界值；其中倘若被選擇的所述關鍵幀所對應的所述播放時間與在所述預定時間間隔內(nèi)所找到所述字幕信息的所述起始顯示時間之間的時間間隔大于所述預設臨界值，則輸出在所述預定時間間隔內(nèi)被選擇且未嵌入任一字串的所述關鍵幀；其中倘若被選擇的所述關鍵幀所對應的所述播放時間與在所述預定時間間隔內(nèi)所找到所述字幕信息的所述起始顯示時間之間的時間間隔小于所述預設臨界值，則將所述預定時間間隔內(nèi)所找到所述字幕信息的所述字串嵌入至被選擇的所述關鍵幀，并輸出以嵌入所述字串的所述關鍵幀。
7.如權利要求1所述的影像處理方法，其特征在于，所述第一播放速度與所述第二播放速度的播放方向相反，且其中是依據(jù)所取得的所述至少一字幕信息的所述結束顯示時間，擇一輸出其播放時間最接近所述至少一字幕信息的所述結束顯示時間的關鍵幀。
8.如權利要求7所述的影像處理方法，其特征在于，倘若在所述預定時間間隔找到任一字幕信息，則依據(jù)所述預定時間間隔內(nèi)的所述字幕信息的所述結束顯示時間，擇一輸出所述預定時間間隔內(nèi)的所述關鍵幀，其中被選擇輸出的所述關鍵幀的一時間戳所對應的一播放時間最接近所述預定時間間隔內(nèi)的所述字幕信息的所述結束顯示時間。
9.如權利要求8所述的影像處理方法，其特征在于，所述的影像處理方法另包括倘若在所述預定時間間隔尋找不到任一字幕信息，則擇一輸出在所述預定時間間隔內(nèi)的所述關鍵幀。
10.如權利要求8所述的影像處理方法，其特征在于，倘若在所述預定時間間隔內(nèi)被選擇的所述關鍵幀的所述時間戳所對應的所述播放時間介于在所述預定時間間隔內(nèi)所找到所述字幕信息的所述起始顯示時間和所述結束顯示時間之間，則將所述預定時間間隔內(nèi)所找到所述字幕信息的所述字串嵌入至被選擇的所述關鍵幀，并輸出以嵌入所述字串的所述關鍵幀。
11.如權利要求8所述的影像處理方法，其特征在于，倘若在所述預定時間間隔內(nèi)被選擇的所述關鍵幀的所述時間戳所對應的所述播放時間并不介于在所述預定時間間隔內(nèi)所找到所述字幕信息的所述起始顯示時間和所述結束顯示時間之間，則判斷被選擇的所述關鍵幀所對應的所述播放時間與在所述預定時間間隔內(nèi)所找到所述字幕信息的所述結束顯示時間之間的時間間隔是否大于一預設臨界值；其中倘若被選擇的所述關鍵幀所對應的所述播放時間與在所述預定時間間隔內(nèi)所找到所述字幕信息的所述結束顯示時間之間的時間間隔大于所述預設臨界值，則輸出在所述預定時間間隔內(nèi)被選擇且未嵌入任一字串的所述關鍵幀；其中倘若被選擇的所述關鍵幀所對應的所述播放時間與在所述預定時間間隔內(nèi)所找到所述字幕信息的所述結束顯示時間之間的時間間隔小于所述預設臨界值，則將所述預定時間間隔內(nèi)所找到所述字幕信息的所述字串嵌入至被選擇的所述關鍵幀，并輸出以嵌入所述字串的所述關鍵幀。
12.如權利要求1所述的影像處理方法，其特征在于，所述的影像處理方法另包括下述步驟通過一顯示器，播放上述擇一輸出的所述關鍵幀。
13.如權利要求1所述的影像處理方法，其特征在于，所述的影像處理方法另包括下述步驟將所述至少一字幕信息的所述字串嵌入至上述擇一輸出的所述關鍵幀。
14.如權利要求1所述的影像處理方法，其特征在于，所述視頻串流為符合MPEG2標準的視頻串流，而所述關鍵幀為MPEG2標準的I幀。
15.如權利要求1所述的影像處理方法，其特征在于，所述視頻串流為符合H.264標準的視頻串流，而所述關鍵幀為H. 264標準的I幀。
全文摘要
本發(fā)明提供一種影像處理方法，用以處理視頻串流。視頻串流具有多個視頻幀以及相對于上述視頻幀的多個字幕信息。上述視頻幀區(qū)分為多個關鍵幀及多個非關鍵幀。當以快于一般的播放速度來快進或快退地播放視頻串流時，視頻解碼引擎會尋找離目前播放時間一預定時間間隔內(nèi)的至少一字幕信息及多個關鍵幀。視頻解碼引擎并依據(jù)所尋找到的字幕信息的起始顯示時間或結束顯示時間，擇一輸出上述預定時間間隔內(nèi)的關鍵幀。藉此，以字幕的數(shù)據(jù)為索引，來搜尋并播放上述視頻串流的視頻幀。
文檔編號H04N5/278GK102469309SQ20101054729
公開日2012年5月23日 申請日期2010年11月16日 優(yōu)先權日2010年11月16日
發(fā)明者胥能 申請人:揚智科技股份有限公司