專利名稱：用于在電視系統(tǒng)上表示圖形圖像組的方法以及電視系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及圖像表示，尤其涉及用于快速掃描的圖像表示。
背景技術(shù)：
在現(xiàn)實世界中，我們能夠通過快速翻閱書頁獲得書的整體梗概。當(dāng)該書通過圖解說明時這項任務(wù)甚至?xí)尤菀?。同樣的技術(shù)能夠用于定位該書中的已知目標(biāo)，即，讀者以前看過而現(xiàn)在試圖再次定位的某頁。由于獲取提供的內(nèi)容的梗概和搜索已知目標(biāo)通常也是在電子信息應(yīng)用中同樣遇到的任務(wù)，在數(shù)字世界中存在類似于迅速翻閱書頁的技術(shù)。
電子媒介中的標(biāo)準(zhǔn)實踐是在“頁面”上靜態(tài)地表示信息。提供控制以允許用戶變換到不同的頁，但不是快速地向前或向后翻過一組“頁面”。類似于迅速翻閱書頁的最為接近的活動是在視頻內(nèi)快進或倒帶，或通過電視信號的頻道“沖浪”。然而，這些控制不允許用戶控制表示的速度和方向控制到最大的便利并且該方法通常不是可用于總覽或以除視頻之外的信息為目標(biāo)的方法。
多年來心理學(xué)家已經(jīng)通過如快速連續(xù)圖象顯示(RSVP)的已知類型的表示研究人類的視覺感知。已知人類能夠非?？焖俚睾喴幚硭硎镜膱D像。其中圖像或文本快速閃過的閱讀和視覺感知中所涉及的調(diào)查研究認(rèn)知過程的實驗有很長的歷史。最近編輯的論文卷提供了這項工作的概要和歷史性綜述，參見Coltheart(Ed.)，“FleetingMemoriesCognition of Brief Visual Stimuli”，MIT Press，1999。
應(yīng)當(dāng)相信，人們通常在150到300微秒的眼睛的一系列簡短不連續(xù)定影中處理視覺信息。在這些定影之間，快速眼睛移動非常迅速。
細節(jié)的感知與理解處于不連續(xù)定影的中心，而在視覺外圍的模糊感知在確定下一個快速掃描的目標(biāo)過程中使用。
總之，應(yīng)當(dāng)相信，視覺感知進展處于能夠?qū)е略谟洃浿虚L期保持的階段。然而，對于視覺信息有可能在被看到然后很快被忘掉。導(dǎo)致記憶保持的認(rèn)知過程的后續(xù)階段需要能夠干涉視覺感知的資源，反之亦然。
人機界面中所使用的現(xiàn)有技術(shù)RSVP方法最基本的是使用大致對應(yīng)于心理學(xué)著作中所研究條件的單幅圖像的時間序列。每個連續(xù)的圖像替代之前顯示的圖像。這種表示方法已經(jīng)被稱為幻燈片放映或鎖眼模式，參見Tse等的“Dynamic Key Frame Presentation Techniquesfor Augmenting Video Browsing”，Proceedings of the WorkingConference on Advanced Visual Interfaces(AVI 1998)，pp.185-194，1998；以及Spence等的“Rapid，Serial and VisualA PresentationTechnique with Potential”，Information Visualization，vol.1，PP.13-19，2002。
圖1～4示出了包括旋轉(zhuǎn)式傳送帶模式100，見圖1；動態(tài)拼貼模式200，見圖2；浮動模式300，見圖3；以及擱板(shelf)模式400，見圖4的其他幾種變化。這些模式都使用圖像的額外的移動或位移。
到此為止，關(guān)于人機界面中的RSVP方法的功效僅有一些初步的發(fā)現(xiàn)?？雌饋韺嶒炂駜H僅證實了人類能夠抽取以幻燈片放映模式快速表示的視覺信息。Tse等人調(diào)查了用于視頻瀏覽的固定速率的幻燈片放映方法。即使是當(dāng)圖像被極其快速(例如每秒八幀)表示時用戶也能夠抽取出電影的梗概。
然而，已經(jīng)假定其他RVSP方法可以通過允許用戶對其關(guān)注點有更多的靈活性和控制而提供了多種優(yōu)勢。用戶能夠及早拒絕無關(guān)圖像，并在相關(guān)圖像上聚焦更長時間。然而，諸如旋轉(zhuǎn)式傳送帶模式100和動態(tài)拼貼模式200的具有更復(fù)雜的2D空間/時間布局的初步實驗未能夠顯示出優(yōu)于幻燈片放映模式的任何優(yōu)勢。例如在Wittenburg等的“Browsing Through Rapid-Fire ImagingRequirements and IndustryInitiatives”Proceedings of Electronic Imaging 2000InternetImaging，PP.48-56，2000中描述了將動態(tài)拼貼模式與幻燈片放映模式相比較的飛行員實驗的例子。他們描述了將任務(wù)包含在因特網(wǎng)購物中的試驗，其中用戶對表示的速度和方向具有完全的控制。他們將幻燈片放映RSVP模式與動態(tài)拼貼模式相比較，以及與更加傳統(tǒng)的網(wǎng)頁表示方法進行了比較。參見圖2，在動態(tài)拼貼模式中，圖像被連續(xù)放置并半隨機地圍繞著中心點201，直至圖像被隨后的圖像遮擋或從顯示中清除。與旋轉(zhuǎn)式傳送帶模式100不同，其不涉及圖像移動或比例變化。產(chǎn)品的圖像在幻燈片放映、動態(tài)拼貼和網(wǎng)頁三種模式中顯示。要求用戶執(zhí)行兩個任務(wù)。第一個是梗概抽取任務(wù)。第二個任務(wù)是確定目標(biāo)產(chǎn)品出現(xiàn)或未出現(xiàn)。相關(guān)的發(fā)現(xiàn)是相比動態(tài)拼貼和網(wǎng)頁模式，用戶更喜歡幻燈片放映模式，盡管沒有觀察到性能差異。
由于用戶必須同時關(guān)注許多快速變化的圖像和/或切換注視到新的2D位置上的圖像，用戶對除了幻燈片放映模式之外的現(xiàn)有技術(shù)方法要求太多的感知過程。這些方法中的一些要求在2D中跟蹤，例如，旋轉(zhuǎn)式傳送帶模式100，而其它的要求切換注視聚焦到不同位置，例如，動態(tài)拼貼模式200。不應(yīng)當(dāng)感到驚奇的是，其中圖像移動了或其中圖像在新的位置上彈出的變化要求額外的感知開銷。
De Bruiin等描述了與RSVP接口方法有關(guān)的眼睛跟蹤試驗，參見De Bruiin等的“Patterns of Eye Gaze During Rapid Serial VisualPresentation”，Proceedings of the Working Conference on AdvancedVisual Interfaces(AVI 2002)，pp.209-217，2002。他們比較了許多要求跟蹤的(例如旋轉(zhuǎn)式傳送帶)或者要求集中焦點于不同位置的(例如動態(tài)拼貼)的RSVP替代物。他們就RSVP各種被測模式的眼睛注視的方式做了許多觀察。他們觀察到對擱板模式400使用了不同的眼睛跟蹤策略。一個用戶看起來僅注意到其中新圖像在移動到表示的背景部分之前出現(xiàn)的區(qū)域。另一個用戶看起來在當(dāng)圖像移動時跟蹤圖像。我們從以上觀察假定，為了適應(yīng)他們的任務(wù)，需要新的方法支持用尸改變注意的焦點(例如，搜尋目標(biāo)圖像對抽取序列的梗概)。
因此，期望開發(fā)人類視覺和認(rèn)知能力以改進電子多媒體內(nèi)容的表示和瀏覽。

發(fā)明內(nèi)容
本發(fā)明提供一種用于以適用于快速掃描的方式交互表示(present)圖像的系統(tǒng)和方法。本發(fā)明利用了自然的人類認(rèn)知能力以跟蹤在三維空間中移向或遠離觀察者的目標(biāo)。
本發(fā)明結(jié)合了使得能夠處理快速表示的視覺信息而不需過多眼睛移動的聚焦區(qū)域。將布局的精巧(refinement)應(yīng)用于時間上相關(guān)或邏輯上分組的圖像。為了前進貫穿整個集合中的目標(biāo)圖像，進一步的創(chuàng)新允許相對的時間的排序。
本發(fā)明能夠應(yīng)用于其中必須要從能夠在視覺上表示的圖像集合中做出選擇的大量顯示的系統(tǒng)。例子包括瀏覽和搜索所錄制的視頻，選擇電視節(jié)目，尋人，以及從虛擬的或虛擬增長的零售環(huán)境中的目錄中選擇條目。


圖1示出了根據(jù)現(xiàn)有技術(shù)的旋轉(zhuǎn)式傳送帶顯示方式顯示的圖像；圖2示出了根據(jù)現(xiàn)有技術(shù)的動態(tài)拼貼模式顯示的圖像；圖3示出了根據(jù)現(xiàn)有技術(shù)的浮動模式顯示的圖像；圖4示出了根據(jù)現(xiàn)有技術(shù)的擱板模式顯示的圖像；圖5示出了根據(jù)本發(fā)明沿線性三維軌跡顯示的圖像；圖6示出了根據(jù)本發(fā)明沿曲線三維軌跡顯示的圖像；圖7示出了根據(jù)本發(fā)明沿蛇形三維軌跡顯示的圖像；圖8示出了根據(jù)過渡圖像分離的圖像組；圖9示出了根據(jù)本發(fā)明的圖像控制；圖10A-C示出了根據(jù)本發(fā)明的收集器幀；圖11示出了根據(jù)本發(fā)明具有目標(biāo)幀的圖像的半自動表示；圖12是用戶輸入裝置的框圖；
圖13是根據(jù)本發(fā)明的表示方法的流程圖；圖14是根據(jù)本發(fā)明的活動圖像組的框圖；圖15是根據(jù)本發(fā)明的實施例利用基于時間上下文的視頻瀏覽接口用于瀏覽視頻的電視系統(tǒng)的框圖；圖16是根據(jù)本發(fā)明的實施例用于在電視系統(tǒng)上瀏覽的方法的框圖；以及圖17是圖15和16的系統(tǒng)和方法的流程圖。
具體實施例方式
引言我們的發(fā)明的一個實施例提供了一種更好地利用了人類視覺系統(tǒng)，特別是深度和外圍感知，用于表示和瀏覽圖像的方法和系統(tǒng)。該方法與快速連續(xù)圖象顯示(RSVP)的更為常見的幻燈片放映模式相結(jié)合，并使用許多用于空間和時間布局的技術(shù)得到了增強。我們包括了一組用于以可調(diào)節(jié)的速率線性向前和向后遍歷的公共控制集合。
系統(tǒng)結(jié)構(gòu)和方法如圖13和14所示，方法1300開始于一組圖像101。該組圖像能夠被存儲在計算機系統(tǒng)的存儲器中。該圖像可以是靜態(tài)圖像、文本文檔的頁面、產(chǎn)品圖片、或視頻(例如MEPG視頻)中的圖像序列。步驟110選擇一組顯示圖像111。該選擇可以是摘要、定期選擇(例如每十幀)、或其他選擇過程。
步驟120為該組顯示圖像分配布局121。對于每個圖像，該布局包括3D坐標(biāo)、尺寸、以及方向。步驟120還為虛擬相機1410分配3D軌跡122。步驟130根據(jù)布局121和軌跡122呈現(xiàn)(render)一組活動圖像1400。該組活動圖像1400包括收集器圖像1401，而剩余的圖像是動態(tài)的。線122顯示了相機1410的軌跡。收集器圖像在收集器幀中被靜態(tài)顯示，如下所述，而該組活動圖像中的剩余部分向收集器幀移動。該軌跡和該組活動圖像實質(zhì)上提供穿過顯示組111的移動窗口。如下所述，該窗口可以在不同方向上移動，向前或向后，并且以不同的速率移動。
動畫步驟140可能利用用戶輸入141改變該布局和軌跡。于是重復(fù)呈現(xiàn)130和動畫140步驟直至所有顯示圖像都得到呈現(xiàn)，或用戶中止了該方法。
選擇顯示圖像給定該組圖像101，例如視頻幀、產(chǎn)品或人臉的圖片、書頁等，該組顯示圖像111被選擇(110)。這個組可以包括任何數(shù)量的原始組的圖像，直至并且包括整個組。用于選擇該顯示組111的過程可以是任何數(shù)量的已知技術(shù)，包括使用密鑰或MPEG視頻的編碼I幀、視頻摘要、或定期或隨機選擇。該顯示組中的圖像可以是相關(guān)或不相關(guān)的圖像序列。
為顯示圖像分配布局方法1300為顯示組111中的每個圖像分配3D坐標(biāo)、尺寸、以及方向(120)。該布局可以是線性、圓形、螺旋、蛇形、或以下一些其它函數(shù)。如圖5～7所示，圖像500的布局沿從顯示圖像中的中心點503到中心點504的一條線形成的三維軌跡排列。
為虛擬相機分配軌跡虛擬相機1410的軌跡可以是直線510、曲線602、或蛇形線702。
呈現(xiàn)活動圖像沿著軌跡122排列的每個圖像的“深度”由其大小指示，較小的圖像距離觀察者更遠。最近的圖像是顯示裝置或查看“屏幕”的圖像平面中的一個。
制作顯示圖像動畫如圖9所示，用尸控制相機1410沿著軌跡122遍歷。遍歷在任一方向上以可變的速度發(fā)生。當(dāng)相機移動時，依賴于沿軌跡122的方向，圖像看起來似乎移動得更近、或更遠。
如圖5～7所示，動畫的視覺效果是推進圖像序列500靠近或遠離焦點504(502)。該推進是時間的，其中在深度維度上較遠的圖像，當(dāng)向前移動穿過該序列時，該圖像比較近的圖像更晚到達焦點504。
圖像的表示可以模擬為沿公路的標(biāo)志的出現(xiàn)。在這項比擬中，用戶能夠控制汽車的速度和方向(向前或向后)。留意擋風(fēng)玻璃901，標(biāo)志看起來似乎以規(guī)律的時間和空間間隔移動過去，最初看起來是從遠處然后移動得更近。如果用戶反向移動，該標(biāo)志就會從肩膀的上方出現(xiàn)在視野中，然后退回到遠方。
收集器幀在如上所述的在我們的發(fā)明的操作的基本模式中，圖像看起來似乎離用戶越來越近直至他們最終移過圖像平面并消失。這是當(dāng)汽車沿著公路經(jīng)過各個標(biāo)志時汽車內(nèi)直視前方的駕駛員將看到什么的標(biāo)準(zhǔn)隱喻。
我們基于具有維護跨越相關(guān)圖像(例如，同一視頻場景中的關(guān)鍵幀)的連續(xù)性的基本顯示模式提供變型。我們還在軌跡的近端提供靜態(tài)焦點501。由此，當(dāng)顯示快速改變的序列時用戶不必須切換注視。
如圖10A-C所示，我們使用沿軌跡位于固定深度位置的收集器幀1010。當(dāng)視覺圖像移近時，它們最終到達位于視野前方的收集器幀1010的位置。在圖像到達收集器幀的平面之后，替代移過該幀，其取代了之前顯示的最后的圖像。換言之，活動組中的第一圖像1401靜態(tài)地保持在收集器幀中，而組中的其他圖像看上去似乎朝向收集器幀移動。其它的圖像從不會阻塞收集器幀中的圖像。從視覺觀點來看，收集器幀充當(dāng)其內(nèi)容以比圖像在序列中推進慢得多的速度被替換的視覺聚焦的區(qū)域，例如，收集器幀每秒鐘被替換一次。
收集器幀類似于常規(guī)視頻播放器的主要顯示區(qū)。由此，我們的方法將常規(guī)視頻播放器的快進或快退的優(yōu)點與允許用尸在圖像序列中的焦點之前或之后看的距離技術(shù)相結(jié)合。
我們的發(fā)明還利用了用戶的外圍視覺。當(dāng)用戶集中注意于收集器幀1010時，圖像序列從用戶的外圍視覺中的近處推進。由此，用戶可以預(yù)測外圍的高級信息，比如場景改變或圖像內(nèi)容的語義分組，同時仍舊聚焦于收集器幀內(nèi)的前景。
語義分隔和分組在基本的情況下，圖像沿3D軌跡均勻分隔為單個組。然而，圖像可不均勻地在多個組中分隔。這種分隔可以在時間意義上以語義方式表示圖像，作為邏輯排序的場景或章節(jié)，或作為根據(jù)成本排序的產(chǎn)品或服務(wù)的類別。這都依賴于布局。
過渡圖像(transition image)為了允許如圖8所示的語義分隔和分組，我們在序列中的各組之間插入邏輯過渡圖像801。該過渡圖像可以表示從序列中的一個組到下一個組的任何形式的視覺過渡。該過渡圖像可以僅僅是序列中的空白位置，即，透明圖像802。
組和過渡圖像的使用反映了可被映射到某些一維線性或非線性標(biāo)度(scale)，例如內(nèi)容的對象的時間的放置，的圖像中的內(nèi)容當(dāng)中的語義相干關(guān)系。
停止圖像序列的遍歷從心理學(xué)著作中，已知的是感知源用于對最初的低級視覺處理的識別和隨后的反應(yīng)。當(dāng)利用現(xiàn)有技術(shù)的RSVP模式時這導(dǎo)致“過度關(guān)注(overshooting)”的常見問題。這在搜索特定所期望的場景或圖像的視頻時太常見了。
當(dāng)RSVP序列以很快的速度顯示時，要求處理并響應(yīng)快速顯示圖像的感知的開銷不可避免地導(dǎo)致后面的圖像會取代所期望的圖像的問題。然后，用戶可能不得不后退一直到重新獲得所期望的圖像，可能會再次過度關(guān)注所期望的圖像。當(dāng)圖像序列擺動時時間就被浪費了。
因此，我們提供新穎的技術(shù)來停止沿軌跡快速遍歷序列。我們的方法涉及用于在停止事件之后“回退(backing up)”的規(guī)則，以便落在所期望的圖像上的可能性得到增加。
我們基于識別圖像所需的時間的估計(即，大約150微秒)以及驅(qū)使諸如釋放開關(guān)或?qū)⑹髽?biāo)從控制圖標(biāo)上移開的控制動作的電機傳動(motor movement)所需的時間的估計(即，大約100微秒)確定所期望的圖像。因此，當(dāng)發(fā)送停止事件信號時，所期望的圖像是在發(fā)送該停止事件信號之前大約250微秒在焦點501處顯示的圖像。例如，以每秒30幀的速度，將會顯示第八個先前的幀。
有目標(biāo)的遍歷(targeted traversal)如圖11中所示，我們的發(fā)明還實現(xiàn)了半自動遍歷給定的一組目標(biāo)幀111的序列。首先，使用查詢或菜單操作以從整個可用的圖像組101(即要顯示的圖像序列111)中選擇內(nèi)容(110)。例如，如果圖像表示不同電視頻道上的可用視頻內(nèi)容，那么用戶可僅選擇體育頻道?；蛘撸O(jiān)視系統(tǒng)可以從場景獲得圖像。然后，用戶可以為特定時間周期、或一個所選的移動級別、或所識別出的個人選擇圖像。
已經(jīng)選擇了該組目標(biāo)幀111后，用戶以所描述的方式利用圖12的控制器1200操縱方向和速度控制向前或向后、更快或更慢地移動。然而，遍歷的速率還依賴于與目標(biāo)幀的距離，以便從一個目標(biāo)幀到下一個的過渡耗費恒定的時間。在此，距離根據(jù)3D坐標(biāo)測量。這具有能感知的效果，其中經(jīng)過圖像的速度以及收集器幀1010中的幀速率根據(jù)圖像距離最近的目標(biāo)幀有多遠而變化。
例如，在遠離的目標(biāo)幀之間的遍歷與在靠近分隔的目標(biāo)幀之間的遍歷花費相同的時間。同樣，目標(biāo)幀比其它圖像在收集器幀中保留得更長。在目標(biāo)遍歷期間，用戶以該序列被穿越的速率控制全局幀速率。所有的其它速率，從一個目標(biāo)幀到下一個，以及收集器幀的替代速率，都與用尸控制的全局幀速率相關(guān)。
可選實施例本發(fā)明能夠在任何需要某些種類的視覺掃描或搜索的地方的多種顯示應(yīng)用中使用。
頻道沖浪在這個應(yīng)用中，將要瀏覽的頻道圖像的典型代表是電視節(jié)目。在所有接收的節(jié)目廣播中循環(huán)的調(diào)諧器(頻道選擇器)能夠抽取頻道圖像。在通過所有節(jié)目的一個循環(huán)期間從每個節(jié)目中抽取一幅圖像。或者，廣播電臺可以提供具有代表性的頻道圖像。
如圖12所示，控制裝置1200具有用于速度和方向控制的切換器(swtich)1210。在優(yōu)選實施例中，該切換器是搖臂開關(guān)。該搖臂開關(guān)允許在特定范圍上以向前和向后方向連續(xù)控制速度?；蛘撸摽刂蒲b置可包括快進鍵1201、后退/倒帶鍵1202、以及播放鍵1203。
當(dāng)用戶按下?lián)u臂開關(guān)時，當(dāng)前節(jié)目被中斷，系統(tǒng)進入頻道沖浪模式。用戶然后以可控的速率向前或向后遍歷頻道圖像。當(dāng)用戶釋放搖臂開關(guān)時，系統(tǒng)顯示對應(yīng)于收集器幀內(nèi)的頻道圖像的節(jié)目。這個實施例可以被擴展到時間移位的視頻節(jié)目。查詢模塊用于選擇一組構(gòu)建可瀏覽序列的候選節(jié)目。
視頻略讀在這個實施例中，我們的方法用于瀏覽、略讀(skim)、或搜索視頻。視頻概括方法決定了要在可瀏覽的序列中包含的關(guān)鍵幀。概括方法可以使用眾所周知的瞄準(zhǔn)檢測或場景分析技術(shù)，在日期/時間601中，序列中每個關(guān)鍵幀的位置在與該關(guān)鍵幀相關(guān)聯(lián)的數(shù)據(jù)中指示，并如圖6所示在收集器幀之下顯示。
產(chǎn)品瀏覽在這個實施例中，圖像是產(chǎn)品。用戶選擇要瀏覽或略讀的特定產(chǎn)品。產(chǎn)品圖像可通過價格、尺寸、顏色、制造商或其它屬性分組。
人員尋找在這個實施例中，圖像是關(guān)于人群的。這種內(nèi)容的獲得能夠通過目錄服務(wù)、政府機構(gòu)、或監(jiān)視視頻做到。面部圖像的序列能夠根據(jù)時間、位置、或相似性排序。
用于允許PVR的電視系統(tǒng)的基于時間上下文的視頻瀏覽接口以上的實施例描述了用于以快進(FF)或倒帶(REW)模式瀏覽存儲的數(shù)字視頻的方法。該方法通過顯示重疊的連續(xù)的未來和過去的圖像提供了時間上下文。這些實施例使用了傳統(tǒng)的電視和計算機系統(tǒng)用于處理和顯示所存儲的視頻，參見在此引入作為參考的Divakaran，A.，F(xiàn)orlines，C.，Lanning，T.，Shipman，S.，Wittenburg，K.，的“Augmenting Fast-forward and Rewind for Personal DigitalVideo Recorders”，IEEE International Conference on ConsumerElectronics(ICCE)，Digest of Technical Papers，PP.43-44，January2005。
其中，部分解碼的DC幀從MPEG編碼的比特流中抽取出來。DC幀接著以較小的比例下采樣并利用視頻接口顯示。這要求在快速回放期間提前在MPEG流中相對于流的當(dāng)前位置進行讀取的能力，或在快速回放期間在記錄媒介上的其他地方抽取、存儲、和索引DC幀以及檢索DC幀的能力。這些要求中的任一個均不由電視系統(tǒng)1500提供。
如圖15～17所示，我們現(xiàn)在描述用于允許個人視頻記錄器(PVR)的電視系統(tǒng)1500的基于時間上下文的視頻瀏覽接口的實施例。盡管該實例實現(xiàn)是使用高清晰度電視(HDTV)描述的，應(yīng)當(dāng)理解的是其它的實現(xiàn)也是可能的。例如，電視監(jiān)視器能夠連接到機頂盒、DVD播放器、或包括如在此描述的必不可少的功能的其他等價組件。如此處所用的術(shù)語電視系統(tǒng)代指能夠顯示電視節(jié)目的一類裝置。
系統(tǒng)1500包括電視監(jiān)視器1510、和PVR 1520。PVR包括硬盤驅(qū)動器1521，在系統(tǒng)的傳統(tǒng)“非瀏覽”操作期間，所述硬盤驅(qū)動器1521作為由系統(tǒng)1500使用系統(tǒng)1500的視頻接口1701作為視頻幀1531回放的視頻的存儲介質(zhì)。也可以使用DVD播放器或機頂盒。PVR為電視系統(tǒng)提供用于正?；胤诺囊曨l流和用于快進和倒帶回放的“特技播放(trick-play)”視頻流。
該系統(tǒng)還包括傳統(tǒng)的視頻解碼器和定標(biāo)器(scaler)1530。該系統(tǒng)還包括根據(jù)本發(fā)明的一個實施例連接到在瀏覽期間所使用的視頻接口1701和圖形接口1702的處理器1540。圖形接口用于顯示合成的圖形RGB圖像1612。
處理器包括存儲器，如以下更加詳細的描述，我們使用它的一部分作為循環(huán)緩沖器1541以存儲減少了尺寸(縮放)的RGB圖像1611。各組件通過總線1542連接。例如，總線可以使用IEEE 1394協(xié)議，或其他等價的總線協(xié)議。
挑戰(zhàn)是消耗電視系統(tǒng)的最小計算資源以避免系統(tǒng)任何現(xiàn)有功能的中斷。此外，期望采樣所存儲的視頻幀以生成采樣的圖形圖像。合成下采樣(減小尺寸的)圖形RGB圖像并利用圖形接口1702呈現(xiàn)。
顯示裝置參見圖12，這個實施例的瀏覽接口通過按下電視的遙控裝置1200上的FF/FWD或REW/REV鍵1201-1202調(diào)用。視頻源被選作硬盤1521。圖15示出了快進重放期間在電視屏幕1510上顯示的合成RGB圖像1612的例子。
減少了尺寸的圖像在輸出圖形圖像的非對稱“V”布局1503中合成。如上所述的其它布局也是可能的。圖像的尺寸范圍是從V的較低頂點1501處的整個屏幕的1/9大小(1/3比例)到每個端點1502處的1/16大小(1/12比例)。
新的(未來的)圖像首先在V的右上端合成，并沿著V的右側(cè)下行到頂點1501處的收集器幀。在頂點處顯示的圖像被稱作聚焦圖像。聚焦圖像被認(rèn)為是當(dāng)前圖像。當(dāng)觀看者按下播放鍵1203時聚焦圖像表示在時間上正常速度全屏回放恢復(fù)的瞬間。
頂點右側(cè)的圖像是相對于聚焦圖像的未來圖像，而左側(cè)的圖像是過去的圖像。沒有其它的圖像重疊該聚焦圖像。該外觀充分等價于以1/3比例觀看傳統(tǒng)的快進視頻。
盡管未來的圖像重疊了，場景邊界和相機移動是清晰可見的，這有助于觀看者識別視頻中感興趣的即將到來的點并因此進行反應(yīng)。
由于相比過去布局更遠地看到未來布局更為有用，布局是不對稱的。在快速反向回放期間，V布局端對端的反向；新的幀在V的左上端進入，在右下端退出。
我們的實現(xiàn)通過利用用于高質(zhì)量視頻縮放和幀采樣的系統(tǒng)設(shè)施成功地解決了之前提及的挑戰(zhàn)。
圖16和17示出了用于利用電視系統(tǒng)1500瀏覽視頻的方法和系統(tǒng)的基本步驟。該方法定期獲得在‘未來’相對于當(dāng)前圖像的尺寸減小的圖像1611的序列采樣(1610)。換句話說，采樣是時間的和定期的。例如，每第五或第十幀被采樣。通過定期僅選擇一些幀，快進或后退效果得到了實現(xiàn)。例如，如果在采樣期間十個幀中僅有一個被選擇，在回放期間就以因子10加速。采樣幀存儲在循環(huán)緩沖器1541中。
減小尺寸的圖像的緩存給予我們將一些圖像作為‘未來的’圖像表示的能力，并且給予了控制PVR傳送以在恢復(fù)回放之前將回放位置向后移動的能力。這給用戶保留了回放能夠在時間上向前或向后移動的錯覺。傳統(tǒng)的PVR和AV/C盤不具有這種能力。本發(fā)明糾正了這個問題。
所選擇的視頻的最后n個圖像被存儲在循環(huán)存儲器1541中(1620)，其中n是在V布局中顯示的圖像數(shù)量。所存儲的圖像被組合到輸出圖形圖像1612的V布局中。所合成的輸出圖形圖像1612被定期呈現(xiàn)(1630)，至少每秒五次，作為V布局顯示1503。這些步驟在每次循環(huán)中以較小的等待定期重復(fù)(1635)。當(dāng)觀看者按下播放鍵時，系統(tǒng)返回到正常速度的回放(1640)。
對于之前描述的實施例，計算機系統(tǒng)被用作到電視的接口。其中，采樣圖像通過在編碼的MPEG-2流中向前讀取而獲得。此外，DC圖像從I幀中的壓縮數(shù)據(jù)中抽取。然后，DC圖像向下縮放。所有的操作在視頻域內(nèi)運行。相反，在這個實施例中所顯示的圖像位于圖形域內(nèi)。
電視系統(tǒng)1500的一個實施例使用IEEE 1394音頻/視頻控制(AV/C)盤1521存儲視頻，參見“1394 Trade Association Document2002001，AV/C Disk Subunit General Specification 1.2，September 13，2002.”。
AV/C盤提供了用于錄制和回放音頻和視頻內(nèi)容的高級接口。對于回放，以正常和快進以及倒帶模式，AV/C盤利用IEEE 1394等時傳輸協(xié)議僅以實時速率提供視頻流。這使得不可能在回放期間在正常輸入視頻流1531中提前讀取。也就是說，不可能播放“未來的”幀。
如圖17中所示，期望我們的實現(xiàn)對電視系統(tǒng)的結(jié)構(gòu)、功能、以及性能具有盡可能小的影響。由這個實施例提供的附加功能以虛線示意。在解碼之前緩存MPEG視頻流以累積“未來的”視頻幀將在時間苛刻的解碼路徑期間增加另外的復(fù)雜步驟。
由于電視系統(tǒng)支持高質(zhì)量的向下縮放(1530)，這個實施例使用了該功能來獲得減少了尺寸的圖像用作聚焦(頂點)圖像(1611)，并使用圖形定標(biāo)器以進一步減少圖像的尺寸，用于利用圖形接口1702在V布局的任何一側(cè)顯示作為合成圖像。所謂任何一側(cè)，我們意指相對于收集器幀中的圖像在時間上向前或向后。
電視系統(tǒng)還提供了用于采樣當(dāng)前解碼和向下縮放的視頻圖像并將該圖像從YUV視頻格式轉(zhuǎn)換為圖形接口的RGB圖形格式的硬件和軟件，以支持現(xiàn)有的電視系統(tǒng)的特征，例如畫外畫或“POP”屏幕格式。
代替如現(xiàn)有技術(shù)中提前讀取或緩沖MPEG視頻流，我們緩沖n個采樣的1/3比例的圖像(1611)。該n個1/3比例的圖像被存儲在循環(huán)緩沖器1541中以利用圖形接口1702呈現(xiàn)V布局1503。V布局被完整合成作為RGB格式的圖形覆蓋。作為優(yōu)點，圖形覆蓋不要求與解碼的視頻輸出同步。也就是說，向下縮放過程相對于解碼/縮放過程是異步的。
將V布局填充以合成圖像所要求的時間對于緩沖有用數(shù)量的未來圖像，例如十個或更多，來說是足夠的。最初的填充時間很短，大約為兩秒，因此典型的觀看者不應(yīng)當(dāng)注意到該較小的時間延遲。這個系統(tǒng)可以與由廣播信號或經(jīng)由機頂盒的電纜信號輸送的預(yù)先存儲的媒介或?qū)崟r媒介一同使用。
除以上所提及的硬件支持的圖形操作之外，所有用于瀏覽接口的步驟都由處理器1540執(zhí)行。處理器能力的基本部分已經(jīng)在支持解碼和用于其它傳統(tǒng)功能中使用。為了避免中斷任何現(xiàn)有的功能，用于瀏覽接口的執(zhí)行的線程被分配給了適當(dāng)?shù)恼{(diào)度優(yōu)先級，并被允許自由運行并且異步直至由定時器事件強制執(zhí)行的最大速率。精確的更新速率和定時并不重要，在實際上達到了可用的更新速率，例如7Hz，并且抖動不顯著。
因為視頻中的回放位置比聚焦輸出圖像要提前幾秒鐘，所以調(diào)整回放位置以便當(dāng)觀看者按下播放鍵以返回到正常速度的全屏回放時與該聚焦圖像的位置對應(yīng)。每個減少了尺寸的圖像在其被采樣時被蓋有時間戳，并且聚焦圖像和位于V的“到來”側(cè)的上端的圖像的時間戳之間的區(qū)別被傳遞給AV/C裝置控制功能，其使用該值在切換到正常速度回放之前調(diào)整回放位置。
本發(fā)明的效果我們成功地使我們的基于時間上下文的視頻瀏覽接口適應(yīng)于用戶產(chǎn)品，將其實現(xiàn)為配備了內(nèi)部PVR的高清晰度電視的特征。我們能夠利用目標(biāo)平臺的特征來創(chuàng)建非常不同于我們以前的原型的實現(xiàn)，但是更加適用于該平臺的強度和缺點。因為該特征無需額外的硬件，其不會導(dǎo)致額外的加工成本。
盡管已經(jīng)通過優(yōu)選實施例示例的方式描述了本發(fā)明，應(yīng)當(dāng)理解的是可以在本發(fā)明的精神與范圍之內(nèi)進行各種其它的適應(yīng)和修改。因此，所附權(quán)利要求書的目的在于覆蓋屬于本發(fā)明真正精神和范圍的所有這種變化和修改。
權(quán)利要求
1.一種用于在電視系統(tǒng)上表示一組圖形圖像的方法，包括以下步驟接收視頻幀的序列；解碼并縮放該序列的幀為減小了尺寸的幀；在時間上并且定期地采樣所述減小了尺寸的幀以提供所選擇的幀；在循環(huán)緩沖器中存儲前n個所選擇的幀；將所述n個所選擇的幀轉(zhuǎn)換為n個圖形圖像；將在所述循環(huán)緩沖器中存儲的所述n個圖形圖像定期合成為輸出圖形圖像；以及利用所述電視系統(tǒng)的圖形接口定期呈現(xiàn)所述輸出圖形圖像。
2.權(quán)利要求1所述的方法，其中所述幀的序列存儲于個人錄像機中。
3.權(quán)利要求1所述的方法，其中所述減小了尺寸的幀在非對稱V布局中合成。
4.權(quán)利要求3所述的方法，其中所述V布局的右端包括未來的圖像，所述V布局的左端包括過去的圖像，而所述V布局的頂點為當(dāng)前圖像。
5.權(quán)利要求所述4的方法，其中所述V布局的所述右端大于所述左端。
6.權(quán)利要求1所述的方法，其中十幀的其中之一被選擇用于存儲。
7.權(quán)利要求1所述的方法，其中所述圖形圖像的所述合成和呈現(xiàn)速率為每秒至少五個。
8.權(quán)利要求1所述的方法，其中所述幀的序列為YUV視頻格式，而所述圖形圖像為RGB圖形格式。
9.權(quán)利要求1所述的方法，其中所述減小了尺寸的幀大約為所述視頻幀尺寸的三分之一。
10.權(quán)利要求1所述的方法，其中所述合成和呈現(xiàn)相對于所述解碼和采樣是異步的。
11.權(quán)利要求10所述的方法，其中所述合成和呈現(xiàn)以及所述解碼和采樣之間的延遲大約為兩秒。
12.權(quán)利要求4所述的方法，其中所述當(dāng)前圖像在時間上向前和向后移動。
13.一種用于表示一組圖形圖像的電視系統(tǒng)，包括用于提供視頻幀的序列的裝置；用于解碼并縮放該序列的幀為減少了尺寸的幀的裝置；用于在時間上并且定期地采樣所述減小了尺寸的幀以提供所選擇的幀的裝置；配置用于存儲前n個所述所選擇的幀的循環(huán)緩沖器；用于將所述n個所選擇的幀轉(zhuǎn)換為n個圖形圖像的裝置；用于將在所述循環(huán)緩沖器中存儲的所述n個圖形圖像定期合成為輸出圖形圖像的裝置；以及配置用于定期呈現(xiàn)所述輸出圖形圖像的圖形接口。
14.權(quán)利要求13所述的系統(tǒng)，其中所述用于提供的裝置是個人數(shù)字記錄器。
15.權(quán)利要求13所述的系統(tǒng)，其中所述用于提供的裝置是機頂盒。
16.權(quán)利要求13所述的系統(tǒng)，其中所述用于提供的裝置是廣播視頻信號。
17.權(quán)利要求13所述的系統(tǒng)，其中所述電視系統(tǒng)使用高清晰度電視信號。
18.權(quán)利要求13所述的系統(tǒng)，其中所述合成和呈現(xiàn)在時間上向前和向后移動。
全文摘要
本發(fā)明提出了一種用于在電視系統(tǒng)上表示一組圖形圖像的方法和系統(tǒng)。視頻幀的序列被接收。所述幀被解碼并縮放為減小了尺寸的幀，減小了尺寸的幀在時間上并且定期地被采樣以提供所選擇的幀。所選擇的幀被存儲在循環(huán)緩沖器中并被轉(zhuǎn)換為圖形圖像。該圖形圖像被定期合成并利用圖形接口呈現(xiàn)為輸出圖形圖像。
文檔編號H04N5/445GK1997103SQ200610171300
公開日2007年7月11日 申請日期2006年12月28日 優(yōu)先權(quán)日2006年1月4日
發(fā)明者薩謬爾·E·什普曼, 艾加·蒂瓦卡蘭 申請人:三菱電機株式會社