專利名稱：運(yùn)行媒體應(yīng)用的方法及具有作業(yè)控制的媒體系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種運(yùn)行媒體應(yīng)用的方法，所述媒體應(yīng)用包括大量算法，每種算法既可以是可擴(kuò)縮的(scalable)也可以是不可擴(kuò)縮的。本發(fā)明還涉及一種媒體系統(tǒng)且更具體涉及一種多媒體通信設(shè)備。
現(xiàn)有技術(shù)消費(fèi)者終端(CT)逐漸從視頻廣播網(wǎng)絡(luò)(電視機(jī))和通信網(wǎng)絡(luò)(電話)的直接終端發(fā)展到交互式多媒體終端，并且超越于此發(fā)展到家庭網(wǎng)絡(luò)或甚至周圍智能環(huán)境內(nèi)的元件。
在高容量電子學(xué)(HVE)CT，如數(shù)據(jù)電視機(jī)和置頂盒(STB)中，多媒體的服務(wù)質(zhì)量(QoS)被用來優(yōu)化輸出質(zhì)量。CT中的基本媒體是高質(zhì)量的音頻和視頻。如果基本媒體處理功能是可擴(kuò)縮的，則以少量或無需額外成本可以添加其它的媒體處理功能。由于下述兩個(gè)原因，縮放(scaled)的音頻沒有被縮放的視頻重要視頻與較低質(zhì)量的音頻(例如單聲道)相組合，感覺到視頻處于較低的質(zhì)量，且與高質(zhì)量視頻相比較高質(zhì)量音頻(例如多聲道)僅消耗一小部分資源。CT的多媒體QoS的挑戰(zhàn)是找到一種可以初步被應(yīng)用到高質(zhì)量視頻上且還支持其它媒體如3D圖形的QoS方案。與在例如(網(wǎng)絡(luò)化的)工作站環(huán)境的主流多媒體相比較，CT中的高質(zhì)量視頻處理具有大量顯著的特征，見Journal on High-Speed Networking，Special Issueon MultimediaNetworking，IOS Press，Vol.8，No.3-4，pp.227-255，1998中由K.Nahrstedt，H.chu，S.Narayan所著的QoS-aware ResourceManagement for Distributed Multimedia Application.
不同類型媒體處理的QoS參數(shù)表現(xiàn)出針對(duì)應(yīng)用域是非常特定的。此外，與其它媒體處理功能相比較，高質(zhì)量的視頻具有非常嚴(yán)格的時(shí)序要求。
在Proc.IEEE International Symposium on Circuits andSystems(ISCAS)，Vol.3，pp.547-550，May 2000中由G.Lafruit，L.Nachtergale，K.Denolf及J.Bormans所著的3D ComputationalGraceful Degradation中，網(wǎng)格、結(jié)構(gòu)及屏幕分辨率被用作3D計(jì)算優(yōu)美降級(jí)的QoS參數(shù)，而同時(shí)維持一個(gè)固定的幀頻。對(duì)于在工作站環(huán)境中的視頻應(yīng)用，頻繁被使用的QoS參數(shù)是屏幕分辨率、幀頻、圖像大小、顏色深度、比特率及壓縮質(zhì)量，見Proc.InternatioralConference on Multimedia Computing and System(ICMCS)Vol.1，pp.165-170，June 1999中由B.Li和K.Nahrstedt所著的DynamicReconfiguration for Complex Multimedia Application。在圖像壓縮領(lǐng)域(MPEG*，H.26*；見例如，Proc.IEEE InternationalConference on Image Processing(ICIP)，Vol.4，pp.295-299，October 1999中由J.R.Morros及F.Marques所著的Aproposal fordependent of optimization in scalable region-based codingsystems)極其詳細(xì)地探究空間(分辨率)及時(shí)間(比特率和幀頻)的可擴(kuò)縮性。
在具有高質(zhì)量視頻要求的消費(fèi)者媒體終端(CMT)中，這些參數(shù)通常并不適用。高質(zhì)量的視頻具有固定的場/幀頻率、對(duì)圖像跳動(dòng)(即幀頻波動(dòng))的不容許以及對(duì)幀跳躍的極低容限，即非常嚴(yán)格的時(shí)序要求。此外，TV屏幕的分辨率擬合于其標(biāo)準(zhǔn)(例如PAL，NTSC，ATSC，VGA)，且圖像(或窗口)大小既可是固定的(例如主窗口或PiP窗口)也可由使用者決定。最終，廣播環(huán)境中的接收者并不具有商談壓縮質(zhì)量及比特率的選擇權(quán)，且這正是CMT目前的情況，雖然將來對(duì)于家庭數(shù)字網(wǎng)絡(luò)中的CMT可能有所變化。
雖然許多參數(shù)的設(shè)定是由環(huán)境強(qiáng)加的，而不是出于優(yōu)化目的由系統(tǒng)可適配的，但是它們并不確定一特定視頻輸出質(zhì)量所要求的處理量。作為實(shí)例，窗口大小確定可以被應(yīng)用而沒有視覺輸出質(zhì)量損失的嵌入尺寸復(fù)原技術(shù)，見Digest of Technical Papers IEEE InternationalConference on Consumer Electronics (ICCE)，pp.76-77，June2001中由Z.Zhong及Y.Chen所著的Scaling in MPEG-2 DecodingLoop with Mixed Processing。
因此，高質(zhì)量的視頻必須使用其它選擇性的參數(shù)。這些參數(shù)典型地針對(duì)視頻算法是特定的且隨每個(gè)算法可改變。高質(zhì)量視頻的任選參數(shù)是濾波系數(shù)的數(shù)量(例如0、8、32、…)、所使用的場的數(shù)量(例如1、2、3、…)、參考對(duì)象(例如點(diǎn)、線、…)、及處理類型(例如線性的、非線性的)。
消費(fèi)者產(chǎn)品嚴(yán)重地受到資源的局限，對(duì)硅成本和功率消耗產(chǎn)生大的壓力。為了能夠與專用硬件的方案相競爭，可利用的資源將必須被非常有成本效益地加以使用，而同時(shí)保留HYE CT典型的質(zhì)量，如魯棒性，并且滿足由高質(zhì)量數(shù)字音頻和視頻處理所強(qiáng)加的嚴(yán)格時(shí)序要求。
在HVE CMT中，通過利用專用媒體處理器，如TriMediaTMTechnologies Inc.的非常長指令字(VLIW)處理器系列，可進(jìn)行軟件媒體的處理，見Digest of Technical Papers IEEE InternationalConference on Consumer Electronics(ICCE)，pp.156-157，1997中由F.Sijstermans和G.Slavenburg所著的Providing theprocessing power for consumer multimedia。與專用硬件方案相比較，這些媒體處理器在成本和功率消耗上均是昂貴的。因此，成本效益是HVE CMT中的主要議題。成本效益需要高的平均資源利用率。
當(dāng)前的HVE CT提供魯棒的性能，并且當(dāng)媒體處理在軟件上被加以執(zhí)行且這些終端變得更加開放時(shí)，使用者期望相同的魯棒性。目前，使用者對(duì)多媒體在桌上型電腦及因特網(wǎng)器件上的應(yīng)用并不具有相類似的期望(且這些應(yīng)用展現(xiàn)出非魯棒性能也并不是罕見的)。注意資源預(yù)算(或預(yù)留)，如出現(xiàn)在Proc.International Conference onMultimedia Computing and Systems(ICMCS)，pp.90-99，May 1994中由C.W.Mercer，S.Savage，H.Tokuda所著的ProcessorCapability ReservesOperating System Support for MultimediaApplications中)的觀念是一個(gè)在應(yīng)用之間提供魯棒性的被證實(shí)的概念。
高質(zhì)量的視頻具有50-120Hz的場頻率、對(duì)圖像跳動(dòng)的不容許以及對(duì)幀跳躍的極低容限等作為硬實(shí)時(shí)域特征的特性。與此相對(duì)照，主流多媒體應(yīng)用的特征在于低的幀頻(具有最大為30Hz)和高的圖像跳動(dòng)容限，且此外接受頻繁的幀跳躍等作為軟實(shí)時(shí)域特征的特性。然而，可以想象得到未來的使用者也將期望從多媒體在桌上型電腦及因特網(wǎng)器件等的應(yīng)用中得到被加以保證的時(shí)序性能。
在高質(zhì)量的視頻域中，系統(tǒng)的負(fù)載在多個(gè)時(shí)標(biāo)(time scale)上動(dòng)態(tài)地改變。由使用者啟動(dòng)的變化，如主窗口及PiP窗口內(nèi)容的交換及切換到另一通道，以分鐘為時(shí)標(biāo)(典型地以脈沖串出現(xiàn))而發(fā)生。同樣地，由服務(wù)提供商所啟動(dòng)的變化，如由廣告節(jié)目產(chǎn)生的電影中斷，以分鐘為時(shí)標(biāo)而發(fā)生。在應(yīng)用的平均負(fù)載中取決于數(shù)據(jù)的變化以秒為時(shí)標(biāo)而發(fā)生，例如在電影中的景物變化。最終，許多媒體處理功能，如MPEG編碼和解碼，以及運(yùn)動(dòng)估計(jì)具有這樣的一負(fù)載，所述負(fù)載示出取決于數(shù)據(jù)的隨時(shí)間的大變動(dòng)。這些取決于數(shù)據(jù)的負(fù)載變動(dòng)以幾十毫秒的時(shí)標(biāo)而發(fā)生。概括地說，存在在準(zhǔn)固定的平均負(fù)載周圍的變動(dòng)，以及存在涉及平均負(fù)載中的變化的變動(dòng)。
為了提出在不同時(shí)標(biāo)的動(dòng)態(tài)性能，已經(jīng)構(gòu)思出一種多級(jí)自適應(yīng)的控制結(jié)構(gòu)，見從http//www.research.philips.com/manuscript/index.htmls可獲得的Philips Research Laboratories Eindhoven(PRLE)，Doc.id.NL-MS 21166，May 2001中由S.van Loo，L.Steffens，R.Derwig所著的Quality of Service ResourceManagement in Consumer Terminals，如同在由Z.Uykan所著的Hierarchical control and multimedia，Multimedia applicationsin industrial automation(多媒體在工業(yè)自動(dòng)化中的應(yīng)用)-Collected papers of Spring 1997 postgraduate seminar(1997年春季研究生討論會(huì)論文集)，(Eds.H.Hytyniemi and H.Koiva)，Helsinki University of Technology，Report 106，pp.91-114，ISBN 951-22-3835，June 1997中所述，其符合不同的時(shí)間范圍。
多級(jí)自適應(yīng)控制借助于多媒體應(yīng)用和QoS資源管理之間的合作方法得以實(shí)現(xiàn)。這個(gè)控制基于提供資源核心的功能性、保證及加強(qiáng)資源預(yù)算且支持進(jìn)入(admission)測試的一個(gè)層。
資源核心提供應(yīng)用之間的魯棒性，從而解決了應(yīng)用之間的時(shí)間干涉，所述時(shí)間干涉尤其是開放系統(tǒng)的一個(gè)主要威脅。HVE CMT成本效益的議題導(dǎo)致應(yīng)用內(nèi)附加的魯棒性問題。具有成本效益的媒體處理要求高的平均資源利用率。這個(gè)要求與傳統(tǒng)上靠最壞情況資源分配來滿足的高質(zhì)量視頻的硬實(shí)時(shí)要求相沖突。因?yàn)镃MT負(fù)擔(dān)不起傳統(tǒng)的實(shí)時(shí)方案，所以明智地是選擇一個(gè)更平均情況的資源分配。假定動(dòng)態(tài)的負(fù)載，因此應(yīng)用將要面對(duì)偶然的(或瞬時(shí)的)以及結(jié)構(gòu)性過載。所得到的魯棒性問題即將由應(yīng)用其自身來解決。換句話說，應(yīng)用必須靠其預(yù)算來解決。
因此按幾十毫秒時(shí)標(biāo)的自適應(yīng)控制的最低層駐留在媒體應(yīng)用內(nèi)部。通過使用MPEG-2解碼復(fù)雜性估算模型，所要求的計(jì)算負(fù)載可以被加以預(yù)測，且隨后計(jì)算被縮放以便于它將不超出其資源預(yù)算。類似的實(shí)例可見于Proc.IEEE International Symposium on Circuit andSystems(ISCAS)，Vol.3，pp.547-550，May 2000中由G.Lafruit，L.Nachtergale，K.Denolf及J.Bormans所著的3D ComputationalGraceful Degradation，其說明了3D解碼及再現(xiàn)的自適應(yīng)控制。
自適應(yīng)控制的隨后層是資源管理器(RM)和QoS資源管理器(QM)。RM工作在直至幾百毫秒的時(shí)標(biāo)上且提供可擴(kuò)縮的算法(SA)和平臺(tái)及操作系統(tǒng)以及QM之間的控制層。RM監(jiān)視應(yīng)用的資源使用，且基于這些測量使預(yù)算適應(yīng)于它們的最佳值，且通知QM有關(guān)這些適應(yīng)。偶然地，RM并不能夠自動(dòng)適應(yīng)所述應(yīng)用的資源需求，且請(qǐng)求來自QM的幫助。自適應(yīng)控制的最高層駐留于工作在長于幾百毫秒時(shí)標(biāo)上的QM中。
在未決的申請(qǐng)WO 0219095中，自適應(yīng)控制處于三個(gè)層上。除了局部資源管理器及QM以外，所謂的策略管理器(SM)被加以說明。這個(gè)SM正在控制不同應(yīng)用的質(zhì)量等級(jí)的總體比例縮放。所述SM滿足了QM與使用可擴(kuò)縮的算法(SA)如可擴(kuò)縮的MPEG2解碼器的可擴(kuò)縮應(yīng)用之間通信的需求。


圖1示意性地示出SA1的一個(gè)實(shí)例。所述SA1基本上由用于媒體處理的算法2及質(zhì)量控制塊3組成。SA1可以被分成若干個(gè)特定功能4、5、6、7，其中一些功能是可擴(kuò)縮的。輸出的質(zhì)量取決于這些功能的質(zhì)量等級(jí)的適當(dāng)組合。在這些組合中，僅有幾個(gè)提供SA1可接受的質(zhì)量等級(jí)。最佳的質(zhì)量-資源組合靠在最低資源時(shí)具有最大質(zhì)量的曲線來連接。質(zhì)量控制塊3包含這個(gè)信息和適當(dāng)?shù)墓δ茉O(shè)定。這個(gè)概念給SM強(qiáng)加了許多責(zé)任。SM必須應(yīng)對(duì)每個(gè)單個(gè)算法、不同應(yīng)用的SA的配置、針對(duì)應(yīng)用特定的優(yōu)化等。此外，SM必須使SA適應(yīng)于由使用者或系統(tǒng)(QM)所請(qǐng)求的所有類型的變化。此外，輸入和輸出參數(shù)必須被加以考慮，這對(duì)于部分處理鏈可能是困難的。在一個(gè)SM模型內(nèi)所有的這些責(zé)任使設(shè)計(jì)、維護(hù)SM且使SM適合于新功能或應(yīng)用變得困難。
本發(fā)明的目的是提供一種用于運(yùn)行媒體應(yīng)用的方法，所述方法導(dǎo)致改善的系統(tǒng)優(yōu)化和資源分配。
發(fā)明概述因此本發(fā)明涉及一種運(yùn)行媒體應(yīng)用的方法，所述媒體應(yīng)用若干算法，每個(gè)算法既可是可擴(kuò)縮的也可是不可擴(kuò)縮的，所述方法包括(a)接收輸入信號(hào)，(b)執(zhí)行所述算法以產(chǎn)生輸出信號(hào)，(c)將作業(yè)定義為一可能的算法簇集合，用于完成處理路徑中某一預(yù)先定義的部分，(d)基于輸入和/或輸出規(guī)范，為媒體應(yīng)用中的每個(gè)作業(yè)選擇一個(gè)作業(yè)模式，作業(yè)模式是可能的簇集合當(dāng)中的一個(gè)特定的算法簇。
通過使執(zhí)行特定任務(wù)的算法成簇，作業(yè)控制單元可以控制一個(gè)作業(yè)的質(zhì)量和資源管理，且因此解除(relieve)了策略管理器。
優(yōu)選地上述提到的方法包括每當(dāng)系統(tǒng)變化發(fā)生時(shí)，選擇作業(yè)的一個(gè)操作狀態(tài)，所述選擇取決于-作業(yè)模式，-作業(yè)模式有效的質(zhì)量等級(jí)集合，其被稱為操作集合，-被指定的輸出質(zhì)量等級(jí)。
通過動(dòng)態(tài)地選擇適當(dāng)?shù)淖鳂I(yè)狀態(tài)，每個(gè)作業(yè)將在資源利用率和輸出質(zhì)量方面被優(yōu)化。這將導(dǎo)致整個(gè)系統(tǒng)資源被加以改善的優(yōu)化。
此外，本發(fā)明涉及到一種媒體系統(tǒng)，其包括用于接收輸入信號(hào)的輸入裝置、及處理器，所述媒體系統(tǒng)被設(shè)置成用于運(yùn)行媒體應(yīng)用，所述媒體應(yīng)用包括若干算法，每個(gè)算法既可是可擴(kuò)縮的也可是不可擴(kuò)縮的，所述處理器被設(shè)置成用于(a)執(zhí)行所述算法以產(chǎn)生輸出信號(hào)，(b)基于輸入和/或輸出規(guī)范，為媒體應(yīng)用中的每個(gè)作業(yè)選擇一個(gè)作業(yè)模式，作業(yè)模式是可能的算法簇集合當(dāng)中的一個(gè)特定的算法簇，所述集合被稱為作業(yè)，(c)每當(dāng)系統(tǒng)發(fā)生變化時(shí)，選擇所述作業(yè)的一操作狀態(tài)。
在一實(shí)施例中所述媒體系統(tǒng)是一種多媒體通信設(shè)備，如數(shù)字式消費(fèi)者多媒體終端。
最終本發(fā)明涉及到一種被設(shè)置成執(zhí)行上述所說明方法的計(jì)算機(jī)程序產(chǎn)品，及一種包括這種計(jì)算機(jī)程序產(chǎn)品的存儲(chǔ)介質(zhì)。
附圖的簡要說明下面，本發(fā)明將參考一些附圖被加以解釋，其旨在僅用于示例目的且并不限制如所附的權(quán)利要求所定義的保護(hù)范圍。
圖1示出根據(jù)當(dāng)前發(fā)展?fàn)顩r的可擴(kuò)縮算法的實(shí)例。
圖2示意性地示出一作業(yè)的實(shí)例。
圖3示出一視頻增強(qiáng)作業(yè)的一些作業(yè)模式。
圖4是在特定作業(yè)模式下作為作業(yè)資源的函數(shù)的離散質(zhì)量等級(jí)圖形。
圖5是質(zhì)量/資源控制單元的簡圖。
圖6示出一些作業(yè)模式和對(duì)應(yīng)質(zhì)量等級(jí)之間的映射。
圖7示意性示出作業(yè)模式變化的實(shí)例。
圖8示意性示出根據(jù)本發(fā)明的媒體系統(tǒng)的實(shí)例。
優(yōu)選實(shí)施例的說明公用CMT可接受來自不同類型輸入源，如衛(wèi)星、線纜、存儲(chǔ)設(shè)備、因特網(wǎng)和以太網(wǎng)的輸入。視頻輸入可以是數(shù)字式或模擬式。CMT可具有若干視頻輸出顯示器、存儲(chǔ)設(shè)備(如VR、DVD+RW、或硬盤)、以及IEEE 1394或因特網(wǎng)鏈接。基于使用者焦點(diǎn)可將顯示器上的輸出再分成兩個(gè)(動(dòng)態(tài)變化的)組。使用者焦點(diǎn)誘發(fā)輸出的相對(duì)重要性。在這些輸入和輸出之間存在在復(fù)雜情形下包含接合和分岔的若干處理路徑。
在CMT內(nèi)的每個(gè)處理路徑典型地包括若干功能性處理部分，例如通道解碼、圖片增強(qiáng)以及再現(xiàn)(對(duì)于顯示器)或編碼(對(duì)于鏈接)。每個(gè)部分包括執(zhí)行特定作業(yè)所必須的任務(wù)的某一組合(簇)。因此在這個(gè)發(fā)明中，這些功能性的處理部分被稱為作業(yè)(job)。如果CMT是可擴(kuò)縮的可編程媒體設(shè)備，則它將包含若干可擴(kuò)縮的算法(SA)。在這種情況下作業(yè)將包括一簇SA(以及還可能不可擴(kuò)縮的算法(NSA))。圖2示意性地示出作業(yè)21的實(shí)例。作業(yè)21包括資源控制單元22、幾個(gè)SA 23、24、25及不可擴(kuò)縮的算法26。資源控制單元22與SA 23、24、25進(jìn)行通信。每個(gè)SA 23、24、25包括控制功能30的資源的質(zhì)量控制(QC)27、28、29。SA的結(jié)構(gòu)類似圖1中所示的當(dāng)前發(fā)展?fàn)顩r的結(jié)構(gòu)。
鑒于作業(yè)的功能性說明是綜合的(例如增強(qiáng)或解碼任務(wù)與增強(qiáng)或其它的組合)，在一單作業(yè)內(nèi)可能存在若干特定的任務(wù)，所述任務(wù)是特定的且取決于某些參數(shù)，如通道、源、格式和輸出平均值。例如，掃描速率轉(zhuǎn)換分別取決于顯示器類型(例如隔行掃描的或漸進(jìn)式的)，及輸入數(shù)據(jù)的類型(例如隔行掃描的或漸進(jìn)式的)。這導(dǎo)致在相同的作業(yè)內(nèi)針對(duì)不同參數(shù)的不同功能(處理類型)集合。例如，由于通道變化或窗口之間的交換導(dǎo)致參數(shù)可動(dòng)態(tài)地變化。這些參數(shù)的某些設(shè)定定義了作業(yè)功能的唯一組合，我們稱之為作業(yè)模式。
在圖3中給出針對(duì)不同源、格式及輸出窗口的視頻增強(qiáng)作業(yè)的作業(yè)模式的一些實(shí)例。從這個(gè)圖中人們可看出對(duì)于不同的源、格式及顯示器窗口，視頻增強(qiáng)作業(yè)中任務(wù)的功能性、數(shù)量及次序也不同。這導(dǎo)致不同的作業(yè)模式。
類似于SA，作業(yè)可以縮放，從而給出與每個(gè)作業(yè)模式相聯(lián)系的離散的質(zhì)量等級(jí)集合。作業(yè)提供每個(gè)質(zhì)量等級(jí)(估算的)資源要求。在圖4中示出一離散的質(zhì)量等級(jí)的實(shí)例。在圖4中在某一作業(yè)模式m下輸出質(zhì)量等級(jí)相對(duì)于資源量的關(guān)系被繪出。在“云”中的每個(gè)圓點(diǎn)表示由組成作業(yè)的不同SA所使用的某些資源量所產(chǎn)生的質(zhì)量等級(jí)。給定一資源量，這個(gè)量在SA當(dāng)中是可能具有不同的分布。一些部分導(dǎo)致比其它部分較高的質(zhì)量等級(jí)。在圖4的圖形中可以看出這個(gè)事實(shí)，即在垂直線周圍的兩個(gè)或多個(gè)圓點(diǎn)。
在作業(yè)是SA簇的情況下，人們可期望作業(yè)的視覺輸出質(zhì)量的范圍(即“云”的大小)取決于輸入源數(shù)據(jù)的類型及輸出裝置(窗口/揚(yáng)聲器、存儲(chǔ)設(shè)備)的類型和大小。例如，如果視頻源數(shù)據(jù)是HighDefinition(HD)(高清晰度)且被顯示在HDTV上，則輸出質(zhì)量將遠(yuǎn)高于若源數(shù)據(jù)是Standard Definition(SD)(標(biāo)準(zhǔn)清晰度)的情況。因此，每個(gè)作業(yè)及由此每個(gè)處理路徑的質(zhì)量等級(jí)集合取決于特定的作業(yè)模式m。
因此，在根據(jù)本發(fā)明可擴(kuò)縮的可編程處理設(shè)備中，在選擇作業(yè)可能的質(zhì)量等級(jí)(資源集合及由此對(duì)應(yīng)的輸出質(zhì)量)之前，其中作業(yè)是有效的特定模式m被加以選擇。這個(gè)選擇被動(dòng)態(tài)地加以進(jìn)行，即每當(dāng)系統(tǒng)出現(xiàn)變化時(shí)，則(可能不同的)作業(yè)模式的選擇得以進(jìn)行。
例如由于通道變化或主窗口及PiP窗口內(nèi)容的交換所導(dǎo)致的作業(yè)模式變化被稱為作業(yè)模式變化(JMC)。JMC可導(dǎo)致作業(yè)特定功能性及其算法的數(shù)量和次序的變化。對(duì)于每個(gè)作業(yè)模式，許多操作集合的被加以定義，這將在下面加以說明。在圖4中在“云”頂部的質(zhì)量等級(jí)組成了操作集合。取決于象窗口大小(確定可適用的嵌入尺寸復(fù)原技術(shù))和使用者焦點(diǎn)等特征，每個(gè)操作集合為每個(gè)算法確定特定的處理。操作集合被動(dòng)態(tài)地加以選擇，且操作集合的變化被稱為操作集合變化(OSC)。
圖5示意性地示出根據(jù)本發(fā)明的媒體50的功能性結(jié)構(gòu)實(shí)例。在系統(tǒng)50中不同的作業(yè)在相同時(shí)間被執(zhí)行。這些作業(yè)的資源由QoS管理器(QM)51加以控制。QM51負(fù)責(zé)系統(tǒng)50的魯棒性、有效的資源使用和優(yōu)化。這樣的任務(wù)可通過不同應(yīng)用與QM51之間有效的接口來完成。根據(jù)本發(fā)明，所述接口被分成三個(gè)等級(jí)，即策略管理器52、作業(yè)管理器(JM)53和質(zhì)量控制(QC)54。QC54是控制SA55的控制單元。SA55執(zhí)行特定的功能56，例如噪聲降低。它還提供不同的方法來執(zhí)行具有不同資源要求及由此不同輸出質(zhì)量的相同功能。這些方法中的每個(gè)方法定義了可擴(kuò)縮性等級(jí)1∈L，L→{Rl，Ql)}，其中(Rl，Ql)指示所要求的資源，和等級(jí)1所取得的輸出質(zhì)量，見未決申請(qǐng)WO0219095。SA 55的可擴(kuò)縮性等級(jí)1由算法的設(shè)計(jì)者來定義，且由預(yù)先定義的算法特定參數(shù)(例如系數(shù)的數(shù))集合來設(shè)定。QC54設(shè)定必要的參數(shù)，以為了執(zhí)行由QoS系統(tǒng)所請(qǐng)求的可擴(kuò)縮性等級(jí)1。
在初始化時(shí)，JM53提供具有可擴(kuò)縮性參數(shù)P、作業(yè)模式M和每個(gè)作業(yè)模式m∈M的有效質(zhì)量等級(jí){(Rm，Qm)}集合的較高層(即SM52)，其中Rm指示作業(yè)所要求的資源，且Qm指示在作業(yè)模式m下為參數(shù)P所取得的常見輸出質(zhì)量。在運(yùn)行時(shí)間，如從較高層(SM52和QM51)所請(qǐng)求，它設(shè)定了當(dāng)前作業(yè)模式的SA的可擴(kuò)縮性等級(jí)。QM51執(zhí)行可服務(wù)于若干不同應(yīng)用如視頻、音頻、圖形、因特網(wǎng)、存儲(chǔ)及其它等的系統(tǒng)的資源利用率優(yōu)化。為了以快速且合理的方法執(zhí)行優(yōu)化，優(yōu)選地所有特定的應(yīng)用語義(application semantics)被從應(yīng)用中剝?nèi)?。在?shí)施例中，SM52是QM51和媒體應(yīng)用之間的接口。即，每個(gè)媒體應(yīng)用可具有其自己的SM52。SM52的一個(gè)任務(wù)是將具有媒體語義學(xué)的信息轉(zhuǎn)換成不具有QM51的媒體語義的空間?？蓴U(kuò)縮算法的質(zhì)量尺度針對(duì)算法、源數(shù)據(jù)和輸出裝置是特定的。優(yōu)選地，由于下面三個(gè)原因QoS系統(tǒng)對(duì)它們是盲的-避免過剩的不必要信息，
-支持對(duì)不同平臺(tái)的可攜帶性(隨系統(tǒng)的變化)，-支持更新(隨時(shí)間的變化)。
SM52在作業(yè)模式變化期間選擇作業(yè)的作業(yè)模式，且通知QM51在處理路徑中每個(gè)作業(yè)模式的操作集合。在一實(shí)施例中SM52將來自系統(tǒng)其它模塊，象窗口管理器(WM)、使用者接口(UI)及來自其它媒體應(yīng)用的SM的相關(guān)信息加以考慮。
因此，SM52選擇性地將QM51的質(zhì)量搜索空間減至最小，以僅包括有效的質(zhì)量點(diǎn)。在一實(shí)施例中，除了每個(gè)作業(yè)的操作集合以外，它傳遞到QM51的信息還有定義作業(yè)重要性的若干加權(quán)，且取決于輸出窗口大小。在系統(tǒng)優(yōu)化階段期間，然后這些加權(quán)進(jìn)一步被QM51所利用。
為了允許由QM51進(jìn)行的系統(tǒng)優(yōu)化，作業(yè)的質(zhì)量/資源值以語義上的中性術(shù)語被表達(dá)成作業(yè)效用(job utility)。
優(yōu)選地，QM51選擇那樣一些質(zhì)量等級(jí)，在所述質(zhì)量等級(jí)上作業(yè)以這樣的方法被加以執(zhí)行，以便于整個(gè)系統(tǒng)效用被最大化，且資源要求滿足資源可用性。整個(gè)系統(tǒng)效用由運(yùn)行作業(yè)的作業(yè)效用、運(yùn)行作業(yè)的從屬性(由處理路徑產(chǎn)生)、以及與這些作業(yè)相聯(lián)系的相對(duì)重要性等級(jí)來確定。
在執(zhí)行系統(tǒng)效用的全程(集中的)優(yōu)化之后，QM51維持來自運(yùn)行作業(yè)的所謂的質(zhì)量映射(見圖6)(基于由QC54所提供的動(dòng)態(tài)資源需求)。作業(yè)數(shù)量的變化、作業(yè)的相對(duì)重要性、作業(yè)的質(zhì)量映射(因JMC和QSC)以及來自QC54的幫助請(qǐng)求要求重新的優(yōu)化。因?yàn)榭焖僮兓馁|(zhì)量等級(jí)被理解為非優(yōu)質(zhì)的，所以質(zhì)量等級(jí)必須被少量地加以調(diào)節(jié)。注意這個(gè)方面未被包含在Proc.20thIEEE Real-Time SystemsSymposium(RTSS)，pp.315-326，December 1999內(nèi)由C.Lee，J.Lehoczky，R.Rajkumar和D.Siewiorek所著的Ascalable solutionto the multi-resource QoS problem中，整個(gè)質(zhì)量優(yōu)化作業(yè)之間從屬性的并入也未被包含其中。
JMC可導(dǎo)致特定作業(yè)的算法23、24、25的數(shù)量和次序的變化。在JMC時(shí)切換必須是無縫的，且在算法連接的重新配置時(shí)，必須防止新和舊模式數(shù)據(jù)的相互混合。
在實(shí)施例中，媒體應(yīng)用負(fù)責(zé)提供無縫的切換及防止數(shù)據(jù)的相互混合。如下面實(shí)例所示例，QM51必須確保應(yīng)用得到必要的資源以做到如此(即得到保證的資源預(yù)算)。
在媒體系統(tǒng)中，到另一通道的切換可涉及到JMC，從而需要由QM51進(jìn)行的重新優(yōu)化，并且?guī)磉\(yùn)行作業(yè)的新質(zhì)量等級(jí)。在這種情況下，首先執(zhí)行作業(yè)質(zhì)量等級(jí)的降低，隨后緊著是這些作業(yè)的資源預(yù)算的降低。作為下一步，將接收到較高質(zhì)量等級(jí)的作業(yè)資源預(yù)算被增加，隨后緊接著是質(zhì)量等級(jí)的增加。
變化的類型考慮到多媒體TV系統(tǒng)，可想起其穩(wěn)定狀態(tài)的若干變化；改變通道、打開一新窗口以觀察不同的應(yīng)用、交換窗口及其它。所有這些情況引入系統(tǒng)及每個(gè)路徑的作業(yè)中的若干變化。下面，以可擴(kuò)縮視頻算法(SVA)簇被執(zhí)行的三種類型變化作業(yè)模式變化、操作集合變化及質(zhì)量等級(jí)變化被加以說明。所述變化及其原因被總結(jié)在表1中且在下面被加以解釋。
作業(yè)模式變化在作業(yè)模式變化(JMC)中，作業(yè)功能的基本集合發(fā)生變化。這個(gè)功能集合是用來提供正確的輸出所必須的。JMC的特征在于資源要求的可能的大變化及視覺質(zhì)量的清晰變化。它們由使用者或由通道的源特征的變化來激活，而絕不是從QoS系統(tǒng)來激活。為了更好地理解作業(yè)模式變化的性質(zhì)，下面舉出一些實(shí)例。
主及PiP窗口之間的交換。相同源的處理對(duì)于主及PiP(畫中的畫)可是不同的。因此，當(dāng)使用者交換兩個(gè)窗口時(shí)，到兩個(gè)路徑的作業(yè)模式變化被加以執(zhí)行，這對(duì)應(yīng)于表1中的情況1。這種變化是通過使用者界面(UI)被加以請(qǐng)求。
通道變化。使用者利用不同于舊通道(例如，模擬的)的新通道(例如，數(shù)字)的源改變通道。這個(gè)實(shí)例對(duì)應(yīng)于表1中的情況2。通道變化是通過UI被加以請(qǐng)求。
通道內(nèi)源的變化。在相同通道內(nèi)的服務(wù)提供商可傳遞具有一些不同輸入?yún)?shù)，例如由商業(yè)廣告(視頻)所中斷的電影(影片)的源。這樣的變化由數(shù)據(jù)的處理(例如視頻解碼)進(jìn)行探測，且被用來在路徑的適當(dāng)作業(yè)中啟動(dòng)作業(yè)模式變化(表1中的情況3)。
任何JMC包括一操作集合及由此針對(duì)這個(gè)作業(yè)的質(zhì)量等級(jí)變化，以及系統(tǒng)中其它激活作業(yè)可能的質(zhì)量等級(jí)變化(QLC)。
操作集合變化在操作集合變化(QSC)中，一作業(yè)的基本功能集合并不變化(相同的作業(yè)模式)。所要求的資源集合，即操作集合發(fā)生變化。OSC的特征在于在一作業(yè)模式內(nèi)不同的資源要求及所期望的視覺質(zhì)量的變化。它們由使用者來激活。
操作集合變化的一些實(shí)例如下所示。
焦點(diǎn)的變化。當(dāng)若干應(yīng)用(窗口)被打開時(shí)，可利用的資源可能并不足夠用以支持它們所有的最高輸出質(zhì)量。使用者可規(guī)定那些窗口他更感受興趣(具有他的焦點(diǎn))從而讓QM51將其它窗口的質(zhì)量等級(jí)調(diào)節(jié)到較低范圍。有效質(zhì)量等級(jí)集合(即操作集合)針對(duì)具有焦點(diǎn)的應(yīng)用和沒有焦點(diǎn)的應(yīng)用是不同的。使用者可決定改變一個(gè)或更多個(gè)窗口的焦點(diǎn)(表1中的情況4)。這個(gè)動(dòng)作可導(dǎo)致這些窗口中的每一窗口操作集合的變化。
窗口大小的變化。由針對(duì)輸出質(zhì)量等級(jí)集合的作業(yè)模式所請(qǐng)求的資源集合可取決于顯示器窗口的大小(即打孔和嵌入尺寸調(diào)整技術(shù))。因此顯示器窗口大小的變化可由操作集合的變化來調(diào)節(jié)(見表1中的情況5)。
任何OSC誘發(fā)這個(gè)作業(yè)及可能地系統(tǒng)中其余作業(yè)的質(zhì)量等級(jí)變化(QLC)。
質(zhì)量等級(jí)變化在質(zhì)量等級(jí)變化(QLC)中，作業(yè)功能的基本集合(作業(yè)模式)及操作集合保持相同。作業(yè)模式的有效質(zhì)量等級(jí)集合的質(zhì)量等級(jí)發(fā)生變化，即其資源要求及其輸出質(zhì)量。QLC的特征在于在一作業(yè)模式的操作集合內(nèi)不同的資源要求及視覺質(zhì)量的變化。它們由QM51、QM52或使用者來激活。如我們已經(jīng)在上面所陳述的那樣，一作業(yè)的任何JMC或OSC導(dǎo)致這個(gè)作業(yè)及可能系統(tǒng)中其余作業(yè)的OLC。質(zhì)量等級(jí)變化原因的一些其它實(shí)例見如下。
起動(dòng)新的應(yīng)用。使用者可決定打開一新的窗口來觀察新的應(yīng)用(例如新的程序)。新應(yīng)用建立新作業(yè)，且這可導(dǎo)致對(duì)已經(jīng)現(xiàn)存的作業(yè)的間接影響。新的作業(yè)可要求并不存在的額外系統(tǒng)資源量。在這種情況下現(xiàn)存的作業(yè)應(yīng)該釋放一些資源，其可以通過降低它們的質(zhì)量等級(jí)而實(shí)現(xiàn)(表1中的情況6)。當(dāng)應(yīng)用被關(guān)閉時(shí)可以得到相反影響的特點(diǎn)。
負(fù)載變化。存在其負(fù)載(load)對(duì)視頻內(nèi)容的某些參數(shù)如運(yùn)動(dòng)和細(xì)節(jié)敏感的視頻算法。如果一算法的負(fù)載及因此一作業(yè)要比起初所申明的高時(shí)，則QM51可通過向作業(yè)分配更多的資源而做出反應(yīng)。如果并不存在足夠可利用的資源，則QM51或SM52可降低這個(gè)(或一些其它較不重要的)作業(yè)的質(zhì)量等級(jí)(表1中的情況7)。
表1變化的類型原因及影響在對(duì)系統(tǒng)的動(dòng)態(tài)性能說明加以說明之前，首先對(duì)說明一作業(yè)穩(wěn)定狀態(tài)的參數(shù)進(jìn)行定義。
在媒體系統(tǒng)中，若干作業(yè)J，J＝1，…，|B|正在運(yùn)行。每個(gè)作業(yè)J具有一作業(yè)模式集合MJ。每個(gè)作業(yè)模式m∈MJ具有一任務(wù)集合(即SA)NJm和一操作映射集合ΦJm。每個(gè)操作映射φ∈ΦJm的范圍是一有效質(zhì)量等級(jí)LJm，Φ集合(即，操作集合)。作業(yè)模式、操作集合和映射以及質(zhì)量等級(jí)之間關(guān)系的圖形表示被提供在圖6中。在橢圓形MJ中的圓點(diǎn)表示作業(yè)模式。同圖4中所示的圓點(diǎn)相類似，LJm，Φ橢圓中的圓點(diǎn)表示質(zhì)量等級(jí)。
每個(gè)質(zhì)量等級(jí)LJm，Φ映射到一多元組(R，Q)1，所述多元組定義作業(yè)支持的相應(yīng)視覺輸出質(zhì)量和資源要求。
資源要求R由R＝(r1，r2，…，r|R|)所定義，其中ri，i＝1，…，|R|是根據(jù)資源類型Rj請(qǐng)求的(靜態(tài))量，且|R|是系統(tǒng)資源的數(shù)量。這些資源要求R被用在進(jìn)入(admission)控制及預(yù)算(重新)分配程序中。
輸出質(zhì)量值Q被提供用于系統(tǒng)的優(yōu)化。這個(gè)發(fā)明的主要議題之一是輸出視覺質(zhì)量(為正確且最佳)是系統(tǒng)性能的主要因素。然而，為了以語義中性方法執(zhí)行優(yōu)化，輸出質(zhì)量值Q被轉(zhuǎn)換成作業(yè)效用u，使umin＜u＜umax，使umin和umax成為語義上中性質(zhì)量等級(jí)的最低級(jí)和最高級(jí)。在常規(guī)基礎(chǔ)上，對(duì)應(yīng)于適當(dāng)映射φ的多元組集合{(R，u)1}1∈LJm，Φ被SM52提供給QM51以執(zhí)行系統(tǒng)的優(yōu)化。
所以作業(yè)狀態(tài)SJ由下述加以說明-當(dāng)前的作業(yè)模式，-適當(dāng)?shù)牟僮饔成洌约?所分配的質(zhì)量等級(jí)，即SJ＝(mJ，φJ(rèn)m，lJm，Φ)。
在每個(gè)JMC和OSC時(shí)，作業(yè)57、58負(fù)責(zé)選擇適當(dāng)?shù)淖鳂I(yè)模式和操作映射并且負(fù)責(zé)向QM51提供對(duì)應(yīng)的操作集合。QM51負(fù)責(zé)選擇系統(tǒng)中每個(gè)作業(yè)的質(zhì)量等級(jí)。作業(yè)狀態(tài)的變化牽連到系統(tǒng)及功能性，以及視頻處理模塊的控制。隨后的牽連將在下面加以說明。
每個(gè)作業(yè)模式m∈MJ由任務(wù)的特定組合NJm組成。任務(wù)之間的同步通過局部隊(duì)列來執(zhí)行。一任務(wù)從其輸入隊(duì)列接收數(shù)據(jù)、對(duì)它們進(jìn)行處理且將它們發(fā)送到其輸出隊(duì)列。數(shù)據(jù)借助于信息包如場、幀或在共享存儲(chǔ)器情況下的場/幀的指針而被發(fā)送。如果一任務(wù)的輸出隊(duì)列是空的，則所述任務(wù)一直保持阻塞直至新數(shù)據(jù)到達(dá)其輸入隊(duì)列。如果輸出隊(duì)列已滿，則一任務(wù)也可被阻塞。
在JMC中，即從mi到mj，使mi，mj∈MJ，則任務(wù)作業(yè)的組合被改變。通過去除一些任務(wù)(舊的)，及/或包括新的任務(wù)(新的)，以及/或變化一些現(xiàn)存任務(wù)的次序或參數(shù)(變化的)，這個(gè)改變可以被驅(qū)動(dòng)。阻塞是通過不向它們的輸入隊(duì)列發(fā)送數(shù)據(jù)而獲得的。同樣通過不阻塞它們，則獲得任務(wù)的插入。任務(wù)的次序由作業(yè)模式mj來定義，且通過設(shè)定它們的輸出隊(duì)列受到任務(wù)(SVA)控制部分的控制。在圖7中，示出JMC的一實(shí)例。
在JMC中的主要議題之一是在任務(wù)集合中的任何改變應(yīng)該被無縫地加以執(zhí)行。在視頻處理鏈中，重要地是每個(gè)任務(wù)的過程被應(yīng)用到正確的數(shù)據(jù)。如果JMC與新數(shù)據(jù)同步，則我們防止了錯(cuò)誤的輸出圖像格式。例如，讓我們假設(shè)舊的源是HD源，且顯示器是SD。則舊的作業(yè)模式降低了輸入源的分辨率以與顯示器要求相匹配。同樣，讓我們假設(shè)新的源是SD且處理并不適應(yīng)于時(shí)間。則直至正確的處理被設(shè)定，在SD顯示器上輸入分辨率將一直是SD源被降低的分辨率！在本發(fā)明的一實(shí)施例中，有效的過渡是通過模式壓印(stamping)數(shù)據(jù)而獲得的，且使SA(即QC54)的控制部分是作業(yè)模式知曉的。
在JMC中，任務(wù)集合發(fā)生變化，而且任務(wù)之間的連接也發(fā)生變化。因此，另一重要的議題是防止舊和新模式數(shù)據(jù)相互之間的混合。見圖7，雖然T2還未完成舊模式數(shù)據(jù)的執(zhí)行，但當(dāng)例如為了阻塞T2任務(wù)T1正在將其新模式輸入數(shù)據(jù)重新發(fā)送到T3時(shí)，數(shù)據(jù)可以被相互混合。通過在作業(yè)模式變化期間操縱處理任務(wù)的優(yōu)先權(quán)(使T2具有較高的優(yōu)先權(quán)將保證在T1重新發(fā)送之前它將完成處理)，數(shù)據(jù)的相互混合可以被防止。另一方案可通過控制重新發(fā)送任務(wù)輸出隊(duì)列的時(shí)序而被提供。例如，當(dāng)任務(wù)T2已經(jīng)完成舊模式的數(shù)據(jù)時(shí)，它向T1發(fā)送一允許信號(hào)，且T1在向Q2發(fā)送新模式的數(shù)據(jù)之間一直等待這個(gè)允許信號(hào)。第三個(gè)方案支持?jǐn)?shù)據(jù)次序恢復(fù)。T3(Q2)的輸入隊(duì)列由兩個(gè)隨模式而特定的子隊(duì)列組成。因此，隊(duì)列控制著在相應(yīng)子隊(duì)列中舊和新模式數(shù)據(jù)的正確分離(發(fā)送)，且僅當(dāng)舊模式數(shù)據(jù)被完成時(shí)新模式數(shù)據(jù)才能夠被發(fā)送到下一任務(wù)(T3)。
所述第一方案意味著在運(yùn)行時(shí)間改變?nèi)蝿?wù)的優(yōu)先權(quán)，其增加了系統(tǒng)的開銷。所述第三方案是一非常有吸收力的方案，但卻要求支持這種隊(duì)列管理的系統(tǒng)。雖然所述第二方案使SA的控制部分的設(shè)計(jì)復(fù)雜化，但是結(jié)果它變得非常有效。它是我們優(yōu)選的一個(gè)方案。
正如我們上面所說明，在OSC或QLC中，一作業(yè)的任務(wù)集合并不變化；作業(yè)模式得到維持。在OSC中，映射被從φi變化φj到，見圖6。這是由處理所定義的資源需求變化的結(jié)果，所述處理由SA設(shè)計(jì)者引入以處理特殊情況，如焦點(diǎn)或窗口大小的變化。
在QLC中，在預(yù)先定義的操作映射范圍內(nèi)即li，lj∈LJm，Φ，說明作業(yè)表現(xiàn)的質(zhì)量等級(jí)被修改，即從li至lj(圖6)。因象上述所說明的原因，QM51改變作業(yè)可利用的資源。通過改變集合NJM任務(wù)的處理，作業(yè)響應(yīng)于這個(gè)變化。通過進(jìn)行上述這些，它確保多元組(R，Q)lj得到滿足。
作業(yè)模式的質(zhì)量等級(jí)由應(yīng)用設(shè)計(jì)者來定義。任務(wù)處理(SA)的改變可以通過變化系數(shù)的數(shù)量、或場、或被考慮的對(duì)象(例如點(diǎn)相對(duì)于線)及許多更多內(nèi)容而加以執(zhí)行。
圖8示意性地示出根據(jù)本發(fā)明的媒體系統(tǒng)的實(shí)例。所述媒體系統(tǒng)包括被連接到存儲(chǔ)有指令的數(shù)據(jù)的存儲(chǔ)器單元81、82、83、84的處理裝置80、一個(gè)或多個(gè)讀取單元85(以讀取例如軟盤91、CD ROM’92、DVD’s等)、作為輸入設(shè)備的鍵盤86和鼠標(biāo)、以及作為輸出設(shè)備的監(jiān)視器87及打印機(jī)88?？商峁┢渌斎朐O(shè)備，象軌跡球和觸摸屏幕以及其它輸出設(shè)備。對(duì)于通過網(wǎng)絡(luò)90的數(shù)據(jù)通信，提供接口裝置89。
所示出的存儲(chǔ)器單元包括RAM 84、(E)PROM 83、ROM 82和硬盤81。然而，應(yīng)該理解到可提供本領(lǐng)域中普通技術(shù)人員所公知的更多及/或其它存儲(chǔ)器單元。此外，如果需要的話，它們中的一個(gè)或多個(gè)可從物理上定位在遠(yuǎn)離處理裝置80的地方。處理裝置80被示出為一個(gè)盒形，然而，它們可包括并行發(fā)揮作用或由一個(gè)主處理器所控制的幾個(gè)處理單元，正如本領(lǐng)域普通技術(shù)人員所公知的，它們可彼此之間遠(yuǎn)距離地被定位。
雖然本發(fā)明已經(jīng)結(jié)合所優(yōu)選的實(shí)施例被加以說明，但是要理解為對(duì)于本領(lǐng)域那些普通技術(shù)人員，在上述所概述的原理之內(nèi)對(duì)其的修改是顯而易見。本發(fā)明并不局限于所優(yōu)選的實(shí)施例，但卻旨在包含這樣的修改。
權(quán)利要求
1.一種運(yùn)行媒體應(yīng)用的方法，所述媒體應(yīng)用包括若干算法，每個(gè)算法既可是可擴(kuò)縮的也可是不可擴(kuò)縮的，所述方法包括(a)接收輸入信號(hào)，(b)執(zhí)行所述算法以產(chǎn)生輸出信號(hào)，(c)將作業(yè)定義為一可能的算法簇集合，用于完成處理路徑中某一預(yù)先定義的部分，(d)基于輸入和/或輸出規(guī)范，為媒體應(yīng)用中的每個(gè)作業(yè)選擇一個(gè)作業(yè)模式，作業(yè)模式是可能的簇集合當(dāng)中的一個(gè)特定的算法簇。
2.根據(jù)權(quán)利要求1的方法，其中所述方法包括(e)每當(dāng)系統(tǒng)發(fā)生變化時(shí)，選擇所述作業(yè)的操作狀態(tài)，所述選擇取決于-作業(yè)模式，-作業(yè)模式的有效質(zhì)量等級(jí)集合，其被稱為操作集合。
3.根據(jù)權(quán)利要求2的方法，其中所述作業(yè)的所述操作狀態(tài)的選擇取決于被指定的輸出質(zhì)量等級(jí)。
4. 根據(jù)任何上述權(quán)利要求的方法，其中所述輸入規(guī)范包括輸入信號(hào)的類型。
5.根據(jù)任何上述權(quán)利要求的方法，其中所述輸出規(guī)范包括輸出格式的類型。
6.根據(jù)任何上述權(quán)利要求的方法，其中所述方法包括(f)將作業(yè)輸出質(zhì)量值用語義學(xué)上的中性術(shù)語表達(dá)成作業(yè)效用，(g)根據(jù)所有作業(yè)的作業(yè)效用確定整個(gè)系統(tǒng)的效用。
7.根據(jù)任何上述權(quán)利要求的方法，其中所述方法包括(h)對(duì)每個(gè)作業(yè)僅將操作集合傳遞到服務(wù)質(zhì)量資源管理器，(i)將定義作業(yè)重要性的若干加權(quán)傳遞到服務(wù)質(zhì)量資源管理器，(j)利用服務(wù)質(zhì)量資源管理器中不同作業(yè)的所述若干操作集合和加權(quán)，優(yōu)化媒體系統(tǒng)。
8.根據(jù)任何上述權(quán)利要求的方法，其中作業(yè)模式的變化與新數(shù)據(jù)同步，以防止錯(cuò)誤的輸出圖像格式，且其中通過模式壓印所述數(shù)據(jù)獲得有效的過渡。
9.根據(jù)任何上述權(quán)利要求的方法，其中，為了防止存在于算法輸出隊(duì)列中的舊和新模式數(shù)據(jù)相互混合，在作業(yè)模式變化期間任務(wù)的優(yōu)先權(quán)被進(jìn)行操縱。
10.根據(jù)任何上述權(quán)利要求的方法，其中，為了防止存在于算法輸出隊(duì)列中的舊和新模式數(shù)據(jù)相互混合，任務(wù)輸出隊(duì)列的重新路由選擇時(shí)序被加以控制。
11.一種媒體系統(tǒng)，包括用于接收輸入信號(hào)的輸入裝置、及處理器，所述媒體系統(tǒng)被設(shè)置成用于運(yùn)行媒體應(yīng)用，所述媒體應(yīng)用包括若干算法，每個(gè)算法既可是可擴(kuò)縮的或是不可擴(kuò)縮的，所述處理器被設(shè)置成用于(a)執(zhí)行所述算法以產(chǎn)生輸出信號(hào)，(b)基于輸入和/或輸出規(guī)范，為媒體應(yīng)用中的每個(gè)作業(yè)選擇一個(gè)作業(yè)模式，作業(yè)模式是可能的算法簇集合當(dāng)中的一個(gè)特定的算法簇，所述集合被稱為作業(yè)，(c)每當(dāng)系統(tǒng)發(fā)生變化時(shí)，選擇所述作業(yè)的一操作狀態(tài)。
12.根據(jù)權(quán)利要求11的媒體系統(tǒng)，其中所述處理器被設(shè)置成處理-在多種應(yīng)用模式下可操作的至少一個(gè)應(yīng)用；-服務(wù)質(zhì)量資源管理器，其用于確定是否所述可利用的資源適合于操作以給定的一個(gè)所述應(yīng)用模式來完成所述至少一個(gè)應(yīng)用所需要的至少一個(gè)媒體算法；以及用于跟蹤多少計(jì)算資源可用，以被所述至少一個(gè)應(yīng)用所使用；-策略管理器，其用于選擇媒體算法且將其配置成媒體算法(作業(yè))簇；-至少一個(gè)局部質(zhì)量控制，其用于控制由所述至少一個(gè)媒體算法所使用的設(shè)定；-至少一個(gè)作業(yè)控制單元，其用于控制所述媒體算法簇的資源/質(zhì)量，所述作業(yè)控制單元響應(yīng)于所述策略管理器且響應(yīng)于局部質(zhì)量控制以在所述簇中選擇媒體算法的資源。
13.根據(jù)權(quán)利要求12的媒體系統(tǒng)，其中所述作業(yè)控制單元被設(shè)置成從所述策略管理器接收所需要的作業(yè)質(zhì)量等級(jí)，將所需要的作業(yè)質(zhì)量等級(jí)轉(zhuǎn)換成質(zhì)量等級(jí)1用于存在于所述對(duì)應(yīng)簇中的每個(gè)所述至少一個(gè)算法。
14.根據(jù)權(quán)利要求13的媒體系統(tǒng)，其中所述作業(yè)控制單元為所述策略管理器提供可擴(kuò)縮性參數(shù)P、作業(yè)模式M，及對(duì)于每個(gè)作業(yè)模式m∈M的操作集合{(Rm，Qm)}的一個(gè)集合。
15.根據(jù)權(quán)利要求14的媒體系統(tǒng)，其中在運(yùn)行時(shí)間，根據(jù)所述策略管理器或根據(jù)所述服務(wù)質(zhì)量資源管理器所請(qǐng)求，所述作業(yè)控制單元設(shè)定當(dāng)前作業(yè)模式的可擴(kuò)縮算法的可擴(kuò)縮性等級(jí)。
16.根據(jù)任何權(quán)利要求11-15的媒體系統(tǒng)，其中所述媒體系統(tǒng)是一多媒體通信設(shè)備。
17.一種被設(shè)置成執(zhí)行根據(jù)權(quán)利要求1-10所述方法的計(jì)算機(jī)程序產(chǎn)品。
18.一種包括根據(jù)權(quán)利要求17的計(jì)算機(jī)程序產(chǎn)品的存儲(chǔ)器介質(zhì)。
全文摘要
對(duì)于一種同當(dāng)前的消費(fèi)者多媒體設(shè)備保持有同樣魯棒性和成本效益的靈活的消費(fèi)者多媒體設(shè)備，就隨輸出質(zhì)量交換的其資源要求媒體算法應(yīng)該變得更加靈活。我們稱這種算法為可擴(kuò)縮的。在消費(fèi)者媒體終端中可擴(kuò)縮的視頻算法(作業(yè))簇的狀態(tài)可以由三個(gè)參數(shù)來說明。第一個(gè)參數(shù)是作業(yè)模式，其是功能及其連接的實(shí)際簇。第二個(gè)參數(shù)是作業(yè)模式的有效質(zhì)量等級(jí)集合，其被稱為操作集合。最后一個(gè)參數(shù)是被指定的質(zhì)量等級(jí)。前兩個(gè)參數(shù)為系統(tǒng)優(yōu)化提供正確的處理和有效的搜索空間，且由作業(yè)本身進(jìn)行選擇。最后一個(gè)參數(shù)反映根據(jù)可利用的系統(tǒng)資源的實(shí)際資源分配，且由QoS資源管理器進(jìn)行選擇。
文檔編號(hào)H04N5/00GK1527968SQ02814130
公開日2004年9月8日 申請(qǐng)日期2002年7月12日 優(yōu)先權(quán)日2001年7月13日
發(fā)明者M·加布拉尼, C·亨特舍爾, C·C·A·M·范宗, E·F·M·斯蒂芬斯, R·J·布里爾, A M 范宗, M 加布拉尼, M 斯蒂芬斯, 厴岫, 布里爾 申請(qǐng)人:皇家菲利浦電子有限公司