專利名稱：漸進的多媒體同步的制作方法
技術領域：
本發(fā)明一般涉及多媒體通信領域，并且尤其涉及多媒體內(nèi)容的漸進的同步。還提供了其設備和計算機程序產(chǎn)品。
背景技術：
在過去的幾年，諸如移動電話的通信裝置已從僅是通信裝置演進為手持多媒體裝置。此外，越來越多的裝置配備有通信接口。因此，能夠彼此傳送信息的裝置的數(shù)量正在持續(xù)增加。基于此類裝置之間通信的服務和應用的數(shù)量也在增加。一些示例包括但不限于基于數(shù)字網(wǎng)絡的數(shù)字社交媒體，即時消息共享，信息共享和顯示，等等。因此，隨著通信裝置數(shù)量的增加，在這些通信裝置之間傳輸數(shù)據(jù)的需要也在增加。然而，由于帶寬的限制，在內(nèi)容服務器和內(nèi)容請求者之間同步多媒體內(nèi)容的處理仍然需要相當多的時間。這在通信裝置(例如移動電話)的用戶希望上傳多媒體內(nèi)容(例如數(shù)字圖像)至服務器以便可以發(fā)布該上傳內(nèi)容(例如發(fā)布在數(shù)字社交媒體的數(shù)字相冊中)的情況下尤其如此。

發(fā)明內(nèi)容
所公開實施例的發(fā)明人已認識到，雖然根據(jù)現(xiàn)有技術的方法、設備和計算機程序產(chǎn)品能夠提供用于在服務器裝置和客戶端裝置之間同步多媒體內(nèi)容的手段，但是一個缺陷在于執(zhí)行該同步的持續(xù)時間。此外，諸如移動電話的通信裝置可以創(chuàng)建幾百萬像素的非常大的圖像，而同樣的通信裝置可能有非常受限的觀看屏幕(在分辨率和尺寸兩方面)。進一步地，已發(fā)現(xiàn)在客戶端能夠接收滿足大多數(shù)用戶的多媒體內(nèi)容預覽之前上傳整個多媒體內(nèi)容往往是不必要的。鑒于上述內(nèi)容，因而期望的是找到這樣的手段，其在能夠在服務器和客戶端之間實現(xiàn)更快的多媒體內(nèi)容同步。根據(jù)第一方面，提供了一種用于在服務器裝置和存儲裝置之間同步多媒體內(nèi)容的方法，包括:在存儲裝置處提供多媒體內(nèi)容；將多媒體內(nèi)容分成至少兩個包；根據(jù)所述至少兩個包中的數(shù)據(jù)以及通過使用相關性準則，將所述至少兩個包分類成相關的包和至少一個不大相關的包；以及將所述相關的包從所述存儲裝置傳送至所述服務器裝置。這有利地提供了一種有效的上傳處理，其使得用戶能夠比使用傳統(tǒng)的順序處理更快地共享他們的多媒體內(nèi)容。這也使得例如完整的JPEG數(shù)據(jù)能夠被上傳，以及隨時間在服務器中具有與產(chǎn)生圖像的存儲裝置中的圖像數(shù)據(jù)相同的圖像數(shù)據(jù)表示。這在上傳多媒體內(nèi)容到服務器裝置時，甚至在服務器裝置與存儲裝置之間的傳輸具有低帶寬時，提供了良好的用戶體驗。多媒體內(nèi)容可以以多種格式出現(xiàn)。包(package)代表轉(zhuǎn)換成原始多媒體內(nèi)容的多個較少表示的多媒體內(nèi)容，其中較少表示經(jīng)常以較小尺度呈現(xiàn)多媒體內(nèi)容。包可以依賴也可以不依賴于其他包。一組規(guī)則制約多媒體內(nèi)容如何被轉(zhuǎn)換成包。以相同或相似尺度代表多媒體內(nèi)容的表示可被緊密地存儲在一起(例如按照對以相同或相似尺度代表多媒體內(nèi)容的數(shù)據(jù)進行分隔的字節(jié)數(shù))，以便于對相似數(shù)據(jù)的快速訪問。傳輸和存儲多媒體內(nèi)容數(shù)據(jù)之間可能涉及一種或多種類型的轉(zhuǎn)碼。期望的是代表多媒體內(nèi)容的小尺度的表不首先被傳送，并且相同多媒體內(nèi)容的較大尺度的表不稍后被傳送。稍后的傳送既不包含冗余信息也不包含已被傳送的信息。例如，根據(jù)JPEG漸進標準，被傳送的多媒體內(nèi)容的發(fā)送器和/或接收器需要跟蹤在給定時間其在編碼處理的何處，以使得可以暫?；蚧謴驮撎幚?。例如，可以提供有關當前傳送的掃描、數(shù)據(jù)單元和/或系數(shù)的信息。此信息可被存儲在可交換圖像文件格式(Exif)標簽中，并且該文件可具有附加到該文件的尾部以便滿足JPEG漸進標準。例如，該尾部可以有虛擬數(shù)據(jù)，例如空掃描和圖像結(jié)尾(EOI)標記。被傳遞的實際數(shù)據(jù)可以是也可以不是JPEG漸進數(shù)據(jù)。例如，圖像表示可以包括待使用的JPEG漸進數(shù)據(jù)和其他輔助(或冗余)圖像數(shù)據(jù)，以便例如高效地計算圖像的縮減版本。根據(jù)第二方面，提供了一種服務器裝置，其包括用于執(zhí)行如上所述的方法步驟并與該服務器裝置關聯(lián)的部件。根據(jù)第三方面，提供了一種存儲裝置，其包括用于執(zhí)行如上所述的方法步驟并與該存儲裝置關聯(lián)的部件。根據(jù)第四方面，提供了一種包括軟件指令的計算機程序產(chǎn)品，當被下載到計算機上時，該軟件指令被配置為執(zhí)行如上所述的方法。該計算機程序產(chǎn)品可以存儲在非易失性計算機可讀存儲介質(zhì)中。該第二、第三和第四方面通常可以具有與第一方面相同的特征和優(yōu)點。根據(jù)以下詳細的公開、所附權利要求以及附圖，本發(fā)明的其他目標、特征和優(yōu)點將是顯而易見的。通常，權利要求中使用的所有術語都按照技術領域中其通常的意思進行解釋，除非另有明確表示。所有對于“一 / 一個/所述[元件、裝置、組件、部件、步驟等]”的引用都被開放地解釋為指代元件、裝置、組件、部件、步驟等的至少一個實例，除非另有明確表示。除非另有明確表示，否則本文中公開的任何方法的步驟不必按照所公開的具體順序來執(zhí)行。


現(xiàn)在將參考附圖以非限制性示例的方式更詳細地描述本發(fā)明的實施例，其中:圖1是根據(jù)一個實施例的系統(tǒng)的示意性圖示；圖2是根據(jù)一個實施例的裝置的示意性圖示；圖3是根據(jù)一個實施例的系統(tǒng)的示意性圖示；以及圖4是根據(jù)一個實施例的方法的流程圖。
具體實施例方式現(xiàn)在將在下文中參考示出特定實施例的附圖更全面地描述本發(fā)明。全文中相同的編號指代相同的元素。然而，本發(fā)明可以以許多不同的形式實現(xiàn)而不應被理解為限于本文所闡述的實施例；相反，這些實施例以示例的方式提供以使得本公開是徹底和完整的，并將本發(fā)明的范圍全面?zhèn)鬟f給本領域技術人員。已發(fā)現(xiàn)，對于例如已使用JPEG格式、JPEG漸進格式、SPIHT格式、JPEG2000格式、WebP格式、JPEG XR格式或任意類似格式進行壓縮并且將被顯示在小屏幕(例如移動電話的屏幕)上的圖像，通常僅需要取得針對特定目標尺寸的圖像文件的子集。目標尺寸通常依賴于以下參數(shù)，例如屏幕尺寸、顯示圖像的網(wǎng)頁尺寸和網(wǎng)頁上圖像的相對尺寸。通常期望的是，盡可能快地以特定視圖所需要的分辨率取得一組圖像(例如數(shù)字相冊中的圖像陣列)。根據(jù)已知的系統(tǒng)，請求數(shù)據(jù)的裝置請求完整的圖像文件。因而，通常在另一圖像的下一傳送可以開始之前傳送該整個圖像文件的數(shù)據(jù)(即使圖像使用漸進格式來壓縮)，或者傳送用于顯示超過其要求的分辨率的第一圖像的數(shù)據(jù)。然而，已發(fā)現(xiàn)，期望的是并行地獲取圖像陣列中所有圖像的漸進改進質(zhì)量，而不是串行地每次改進一個圖像的質(zhì)量。如下面將進一步公開地，這例如可以通過提議的對漸進圖像傳送的節(jié)流處理來實現(xiàn)，其中對特定圖像的傳送在已發(fā)送了所需的分辨率之后被暫停，直到所有其他圖像傳送請求已針對他們所要求的分辨率被滿足為止。所提議的實施例進而使各個客戶端能夠并行地并且因此基本同時地取得他們各自的圖像數(shù)據(jù)。如下面將進一步闡明地，在所要求的分辨率已被發(fā)送之后，所有會話可以繼續(xù)發(fā)送下一分辨率的掃描，暫停該掃描已被發(fā)送的會話直到所有掃描被發(fā)送為止，并且隨后發(fā)送接下來的掃描。上傳、下載和同步:所公開的實施例基于多媒體內(nèi)容的漸進和并行上傳和/或下載，具有中斷、恢復和接合(coalescence)功能。具體地，所公開的實施例提供了從存儲裝置向接收裝置上傳和/或下載多媒體數(shù)據(jù)以使得首先傳送(即上傳或下載)最相關的數(shù)據(jù)并且在以后的精化階段傳送(即上傳或下載)不大相關的數(shù)據(jù)的機制。通過這樣的方式，接收裝置將能夠早在已經(jīng)完整上傳或下載多媒體內(nèi)容之前提供多媒體內(nèi)容的預覽。圖1是根據(jù)一個實施例的客戶端裝置100的示意性圖示?？蛻舳搜b置100可以是計算機?？蛻舳搜b置100可以是個人數(shù)字助理(PDA)?？蛻舳搜b置100可以是移動電話?？蛻舳搜b置100通常包括電路，該電路被布置為執(zhí)行多個操作并且將在本文中按照功能模塊進行描述。一般而言，可以以各種方式實現(xiàn)功能模塊，例如通過對一個或多個可編程門陣列(FPGA)、專用集成電路(ASIC)等進行編程?？蛻舳搜b置100包括處理器功能模塊104，其可以實現(xiàn)為中央處理單元(CPU)和/或?qū)Ｓ脠D像處理單元，例如JPEG硬件加速器。該處理器還可以指代能夠計算的圖形處理單元(GPU)，例如OpenGL/OpenCL中的像素/片段著色器。圖像處理單元可以實現(xiàn)為包括一個或多個軟件組件的計算機程序產(chǎn)品，或用于圖像處理的專用硬件單元。軟件組件可以包括軟件指令，其在被下載到計算機上時被配置為執(zhí)行與處理單元關聯(lián)的指令?？蛻舳搜b置100進一步包括存儲器功能塊106，其可以實現(xiàn)為存儲器或計算機可讀存儲介質(zhì)，例如隨機存取存儲器(RAM)、只讀存儲器(ROM)、通用串行總線(USB)產(chǎn)品，例如存儲棒等等。客戶端裝置100進一步包括通信功能模塊108，其可以實現(xiàn)為接收器和發(fā)送器和/或收發(fā)器，尤其被配置為從人機接口(MMI)IlO功能模塊、另一通信裝置、計算機等接收輸入，并向其遞送輸出?？蛻舳搜b置100在操作系統(tǒng)102的管理下運行?？蛻舳搜b置100可以進一步包括圖像捕獲設備112，其可以實現(xiàn)為數(shù)碼相機等?？商鎿Q地，客戶端裝置100可以操作地經(jīng)由通信接口功能模塊108耦接至外部圖像捕獲裝置(未示出)。圖2示出其中可以應用所公開主題的實施例的通信系統(tǒng)200示例。在圖2的通信系統(tǒng)200中，可以在客戶端裝置100和諸如一個或多個另外的客戶端裝置202、本地裝置204、計算機208或服務器裝置206的其他裝置之間執(zhí)行各種數(shù)據(jù)服務，例如，蜂窩語音呼口q、www/wap瀏覽、蜂窩視頻呼叫、數(shù)據(jù)呼叫、傳真?zhèn)魉汀⒁魳穫魉?、靜態(tài)圖像傳送、視頻傳送、電子消息傳送、電子定位信息、多媒體內(nèi)容同步、多媒體內(nèi)容上傳和下載，以及電子商務。對于客戶端裝置100的不同實施例以及在有關通信系統(tǒng)200的操作條件的不同情況下，以上提及的數(shù)據(jù)服務中的不同數(shù)據(jù)服務可能可用也可能不可用?？蛻舳搜b置100、202被布置為經(jīng)由基站212、214通過射頻鏈路216、218可操作地連接到網(wǎng)絡210?；?12、214可操作地連接到網(wǎng)絡210。網(wǎng)絡210可以符合任意商用網(wǎng)絡標準，例如 GSM、UMTS, D-AMPS, CDMA2000、FOMA, TD-SCDMA, UDP、TCP、TCP/IP、IPv4、IPv6
坐寸ο網(wǎng)絡210可以是互聯(lián)網(wǎng)的集成部分。服務器裝置208可以是互聯(lián)網(wǎng)服務器，其具有數(shù)據(jù)存儲并可操作地連接到網(wǎng)絡210，就像計算機206 —樣。服務器裝置208可以是計算機云的一部分?，F(xiàn)在將參考圖1和2以及圖4的流程圖公開用于在存儲裝置和接收裝置之間同步多媒體內(nèi)容的方法。多媒體內(nèi)容可以涉及(數(shù)字化)圖像、(數(shù)字化)視頻、(數(shù)字化)聲音等等。服務器裝置208可以是網(wǎng)絡云的一員?？蛻舳搜b置100、102可以是移動電話等。典型地，鑒于服務器裝置208，客戶端裝置100、102可以具有受限的計算功能。典型地，客戶端裝置100、102可操作地經(jīng)由窄帶通信信道(諸如具有數(shù)據(jù)位率小于或等于1-2兆每秒的鏈路216,218)連接到服務器裝置208。應當指出，這里通過上傳和下載多媒體內(nèi)容的角色分別定義了存儲裝置和接收裝置，但是這些角色可以針對特定應用在特定裝置中改變。因此，客戶端裝置100、102和服務器裝置208可以選擇性地充當接收裝置或存儲裝置。例如，上傳內(nèi)容到服務器的移動電話對于該內(nèi)容而言可以作為存儲裝置的角色，而從服務器下載內(nèi)容的移動電話對于該(相同)內(nèi)容而言可以作為接收裝置的角色。類似地，從移動電話下載內(nèi)容的服務器可以作為接收裝置的角色，而上傳內(nèi)容到移動電話的服務器可以作為存儲裝置的角色。在步驟S02中，多媒體內(nèi)容在存儲裝置處被提供。多媒體內(nèi)容可以已被存儲裝置本身捕獲，例如通過部件112，該部件112例如為存儲裝置的靜態(tài)圖像相機電路、視頻相機電路和/或麥克電路。在步驟S04中，多媒體內(nèi)容被分成至少兩個包。在將多媒體內(nèi)容分成至少兩個包時，可以生成與多媒體文件關聯(lián)的包列表。該列表可以基于多媒體文件的包的進一步劃分和/或基于多媒體內(nèi)容的另一文件的劃分而被更新。該列表從而可以提供已被劃分的多媒體內(nèi)容的所有文件的(動態(tài))概覽以及與多媒體內(nèi)容的一(多)個文件關聯(lián)的所有包的概覽。通過訪問列表，可以容易地取得有關例如全尺度(full-scale)圖像的縮略版本的位置信息，從而有助于對縮略版本的便宜取得。列表還可以基于從存儲裝置到接收裝置的包傳輸而被更新，以便于容易的跟蹤以及關于傳送的包的進展信息。該列表還可以基于來自接收裝置和/或存儲裝置的指令而被生成。這些指令可以是靜態(tài)或動態(tài)的，并且可以(或可以不)利用關于實際多媒體內(nèi)容的信息。
典型地，多媒體內(nèi)容被存儲為幀序列，其中每幀包括多個信息數(shù)據(jù)位。信息數(shù)據(jù)位可以對應于多媒體內(nèi)容的已編碼和/或已壓縮的表示。每個包因而可包括多個這樣的幀。有利的是，多媒體內(nèi)容被劃分，使得單獨的幀沒有被劃分。在步驟S06中，至少兩個包被分成相關的包和(至少)一個不大相關的包。該分類基于至少兩個包中的諸如信息數(shù)據(jù)位的數(shù)據(jù)并通過使用相關性準則來確定。該相關性準則可依賴于多媒體內(nèi)容的結(jié)構(gòu)。因此，針對每種多媒體文件類型可以存在一組相關性準則。一種類型的相關性準則可以是多媒體內(nèi)容中的信息量。信息量可以通過使用熵方法進行測量，如 Cover, T.M.和 Thomas, J.Α.的 “Elements of Information theory” 第二版中所述，其通過引用合并于此。進一步地，多媒體內(nèi)容的縮減版本可以被視為比相同多媒體內(nèi)容的未縮減版本更相關。一般而言，相關性因此可以與多媒體內(nèi)容的縮減等級成比例。因此，經(jīng)過縮減的圖像可以被視為比較大的圖像(根據(jù)表示所述圖像所需的位和/或像素的數(shù)量)更相關。例如，4個64 X 64像素的圖像可以被視為比一個128 X 128像素的圖像更相關。因此，傳送(小的)縮略圖像比傳送用以構(gòu)造更高質(zhì)量圖像的其他數(shù)據(jù)(例如漸進精化掃描)具有更高的優(yōu)先級。相關性準則還可以與特定多媒體內(nèi)容已被訪問(在接收裝置和/或存儲裝置上)的次數(shù)關聯(lián)，例如圖像相冊中的圖像已被查看多少次。一個或多個存儲和/或接收裝置因而可以包括計數(shù)器電路，其被布置為對特定多媒體內(nèi)容已被訪問、查看和/或傳送多少次進行計數(shù)。相關性因而可以與多媒體內(nèi)容已被訪問的次數(shù)成比例。這種圖像相冊例如可以存儲在客戶端裝置100、102的存儲器106中、服務器208中、計算機206中、一個或多個另外的裝置204中。進一步地，在同步接收裝置和存儲裝置之間的多媒體內(nèi)容時，相關性應當以類似的方式計算，從而使客戶端-服務器同步和服務器-客戶端同步成為本質(zhì)上對稱的問題。進一步的相關性準則可以涉及訪問多媒體內(nèi)容的分辨率(如果被訪問則高相關性，如果沒有被訪問則低相關性)，基于圖像的多媒體內(nèi)容是否被變焦(zoom upon)(如果被變焦則高相關性，如果沒有被變焦則低相關性)，基于圖像的多媒體內(nèi)容是否成為搜索的主題和結(jié)果(如果被搜索則高相關性，如果沒有被搜索則低相關性)，多媒體內(nèi)容是否經(jīng)由諸如MMS、email、數(shù)字社交媒體應用等的應用而被請求或分享(如果被請求則高相關性，如果沒有被請求則低相關性)。相關性準則還可以涉及將呈現(xiàn)多媒體內(nèi)容的裝置的用戶接口的屬性或運用(handling)。例如，如果多媒體內(nèi)容用顯示在用戶接口上的圖標(例如縮略圖)來表示，則用戶接口可以被布置為執(zhí)行滾動動作，由此基于對以滾動動作方式對用戶交互的接收，當前顯示的第一組圖標被第二組顯示圖標替換(第二組可以與第一組部分重疊)。對于此用戶接口的相關性準則可以涉及滾動的速度(即用戶接口上第二子組替換第一子組的速度)。對于低滾動速度，與當前顯示的第一組圖標關聯(lián)的多媒體內(nèi)容被給予高相關性分數(shù)，而與當前沒有顯示的第二組圖標關聯(lián)的多媒體內(nèi)容被給予比該高相關性分數(shù)低的相關性分數(shù)。對于高于低滾動速度的滾動速度，相關性分數(shù)對于整組多媒體內(nèi)容而言是相等的。相關性準則因此可以取決于多媒體內(nèi)容的分組、排序或空間關系。例如，相關性準則可以進一步被給做特定圖標與當前顯示的第一組圖標的距離函數(shù)；距離越大，該特定圖標的相關性越低。因此，整組多媒體內(nèi)容的相關性分數(shù)可以取決于當前顯示或被訪問的多媒體內(nèi)容。屬性還可以取決于與用戶接口的用戶交互。例如，第一用戶可具有在訪問一組多媒體內(nèi)容時經(jīng)常執(zhí)行慢滾動速度的趨勢，而訪問相同多媒體內(nèi)容的第二用戶則可能具有在訪問同一組多媒體內(nèi)容時經(jīng)常執(zhí)行以比慢速度更快的速度的滾動的趨勢。這種用戶交互的行為可以被存儲為用戶交互模式。帶有涉及用戶交互模式的信息的一個或多個用戶簡檔因而可以存儲在客戶端裝置100、102的存儲器106中、服務器208中和/或計算機206中。用戶模式的示例是特定用戶多頻繁地對代表多媒體內(nèi)容的圖像執(zhí)行放大操作。因此，雖然特定圖像可以與少量的平均放大操作關聯(lián)(并且因此根據(jù)以上關于縮放的公開被視為不大相關)，但是如果還考慮到關于操縱該特定圖像的特定用戶的信息，則該特定圖像可以達到更高的相關性分數(shù)?；诙嗝襟w內(nèi)容的分組、排序或空間關系的相關性準則可以同樣地獨立于多媒體內(nèi)容是否被顯示在用戶接口上。分組、排序或空間關系還可以基于多媒體內(nèi)容文件之間的關系，基于多媒體內(nèi)容文件捕獲的時間和/或地點。例如，如果在特定時間和/或地點捕獲的第一多媒體內(nèi)容文件被給予特定的相關性分數(shù)，在時間和/或地點上離該特定時間和/或地點預定距離內(nèi)捕獲的第二多媒體內(nèi)容文件，該第二多媒體內(nèi)容文件可以繼承第一多媒體內(nèi)容文件的相關性分數(shù)。由此，可以同步第一多媒體內(nèi)容文件和第二多媒體內(nèi)容文件的不同包的傳送。時間上的預定距離例如可以是一分鐘、一小時或在相同的日歷日期間，并且地點上的預定距離可以是10米、100米或1000米。因此，根據(jù)上述內(nèi)容，相關性分數(shù)可以取決于例如當前被顯示、訪問和/或傳送的是哪組多媒體內(nèi)容而被動態(tài)地改變。相關性準則也可以取決于例如不同用戶模式和/或與在其上傳送多媒體內(nèi)容文件的通信網(wǎng)絡有關的傳輸屬性而被動態(tài)地修改。例如，基于用戶訪問特定文件夾(其中圖像文件是特定相冊的一部分)中的第一多媒體內(nèi)容文件(例如查看圖像文件)，相同文件夾中的其他多媒體內(nèi)容文件可以使他們的相關性分數(shù)增加。類似地，基于檢測到用戶已停止訪問第一多媒體內(nèi)容文件，所述相同文件夾中的其他多媒體內(nèi)容文件的相關性分數(shù)可被降低。單個包的相關性準則還可以基于通信網(wǎng)絡檢測到有關該包的分組丟失而被提高。進一步地，相關性可以取決于以下方面:基于圖像的多媒體內(nèi)容的亮度(如果是“亮”圖像則相關性高，如果是“暗”圖像則相關性低)，多媒體內(nèi)容被生成和/或上次被訪問的日期(多媒體內(nèi)容被生成和/或訪問的時間越近，相關性越高)，基于圖像的多媒體內(nèi)容中描繪的人的數(shù)量(人數(shù)越多，相關性越高)，與多媒體內(nèi)容關聯(lián)的元數(shù)據(jù)(例如Exif數(shù)據(jù))的數(shù)量和/或類型(元數(shù)據(jù)或特定類型的元數(shù)據(jù)越多，相關性越高)，與先前發(fā)送的多媒體內(nèi)容之間的相似度(相似度越高，相關性越高)。鑒于以上內(nèi)容，相關性可以根據(jù)縮放量、搜索數(shù)量、請求數(shù)量、圖像中的人數(shù)、元數(shù)據(jù)的數(shù)量等進一步被區(qū)分成多個中間相關性等級(從高相關性到低相關性)。相關性準則可以同樣應用于不同的多媒體內(nèi)容文件，以便不僅排列特定多媒體內(nèi)容文件中的包的優(yōu)先級而且還排列一個多媒體內(nèi)容文件在另一個多媒體內(nèi)容文件上的優(yōu)先級。因此，可以發(fā)現(xiàn)生成特定多媒體內(nèi)容或圖像片段的相關性分數(shù)的表達，并且該表達確定了對于所述特定多媒體內(nèi)容而言待傳送的包的數(shù)量?？紤]以下非限制性示例。根據(jù)該示例，多媒體內(nèi)容代表圖像數(shù)據(jù)。假設多媒體內(nèi)容已被分為以下部分:“包I”代表16X16像素大小的縮略像?！鞍?”代表64X64像素大小的縮略像?！鞍?”- “包6”代表與接收裝置的屏幕尺寸對應的大小相當?shù)臐u進圖像數(shù)據(jù)?！鞍黇’- “包8”代表與圖像數(shù)據(jù)的全尺寸版本對應的大小相當?shù)臐u進圖像數(shù)據(jù)。進一步假設包傳送應當按執(zhí)行次序遵守以下打包規(guī)則:所有的包都應當按照排列了優(yōu)先級的多媒體文件順序來打包，并且排列了優(yōu)先級的多媒體文件應當被傳送，直到“包5”，每次一個多媒體文件，并從與排列了最高優(yōu)先級的多媒體文件關聯(lián)的包開始。進一步地，如果不存在急需的關鍵包，則按照多媒體文件相關性順序傳遞“包6”和“包7”，否則只傳遞“包6”。如果沒有明確請求，則從不傳遞“包8”。用于達到以上目標的按多媒體文件和包的可行的相關性準則因此可以被制定如下。(全局)相關性分數(shù)或計分函數(shù)例如可以被表達為:總分數(shù)=文件分數(shù)+包分數(shù)，其中“包I” - “包8”具有以下包分數(shù):“包 I": 10.000.000.000“包 2”: 9.000.000.000“包 3”: 8.000.000.000“包 4”: 8.000.000.001“包 5”: 8.000.000.002“包 6”: 8.000.000.003“包 7”: 7.000.000.000“包 8 ”: 6.000.000.000，并且其中每個文件的文件分數(shù)是相對于其他文件乘以10的相關優(yōu)先級(并且其中最大優(yōu)先級小于10.000.000)。換言之，具有高優(yōu)先級的包被給予高的分數(shù)。如本領域技術人員所理解的，存在不同的方式來劃分多媒體內(nèi)容，并且可以存在不同的打包規(guī)則和計分函數(shù)，它們在所公開的主題的范圍內(nèi)同樣是可能的。例如，假設多媒體內(nèi)容的兩個文件“文件I”和“文件2”被提供有如下文件分數(shù):“文件I”:540，“文件2”:650。則對于“文件I”和“文件2”的每個包的參數(shù)總分數(shù)將是:“包 1:1” 10.000.000.540“包 1:2 ” 9.000.000.540“包 1:3 ” 8.000.000.540“包 1:4” 8.000.000.541“包 1:5”8.000.000.542“包 1:6 ” 8.000.000.543“包 1:7 ” 7.000.000.540“包 1:8 ”: 6.000.000.540“包 2:1”: 10.000.000.650“包 2:2 ”: 9.000.000.650“包 2:3 ”: 8.000.000.650“包 2:4 ”: 8.000.000.651“包 2:5 ”: 8.000.000.652
“包 2:6 ”: 8.000.000.653
“包 2:7 ”: 7.000.000.650“包 2:8 ”: 6.000.000.650其中“包j:k”是文件號j的包編號k。因此，以相關性降序安排所有包將給出以下打包順序:I) “包 2:1”2) “包 1:1 ”3) “包 2:2”4) “包 1:2”…16) “包 1:8”。因此結(jié)果是，所述特定多媒體內(nèi)容可以以低分辨率、中分辨率或高分辨率來傳輸。由于多媒體內(nèi)容存儲格式的漸進性質(zhì)，通過傳輸更多的包來從低到中以及從中到高地增加所述特定多媒體內(nèi)容的分辨率是可行的。在步驟S08中，將相關包從存儲裝置傳送到接收裝置。因此，多媒體內(nèi)容以這樣的方式從存儲裝置上傳/下載到接收裝置:多媒體內(nèi)容是漸進和并行而非串行地上傳。接收裝置進而接收該相關包。接收裝置可以隨后存儲該相關包。如以下將進ー步描述的，接收裝置可以隨后訪問包的內(nèi)容，例如通過解包、解碼和/或解壓縮包。為了這樣做，接收裝置可以訪問輔助數(shù)據(jù)，例如本文 中公開的報頭或標記信息。然而，同樣可能的是，使得接收裝置能夠訪問一個或多個包而無需這種輔助數(shù)據(jù)。報頭和/或標記信息還可以使包能夠在特定的傳輸信道上從存儲裝置傳送到接收裝置，其中，傳輸信道通過報頭和/或標記信息來指定。例如，可以在兩個或更多個并行TCP信道(或流)上傳送包。這使得能夠在具有高傳送速率(和/或成本)的傳輸信道上發(fā)送具有高相關性分數(shù)的包，而在具有低于高傳送速率的較低傳送速率(和/或成本)的傳輸信道上發(fā)送相關性分數(shù)低于該高相關性分數(shù)的包。從而可以允許針對不同的包使用不同的傳輸信道的不同包的并行傳送。結(jié)合圖2公開了不同傳輸信道的示例。報頭可以包括有關存在標記的信息。因而，基于對包含報頭的包的解碼，接收裝置能夠首先識別是否使用了標記，并且其次識別所使用的標記的結(jié)構(gòu)。以下將提供不同標記的結(jié)構(gòu)示例。還可以在子報頭中提供報頭信息。該子報頭可以提供有關包的內(nèi)容、包的編碼、包的壓縮、包的加密和/或內(nèi)容相對于多媒體內(nèi)容(整個)文件的位置的信息。每個包都可以有其自己的子報頭?？商鎿Q地，對代表相同類型內(nèi)容的包的每個收集都可以具有共同的子報頭。該內(nèi)容可以涉及多個JPEG圖像的共同掃描。按照有關包的壓縮的信息，標記和/或子報頭可以提供有關壓縮參數(shù)的信息。這使得壓縮參數(shù)能夠從第一組包到第二組包到第三組包等的動態(tài)改變。每組包都可以包括單個包。標記和/或子報頭例如可以提供有關包組的壓縮/量化方案中使用的壓縮/量化表的信息。例如，可以有利地在報頭提供有關被使用的壓縮/量化表的信息，該報頭對于整個多媒體內(nèi)容文件是共同的，同時在所述具體包組的子報頭(或標記)中提供有關用于該具體包組的這些壓縮/量化表中的哪個被使用的信息。下面將描述可以包括在報頭或子報頭中的進ー步信息。當(在任意方向)傳送多媒體內(nèi)容時，有利的是對分組和/或包中類似相關性的多個元素進行分組，以便在傳送期間使用較少的位開銷。這種對元素的分組可能要求使用多個處理器核或CPU進行并行計算。如上所述，有利的是首先上傳在主觀認知質(zhì)量方面形成較大影響的多媒體數(shù)據(jù)。可以借助額外的包相繼上傳不大重要的剰余部分。在步驟SlO中，相關性準則因而可以用來按相關性降序?qū)χ辽僖粋€不大相關的包進行排序。在實際環(huán)境中，可以存在多個不大相關的包。因而，多媒體內(nèi)容可以首先被分成一個相關的包和一個不大相關的包，井隨后該不大相關的包可以進而被分成(原始的一個不大相關包的)一個相關的包和(原始的一個不大相關包的)一個不大相關的包。進ー步地，在步驟S12中，可以隨后根據(jù)該排序?qū)⑹Ｓ嗟闹辽侃`個不大相關的包從存儲裝置傳送到接收裝置?；趯κＳ嘀辽侃`個不大相關的包的接收，接收裝置可以通過解包、解碼和/或解壓縮所有接收到的包來將所有接收的包裝配成ー個或多個多媒體文件。上傳操作的粒度可受限于用于上傳的傳輸容器和服務器存儲?；趯ψ詈蟮陌慕邮眨邮昭b置可以被布置為向存儲裝置發(fā)送已接收并存儲完整的多媒體內(nèi)容文件的確認消息，以使得存儲裝置可以釋放該文件，并且設置已發(fā)送的完整包的優(yōu)先級為O。相應地，如果包丟失，則可以例如通過動態(tài)地増加相關性分數(shù)來提高所關聯(lián)的優(yōu)先級地重新發(fā)送包。根據(jù)進行哪些傳送，上傳和/或下載處理通常可以具有ー組規(guī)則。這樣的規(guī)則可以取決于參與上傳和/或下載處理的連接類型、傳輸成本和便攜設備的電池壽命(或充電)。這些規(guī)則可以確定何時傳送信息位、發(fā)送什么信息位以及發(fā)送多少信息位。在多媒體內(nèi)容代表兩個或更多個單獨多媒體內(nèi)容文件的情況下，有利的是在上傳任何不大重要部分之前，上傳每個多媒體內(nèi)容文件的ー個或多個重要部分。具體地，當多媒體內(nèi)容代表至少兩個多媒體文件并且當這至少兩個多媒體文件中的每個都被劃分并分類成各自的相關包和至少ー個不大相關的包時，可以在傳送至少ー個不大相關的包中的任一個之前，在所述步驟S12中傳送相關包中的每ー個相關包。進ー步地，可能發(fā)生的是需要中斷上傳/下載處理。在恢復上傳/下載處理之前，可能發(fā)生的是在存儲裝置處提供了也需要被上傳或下載的新的多媒體內(nèi)容。因此，多媒體內(nèi)容可以代表第一和第二多媒體文件并且該第一和第二多媒體文件姆個都被劃分和分類成各自的相關包和至少ー個不大相關的包。在這樣的情況下，當在已傳送第一多媒體文件的至少ー個不大相關的包中的至少ー個之后提供了該第一和第二多媒體文件的第二個時，在傳送第一多媒體文件的剰余的至少ー個不大相關的包之前，可以在所述步驟S14中傳送該第二多媒體文件的相關的包。上傳/下載的內(nèi)容可能必須被轉(zhuǎn)碼成中間格式以便利系統(tǒng)中其他裝置的快速訪問。這樣的中間格式可以根據(jù)可用內(nèi)容的數(shù)量而隨時間改變。存儲裝置可能需要將多媒體內(nèi)容的數(shù)據(jù)轉(zhuǎn)碼成漸進流(例如從基線JPEG數(shù)據(jù)到漸進JPEG數(shù)據(jù)，或者在其他格式之間轉(zhuǎn)碼，例如JPEG2000、WebP以及JPEG XR)。這可以利用合適的例如在處理單元104中實現(xiàn)的轉(zhuǎn)碼器來高效地執(zhí)行(例如JPEG漸進轉(zhuǎn)碼器)。例如，對于圖像而言，使用頻譜選擇而無需連續(xù)精化的漸進格式可能是合適的?？商鎿Q地，存儲裝置可以提前準備具有不同分辨率的多媒體內(nèi)容文件的獨立版本(例如像素大小為16X16、64 X 64,256 X 256、1024 X 1024,4096 X 4096像素的圖像)，并且其中，按照從最低分辨率到最高分辨率的順序傳送多媒體內(nèi)容文件。在此情況下，除具有最低分辨率的文件之外的所有文件都包括相較于先前傳送的文件的冗余數(shù)據(jù)。進ー步地，還是在圖像環(huán)境中，可以使用掃描以使得可生成原始圖像的合適的2次冪縮減。可以在發(fā)送所有AC系數(shù)之前發(fā)送所有的DC系數(shù)。進ー步地，可以在發(fā)送色度AC系數(shù)之前發(fā)送所有亮度AC系數(shù)。同樣，可以將進一歩的壓縮添加到將被傳送的掃描，這取決于所期望的傳輸質(zhì)量。因此，可以存在呈現(xiàn)所接收的包的不同方式，不管這些包是否代表圖像數(shù)據(jù)。根據(jù)第一通常示例，首先訪問將被讀取的幀中的包的長度。該信息可以在本文中公開的輔助數(shù)據(jù)中(例如報頭或標記信息中)找到。然后讀取根據(jù)第一長度信息的第一包(其中第一長度信息對應于第一包的長度)。隨后第一包被解碼和/或壓縮。然后可以過濾第一包的數(shù)據(jù)(這涉及一個或多個縮放和/或平滑化操作)。然后可以在接收裝置上顯示(過濾的)第一包的數(shù)據(jù)。然后讀取根據(jù)第二長度信息的第二包(其中第二長度信息對應于第二包的長度)。這可以在解碼、解壓、過濾和/或顯示第一包時發(fā)生。隨后，對第二包進行解碼和/或解壓縮。這可以在過濾和/或顯示第一包時發(fā)生。然后可以過濾第一包的數(shù)據(jù)(這涉及ー個或多個縮放和/或平滑化操作)。這可以在顯示第一包時發(fā)生。然后可以在接收裝置上顯示(過濾的)第二包的數(shù)據(jù)，對于剰余的接收包依次類推。根據(jù)第二通常示例，連續(xù)地讀取包流?；诶缤ㄟ^使用包長度或位置或標記列表，或者通過具有預定長度的包(其在本文中可以包括在所公開的輔助數(shù)據(jù)中)對包已被讀取的檢測，每個讀取的包可以被解碼、解壓縮、過濾和/或顯示。對于第一通常示例和第二通常示例二者，包可以包括來自多于一個單獨多媒體內(nèi)容文件的數(shù)據(jù)。數(shù)據(jù)的顯示可以包括在接收裝置的屏幕上的不同位置顯示多媒體內(nèi)容的單獨文件。根據(jù)以上內(nèi)容，接收裝置將保持多媒體內(nèi)容的不完整版本(例如不完整的JPEG漸進圖像)，可替換地，具有與之關聯(lián)的額外元數(shù)據(jù)。針對多媒體內(nèi)容使用漸進格式的ー個理由是，它可以直接附加傳入的數(shù)據(jù)。例如，可以包括元數(shù)據(jù)以用來提供當前包位于包流中何處的信息。這樣的元數(shù)據(jù)可以包括系數(shù)索引以及宏塊或數(shù)據(jù)單元索引。利用這種系數(shù)索引以及宏塊或數(shù)據(jù)單元索引，可以獲得有關原始多媒體文件的多少信息已被傳輸?shù)男畔?。這兩個參數(shù)還可以用來給出進度估計，而不是依賴于待傳輸?shù)亩嗝襟w內(nèi)容的文件尺寸，因為文件尺寸本身并不傳遞關于實際已傳輸原始多媒體文件的多少數(shù)據(jù)的信息。還可以在多媒體文件的包的末端附加尾部，以使原始多媒體文件是漸進的，使得可以利用允許漸進文件格式的任意應用來打開。進ー步地，如果上傳/下載處理被中斷，則接收裝置和/或存儲裝置可附加這樣的尾部以使多媒體內(nèi)容符合多媒體內(nèi)容的文件格式。例如，接收裝置可以存儲有關流在多媒體文件中的何處停止的元數(shù)據(jù)，以使得將來可以恢復。在接收裝置處保持多媒體內(nèi)容的漸進可解碼版本，以及能夠遞送任意尺寸的縮略圖的要求，可能需要另外的考慮。具體地，在多媒體內(nèi)容已被上傳到接收裝置后，另ー接收裝置可請求按請求的大小下載該多媒體內(nèi)容。接收裝置因而可保持靜態(tài)的冗余數(shù)據(jù)，以使得系統(tǒng)可以針對任意種類的接收裝置很好地進行縮放。服務器裝置208因而可以被布置為實時遞送所存儲的多媒體內(nèi)容的縮減版本，即所謂的現(xiàn)場縮減。這也被稱為按需縮放。為了在這方面成功，縮減必須是高效的以使得開銷可被忽略。為了達到此目的，可以采用多核技術來執(zhí)行縮減中涉及的操作。
以上公開的操作可以要求對多媒體內(nèi)容的快速操控，例如隨機訪問功能。為了進一歩的便利于此，可以使用不同的高速緩存級別。圖3示出包括客戶端裝置100、服務器裝置208和內(nèi)容遞送網(wǎng)絡300的通信系統(tǒng)。內(nèi)容遞送網(wǎng)絡300可以是圖2的通信系統(tǒng)200的網(wǎng)絡210的一部分。服務器設備208中提供了至少ー個本地高速緩存302 ;在內(nèi)容遞送網(wǎng)絡210服務中也存在至少ー個高速緩存304，以及客戶端裝置100自身中也提供了至少ー個高速緩存306。為了實現(xiàn)隨機訪問，可以分析多媒體內(nèi)容，并且促進快速操控多媒體內(nèi)容的特征被存儲在(相應的)ー個或多個多媒體內(nèi)容文件中，臨時存儲在高速緩存存儲器中，或者作為條目存儲在數(shù)據(jù)庫中，數(shù)據(jù)庫中的條目可以指代多媒體內(nèi)容文件。當在多個處理器核或CPU上執(zhí)行現(xiàn)場操作時，諸如對圖像的縮放或操控，期望的是，管理操作的服務器方具有足夠的容量來最低限度地保持將被操作的傳入的數(shù)據(jù)隊列。這需要過多的容量，因為傳入的請求的性質(zhì)很可能不是連續(xù)的而是具有其他靜態(tài)屬性。因而，期望的是，實現(xiàn)現(xiàn)場服務的系統(tǒng)還被配置為執(zhí)行其他更低優(yōu)先級的任務，該任務可以在任何時候被暫停，以使得該過多容量被合適地利用。這樣的任務可以包括但不限于有關尺寸或質(zhì)量的進ー步的圖像優(yōu)化操作，或者用于實現(xiàn)高效分類、標記和/或搜索圖像的元數(shù)據(jù)提取的圖像分析。為了進一歩促進傳送，漸進格式可以包括頭部信息，其提供有關ー個或多個漸進精化掃描的開始位的位置的信息(例如索引)。該ー個或多個漸進精化掃描典型地被視為不大相關的包。該報頭信息優(yōu)選地僅存在于第一個被傳輸?shù)陌小Ｒ虼?，単獨從報頭提供了有關漸進精化掃描的結(jié)構(gòu)的信息。從而可以輕易地訪問任意漸進精化掃描。報頭信息可以包括指向所有圖像塊的DC系數(shù)的指針，從而使得能夠生成縮略圖像?？商鎿Q地，報頭信息可以包括DC系數(shù)自身。同樣，報頭信息可以包括指向圖像塊的至少第一 AC系數(shù)的指針。這種報頭信息可以在以上所述的節(jié)流處理中被利用，以便決定待傳輸?shù)膾呙柙谀睦镩_始和結(jié)束(即，無需分析整個文件)。用于分析、提取和存儲有關圖像的這些特征的一系列方法在Scalado AB的專利申請W02005/050567、SE0303085-5和SE0303204-2中被描述，通過引用將其全文合并于此。為了提取促進圖像的快速操控的特征，這些特征可以在ー個或多個目標圖像和/或源的壓縮期間被提取，或者這些特征可以在已壓縮圖像的后壓縮分析期間被提取。在使用基線JPEG壓縮或者諸如漸進JPEG壓縮的類似壓縮方法來壓縮多媒體內(nèi)容的情況下，便利對取得和存儲的圖像進行快速操控的特征可以是以下項的任意ー個或任意組合:最小編碼單元(MCU)指示器，MCU是圖像的最小圖像塊；一個或多個數(shù)據(jù)単元(DU)的指示器，數(shù)據(jù)單元是代表以下信息的數(shù)據(jù)塊=MCU的一個信道或顔色分量、所取得的MCU和/或所取得的數(shù)據(jù)單元的一個或多個顏色分量的一個或多個絕對或相對DC系數(shù)、一個或多個數(shù)據(jù)單元的位數(shù)(就是所謂的DU長度)，或者數(shù)據(jù)單元之間的位數(shù)，或者數(shù)據(jù)單元的具體系數(shù)之間的位數(shù)。因為需要以各種尺度提取和/或分析特征，所以這些技術可以用來高效地執(zhí)行這樣的數(shù)據(jù)提取。如上所述，可以在編碼位流中引入一個或多個標記(本文以字母M表示)以便于訪問特定的傳輸位幀、MCU等。標記M可以是具有已知的填充模式的JPEG標記，其后面跟著序列FF (其中FF是16進制符號)和不等于00 (16進制符號)的字節(jié)，并且其中填充模式唯一地確定填充位的數(shù)量(即，通過觀察序列FF之前的字節(jié)可以唯一地確定填充位的數(shù)量)。
如果待發(fā)送的多媒體內(nèi)容的文件代表JPEG圖像，并且文件的JPEG壓縮方案利用相同的霍夫曼表和量化表，則FFxx (其中XX是不等于0的字節(jié))形式的標記M可以具有如下結(jié)構(gòu):<帶有其后為I位的單個0位的位流填充，直到與字節(jié)邊界對齊為止><帶有I位的位流填充直到與下一字節(jié)邊界對齊為止><帶有額外I個I位或非全0位序列的位流填充>因此，在ニ進制符號中，對于具有8位的字節(jié)可以表示為:xxxxxxxO 11111111 lxxxxxxxxxxxxxO 11 111111111 lxxxxxxxxxxxxOllI 111111111lxxxxxxxxxxxOlllI 111111111lxxxxxxxxxxOllllI 111111111lxxxxxxxxxOlllllI 11111111 IlxxxxxxxxO 111111 I 11111111 I lxxxxxxx01111111 I 11111111 Ilxxxxxxx其中，“I”代表字節(jié)邊界，并且每個X代表可以為0或I的數(shù)據(jù)位。這不同于JPEG中的缺省標記FFOO。OOxx形式的標記M可以具有以下結(jié)構(gòu):<帶有其后為0位的單個I位的位流填充直到與字節(jié)邊界對齊為止><帶有0位的位流填充直到與下一字節(jié)邊界對齊為止><帶有另外的ー個0位或非全I位序列的位流填充>因此，在ニ進制符號中為:xxxxxxx11 00000000|OxxxxxxxxxxxxxlOI 00000000|OxxxxxxxxxxxxlOOI 00000000|OxxxxxxxxxxxlOOOI 00000000|OxxxxxxxxxxlOOOOI 00000000|Oxxxxxxxxxl00000I 00000000|OxxxxxxxX1000000I 00000000|Oxxxxxxx10000000 I 00000000|Oxxxxxxx此外，F(xiàn)Fxx (或OOxx)形式的標記可以用于將額外的數(shù)據(jù)(S卩，輔助信息序列)編碼成標記之后的預定數(shù)量的位的位流中的目的。例如，以下結(jié)構(gòu)(以ニ進制符號)允許信息分別被編碼成三位Ill (其中Ill不等于000):xxxxxxxOI 111111111yyyxxxxxxxxxxxO11111111111yyyxxxxxxxxxxOllI 11111111|yyyxxxxxxxxxOlllI 11111111|yyyxxxxxxxxOllllI 11111111|yyyxxxxxxxOlllllI 11111111 yyyxxxxxxOllllll I 11111111 yyyxxxxx
011111111 11111111|yyyxxxxx或者(在yyy不等于111的情況下，即，其中預定位yyy中的至少ー個等于I)xxxxxxx11 00000000|yyyxxxxxxxxxxxlOI 00000000|yyyxxxxxxxxxxlOOI 00000000|yyyxxxxxxxxxlOOOI 00000000 yyyxxxxxxxxlOOOO I 00000000 yyyxxxxxxxlOOOOO I 00000000 yyyxxxxxxlOOOOOO I 00000000 yyyxxxxx10000000 I 00000000 yyyxxxxx本領域技術人員所理解的，序列yyy的長度不限于3位而是可以選擇不同的位。位序列yyy可以指示所需標記之后的字節(jié)數(shù)，以便在顯示器上呈現(xiàn)一部分圖像。還可以將位(或字節(jié))數(shù)指示給下ー個或前ー個標記。標記M的結(jié)構(gòu)還可以被反轉(zhuǎn),從而形成xxFF或xx00形式的標記(其中xx是不等于0的字節(jié))。標記M的一個示例具有以下結(jié)構(gòu):<帶有單個I位的位流填充><帶有0位的位流填充直到與字節(jié)邊界對齊為止><帶有I位的位流填充直到與下一字節(jié)邊界對齊為止>xxxxxxxl|llllllll|xxxxxxxxxxxxxxlO I 111111111 xxxxxxxxxxxxxlOOI 111111111xxxxxxxxxxxxlOOOI 111111111xxxxxxxxxxxlOOOOI 111111111xxxxxxxxxxlOOOOOI 111111111xxxxxxxxxlOOOOOOI 111111111xxxxxxxx10000000 I 111111111xxxxxxxx該標記因此成為xxFF，其中xx是不等于0的字節(jié)。在位流包括等于填充模式字節(jié)之后的預定位序列的已存在序列的情況下，可以要求所謂的非標記(non-marker)也被插入到代表多媒體內(nèi)容的位流中，以便區(qū)別“自然出現(xiàn)的”標記序列和“真正的”標記。“自然出現(xiàn)”的標記序列可以用非標記來進行標記。本示例的非標記因此成為00FF。因此，00應當被插在每個自然出現(xiàn)的FF序列之前。在JPEG環(huán)境下，xxFF形式的標記可以要求在引入標記M之前將位流中出現(xiàn)的FF00切換成00FF。如果不同的非標記是用戶，例如FFFF，S卩，針對自然出現(xiàn)的FF，在FF之前插入FF。因此，標記的另ー不例為:xxxxxxxOI 111111111xxxxxxxxxxxxxxO11 111111111xxxxxxxxxxxxxO 111 111111111 xxxxxxxxxxxxOlllI 11111111|xxxxxxxxxxxO11111 111111111xxxxxxxx
xxOlllllI 11111111|xxxxxxxxxOllllllI 11111111|xxxxxxxx011111111 11111111|xxxxxxxx可以通過將I顛倒為O (反之亦然)以形成類型xxOO (其中0000是非標記)的標記來形成可替換的標記: xxxxxxxlI 00000000|xxxxxxxxxxxxxxlOI 00000000|xxxxxxxxxxxxxlOOI 00000000|xxxxxxxxxxxxlOOOI 00000000 XXXXXXXXxxxlOOOOI 00000000 XXXXXXXXxxlOOOOOI 00000000 XXXXXXXX
xlOOOOOOI 00000000 XXXXXXXX10000000 I 00000000 XXXXXXXX0和I的対稱性從以上提供的標記結(jié)構(gòu)可被理解，并且根據(jù)以上內(nèi)容，本領域技術人員能夠形成類似的標記。技術人員還理解，盡管以上公開的標記在緊接在包括填充模式的字節(jié)之后的字節(jié)中包含全0位或全I位序列，但是該字節(jié)可以包括任意預定的位序列。例如，對于5位的“字節(jié)尺寸”，作為對包含00000或11111的替代，該字節(jié)可以包括預定的序列10110等。因此，還應理解，“字節(jié)尺寸”不必為8位，而是可以更小或更大。例如，可以使用3位的“字節(jié)尺寸”，其中非標記將是000|111并且標記具有如下結(jié)構(gòu):xxxxxxxlI 1111xxxxxxxxxxxxxxlOI 1111xxxxxxxxxxxxxlOOI 1111xxxxxxxx甚至更通常的標記可以具有以下結(jié)構(gòu)之一:或者為〈任意填充>M〈描述填充量的位序列，不是全0>，其中M優(yōu)選地是十六進制符號的FF，或者為〈任意填充>M〈描述填充量的位序列，不是全1>，其中M優(yōu)選地是十六進制符號的00。接下來跟隨的是具有這些結(jié)構(gòu)的標記的示例。對于所有示例，任意填充是100100 (ニ進制符號)。根據(jù)第一示例，描述填充量的位序列描述了完整的填充模式:…IxxIOOIOOI 111111111 “完整填充模式為 10100100” xx 卜.
根據(jù)這些類型標記的第二示例，描述填充量的位序列描述了先前的填充:…|xxl00100|11111111 “當前填充為 100100” xx 卜.
根據(jù)這些類型標記的第三示例，描述填充量的位序列描述了先前的填充中的位數(shù):…IxxIOOIOOI 11111111 “當前填充為 6 位” xx | …根據(jù)這些類型標記的第四示例，描述填充量的位序列是空的(并且在十六進制形式中不等于00的xxxxxxxx):…IxxlOOlOOI 111111111xxxxxxxx|… 對于第四示例，可能會或可能不會對標記之前的位正確地解碼(在此情況下，標記是十六進制符號的FF)。這取決于所使用的實際壓縮方案。該類型的標記因此在以下情況下是有利的:標記之前的位代表低重要性的數(shù)據(jù)，例如，最不重要的位和/或JPEG環(huán)境中的AC系數(shù)。
以上公開的標記可以用在這樣的位流中，其中已根據(jù)以下說明性示例對圖像“圖像I”和“圖像2”進行編碼，其中來自至少兩個圖像的掃描(即代表諸如較高頻率的増加分辨率信息的位)可以以高效的方式進行交織，繼續(xù)進行下ー個掃描，以此類推，從而允許接收裝置將單獨的圖像發(fā)送到分離的流(導致文件或?qū)獯a器的輸入等)而無需理解單獨圖像自身的打包或壓縮。示例 く代表320X240像素的“圖像I”的DC值的位>M〈代表256X256像素的“圖像2”的DC值的位>M〈…>M〈代表320X240像素的“圖像I”的第一和第二 AC值的位>M<代表256X256像素的“圖像2”的第一和第二 AC值的位>M〈...〉Mく代表320X240像素的“圖像I ”的第三至第五AC值的位>M〈代表256 X 256像素的“圖像2”的第三至第五AC值的位>M〈…〉M。接收裝置知曉三個圖像正在被傳送。它接收流并將其與第一流關聯(lián)直到識別第一標記為止。通過分析標記周圍的填充，接收裝置能夠確定有多少位應當從所接收的位流中被刪除，因為填充不是數(shù)據(jù)本身的一部分。接收裝置隨后能夠?qū)⒔酉聛淼奈慌c第二流關聯(lián)，直到識別第二標記為止，并且以相似的方式確定有多少位應當從所接收的位流刪除。重復該過程直到接收第三標記為止。在第三標記之后，第三標記之后的位可以被附加到第一流，并且可以重復該過程直到接收了所有數(shù)據(jù)為止。一旦標記已被接收，還可以將信號傳送到另一子系統(tǒng)，以通知已經(jīng)接收新的完整信息集合。通過這樣的方式，子系統(tǒng)例如可以通知顯示子系統(tǒng)其可以以相較于當前顯示的數(shù)據(jù)稍高的質(zhì)量數(shù)據(jù)重新呈現(xiàn)圖像之一。可以通過在查找表中執(zhí)行查找來實現(xiàn)對填充的確定，其中已預先計算填充模式的所有組合，得到用于所使用的“字節(jié)尺寸”(例如8位、16位、4位、7位等)的尺寸的任意查找的多個位。確定填充的另一方式是根據(jù)標記類型在填充自身的位模式上進行分析，對前導或后續(xù)的0或I計數(shù)直到遇到I或0為止。雖然已在圖像壓縮環(huán)境中公開了以上標記，但是標記通常允許具有通常文件格式的通常文件內(nèi)容的分離，以使得文件的內(nèi)容可以被分成分離的文件。標記的必要和充分條件可以是:在文件的位流中引入一個或多個標記(和非標記)不會損壞對通過位流表示的文件進行的解碼。盡管是有利的，但是標記不必進ー步基于將被拆分的文件的實際內(nèi)容(或者文件的實際文件類型)。進ー步地，例如，期望的是對存儲在服務器裝置上的圖像執(zhí)行縮放和全景(pan)操作。為了提供這樣的操作而無需要求完整的全尺寸圖像被下載到客戶端裝置，該客戶端裝置可以請求將特定尺寸和縮放因子的圖像瓦片(tile)下載到該客戶端裝置。為了實現(xiàn)這種圖像瓦片的快速下載， 可以利用以上公開的用于快速圖像操控的標記和方法。在此情況下，還期望的是，服務器具有從客戶端所請求的原始圖像提取的瓦片的傳送高速緩存，因此具有類似(和可能)需要的下一客戶端將使得這種瓦片已經(jīng)是可用的。縮略圖查看和拼接(stitching):使用漸進上傳,可以同時發(fā)送若干漸進流。例如，如果100個JPEG圖像將被從存儲裝置上傳到接收裝置，而不是以串行的方式依次上傳圖像，漸進上傳用于并行地上傳每個圖像的少許。這對于終端用戶是有益的，他們可以選擇例如在僅上傳所有100個圖像的全部數(shù)據(jù)的10%之后瀏覽所有圖像的縮略圖表示。如果需要，用戶例如可以在存儲裝置與接收裝置具有寬帶連接的情況下選擇繼續(xù)該上傳處理直到已經(jīng)發(fā)送了 100%的數(shù)據(jù)為止。
可以使用超文本傳輸協(xié)議(HTTP)將包從存儲裝置發(fā)送到接收裝置。這樣的協(xié)議在本領域是已知的。當請求小縮略圖時，每個HTTP請求的開銷可以比傳輸本身要慢。因而，有必要將多媒體內(nèi)容的若干縮略圖版本拼接成一個大文件，并在單個HTTP函數(shù)調(diào)用中將其發(fā)送。這可以通過連接若干多媒體內(nèi)容文件并提供額外的報頭來實現(xiàn)，該額外的報頭提供有關已連接的多媒體內(nèi)容的単獨多媒體內(nèi)容文件都在何處開始和結(jié)束的信息。該拼接可以在實際圖像域中(即通過將圖像逐像素地拼接在一起以成為ー個復合圖像)或者在文件域中(即，通過將不同文件的字節(jié)拼接在一起以成為一個復合文件)執(zhí)行。針對縮略像典型地在圖像域中執(zhí)行拼接，而針對全尺寸(即全分辨率)圖像典型地在文件域中執(zhí)行拼接。在圖像域中，待拼接的所有圖像可以首先被組織成圖像帶，即，其中所有圖像都在像素珊格上被彼此相鄰放置。根據(jù)實施例，這可以要求沿該條帶的所有圖像都具有ー個共同的尺寸。這里，假設允許旋轉(zhuǎn)圖像；例如，具有32X64像素尺寸和64X128像素尺寸的圖像分別具有共同的尺寸64像素。如果沿該條帶的所有圖像不是具有ー個共同的尺寸像素，則可以使用填塞(stuffing)(例如通過插入黑像素)來增加不滿足該共同尺寸準則的圖像的水平和/或垂直尺寸。隨后，可以通過首先形成條帶中所有圖像的共同復合圖像并且然后將該共同的復合圖像編碼并存儲在單個文件(例如ー個JPEG文件)中，來拼接條帶中的圖像?？商鎿Q地，可以在文件域中將圖像拼接在一起。在文件域中，可以通過首先形成作為多圖片對象(MPO)的ー個或多個容器并且然后對該MPO文件進行編碼和存儲，來將圖像拼接在一起。使用MPO格式從而使得能夠?qū)⒉煌叽绲膱D像拼接在一起。以上方法在以下情況下尤其有利:其中接收裝置僅能(或擅長)解碼標準圖像格式，并選擇待顯示的區(qū)域。所公開的嵌入式標記允許拼接不同尺寸的圖像并且在ー個位流中發(fā)送不同的掃描量。因此，如果多個源圖像的漸進JPEG數(shù)據(jù)的掃描被復用或連接，則不需要節(jié)流。這可以導致需要發(fā)送更少的開銷信息。為了實現(xiàn)此目的，可以通過上傳裝置或已經(jīng)向其上傳了單獨圖像的裝置來生成大的復合漸進JPEG圖像(即，將許多単獨的圖像拼接在一起的大圖像)。通過使用報頭信息，另外的裝置于是可以訪問并提取與單獨圖像對應的區(qū)域以用于存儲或(単獨)顯示。從而，可以將ー個復合漸進JEPG圖像用作源圖像，以便在網(wǎng)頁上顯示多個單獨的縮略像。總之，公開了用于上傳圖像到遠程服務器和從遠程服務器下載圖像并用于查看所述圖像的手段。上傳圖像到遠程服務器和從遠程服務器下載圖像是并行而非串行的。這意味著，例如，代替將圖像作為順序的字節(jié)流傳輸，這些圖像被布置在圖像數(shù)據(jù)掃描中以使得可以比考慮整個圖像數(shù)據(jù)的情況更早的(并且以較低質(zhì)量)瀏覽所上傳/下載的圖像。像在串行的情況下那樣，可以在任何時候中斷上傳/下載處理，并且仍然瀏覽所接收的圖像數(shù)據(jù)。同樣，可以在將來重新啟動上傳/下載處理。以上主要參考特定示例描述了本發(fā)明。例如，已在客戶端-服務器場景下公開了本發(fā)明。服務器可以是網(wǎng)絡云或在網(wǎng)絡云中，并且客戶端可以是具有有限帶寬的移動裝置。然而，本領域技術人員容易理解的是，除以上公開的其他示例同樣可以在本發(fā)明的范圍內(nèi)，如所附專利權利要求限定的那樣。根據(jù)ー個場景，前述客戶端裝置的行為還可以實現(xiàn)在服務器中。進ー步地，可以在兩個相似的裝置之間通過任意合適的網(wǎng)絡進行傳送，例如互聯(lián)網(wǎng)、WLAN和藍牙。
權利要求
1.一種用于在接收裝置和存儲裝置之間同步多媒體內(nèi)容的方法，包括: -在存儲裝置處提供多媒體內(nèi)容； -將所述多媒體內(nèi)容分成至少兩個包； -根據(jù)所述至少兩個包中的數(shù)據(jù)并且通過使用相關性準則，將所述至少兩個包分類成相關的包和至少一個不大相關的包；以及 -將所述相關的包從所述存儲裝置傳送到所述接收裝置。
2.根據(jù)權利要求1所述的方法，進一步包括: -通過使用所述相關性準則，按相關性降序?qū)λ鲋辽僖粋€不大相關的包進行排序；以及 -根據(jù)所述排序，將剩余的所述至少一個不大相關的包從所述存儲裝置傳送到所述接收裝置。
3.根據(jù)權利要求1所述的方法，其中，所述多媒體內(nèi)容代表至少兩個多媒體文件并且其中所述至少兩個多媒體文件每個都被劃分并分類成相關的包和至少一個不大相關的包，所述方法進一步包括: -在傳送任何所述至少一個不大相關的包之前，傳送所述相關的包中的每一個。
4.根據(jù)權利要求1所述的方法，其中，所述多媒體內(nèi)容代表第一和第二多媒體文件，并且其中，所述第一和第二多媒體文件每一個都被劃分并分類成相關的包和至少一個不大相關的包，其中，在傳送了所述第一多媒體文件的所述至少一個不大相關的包的至少一個之后，提供所第一和第二多媒體文件的第二個，所述方法進一步包括: -在傳送所述第一多媒體文件的剩余的所述至少一個不大相關的包之前，傳送所述第二多媒體文件的所述相關的包。
5.根據(jù)權利要求1所述的方法，其中，將尾部附加到每個傳送的包，所述尾部使得每個傳送的包都能夠在所述接收裝置處被解碼。
6.根據(jù)權利要求1所述的方法，其中，所述尾部包括關于被附加所述尾部的包的多媒體內(nèi)容中的位置的信息。
7.根據(jù)權利要求1所述的方法，其中，所述相關的包包括實現(xiàn)對多媒體內(nèi)容的預覽的信息。
8.根據(jù)權利要求1所述的方法，其中，所述多媒體內(nèi)容是漸進可解碼的。
9.根據(jù)權利要求1所述的方法，其中，所述多媒體內(nèi)容符合以下組中的至少一個標準:SPIHT, JPEG、JPEG 漸進、JPEG2000、WebP 和 JPEG XR。
10.根據(jù)權利要求1所述的方法，其中，在所述多媒體內(nèi)容不是漸進可解碼的情況下，所述方法進一步包括: -在劃分所述多媒體內(nèi)容之前，將所述多媒體內(nèi)容轉(zhuǎn)碼成漸進可解碼的表示。
11.根據(jù)權利要求1所述的方法，其中，所述至少兩個包被通過標記來劃分。
12.根據(jù)權利要求11所述的方法，其中，所述標記在第一字節(jié)中包括填充模式直到字節(jié)邊界為止，并在緊隨所述第一字節(jié)之后的第二字節(jié)中包括預定的位序列。
13.根據(jù)權利要求12所述的方法，其中，通過非標記來標記位流中已存在的序列，所述序列表示所述多媒體內(nèi)容等于所述預定的位序列。
14.根據(jù)權利要求12或13所述的方法，其中，通過全O序列或全I序列來限定所述預定的位序列。
15.根據(jù)權利要求11至14中任一項所述的方法，其中，所述第一字節(jié)的所述填充模式包括單個O位，之后為I位或之后為O位的單個I位，直到字節(jié)邊界為止。
16.根據(jù)權利要求11-15中任一項所述的方法，其中，所述標記進一步在緊隨所述第二字節(jié)之后的第三字節(jié)中包括額外的單個I位或O位。
17.根據(jù)權利要求11-16中任一項所述的方法，其中，所述標記之后緊隨預定數(shù)量的位，所述預定數(shù)量的位代表輔助信息序列，并且其中所述預定數(shù)量的位中的至少一個等于.1
18.根據(jù)權利要求11-17中任一項所述的方法，其中，所述標記具有的格式等于十六進制符號的 FFxx、00xx、xxFF 或 χχΟΟ。
19.一種接收裝置，其包括用于執(zhí)行根據(jù)權利要求1-16中任一項的方法所述的步驟并與所述接收裝置關聯(lián)的部件。
20.根據(jù)權利要求10所述的接收裝置，其中，所述接收裝置是網(wǎng)絡云的成員。
21.一種存儲裝置，其包括用于執(zhí)行根據(jù)權利要求1-16中任一項的方法所述的步驟并與所述存儲裝置關聯(lián)的部件。
22.根據(jù)權利要求19所述的存儲裝置，其中，所述存儲裝置是移動電話。
23.一種包括軟件指令的計算機程序產(chǎn)品，當被下載到計算機時，所述軟件指令被配置為執(zhí)行根據(jù)權利要求1-16中任一項所述的方法。
全文摘要
公開了用于上傳圖像到遠程服務器和從遠程服務器下載圖像并用于查看所述圖像的手段。上傳圖像到遠程服務器和從遠程服務器下載圖像是并行而非串行的。這意味著，代替將圖像作為順序的字節(jié)流傳輸，作為替代，這些圖像被布置在圖像數(shù)據(jù)的掃描中，以使得可以比考慮整個圖像數(shù)據(jù)的情況更早地雖然以較低質(zhì)量瀏覽所上傳/下載的圖像。就像在串行的情況下那樣，可以在任何時候中斷上傳/下載處理，并且仍然可以瀏覽所接收的圖像數(shù)據(jù)。同樣，可以在將來重新啟動上傳/下載處理。
文檔編號G06F17/30GK103119592SQ201180045654
公開日2013年5月22日 申請日期2011年10月31日 優(yōu)先權日2010年11月3日
發(fā)明者M·阿斯圖迪略, J·格利克森, S·尼米, M·安德森 申請人:瑞典移動成像公司