部分伸展方法以及圖像處理裝置制造方法
【專利摘要】本發(fā)明提供一種部分伸展方法以及圖像處理裝置，能夠抑制部分伸展用的CPU的處理成本，在進行部分伸展處理而進行畫面顯示時，迅速響應(yīng)用戶操作從而能夠進行高畫質(zhì)的畫面顯示。生成以宏塊為單位對壓縮圖像進行解壓所需的數(shù)據(jù)即映射數(shù)據(jù)，并且，生成與顯示裝置的畫面尺寸匹配的縮小圖像，與壓縮圖像相關(guān)聯(lián)地保存所生成的映射數(shù)據(jù)和縮小圖像。根據(jù)圖像操作要求，將與壓縮圖像相關(guān)聯(lián)的縮小圖像輸出到顯示裝置，根據(jù)縮小圖像的顯示范圍確定應(yīng)解壓的宏塊，關(guān)于所確定的宏塊，使用映射數(shù)據(jù)對壓縮圖像進行部分解壓，將部分解壓后的圖像中的顯示范圍的圖像輸出至顯示裝置。
【專利說明】部分伸展方法以及圖像處理裝置
[0001]本申請是申請?zhí)枮?01010568244.1、申請日為2010年12月I日、發(fā)明名稱為“壓縮圖像的部分伸展方法以及圖像處理裝置”的發(fā)明專利申請的分案申請。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及僅使被壓縮的圖像數(shù)據(jù)中的一部分伸展的技術(shù)，特別是涉及根據(jù)用戶的顯示范圍或放大、縮小以及滾動(scroll)的指示對JPEG形式等的壓縮圖像數(shù)據(jù)的一部分進行譯碼(解壓)而使其伸展并輸出至顯示裝置的壓縮圖像的部分伸展方法以及圖像處理裝置的技術(shù)。
【背景技術(shù)】
[0003]近年來，由于數(shù)碼相機或帶攝像功能的移動電話的高分辨率化，變得要處理大容量的圖像數(shù)據(jù)。另一方面，顯示設(shè)備的分辨率通常不會像所顯示的數(shù)據(jù)的分辨率那么高。
[0004]例如，瀏覽圖像數(shù)據(jù)的顯示設(shè)備通常只有0.5M (VGA)?2M像素(高清晰電視)程度的分辨率，在該情況下，該顯示設(shè)備不可能輸出所有IOM像素的數(shù)據(jù)而一次全看到。因此，作為瀏覽方法，采用“縮小圖像而觀看整體”或“不縮小(或不太縮小)圖像而觀看一部分”這樣的某一方法進行瀏覽。在該圖像處理或圖像數(shù)據(jù)的保存中需要相當大的存儲容量，但由于商品低成本化和硬件的限制，大多情況存儲容量存在限制。
[0005]因此，以往，提出了用于節(jié)約圖像處理和圖像數(shù)據(jù)的保存中所使用的存儲容量的技術(shù)。
[0006]例如，在專利文獻I中，提出了這樣的部分伸展裝置:根據(jù)保持插入于JPEG壓縮數(shù)據(jù)的RST的位置的RST表，指定表示伸展開始位置的RST位置和表示伸展結(jié)束位置的RST位置，并自記錄介質(zhì)讀取從比伸展開始位置靠前的讀取開始區(qū)段到比伸展結(jié)束位置靠后的讀取結(jié)束區(qū)段的數(shù)據(jù)，使該數(shù)據(jù)中從伸展開始位置到上述伸展結(jié)束位置的數(shù)據(jù)伸展。
[0007]在專利文獻2中，公開了這樣的技術(shù):利用小的存儲容量無障礙地展開大尺寸的圖像壓縮數(shù)據(jù)，進行部分伸展圖像的快速顯示、滾動，因此，在圖像數(shù)據(jù)的壓縮時或圖像壓縮數(shù)據(jù)的展開時等，每隔預(yù)定間隔對圖像壓縮數(shù)據(jù)距開頭的比特位置進行設(shè)定，并將其作為壓縮數(shù)據(jù)偏移值進行存儲，在原始圖像內(nèi)的部分區(qū)域被指定時，讀取適當?shù)膲嚎s數(shù)據(jù)偏移值，從壓縮數(shù)據(jù)流的中途對圖像壓縮數(shù)據(jù)進行部分展開來進行滾動處理。
[0008]另外，在專利文獻3中記載了使用用于使原始圖像有效地部分伸展的掃描表進行JPEG圖像的部分伸展的具體方法。
[0009]另一方面，為了使圖像數(shù)據(jù)進行部分伸展來顯示，需要一定程度的處理時間。因此，在專利文獻4中，公開了以下技術(shù):利用由攝影得到的原始圖像數(shù)據(jù)作成使像素數(shù)減少而得到的預(yù)覽圖像數(shù)據(jù)、以及比其進一步減少像素數(shù)而形成為規(guī)定的像素數(shù)的縮略圖像數(shù)據(jù)，將原始圖像數(shù)據(jù)和對應(yīng)的預(yù)覽圖像數(shù)據(jù)及縮略圖像數(shù)據(jù)一起記錄在存儲卡中，在再現(xiàn)模式時，從記錄于存儲卡的圖像數(shù)據(jù)中選擇一個數(shù)據(jù)，在該圖像數(shù)據(jù)不包含預(yù)覽圖像數(shù)據(jù)的情況下，將對應(yīng)的原始圖像數(shù)據(jù)或縮略圖像數(shù)據(jù)顯示于顯示部。[0010]【專利文獻I】日本專利第3108283號公報
[0011]【專利文獻2】日本專利第3399743號公報
[0012]【專利文獻3】日本特開2000-278685號公報
[0013]【專利文獻4】日本專利第3747914號公報
[0014]但是，要生成用于使圖像部分伸展的控制數(shù)據(jù)或使用該控制數(shù)據(jù)進行部分伸展，會花費不少存儲容量和CPU負荷等的處理成本。例如，在控制數(shù)據(jù)生成中存在圖像顯示或滾動、放大縮小等來自用戶的操作要求的情況下，存在這樣的問題:為了生成控制數(shù)據(jù)該操作要求需要等待，或者雖說與解壓壓縮圖像整體相比進行部分解壓會很快，但為了部分展開而進行滾動處理等的速度非常受限。

【發(fā)明內(nèi)容】

[0015]本發(fā)明就是鑒于上述情況而完成的，其目的在于提供壓縮圖像的部分伸展方法以及圖像處理裝置，能夠抑制部分伸展用的CPU的處理成本，在進行部分伸展處理并進行畫面顯示時，能夠迅速響應(yīng)用戶操作而進行高畫質(zhì)的畫面顯示。
[0016]本發(fā)明的壓縮圖像的部分伸展方法的概要情況如下:在生成針對每個塊解壓壓縮圖像所需的控制數(shù)據(jù) (以下，將該控制數(shù)據(jù)稱為“映射數(shù)據(jù)”)時，同時生成全畫面顯示用的圖像(以下，稱為“高精細縮小圖像”)和用于一覽顯示多個圖像的縮略圖像(以下，稱為“低精細縮小圖像”)并將它們以文件形式保存在輔助存儲器(storage)中，在用戶有操作要求時僅將這些生成的數(shù)據(jù)中所需的數(shù)據(jù)存儲于主存儲器,并根據(jù)該操作要求的內(nèi)容,通過將使用高精細縮小圖像或低精細縮小圖像以及映射數(shù)據(jù)進行部分解壓后的圖像有效地輸出至顯示設(shè)備，由此，能夠進行壓縮圖像的高速顯示。
[0017]以下，將由該映射數(shù)據(jù)、高精細縮小圖像、低精細縮小圖像構(gòu)成的數(shù)據(jù)稱為“高速緩存數(shù)據(jù)”。并且，將以文件形式保存于閃存等大容量的輔助存儲器中的高速緩存數(shù)據(jù)稱為“高速緩存文件”。
[0018]高速緩存數(shù)據(jù)的生成定時既可以是利用CPU的空閑時間(idling)的任意定時，也可以是壓縮圖像的最初的譯碼(解壓)處理時，或者在作為非壓縮圖像(原始圖像)輸入的情況下為其編碼(壓縮)處理時。
[0019]通常，圖像顯示的模式大致分為兩個模式。即，用于放大/縮小/滾動來觀看一個圖像的“詳細顯示模式”和一覽顯示多個圖像以尋找目標圖像的“縮略一覽模式”。在本發(fā)明中，在詳細顯示模式中，使用高精細縮小圖像和高速緩存數(shù)據(jù)兩者進行高速顯示，在縮略一覽模式中，僅使用低精細縮小圖像進行高速顯示。
[0020]通過預(yù)先保存該低精細縮小圖像，由于在用戶有顯示要求時不需要讀取原始圖像，所以能夠進行高速瀏覽，而有時低精細縮小圖像根據(jù)壓縮圖像的形式而被預(yù)先準備。例如，在JPEG數(shù)據(jù)內(nèi)存在以160X120像素的尺寸嵌入的被稱為Exif縮略圖的縮略圖像，一般在數(shù)碼相機或移動電話的攝影時被附加。
[0021]該Exif縮略圖在數(shù)碼相機的液晶畫面的分辨率小時是足夠的，但考慮在最近的數(shù)碼相機和高清晰電視上顯示，其尺寸有時會不夠用。對于縮小到何種程度的尺寸取決于顯示設(shè)備，因此，也可以不使用Exif縮略圖那樣預(yù)先嵌入的低精細縮小圖像，而是在瀏覽時動態(tài)地由高精細縮小圖像生成，并對該數(shù)據(jù)進行高速緩存而再利用。[0022]關(guān)于詳細顯示模式，在將壓縮圖像從左上向右下展開的過程中，舍棄不需要的部分，由此能夠以少的存儲器消耗量進行處理。但是，在觀看圖像的一部分時，大多情況使圖像滾動進行顯示，在該情況下，每逢滾動時需要展開圖像整體，這導(dǎo)致性能變差，對用戶操作的響應(yīng)變差。在本發(fā)明中，預(yù)先掃描圖像數(shù)據(jù)的文件流上的位置與圖像內(nèi)的哪個位置對應(yīng)并進行記錄，若基于此將圖像部分地進行解壓，能夠進行高速解壓。
[0023]〈映射數(shù)據(jù)的構(gòu)造〉
[0024]接著，以JPEG為例說明本發(fā)明的映射數(shù)據(jù)的構(gòu)造。JPEG數(shù)據(jù)是利用圖像壓縮的標準格式將原始圖像分割為被稱作宏塊的單位進行壓縮而生成的圖像數(shù)據(jù)。
[0025]JPEG針對每個宏塊進行頻率變換、量化、熵壓縮，按照從圖像的左上到右下的宏塊的順序進行壓縮。例如在圖2中，將圖像整體分割為8X6=48個宏塊，按照MB00、MB01、...、MB47的順序進行壓縮。
[0026]壓縮后的各宏塊的數(shù)據(jù)按照從畫面左上到右下的順序排列成位流狀，進而，其DC分量值利用與自己前面的宏塊的相對差異而來保持值，因此，為了對某宏塊進行譯碼，需要從前頭的宏塊依次進行掃描。因此，在對圖像的一部分進行解壓時，每次需要展開圖像整體，成為處理性能降低的原因。
[0027]因此，在本實施方式中，預(yù)先掃描圖像數(shù)據(jù)的文件流上的位置與圖像內(nèi)的哪個位置對應(yīng)、進而預(yù)先掃描該宏塊中的DC分量值(各YUV)并將其作為映射數(shù)據(jù)進行記錄，實現(xiàn)處理的高速化。
[0028]圖3表示映射數(shù)據(jù)的構(gòu)成。
[0029]此處，映射數(shù)據(jù)針對每個宏塊ID，關(guān)聯(lián)文件流位置、DC分量值Y、DC分量值U、DC分
量值V。
[0030]JPEG在熵壓縮中以比特為單位進行壓縮，因此，文件流位置以比特為單位進行指定。
[0031]在進行JPEG圖像的部分解壓時，一邊參照映射數(shù)據(jù)，一邊抽出要顯示的部分的宏塊的文件流位置，從該位置起進行解壓處理，由此，能夠高速進行解壓。例如、若圖4的粗框?qū)嵕€部分為顯示到顯示設(shè)備的畫面的顯示范圍，則僅抽出包括其范圍在內(nèi)的斜線宏塊進行解壓處理。
[0032]另外，當對所有宏塊分別生成映射數(shù)據(jù)時，數(shù)據(jù)量變大，因此，優(yōu)選將宏塊間拔，按照某一定個數(shù)進行記錄。圖5表示按照每5個宏塊來記錄文件流位置得到的映射數(shù)據(jù)的構(gòu)造的一個例子。
[0033]在對宏塊間拔而生成映射數(shù)據(jù)的情況下，未保存到映射數(shù)據(jù)中的宏塊通過以在映射數(shù)據(jù)中記錄的宏塊為基準進行掃描，由此被解壓。
[0034]例如在進行用于顯示圖6的粗框部分的解壓處理的情況下，也解壓成為對象的宏塊的周圍，但能夠削減映射數(shù)據(jù)的數(shù)據(jù)量，另外，能夠進行比解壓所有宏塊快得多的高速解壓。
[0035]<漸進式JPEG的映射數(shù)據(jù)的情況>
[0036]通常，在JPEG中存在漸進式JPEG。漸進式JPEG是在文件流上其前頭保存低頻的數(shù)據(jù)、隨著接近流的后方而成為高頻的數(shù)據(jù)。由此，在通過網(wǎng)絡(luò)進行文件傳送時，在傳送了文件前頭的時刻顯示粗的圖像，隨著文件傳送的進展，能夠顯示詳細數(shù)據(jù)。在漸進式JPEG中，將各頻帶的每一個的數(shù)據(jù)的集合稱為掃描(scan)，該數(shù)據(jù)構(gòu)造如圖7所示。此處，掃描O為最低頻帶(YUV的DC分量)，保存掃描ID變大的更高頻帶的數(shù)據(jù)。
[0037]各掃描能夠具有標題數(shù)據(jù)(header data)，能夠具有針對每個該掃描的霍夫曼表等。該霍夫曼表在對霍夫曼編碼化后的數(shù)據(jù)進行解壓時是必要的。
[0038]有關(guān)漸進式JPEG的映射數(shù)據(jù)如圖8所示，針對每個掃描ID保存掃描標題在文件流上的位置，針對各宏塊的每個掃描ID保存文件流上的位置。此處，漸進式JPEG關(guān)于掃描
O(DC分量)為與前面MCU (Minimum Code Unit)的差分值，因此，關(guān)于漸進式JPEG的映射數(shù)據(jù)，針對各宏塊的每個計算并保存文件流上的到其為止的MCU的DC分量的累計值。該YUV各自的DC分量值是不存在于每個掃描中而僅存在于掃描O的值。
[0039]在圖8的示例中，掃描的個數(shù)為8個，宏塊的個數(shù)為8X6=48個，按照每5個宏塊進行間拔來保持數(shù)據(jù)。
[0040]與圖5的映射數(shù)據(jù)的差異是追加了掃描標題的文件流位置、以及宏塊的文件流位置對于所有掃描保持其位置。由此，也能夠迅速對應(yīng)于文件內(nèi)的多個位置參照。
[0041]關(guān)于漸進式JPEG的映射數(shù)據(jù)必須保持多個掃描的文件流位置，因此其數(shù)據(jù)量變大。也有想根據(jù)主存儲器的容量使映射數(shù)據(jù)的數(shù)據(jù)尺寸處于某一定的數(shù)據(jù)量以內(nèi)的情況，該情況下，只要調(diào)整宏塊的間拔間隔即可。例如、設(shè)映射數(shù)據(jù)的數(shù)據(jù)量的上限為Smap字節(jié)，設(shè)掃描的個數(shù)為Nscan，為了保持掃描的文件流位置而針對每一個掃描設(shè)為Sscan字節(jié)，設(shè)宏塊的個數(shù)為Nmb個，為了保持宏塊的文件流位置而針對每一個宏塊設(shè)為Smb字節(jié)，為了對于各個DC分量值YUV進行保持而設(shè)為Sdc字節(jié)，則宏塊間拔間隔X用下式求出。
[0042]X= [Nmb.(Smb.Nscan+3.Sdc) / (Smap-Nscan.Sscan) ]...(I)
[0043]這里，[V]表示V以上的最小整數(shù)。
[0044]具體而言，本發(fā)明的壓縮圖像文件的部分伸展方法使用計算機對按照每個壓縮單位即宏塊壓縮后所得的壓縮圖像進行部分伸展，其特征在于，該方法包括以下步驟:將壓縮圖像保存到計算機的存儲裝置的步驟；根據(jù)壓縮圖像的位流生成以一個或兩個以上的宏塊為單位進行解壓所需的數(shù)據(jù)即映射數(shù)據(jù)，并且根據(jù)顯示裝置的畫面分辨率生成規(guī)定尺寸的縮小圖像，并與該壓縮圖像相關(guān)聯(lián)地將上述生成的映射數(shù)據(jù)和縮小圖像保存到存儲裝置中的步驟；根據(jù)從輸入裝置輸入的圖像操作要求將與顯示對象的壓縮圖像相關(guān)聯(lián)的縮小圖像輸出到顯示裝置的步驟；根據(jù)縮小圖像的顯示范圍確定應(yīng)解壓的一個或兩個以上的宏塊的步驟；關(guān)于所確定的宏塊，使用映射數(shù)據(jù)對壓縮圖像進行部分解壓的步驟；以及將部分解壓后的圖像中的顯示范圍的圖像輸出到顯示裝置的步驟。
[0045]并且，本發(fā)明的圖像處理裝置的特征在于，該圖像處理裝置具備以下單元:保存按照每個壓縮單位即宏塊壓縮后的壓縮圖像的單元；根據(jù)壓縮圖像的位流生成以一個或兩個以上的宏塊為單位進行解壓所需的數(shù)據(jù)即映射數(shù)據(jù)，并且根據(jù)顯示裝置的畫面分辨率生成規(guī)定尺寸的縮小圖像，并與該壓縮圖像相關(guān)聯(lián)地生成上述生成的映射數(shù)據(jù)和縮小圖像的高速緩存文件生成單元；根據(jù)從輸入裝置輸入的圖像操作要求將與顯示對象的壓縮圖像相關(guān)聯(lián)的縮小圖像輸出到顯示裝置的縮小圖像輸出單元；根據(jù)縮小圖像的顯示范圍確定映射數(shù)據(jù)中的使用的一個或兩個以上的宏塊的使用塊判定單元；關(guān)于由使用塊判定單元所確定的宏塊，使用映射數(shù)據(jù)對壓縮圖像進行部分解壓的部分解壓單元；以及將利用部分解壓單元部分解壓后的圖像中的顯示范圍的圖像輸出到顯示裝置的部分解壓圖像輸出單元。[0046]在本發(fā)明中，通過使生成映射數(shù)據(jù)的處理和生成與顯示裝置的畫面尺寸匹配的縮小圖像的處理通用化，從而抑制CPU的處理成本。進而，根據(jù)用戶的圖像操作要求，首先，基于縮小圖像生成畫面顯示用的數(shù)據(jù)并輸出，然后使用利用映射數(shù)據(jù)進行部分解壓后的圖像數(shù)據(jù)，生成畫面顯示用的數(shù)據(jù)并將其輸出至顯示裝置。
[0047]并且，在本發(fā)明的圖像處理裝置中，其特征在于，使用塊判定單元還根據(jù)顯示范圍和圖像操作要求的內(nèi)容追加應(yīng)利用部分解壓單元部分解壓的宏塊。
[0048]在本發(fā)明中，僅根據(jù)縮小圖像的當前的顯示范圍確定應(yīng)解壓的宏塊，根據(jù)放大、縮小、移動方向等圖像操作要求的內(nèi)容預(yù)測應(yīng)解壓的宏塊。
[0049]并且，在本發(fā)明的圖像處理裝置中，其特征在于，部分解壓圖像輸出單元判定是否存在用于輸出給顯示裝置的部分解壓圖像，在存在的情況下，停止縮小圖像輸出單元的動作。
[0050]在本發(fā)明中，在存在部分解壓后的圖像數(shù)據(jù)(以下，稱為“部分解壓圖像數(shù)據(jù)”)的情況下，禁止縮小圖像的輸出，立即顯示輸出部分解壓后的圖像數(shù)據(jù)，因此，降低操作要求時的畫質(zhì)不均勻，能夠平滑地移動高畫質(zhì)的顯示圖像等。
[0051]并且，在本發(fā)明的圖像處理裝置中，其特征在于，該圖像處理裝置還具備部分解壓圖像刪除單元，該部分解壓圖像刪除單元根據(jù)顯示范圍和圖像操作要求的內(nèi)容，以宏塊為單位刪除部分解壓圖像數(shù)據(jù)。
[0052]在本發(fā)明中，根據(jù)顯示范圍和圖像操作要求的內(nèi)容判定利用可能性變低的部分解壓圖像數(shù)據(jù)而將其從存儲器刪除，因此，能夠有效利用存儲器。
[0053]根據(jù)本發(fā)明，在生成映射數(shù)據(jù)時與顯示畫面的尺寸匹配地生成縮小圖像，有效地整理主存儲器上的映射數(shù)據(jù)和部分解壓圖像，因此，能夠抑制CPU的處理成本。另外，在用戶的操作要求時，在使用部分解壓圖像進行畫面顯示之前，首先使用縮小圖像進行畫面顯示，因此，能夠迅速響應(yīng)用戶操作，進行高畫質(zhì)的畫面顯示。
【專利附圖】

【附圖說明】
[0054]圖1是本發(fā)明的第一實施方式的圖像處理裝置的功能框圖。
[0055]圖2是作為JPEG數(shù)據(jù)的壓縮時的分割單位即宏塊的說明圖。
[0056]圖3是相對于所謂的基本DCT方式的JPEG的宏塊的構(gòu)成的一例。
[0057]圖4是應(yīng)解壓的宏塊與顯示范圍的關(guān)系的說明圖。
[0058]圖5是映射數(shù)據(jù)的構(gòu)成的其它例子，是按照每5個宏塊保存一次的情況的說明圖。
[0059]圖6是圖5的映射數(shù)據(jù)情況下的應(yīng)解壓的宏塊與顯示范圍的關(guān)系的說明圖。
[0060]圖7是漸進式JPEG的數(shù)據(jù)構(gòu)造的說明圖。
[0061]圖8是相對于漸進式JPEG的映射數(shù)據(jù)的構(gòu)成例。
[0062]圖9是圖1的高速緩存文件生成單元26的動作概要的說明圖。
[0063]圖10是通常的JPEG數(shù)據(jù)的解壓步驟的說明圖。
[0064]圖11是在圖1的高速緩存文件生成單元26中同時生成高精細縮小圖像和映射數(shù)據(jù)的步驟的說明圖。
[0065]圖12是用于說明圖1的高速緩存文件生成控制單元25中的高速緩存數(shù)據(jù)生成定時的流程圖。[0066]圖13是利用圖1的高速緩存文件刪除單元32進行的高速緩存數(shù)據(jù)刪除處理的優(yōu)先級的一個例子。
[0067]圖14是聞精細圖像和原始圖像的顯不范圍的對應(yīng)關(guān)系的說明圖。
[0068]圖15是本發(fā)明的第二實施方式的圖像處理裝置的功能框圖。
[0069]圖16是表示圖15的使用塊判定單元28的宏塊追加例程的處理步驟的流程圖。
[0070]圖17是表示圖15的部分解壓圖像刪除單元33的處理步驟的流程圖。
[0071]圖18是基于操作信息的部分解壓圖像數(shù)據(jù)中的顯示范圍的移動狀況的說明圖。
[0072]圖19是表示圖15的使用塊判定單元28的其它實施例的處理步驟的流程圖之一。
[0073]圖20是表示圖15的使用塊判定單元28的其它實施例的處理步驟的流程圖之二。
[0074]標號說明
[0075]I圖像處理裝置
[0076]11輸入裝置(輸入設(shè)備)
[0077]12顯示裝置(顯示設(shè)備)
[0078]20運算處理部
[0079]21輸入處理單元
[0080]22存儲器接口單元
[0081]23圖像數(shù)據(jù)登記單元
[0082]24操作要求輸入單元
[0083]25高速緩存文件生成控制單元
[0084]26高速緩存文件生成單元
[0085]27縮小圖像輸出單元
[0086]28使用塊判定單元
[0087]29部分解壓單元
[0088]30部分解壓圖像輸出單元
[0089]31顯示處理單元
[0090]32高速緩存文件刪除單元
[0091]33部分解壓圖像刪除單元
[0092]40主存儲器
[0093]50高速緩存數(shù)據(jù)
[0094]51映射數(shù)據(jù)
[0095]52高精細縮小圖像
[0096]53低精細縮小圖像
[0097]60輔助存儲器
[0098]61壓縮圖像
[0099]62高速緩存文件
【具體實施方式】
[0100]下面，說明本發(fā)明的實施方式。圖1是第一實施方式的實現(xiàn)圖像部分伸展方法的圖像處理裝置的功能框圖。圖像處理裝置I包括:輸入圖像數(shù)據(jù)、用戶的操作要求的輸入裝置11 ;具有CPU并使用所輸入的數(shù)據(jù)執(zhí)行運算處理的運算處理部20 ;顯示圖像等運算結(jié)果的顯示裝置12 ;能夠從CPU直接讀寫的主存儲器40 ;以及閃存等大容量的輔助存儲器60。另外，輸入裝置11具備攝像機等攝像單元，可以將由攝像單元拍攝的圖像傳遞給運算處理部20。
[0101]該圖像處理裝置I只要具有上述各功能即可，因此，既可以利用個人計算機等通用的計算機來實現(xiàn)，也可以通過具備攝像功能的移動電話等來實現(xiàn)。
[0102]運算處理部20具有:執(zhí)行從輸入裝置11傳遞來的數(shù)據(jù)的輸入處理的輸入處理單元21 ;執(zhí)行向輔助存儲器60進行寫入的寫入處理和從輔助存儲器60讀取的讀取處理的存儲器接口單元(以下，稱為“存儲器I/F單元”)22 ;經(jīng)由存儲器I/F單元將圖像數(shù)據(jù)存儲到輔助存儲器60的圖像數(shù)據(jù)登記單元23 ;接受來自用戶的圖像顯示、滾動等的操作要求的操作要求輸入單元24 ;對高速緩存文件的生成定時進行控制的高速緩存文件生成控制單元25 ;生成高速緩存文件的高速緩存文件生成單元26 ;根據(jù)用戶的操作要求選擇低精細縮小圖像53或高精細縮小圖像52進行顯示輸出的縮小圖像輸出單元27 ;對壓縮圖像中的應(yīng)解壓的宏塊進行判定的使用塊判定單元28 ;對被判定為應(yīng)解壓的宏塊執(zhí)行解壓處理的部分解壓單元29 ;顯示輸出被部分解壓后的圖像的部分解壓圖像輸出單元30 ;以及執(zhí)行向顯示裝置12顯示的顯示處理的顯示處理單元31。各單元21?31能夠通過程序作為CPU的功能來實現(xiàn)。另外，圖1中，用虛線箭頭表示壓縮圖像數(shù)據(jù)流，用實現(xiàn)箭頭表示除此以外的數(shù)據(jù)流。
[0103]接著，對具有上述結(jié)構(gòu)的圖像處理裝置I的動作進行說明。
[0104]<壓縮圖像數(shù)據(jù)輸入處理>
[0105]圖像處理裝置I的運算處理部20接收到經(jīng)由輸入處理單元21從輸入裝置11傳送來的壓縮圖像數(shù)據(jù)時，將其傳遞至圖像數(shù)據(jù)登記單元23。圖像數(shù)據(jù)登記單元經(jīng)由存儲器I/F單元22以文件形式保存于輔助存儲器60的壓縮圖像DB61。在該圖像文件中，帶有表示輸入順序的ID (以下稱為“圖像ID”)和輸入時的時刻。
[0106]另外，圖1中對根據(jù)非壓縮圖像生成壓縮圖像的功能沒有記載，但也可以根據(jù)需要具有該功能。在本實施方式中，以直接輸入非壓縮圖像為前提進行說明。
[0107]〈高速緩存文件生成處理〉
[0108]接著，對高速緩存文件生成控制單元25和利用高速緩存文件生成單元26進行的高速緩存文件生成處理的步驟進行說明。
[0109]高速緩存文件生成控制單元25在用戶未進行瀏覽軟件的操作的操作空閑時，啟動高速緩存文件生成單元26。高速緩存文件生成控制單元25還通過操作要求輸入單元24接收到來自用戶的操作要求(圖像的顯示或放大、縮小、移動等要求)的通知時，調(diào)查應(yīng)顯示的圖像的高速緩存文件是否存在于輔助存儲器60中，在不存在高速緩存文件的情況下，即使用戶正在操作，也啟動高速緩存文件生成單元26。
[0110]當高速緩存文件生成單元26被啟動時，生成縮小圖像和映射數(shù)據(jù)51以舒適地瀏覽圖像。作為縮小圖像，生成在全畫面顯示某特定圖像時所需的比較大的高精細縮小圖像52和以一覽顯示的方式觀看多個圖像時所需的低精細縮小圖像(所謂縮略圖像)53這兩種。高精細縮小圖像52的尺寸取決于顯示裝置12的顯示尺寸(即，顯示裝置的畫面分辨率)。即，輸入作為圖像處理裝置I的顯示裝置的參數(shù)而被設(shè)定的畫面分辨率信息(例如XGA模式)，從而生成該分辨率的尺寸(1024X768)的高精細縮小圖像。
[0111]與直接從原始圖像生成高精細縮小圖像52和低精細縮小圖像53這兩者的情況相t匕，在從原始圖像生成高精細縮小圖像52后從高精細縮小圖像52生成低精細縮小圖像53能更快地作成，是優(yōu)選的實際方法。
[0112]生成映射數(shù)據(jù)51需要抽出掃描位置、累積計算DC分量等對壓縮圖像整體進行掃描。另一方面，為了生成高精細縮小圖像也需要對壓縮圖像整體進行掃描。高精細縮小圖像生成和映射數(shù)據(jù)生成需要相應(yīng)的處理成本，為了縮短該處理過程，優(yōu)選在生成高精細縮小圖像52的同時也生成映射數(shù)據(jù)51自身。
[0113]高速緩存文件生成單元26生成映射數(shù)據(jù)51、高精細縮小圖像52以及低精細縮小圖像53的各數(shù)據(jù)，并將該高速緩存數(shù)據(jù)與對應(yīng)的圖像文件的圖像ID相關(guān)聯(lián)地以文件形式保存在輔助存儲器60中。
[0114]另外，在顯示輸出未生成高速緩存數(shù)據(jù)的圖像時，高速緩存文件生成單元26在生成高速緩存數(shù)據(jù)50后，利用該高速緩存數(shù)據(jù)進行圖像顯示，然后將該高速緩存數(shù)據(jù)50輸出至輔助存儲器60的高速緩存文件62。由此，能夠迅速地顯示圖像，操作性提高。圖9示出高速緩存數(shù)據(jù)50和高速緩存文件62的生成處理的流程。
[0115]在圖9中，高速緩存文件生成單元26利用高精細縮小圖像/映射數(shù)據(jù)生成處理(SlOl)從原始圖像(壓縮圖像)61同時(即，在一個解壓處理中)生成高精細縮小圖像52和映射數(shù)據(jù)51。然后，利用低精細縮小圖像生成處理(S102)從高精細縮小圖像生成低精細縮小圖像53。在用戶有顯示要求的情況下，該映射數(shù)據(jù)51、高精細縮小圖像52、低精細縮小圖像53在用于顯示輸出后輸出至高速緩存文件62。
[0116](高速緩存文件生成的實施例)
[0117]接著，以JPEG形式的圖像為例，說明高速緩存文件生成的步驟。作為專門化為JPEG的高精細縮小圖像生成的研究，通過不解壓所有的頻帶，而僅使用某個頻率以下的低頻帶的數(shù)據(jù)，從而提高其處理速度。通常，JPEG數(shù)據(jù)的解壓在圖10所示的步驟下進行。
[0118]在該圖中，熵代碼的合成(S201)是從壓縮后的位流復(fù)原數(shù)據(jù)的工序。在JPEG的情況下，對熵壓縮使用霍夫曼編碼，該工序為對霍夫曼編碼化數(shù)據(jù)進行解壓的工序。此后，進行逆量化(S202)，對頻率數(shù)據(jù)進行復(fù)原。頻率數(shù)據(jù)通過逆頻變換(在JPEG的情況下為逆DCT變換)成為YUV顏色空間的數(shù)據(jù)(S203)。然后，與顯示裝置12的顏色空間(例如RGB)對應(yīng)地進行顏色變換(S204 )，解壓處理完成。
[0119]生成的高精細縮小圖像再次以JPEG形式保存。由此，能夠減少數(shù)據(jù)量。此時，不需要對所有頻帶進行逆頻變換。因此，通過僅對根據(jù)縮小圖像的尺寸所需的低頻帶進行逆頻變換，從而提高處理速度。并且，映射數(shù)據(jù)51在熵代碼的合成時刻生成。
[0120]圖11表不聞精細縮小圖像和映射數(shù)據(jù)生成的步驟。
[0121]高速緩存文件生成單元26在熵代碼的合成(S201)的時刻由壓縮圖像即壓縮后的位流生成映射數(shù)據(jù)51。在步驟S201之后，進行逆量化(S202)，接著，僅對低頻帶進行逆頻變換(S203a)。另外，在步驟S203a中，具備預(yù)先確定了畫面尺寸與執(zhí)行逆頻變換的頻帶(掃描為否)之間的關(guān)系的表，參照該表抽出與畫面尺寸對應(yīng)的頻帶進行逆頻變換即可。
[0122]在步驟S203a之后，執(zhí)行縮小處理(S301)、頻率變換(S302 )、量化(S303 )、熵編碼(S304)，生成JPEG形式的高精細縮小圖像52。[0123](高速緩存文件生成的定時)
[0124]高速緩存文件62的生成處理如上所述，在用戶操作空閑時等的規(guī)定定時進行，但此時，為了實現(xiàn)更舒適的圖像瀏覽，生成哪個圖像的高速緩存文件、即高速緩存文件生成的順序很重要。
[0125]在本實施方式中，作為用戶操作的模式，在顯示某特定圖像的詳細顯示模式和顯示多個圖像的縮略一覽模式下以不同的順序生成高速緩存文件62。
[0126]下面，使用圖12說明高速緩存文件生成控制單元25的動作。
[0127]高速緩存文件生成控制單元25定期啟動或根據(jù)來自操作要求輸入單元24的啟動要求而啟動時，首先判定當前的操作模式是否為詳細顯示模式(S401)。
[0128]該判定的結(jié)果，若是詳細顯示模式(在S401中為“是”)，則高速緩存文件生成控制單元25首先判定關(guān)于瀏覽中的圖像是否存在高速緩存文件62(S402)。如果沒有瀏覽中的圖像的高速緩存文件62，則啟動高速緩存文件生成單元26，首先對該圖像生成高速緩存數(shù)據(jù)50(S403)。此時，高速緩存文件生成單元26將如上所述生成的高速緩存數(shù)據(jù)50首先輸出至顯示裝置12，然后將該高速緩存數(shù)據(jù)50寫入輔助存儲器60的高速緩存文件62。
[0129]接著，高速緩存文件生成控制單元25判定用戶是否正在利用輸入裝置11的⑶I進行操作(S404)。另外，檢測到操作要求的輸入后，將未完成有關(guān)該操作要求的處理的期間設(shè)為操作中。
[0130]當在操作中生成高速緩存數(shù)據(jù)50時，對操作的響應(yīng)變慢，妨礙舒適的瀏覽動作，因此，操作中不生成高速緩存數(shù)據(jù)而結(jié)束(在S404中為“是”)。另一方面，在用戶未進行操作的情況下，高速緩存文件生成控制單元25根據(jù)圖像ID判定關(guān)于緊靠瀏覽中的圖像之前之后的圖像是否存在高速緩存文件62 (S406)，如果不存在，則啟動高速緩存文件生成單元26，生成高速緩存數(shù)據(jù)50，并將生成的高速緩存數(shù)據(jù)50寫入輔助存儲器60的高速緩存文件62 (S407)。
[0131]接著，若沒有用戶操作(在S408中為“否”)，則高速緩存文件生成控制單元25進一步對另一個前后(相鄰的塊)的圖像也執(zhí)行同樣的處理(S406?S409)。這樣，一邊根據(jù)當前正瀏覽的圖像對取得順序處于一定范圍內(nèi)的圖像依次確認有無用戶操作，一邊反復(fù)進行步驟S406?S409的處理而生成高速緩存文件62 (S410)。
[0132]在縮略一覽模式時，高速緩存文件生成的順序與詳細顯示模式時不同。這是因為，在具有低精細縮小圖像的情況下，暫時顯示該圖像即可，可以降低生成的優(yōu)先級。下面，對縮略一覽模式時的高速緩存文件生成控制單元25的處理步驟進行說明。
[0133]在縮略一覽模式中，高速緩存文件生成控制單元25首先判定用戶是否正在進行操作(S411)，如果正在操作，則不進行高速緩存數(shù)據(jù)生成。另一方面，在用戶未進行操作的情況下(在S411中為“否”)，高速緩存文件生成控制單元25判定當前的圖像數(shù)據(jù)是否具有高速緩存文件和低精細縮小圖像中的某一個(S412，S413)。如果具有高速緩存文件或低精細縮小圖像中的某一個(在S413中為“是”)，則在該階段，不生成高速緩存文件。如果沒有高速緩存文件也不具有低精細縮小圖像(在S413中為“否”)，則高速緩存文件生成控制單元25啟動高速緩存文件生成單元26而生成高速緩存數(shù)據(jù)50，并將其寫入高速緩存文件62(S414)。接著，如果沒有用戶操作(在S415中為“否”)，則高速緩存文件生成控制單元25進一步對另一個前后(相鄰的塊)的圖像也執(zhí)行同樣的處理(S413，S414)。這樣，一邊根據(jù)當前正瀏覽的圖像對取得順序處于一定范圍內(nèi)的圖像依次確認有無用戶操作，一邊反復(fù)進行步驟S413?S416的處理而生成高速緩存文件62 (S417)。
[0134]在步驟S417之后，高速緩存文件生成控制單元26判定當前的圖像是否具有高速緩存文件，如果沒有，則啟動高速緩存文件生成單元26而生成高速緩存文件(S418?S420)。在該階段，即使存在低精細縮小圖像，如果沒有高速緩存文件，則進行高速緩存文件生成。接著，如果沒有用戶操作(在S421中為“否”)，則高速緩存文件生成控制單元25進一步對另一個前后(相鄰的塊)的圖像也執(zhí)行同樣的處理(S419?S420)。這樣，一邊根據(jù)當前正瀏覽的圖像對取得順序處于一定范圍內(nèi)的圖像依次確認有無用戶操作，一邊反復(fù)進行步驟S419?S422的處理而生成高速緩存文件62 (S423)。
[0135]<高速緩存文件刪除處理>
[0136]高速緩存文件62的生成的順序如上所述，但對所有的圖像生成高速緩存文件62而保存到輔助存儲器60時，相應(yīng)地消耗大量存儲器。
[0137]因此，在高速緩存文件的個數(shù)/或高速緩存文件的數(shù)據(jù)量的總和超過預(yù)先確定的某一定閾值Sc的情況下，高速緩存文件刪除單元32進行刪除不需要的高速緩存文件的處理。該判定通過來自高速緩存文件生成單元26的啟動要求，在每生成高速緩存文件后立即執(zhí)行。這是因為只有在生成高速緩存數(shù)據(jù)時高速緩存文件增加。高速緩存文件刪除單元32一旦判定為刪除高速緩存文件，則進行刪除處理，直到高速緩存文件的個數(shù)/或高速緩存文件的總量小于預(yù)先確定的某一定閾值Sc’《Sc)為止。這里，對刪除高速緩存文件的順序?qū)⒃诤竺鏀⑹觯袝r在緊接刪除該高速緩存文件之前生成的高速緩存文件會成為接下來要刪除的高速緩存文件。在該情況下，不進行高速緩存文件的刪除，設(shè)為對于高速緩存文件生成處于不繼續(xù)進行的狀態(tài)。但是，在該情況下，當從當前圖像移動到前后的圖像時，再次復(fù)位成進行高速緩存文件生成的狀態(tài)。
[0138]作為要刪除的高速緩存文件的順序，高速緩存文件刪除單元32首先對距離當前的圖像處于某一定范圍外的圖像進行刪除。一定范圍能夠任意確定，例如有如下的確定方法:在登記壓縮圖像時標以連續(xù)號碼，在偏離預(yù)先設(shè)定的一定號碼以上的情況下為范圍外，在不是這樣的情況下為范圍內(nèi)的確定方法；以及對文件的壓縮圖像進行分類，在與當前正在顯示的圖像的種類相同的情況下為范圍內(nèi)，種類不同的情況下為范圍外的確定方法等。
[0139]高速緩存文件刪除單元32以下述方式進行刪除:對于范圍外的文件，優(yōu)先刪除生成日期和時間舊的文件，在所有范圍外的文件都刪除之后，依次刪除范圍內(nèi)的文件。高速緩存文件刪除單元32對于范圍內(nèi)的文件優(yōu)先刪除偏離當前圖像的圖像。即，刪除高速緩存文件的順序按圖13所示的優(yōu)先級。例如，對于距離當前顯示的圖像一定范圍外的高速緩存文件生成日期和時間舊的文件，與其它文件相比，刪除的優(yōu)先級設(shè)定得高。
[0140]〈壓縮圖像顯示處理〉
[0141]接著，說明對壓縮圖像進行解壓并顯示輸出至顯示裝置12時的步驟。
[0142]當用戶有畫面操作要求時，操作要求輸入單元24將有操作要求這一信息傳遞給高速緩存文件生成控制單元25。高速緩存文件生成控制單元25根據(jù)該通知，使高速緩存生成單元26的啟動處于停止狀態(tài)直到對操作要求的處理結(jié)束為止。
[0143]并且，操作要求輸入單元24啟動縮小圖像輸出單元27和部分解壓圖像輸出單元30，并且，除了操作模式(詳細顯示模式、縮略一覽模式)之外，還對兩單元27、30傳遞顯示對象的圖像ID、滾動方向、滾動量、放大.縮小等操作信息。
[0144]縮小圖像輸出單元27當由操作要求輸入單元24啟動時，從與顯示對象圖像的圖像ID對應(yīng)的高速緩存文件62讀取高速緩存數(shù)據(jù)50。讀取到的高速緩存數(shù)據(jù)存儲在主存儲器40上。
[0145]縮小圖像輸出單元27接著判定操作模式，在縮略一覽模式時，顯示輸出高速緩存數(shù)據(jù)50的低精細縮小圖像。
[0146]另一方面，在詳細顯示模式時，縮小圖像輸出單元27根據(jù)操作信息確定高精細縮小圖像的顯示范圍，并經(jīng)由顯示處理單元31將顯示范圍的圖像數(shù)據(jù)輸出至顯示裝置12。另夕卜，顯示范圍的指定方法采用以往技術(shù)，例如，利用以高精細縮小圖像的圖像左上頂點為坐標原點(0，0)時處于矩形顯示范圍的對角關(guān)系的頂點坐標(以下稱為“對角坐標”)(xl,yl)(x2, y2)進行指定，并將該指定的范圍的數(shù)據(jù)傳遞至顯示裝置12。
[0147]接著，縮小圖像輸出單元27啟動使用塊判定單元28。當使用塊判定單元28啟動時，根據(jù)顯示范圍對包括該顯示范圍的宏塊的ID進行運算。
[0148]使用圖14說明該運算方法的Iv例子。圖14 (a)表不聞精細縮小圖像和顯不范圍，圖14 (b)表示被分割為宏塊的原始圖像和顯示范圍。例如，若高精細縮小圖像的尺寸為aXb、原始圖像的塊分割數(shù)為mXn個，與高精細縮小圖像的坐標(x，y)對應(yīng)的原始圖像上的坐標所屬的宏塊的ID可以用下式所示。
[0149]宏塊ID=〈m.x/a>+m.〈η.y/b>......(2)
[0150]這里，<v>表示V以下的最大整數(shù)。
[0151]另外，上述式(2)是設(shè)ID的初始值為“O”、如圖2所示從左上到右下號碼連續(xù)的情況的運算式。
[0152]例如若高精細縮小圖像的尺寸為1024X768，矩形顯示范圍的對角坐標為(xl，yl)= (500，200)、(x2，y2)= (750，500)，則根據(jù)上式(2)，(xl,yl)的宏塊 ID 為“11”，(x2，y2)的宏塊ID為“29”。同樣，求出其它頂點的宏塊ID，并且，宏塊ID關(guān)于水平方向一次增加1，關(guān)于垂直方向一次增加m，因此，能夠特定所有矩形顯示范圍所屬的宏塊ID。使用塊判定單元28將求出的矩形顯示范圍所屬的宏塊ID保存于主存儲器40的緩沖區(qū)2 (42)。此后，使用塊判定單元28啟動部分解壓單元29。
[0153]當部分解壓單元29啟動時，使用壓縮圖像的映射數(shù)據(jù)51中其ID被記錄于緩沖區(qū)2的宏塊的映射數(shù)據(jù)來對壓縮圖像61進行部分解壓。部分解壓后的圖像數(shù)據(jù)(以下，稱為“部分解壓圖像數(shù)據(jù)”)保存在主存儲器40的緩沖區(qū)I (41)中。部分解壓單元29對保存在緩沖區(qū)2 (42)的所有宏塊ID完成該ID的宏塊的解壓處理時，啟動部分解壓圖像輸出單元30。
[0154]接著，當部分解壓圖像輸出單元30啟動時，將保存在緩沖區(qū)I (41)的部分解壓圖像數(shù)據(jù)中的顯示范圍的圖像輸出至顯示裝置12。
[0155]使用圖14說明此時的坐標變換的方法的一個例子?？梢酝ㄟ^下式求出以圖像尺寸AXB的原始圖像的左上頂點作為坐標原點時的坐標(X, Y)與上述高精細縮小圖像的坐標(X，y)的關(guān)系。
[0156]X= (A/a).X
[0157]Y= (B/b).y[0158]因此，若設(shè)部分解壓圖像的左上頂點的坐標為(α、β )，則在以部分解壓圖像的左上頂點為坐標原點的坐標系中，
[0159](X，，Y，)= ((A/a).χ-α，(B/b).y-β )......(3)。
[0160]并且，若設(shè)宏塊ID為C，則(α、β )可以用下式求出。
[0161]a = (A/m).(C_m.<C/m>)
[0162]β = (B/n).<C/m>
[0163]這里，<v>表示V以下的最大整數(shù)。
[0164]通過上式(3)，能夠?qū)⒏叻直媛士s小圖像的坐標系變換為進行了矩形展開的部分解壓圖像的坐標系，由此，能夠顯示輸出與高分辨率縮小圖像的顯示范圍對應(yīng)的部分解壓圖像。
[0165]通過上述處理，從縮小圖像輸出單元27或部分解壓圖像單元30輸出的圖像數(shù)據(jù)經(jīng)由顯示處理單元31被輸出至顯示裝置12。
[0166]以上，根據(jù)本實施方式，在用戶有詳細顯示模式的操作輸入時，首先，顯示輸出高精細縮小圖像，然后，對壓縮圖像進行部分解壓并將其顯示輸出至顯示裝置12，因此，能夠不會給用戶帶來壓力地進行部分解壓處理。并且，在用戶有操作要求時不需要對所有壓縮圖像進行解壓，因此能夠節(jié)約存儲器資源。
[0167]另外，使用上述(2 )、( 3 )式的坐標變換的方法是一個示例，本發(fā)明不限于此。
[0168]接著，說明第二實施方式。本實施方式有效利用位于主存儲器上的被部分解壓后的圖像，從而更迅速地響應(yīng)用戶的操作要求。圖15是第二實施方式的實現(xiàn)圖像部分伸展方法的圖像處理裝置的功能框圖。與圖1的圖像處理裝置的主要區(qū)別在于，追加用于刪除主存儲器上的部分解壓圖像的部分解壓圖像刪除單元33，如后所述變更使用塊判定單元28和部分解壓單元29的處理內(nèi)容，以及，對于高精細縮小圖像的輸出處理，縮小圖像輸出單元27從部分解壓單元29接受處理停止要求，由此，停止顯示輸出處理。
[0169]并且，在本實施方式中，在主存儲器40上，除了設(shè)置保存當前正在使用的宏塊ID及其部分解壓圖像數(shù)據(jù)的緩沖區(qū)1、保存與當前的高精細縮小圖像的顯示范圍對應(yīng)的宏塊ID的緩沖區(qū)2之外，還設(shè)置保存處于顯示范圍外但與緩沖區(qū)2的宏塊ID相鄰的宏塊ID的緩沖區(qū)3。其它功能與圖1同樣，對同一功能標以同一標號并省略說明。
[0170]接著，對具有上述構(gòu)成的圖像處理裝置I的動作進行說明。
[0171]當有操作要求輸入時，由縮小圖像輸出單元27啟動的使用塊判定單元28將與當前的顯示范圍對應(yīng)的宏塊ID保存于主存儲器40上的緩沖區(qū)2，來啟動部分解壓單元29。然后，在部分解壓處理之后，執(zhí)行后述的宏塊追加例程。
[0172]當部分解壓單元29啟動時，抽出在緩沖區(qū)2保存的宏塊ID。然后，判定緩沖區(qū)I內(nèi)是否存在緩沖區(qū)2的所有宏塊ID，在存在所有宏塊ID的情況下，對縮小圖像輸出單元27輸出高精細縮小圖像的顯示輸出處理的停止指令。由此，縮小圖像輸出單元27停止高精細縮小圖像的顯示輸出處理。
[0173]另一方面，在宏塊ID —個也不存在的情況下，部分解壓單元29對縮小圖像輸出單元27不輸出停止指令，對不存在的宏塊ID的塊進行部分解壓而將其追加到緩沖區(qū)I。當不存在的所有宏塊的解壓結(jié)束時，啟動部分解壓圖像輸出單元30。部分解壓圖像輸出單元30的動作與第一實施方式相同。[0174]接著，使用圖16說明使用塊判定單元28所執(zhí)行的宏塊追加例程。
[0175]當宏塊追加例程啟動時，求出與在緩沖區(qū)2中保存的宏塊ID相鄰的宏塊ID(S501)，僅將未在緩沖區(qū)2中保存的宏塊ID保存到緩沖區(qū)3 (S502)。
[0176]然后，抽出在緩沖區(qū)3中保存的宏塊ID，判定抽出的宏塊ID是否存在于緩沖區(qū)I(S503)，在未存在的情況下，利用部分解壓單元29對該宏塊ID的塊進行部分解壓而將其追加到緩沖區(qū)I (S504)。當對緩沖區(qū)3的所有宏塊ID結(jié)束了步驟S504的處理時，啟動部分解壓圖像刪除單元33。
[0177]當部分解壓圖像刪除單元33啟動時，首先從緩沖區(qū)I抽出最初的宏塊ID(S601)，判定抽出的宏塊ID是否存在于緩沖區(qū)2 (S603)，在未存在的情況下，接著判定是否存在于緩沖區(qū)3 (S604)，在未存在的情況下，刪除該宏塊ID以及該ID的部分解壓圖像數(shù)據(jù)(S605)。對在步驟S601中抽出的所有宏塊ID反復(fù)進行上述步驟S603?S605的處理(S602a、S602b)。
[0178]另外，在任務(wù)處理的情況下，部分解壓圖像刪除單元33與使用塊判定單元28、部分解壓單元29、部分解壓圖像輸出單元30等其它單元相比降低優(yōu)先等級。由此，在部分解壓圖像刪除單元33的動作中發(fā)生新的操作要求的情況下，也能夠使該操作要求優(yōu)先。
[0179]根據(jù)本實施方式，在主存儲器上，始終保存著當前正在顯示的部分解壓圖像數(shù)據(jù)，對其相鄰塊也預(yù)先準備，因此，對滾動等操作要求能夠以更高精細的部分解壓圖像迅速地進行顯示。并且，僅對于來不及處理的情況，顯示高精細縮小圖像，由此，與第一實施方式相t匕，能夠進行更有效的圖像顯示。另外，比相鄰的宏塊離得遠的位置的宏塊的部分解壓圖像數(shù)據(jù)逐次刪除，因此，能夠有效地使用主存儲器。
[0180]另外，在對相鄰的宏塊進行解壓的情況下，也可以在用戶的操作指示為圖像的縮小(zoom out)操作時對所有的相鄰宏塊進行解壓，在滾動操作時僅對在滾動方向上相鄰的宏塊進行解壓。由此，有效利用主存儲器，能夠進行有效的預(yù)測解壓處理。
[0181]圖19、圖20示出使用塊判定單元28所執(zhí)行的預(yù)測解壓步驟的一例。如圖18所示，該步驟例在顯示范圍的各頂點的移動方向以及各頂點與宏塊的圖像邊界之間的距離滿足預(yù)定條件的情況下，對其相鄰的宏塊也進行解壓。
[0182]以左上的頂點(XI，Yl)為例進一步詳細地進行說明。使用塊判定單元28通過上述式(2)算出(XI，Yl)所屬的宏塊ID，并代入變量I (S701)。然后，根據(jù)從操作要求輸入單元24傳遞來的操作信息，在該頂點向X軸的負方向移動的情況下(在S702中為“是”)，判定當前的顯示范圍的頂點坐標(X1，Y1)與該頂點所屬的宏塊的X負方向的邊界之間的距離是否為固定值以下(S703)。在為固定值以下的情況下(在S703中為“是”)，判定在X負方向是否存在“1-1”的宏塊(S704)。即，判定當前(XI，Yl)所屬的宏塊是否未處于左端。這既可以根據(jù)宏塊的分割條件(mXn)和當前的宏塊ID求出，也可以如圖2所示，通過存儲幾何學(xué)上的排列信息而求出。該判定結(jié)果，當在X負方向存在“1-1”的宏塊時(在S704中為“是”)，啟動部分解壓單元29，進行宏塊ID “1-1”的解壓(S705)。
[0183]接著，使用塊判定單元28與上述同樣判定是否向Y軸上的負方向移動(S706)，在該頂點向Y軸負方向移動的情況下(在S706中為“是”)，判定當前的顯示范圍的頂點坐標(X1，Y1)與該頂點所屬的宏塊的Y負方向的邊界之間的距離是否為固定值以下(S707)。在為固定值以下的情況下，判定在Y負方向是否存在“1-m”的宏塊(S708)。S卩,判定當前(XI,Yl)所屬的宏塊是否未處于上端。該判定結(jié)果，當在Y負方向存在“1-m”的宏塊時(在S708中為“是”)，啟動部分解壓單元29，進行宏塊ID “1_!11”的解壓(3709)。另外，利用部分解壓單元29進行宏塊ID “1-m-Ι”的解壓(S710)。這是因為，頂點(X1，Y1)向斜左上方向移動，接近斜方向的宏塊。
[0184]另一方面，在步驟S702、步驟S703、步驟S704中判定為“否”的情況下，轉(zhuǎn)移到步驟S711，執(zhí)行與步驟S706~S709同樣的處理。
[0185]以上是基于顯示范圍的畫面左上的頂點的動作進行的宏塊的預(yù)測解壓處理，但對于右上(Χ3，Υ3)、左下(Χ4，Υ4)、右下(Χ2，Υ2)的頂點，也能夠利用圖19、圖20所示的步驟同樣地進行預(yù)測解壓處理。
[0186]利用該預(yù)測解壓處理實現(xiàn)對雖然處于顯示范圍外但顯示可能性高的宏塊事前進行解壓，因此，除了上述實施方式的效果外，還能夠提高響應(yīng)性能。
[0187]本發(fā)明不限于上述實施方式，在不脫離其主旨的范圍內(nèi)能夠進行各種變形來實現(xiàn)。并且，在各 實施方式中說明的各功能(單元)能夠在所有實施方式中單獨或組合來實現(xiàn)。
【權(quán)利要求】
1.一種部分伸展方法，該部分伸展方法使用計算機對按照宏塊進行壓縮后所得的圖像進行部分伸展，該部分伸展方法的特征在于，包括以下步驟: (a)在上述計算機的存儲裝置中存儲壓縮圖像、根據(jù)壓縮圖像的位流生成的映射數(shù)據(jù)、以及根據(jù)壓縮圖像生成的縮小圖像以將映射數(shù)據(jù)和縮小圖像與壓縮圖像相關(guān)聯(lián)，其中，上述映射數(shù)據(jù)用于解壓壓縮圖像的至少一個宏塊； (b)根據(jù)從輸入裝置接收到的操作要求，將與應(yīng)顯示的壓縮圖像相關(guān)聯(lián)的上述縮小圖像輸出到顯示裝置； (c)根據(jù)上述縮小圖像的顯示范圍確定應(yīng)解壓的至少一個宏塊； (d)關(guān)于所確定的宏塊，使用上述映射數(shù)據(jù)對上述壓縮圖像進行部分解壓；以及 (e)將顯示范圍 的部分解壓后的圖像輸出到上述顯示裝置，以使得用上述輸出的部分解壓后的圖像代替上述顯示范圍上顯示的縮小圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中，在步驟(a)中，在空閑時生成上述映射數(shù)據(jù)和上述縮小圖像。
3.根據(jù)權(quán)利要求1所述的方法，還包括如下步驟:在從當前正瀏覽的圖像起圖像取得順序處于一定范圍內(nèi)，生成與已經(jīng)生成了映射數(shù)據(jù)和縮小圖像的圖像相鄰的圖像的映射數(shù)據(jù)和縮小圖像。
4.根據(jù)權(quán)利要求1所述的方法，還包括如下步驟:在獲得多個圖像的縮略一覽模式下，在從當前正瀏覽的圖像起圖像取得順序處于一定范圍內(nèi)，生成與已經(jīng)生成了縮小圖像的圖像相鄰的圖像的縮小圖像。
5.根據(jù)權(quán)利要求1所述的方法，還包括對與部分解壓的宏塊相鄰的宏塊進行部分解壓的步驟，其中，上述部分解壓的宏塊與當前顯示范圍對應(yīng)。
6.根據(jù)權(quán)利要求1所述的方法，還包括根據(jù)畫面操作追加應(yīng)部分解壓的宏塊的預(yù)測解壓步驟。
7.根據(jù)權(quán)利要求1所述的方法，其中，在處理由于操作要求而被延遲時，不執(zhí)行步驟(e)。
8.根據(jù)權(quán)利要求1所述的方法，其中，在用戶操作期間，停止生成映射數(shù)據(jù)和縮小圖像。
9.根據(jù)權(quán)利要求6所述的方法，還包括如下步驟:確定是否存在應(yīng)被輸出到顯示器裝置的部分解壓圖像，并且在存在這樣的部分解壓圖像時停止用于輸出縮小圖像的步驟(b)。
10.一種圖像處理裝置，包括: 輸入裝置，輸入圖像數(shù)據(jù)和操作請求； 運算處理裝置，對輸入的圖像數(shù)據(jù)進行運算處理； 顯示裝置，顯示圖像的處理結(jié)果；以及 存儲裝置，存儲壓縮圖像、根據(jù)壓縮圖像的位流生成的映射數(shù)據(jù)、以及根據(jù)壓縮圖像生成的縮小圖像以將映射數(shù)據(jù)和縮小圖像與壓縮圖像相關(guān)聯(lián)，其中，上述映射數(shù)據(jù)用于解壓壓縮圖像的至少一個宏塊； 其中，上述運算處理裝置包括: 縮小圖像輸出單元，在從輸入裝置接收到操作要求時，向顯示裝置輸出與應(yīng)被顯示的壓縮圖像相關(guān)聯(lián)的縮小圖像；使用塊判斷單元，根據(jù)縮小圖像的顯示范圍確定應(yīng)被部分解壓的至少一個的宏塊； 部分解壓單元，關(guān)于所確定的宏塊，使用映射數(shù)據(jù)對壓縮圖像進行部分解壓；以及 部分解壓圖像輸出單元，將利用部分解壓單元部分生成的顯示范圍的部分解壓圖像輸出到顯示裝置，以使得用上述輸出的部分解壓后的圖像代替在上述顯示范圍上顯示的縮小圖像。
11.根據(jù)權(quán)利要求10所 述的圖像處理裝置，其中，上述運算處理裝置還包括緩存文件生成單元，該緩存文件生成單元生成在存儲裝置中存儲的上述映射數(shù)據(jù)和上述縮小圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，上述緩存文件生成單元在空閑時生成上述映射數(shù)據(jù)和上述縮小圖像。
13.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，上述緩存文件生成單元在從當前正瀏覽的圖像起圖像取得順序處于一定范圍內(nèi)，生成與已經(jīng)生成了映射數(shù)據(jù)和縮小圖像的圖像相鄰的圖像的映射數(shù)據(jù)和縮小圖像。
14.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，上述緩存文件生成單元在獲得多個圖像的縮略一覽模式下，在從當前正瀏覽的圖像起圖像取得順序處于一定范圍內(nèi)，生成與已經(jīng)生成了縮小圖像的圖像相鄰的圖像的縮小圖像。
15.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，上述部分解壓單元還對與部分解壓的宏塊相鄰的宏塊進行部分解壓，該部分解壓的宏塊與當前顯示范圍對應(yīng)。
16.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，上述使用塊判斷單元根據(jù)畫面操作要求進行追加應(yīng)部分解壓的宏塊的預(yù)測解壓處理。
17.根據(jù)權(quán)利要求10所述的圖像處理裝置，其中，在處理由于操作要求而被延遲時，不進行部分解壓圖像輸出單元的操作。
18.根據(jù)權(quán)利要求11所述的圖像處理裝置，其中，在用戶操作時，停止緩存文件生成單元的操作。
19.根據(jù)權(quán)利要求16所述的圖像處理裝置，其中，上述部分解壓圖像輸出單元確定是否存在應(yīng)被輸出到顯示器裝置的部分解壓圖像、并且在存在這樣的部分解壓圖像時停止上述縮小圖像輸出單元的操作。
【文檔編號】H04N19/00GK103957416SQ201410140920
【公開日】2014年7月30日 申請日期:2010年12月1日 優(yōu)先權(quán)日:2010年3月4日
【發(fā)明者】平賀督基, 中邦博, 西山貴之, 三浦健, 中山和洋 申請人:株式會社摩如富