存儲(chǔ)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體來(lái)說(shuō)，涉及一種存儲(chǔ)方法及系統(tǒng)。
【背景技術(shù)】
[0002]近些年，我國(guó)航天事業(yè)發(fā)展迅速，對(duì)地觀測(cè)技術(shù)突飛猛進(jìn)，各種遙感儀器空間分辨率、光譜分辨率，時(shí)間分辨率不斷提高，各種不同應(yīng)用遙感影像的數(shù)據(jù)量急劇增長(zhǎng)，積累了大量的影像數(shù)據(jù)。以ZY3號(hào)衛(wèi)星數(shù)據(jù)為例，在軌運(yùn)行300天，產(chǎn)生的數(shù)據(jù)量高達(dá)17TB。隨著我國(guó)衛(wèi)星數(shù)量的增加和數(shù)據(jù)的積累，如何高效存儲(chǔ)和管理海量遙感影像數(shù)據(jù)已經(jīng)成為厄需解決的一大難題。
[0003]傳統(tǒng)的集中式管理系統(tǒng)難以滿足海量遙感影像數(shù)據(jù)的大容量，高并發(fā)，擴(kuò)展性強(qiáng)，安全性高等的要求，已經(jīng)很難用來(lái)高效存儲(chǔ)和管理海量遙感影像數(shù)據(jù)。近些年大規(guī)模分布式存儲(chǔ)系統(tǒng)得到快速發(fā)展，使用大規(guī)模分布式文件系統(tǒng)解決海量遙感數(shù)據(jù)存儲(chǔ)的問(wèn)題逐漸進(jìn)入了人們的視野。Google在Google地圖和Google Earth中采用了分布式存儲(chǔ)系統(tǒng)GFS來(lái)解決海量影像的存儲(chǔ)和管理，同時(shí)采用BigTable解決了小文件的問(wèn)題。為了實(shí)現(xiàn)遙感影像快速瀏覽和檢索，Google針對(duì)遙感影像圖片進(jìn)行存儲(chǔ)的影像金字塔模型，實(shí)質(zhì)上是對(duì)一大塊的影像圖片進(jìn)行分塊處理，然后對(duì)數(shù)據(jù)根據(jù)用戶的需要一不同分辨率進(jìn)行存儲(chǔ)與現(xiàn)實(shí)，形成一個(gè)自頂而下的文件金字塔結(jié)構(gòu)。采用“分層分塊”策略的瓦片金字塔對(duì)數(shù)據(jù)集進(jìn)行多維度的剖分組織，不僅極大地縮短了數(shù)據(jù)的訪問(wèn)時(shí)間，還可以實(shí)現(xiàn)不同分辨率數(shù)據(jù)之間的無(wú)縫瀏覽，是海量遙感數(shù)據(jù)組織的理想結(jié)構(gòu)。
[0004]傳統(tǒng)遙感影像數(shù)據(jù)的存儲(chǔ)與管理以集中式存儲(chǔ)和管理為主，遙感影像文件與元數(shù)據(jù)信息共同存儲(chǔ)與文件夾中，文件夾以目錄的形式進(jìn)行管理。這種方法在數(shù)據(jù)存儲(chǔ)冗余備份、水平節(jié)點(diǎn)擴(kuò)展、數(shù)據(jù)負(fù)載均衡和硬件成本上，無(wú)法滿足上述日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)與計(jì)算需求。
[0005]隨著大規(guī)模分布式存儲(chǔ)系統(tǒng)的發(fā)展，已經(jīng)有一些研究和實(shí)踐利用分布式存儲(chǔ)系統(tǒng)存儲(chǔ)和管理海量遙感影像數(shù)據(jù)，目前應(yīng)用較多的存儲(chǔ)方法是利用分布式系統(tǒng)(例如HDFS)存儲(chǔ)遙感影像數(shù)據(jù)，用關(guān)系型數(shù)據(jù)庫(kù)(Oracle/MySQL等)存儲(chǔ)遙感影像的元數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行快速索引。這一方法在一定程度上解決了海量遙感影像數(shù)據(jù)的存儲(chǔ)和管理問(wèn)題，但是也存在著諸多問(wèn)題。首先，利用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)海量遙感影像的元數(shù)據(jù)同樣存在著性能瓶頸，隨著數(shù)據(jù)量的增加，元數(shù)據(jù)的表操作性能會(huì)逐漸降低。其次，在關(guān)系型數(shù)據(jù)庫(kù)中元數(shù)據(jù)的備份需要定期手動(dòng)操作，這無(wú)疑增加了工作量和數(shù)據(jù)丟失的可能性。最后，通常情況下，遙感影像的大小在幾百兆到幾個(gè)G，因此，統(tǒng)一路徑下讀寫如此大的文件必然會(huì)導(dǎo)致讀寫效率不高的問(wèn)題，若將文件切割，在海量遙感影像的情況下會(huì)導(dǎo)致分布式存儲(chǔ)系統(tǒng)的小文件問(wèn)題和關(guān)系關(guān)系數(shù)據(jù)庫(kù)負(fù)擔(dān)的增加。
[0006]在開源界，有些學(xué)者利用HDFS和HBase來(lái)存儲(chǔ)海量遙感影像數(shù)據(jù)，但是HDFS存在著空間利用率低的問(wèn)題，這使得硬件設(shè)備不能充分被利用。同時(shí)，HDFS是利用Java語(yǔ)言開發(fā)，其執(zhí)行效率不是很尚。
[0007]針對(duì)相關(guān)技術(shù)中的問(wèn)題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0008]針對(duì)相關(guān)技術(shù)中的問(wèn)題，本發(fā)明提出一種存儲(chǔ)方法及系統(tǒng)，能夠滿足海量遙感影像數(shù)據(jù)大容量，高并發(fā)，高安全等的要求，實(shí)現(xiàn)對(duì)海量遙感影像文件的存儲(chǔ)與管理，大大提高了對(duì)海量遙感影像文件的查詢效率以及對(duì)局部影像的定位能力。
[0009]本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0010]根據(jù)本發(fā)明的一個(gè)方面，提供了一種存儲(chǔ)方法，該存儲(chǔ)方法用于存儲(chǔ)海量遙感影像文件。
[0011]該存儲(chǔ)方法包括:
[0012]接收海量遙感影像文件；
[0013]根據(jù)四叉樹索引，將海量遙感影像文件分割為多個(gè)子遙感影像文件并記錄子遙感影像文件對(duì)應(yīng)的第一元數(shù)據(jù)信息；
[0014]存儲(chǔ)多個(gè)子遙感影像文件以及第一元數(shù)據(jù)信息。
[0015]在一個(gè)優(yōu)選的實(shí)施例中，第一元數(shù)據(jù)信息包括:
[0016]子遙感影像文件的數(shù)據(jù)信息以及存儲(chǔ)位置。
[0017]在一個(gè)優(yōu)選的實(shí)施例中，子遙感影像文件的數(shù)據(jù)信息為子遙感影像文件所對(duì)應(yīng)的地理覆蓋區(qū)域的參數(shù)。
[0018]在一個(gè)優(yōu)選的實(shí)施例中，存儲(chǔ)多個(gè)子遙感影像文件以及第一元數(shù)據(jù)信息之前進(jìn)一步包括:
[0019]記錄海量遙感影像文件對(duì)應(yīng)的第二元數(shù)據(jù)信息，其中，第二元數(shù)據(jù)信息為海量遙感影像文件所對(duì)應(yīng)的地理覆蓋區(qū)域的參數(shù)。
[0020]在一個(gè)優(yōu)選的實(shí)施例中，存儲(chǔ)方法進(jìn)一步包括:
[0021 ]對(duì)第一元數(shù)據(jù)信息進(jìn)行備份。
[0022]根據(jù)本發(fā)明的另一方面，提供了一種存儲(chǔ)系統(tǒng)，該存儲(chǔ)系統(tǒng)用于存儲(chǔ)海量遙感影像文件。
[0023]該存儲(chǔ)系統(tǒng)包括:
[0024]接收裝置，用于接收海量遙感影像文件；
[0025]編程模型MapReduce，用于根據(jù)四叉樹索引，將海量遙感影像文件分割為多個(gè)子遙感影像文件并記錄子遙感影像文件對(duì)應(yīng)的第一元數(shù)據(jù)信息；
[0026]并行存儲(chǔ)裝置，用于存儲(chǔ)多個(gè)子遙感影像文件；
[0027]分布式數(shù)據(jù)庫(kù)HBase，用于存儲(chǔ)第一元數(shù)據(jù)信息。
[0028]在一個(gè)優(yōu)選的實(shí)施例中，第一元數(shù)據(jù)信息包括:
[0029]子遙感影像文件的數(shù)據(jù)信息以及存儲(chǔ)位置。
[0030]在一個(gè)優(yōu)選的實(shí)施例中，子遙感影像文件的數(shù)據(jù)信息為子遙感影像文件所對(duì)應(yīng)的地理覆蓋區(qū)域的參數(shù)。
[0031]在一個(gè)優(yōu)選的實(shí)施例中，MapReduce進(jìn)一步用于記錄海量遙感影像文件對(duì)應(yīng)的第二元數(shù)據(jù)信息，其中，第二元數(shù)據(jù)信息為海量遙感影像文件所對(duì)應(yīng)的地理覆蓋區(qū)域的參數(shù)。
[0032]在一個(gè)優(yōu)選的實(shí)施例中，HBase進(jìn)一步用于對(duì)第一元數(shù)據(jù)信息進(jìn)行備份。
[0033]本發(fā)明通過(guò)利用四叉樹索引將海量遙感影像文件分割成多個(gè)小文件，并將多個(gè)小文件進(jìn)行存儲(chǔ)，從而實(shí)現(xiàn)了對(duì)海量遙感影像文件的存儲(chǔ)與管理，并且大大提高了對(duì)海量遙感影像文件的查詢效率以及對(duì)局部影像的定位能力。
【附圖說(shuō)明】
[0034]為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0035]圖1是根據(jù)本發(fā)明實(shí)施例的存儲(chǔ)方法的流程圖；
[0036]圖2是根據(jù)本發(fā)明實(shí)施例的存儲(chǔ)系統(tǒng)的不意圖；
[0037]圖3是根據(jù)本發(fā)明的具體實(shí)施例的存儲(chǔ)系統(tǒng)的示意圖。
【具體實(shí)施方式】
[0038]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0039]根據(jù)本發(fā)明的實(shí)施例，提供了一種存儲(chǔ)方法，該存儲(chǔ)方法用于存儲(chǔ)海量遙感影像文件。
[0040]如圖1所示，根據(jù)本發(fā)明實(shí)施例的存儲(chǔ)方法包括:
[0041 ]步驟SlOl，接收海量遙感影像文件。
[0042]步驟S103，根據(jù)四叉樹索引，將海量遙感影像文件分割為多個(gè)子遙感影像文件并記錄子遙感影像文件對(duì)應(yīng)的第一元數(shù)據(jù)信息。具體的，在一個(gè)優(yōu)選的實(shí)施例中，第一元數(shù)據(jù)信息包括子遙感影像文件的數(shù)據(jù)信息以及存儲(chǔ)位置。其中，子遙感影像文件的數(shù)據(jù)信息為子遙感影像文件所對(duì)應(yīng)的地理覆蓋區(qū)域的參數(shù)。在一個(gè)實(shí)施例中，在記錄第一元數(shù)據(jù)信息的同時(shí)，還包括記錄海量遙感影像文件對(duì)應(yīng)的第二元數(shù)據(jù)信息，其中，第二元數(shù)據(jù)信息為海量遙感影像文件所對(duì)應(yīng)的地理覆蓋區(qū)域的參數(shù)。
[0043]步驟S105，存儲(chǔ)多個(gè)子遙感影像文件以及第一元數(shù)據(jù)信息。在一個(gè)優(yōu)選的實(shí)施例中，該步驟還包括對(duì)第一元數(shù)據(jù)信息進(jìn)行備份。
[0044]通過(guò)本發(fā)明的上述方案，能夠滿足海量遙感影像數(shù)據(jù)大容量，高并發(fā)，高安全等的要求，實(shí)現(xiàn)對(duì)海量遙感影像文件的存儲(chǔ)與管理，大大提高了對(duì)海量遙感影像文件的查詢效率以及對(duì)局部影像的定位能力。
[0045]根據(jù)本發(fā)明的實(shí)施例，還提供了一種存儲(chǔ)系統(tǒng)，該存儲(chǔ)系統(tǒng)用于存儲(chǔ)海量遙感影像文件。
[0046]如圖2所示，根據(jù)本發(fā)明實(shí)施例的存儲(chǔ)系統(tǒng)包括:
[0047]接收裝置21，用于接收海量遙感影像文件；
[0048]編程模型MapRedUCe22，用于根據(jù)四叉樹索引，將海量遙感影像文件分割為多個(gè)子遙感影像文件并記錄子遙感影像文件對(duì)應(yīng)的第一元數(shù)據(jù)信息