基于抽象模板的海量柵格數(shù)據(jù)處理及管理方法
【專利摘要】本發(fā)明公開了一種基于抽象模板的海量柵格數(shù)據(jù)的分類處理和管理方法。具體內(nèi)容包括：(1)柵格數(shù)據(jù)特征提?。捍_定柵格數(shù)據(jù)主要特征信息；(2)柵格數(shù)據(jù)模板匹配：依據(jù)特征的匹配度判斷最適合數(shù)據(jù)模板；(3)基于抽象模板的數(shù)據(jù)自動化處理：自動調(diào)用對應的數(shù)據(jù)處理工具，完成柵格數(shù)據(jù)的自動化、流程化處理；(4)基于抽象模板的數(shù)據(jù)自動存儲：自動創(chuàng)建數(shù)據(jù)存儲空間，分配集群存儲位置，實現(xiàn)數(shù)據(jù)導入；(5)基于抽象模板的數(shù)據(jù)查詢檢索：自動構建與更新對應數(shù)據(jù)集檢索條件，實現(xiàn)對海量柵格數(shù)據(jù)的管理。本發(fā)明利用抽象數(shù)據(jù)模板建立柵格數(shù)據(jù)與數(shù)據(jù)處理工具和存儲模型間的管理，解決了海量柵格數(shù)據(jù)的快速、自動化處理和管理問題。
【專利說明】基于抽象模板的海量柵格數(shù)據(jù)處理及管理方法
【技術領域】
[0001]本發(fā)明涉及柵格數(shù)據(jù)的處理及管理，特別是涉及一種基于抽象模板的大數(shù)據(jù)量柵格數(shù)據(jù)的分類處理和管理方法。
【背景技術】
[0002]柵格數(shù)據(jù)結構又稱為格網(wǎng)結構(raster)，是將地表面劃分為大小均勻、緊密相鄰的網(wǎng)格陣列，每個網(wǎng)格作為一個像元或像素由行、列號定義，它包含一個代碼，以表示該網(wǎng)格的屬性或指向?qū)傩杂涗浀闹羔?，是GIS中的數(shù)據(jù)結構不可缺少的組成部分。
[0003]經(jīng)過半個多世紀發(fā)展，全球?qū)Φ赜^測技術水平突飛猛進，多傳感器、多空間分辨率、多光譜分辨率和多角度衛(wèi)星遙感正在實現(xiàn)對陸地表面的全方位觀測，導致柵格數(shù)據(jù)量呈現(xiàn)爆炸式增長。強大的數(shù)據(jù)獲取能力，為各類柵格信息產(chǎn)品的生產(chǎn)和服務提供了大量基礎數(shù)據(jù)的同時，對傳統(tǒng)柵格數(shù)據(jù)的處理、管理也提出了嚴峻的挑戰(zhàn)。
[0004]目前，柵格數(shù)據(jù)的基本管理方式可以分為基于文件系統(tǒng)和基于數(shù)據(jù)庫管理系統(tǒng)兩類。其中基于文件的存儲方式被廣泛應用于平臺無關的地理柵格數(shù)據(jù)表達和交換，而基于數(shù)據(jù)庫管理系統(tǒng)的柵格數(shù)據(jù)管理方式由于能夠借助于現(xiàn)代數(shù)據(jù)庫管理系統(tǒng)所提供的各種標準特性，已經(jīng)越來越被廣泛應用。目前，空間數(shù)據(jù)庫管理系統(tǒng)主要有兩種實現(xiàn)模式:一種是“關系型數(shù)據(jù)庫管理系統(tǒng)+空間數(shù)據(jù)引擎”，另一種是“關系型數(shù)據(jù)庫管理系統(tǒng)+空間擴展”。雖然兩種模式在柵格數(shù)據(jù)的空間檢索、更新、查詢等的實現(xiàn)方式上有所區(qū)別，但對于柵格數(shù)據(jù)本身的存儲都是采用了數(shù)據(jù)庫存儲方式。但由于柵格數(shù)據(jù)是一類非結構化的復雜數(shù)據(jù)，且具有海量數(shù)據(jù)的特征，現(xiàn)有的柵格數(shù)據(jù)管理方式雖然能支持多用戶的數(shù)據(jù)檢索等操作，但在進行柵格數(shù)據(jù)計算和分析時會遇到數(shù)據(jù)操作瓶頸問題。
[0005]面對柵格數(shù)據(jù)獲取能力的飛速發(fā)展與柵格數(shù)據(jù)處理及服務能力嚴重滯后的矛盾，如何實現(xiàn)海量柵格數(shù)據(jù)的自動化處理及有效管理已成為GIS領域中迫切需要解決的一個難題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是為了解決海量柵格數(shù)據(jù)的自動化處理及面向計算的數(shù)據(jù)管理問題，針對柵格數(shù)據(jù)的主要特征，提出一種基于抽象模板的海量柵格數(shù)據(jù)處理及管理方法，通過柵格數(shù)據(jù)特征分析，進行抽象模板匹配，依據(jù)匹配的模板調(diào)用對應的柵格數(shù)據(jù)自動處理工具來實現(xiàn)柵格數(shù)據(jù)的自動化處理，并依據(jù)抽象模板自動構建柵格數(shù)據(jù)的存儲結構，實現(xiàn)柵格數(shù)據(jù)的自動分類存儲及管理，由此解決海量柵格數(shù)據(jù)處理及管理的自動化問題。
[0007]本發(fā)明所采用的技術方案的具體內(nèi)容包括:
[0008](I)柵格數(shù)據(jù)特征提取:讀取柵格數(shù)據(jù)及相關元數(shù)據(jù)信息，提取數(shù)據(jù)主要特征信息，包括數(shù)據(jù)文件格式、數(shù)據(jù)文件命名規(guī)則、數(shù)據(jù)文件存儲方式、數(shù)據(jù)文件內(nèi)容、數(shù)據(jù)來源等信息，用于進行數(shù)據(jù)模板匹配。
[0009](2)柵格數(shù)據(jù)模板匹配:將柵格數(shù)據(jù)提取的特征與抽象模板特征進行匹配，依據(jù)特征的匹配度判斷最適合的數(shù)據(jù)模板。
[0010](3)基于抽象模板的柵格數(shù)據(jù)自動化處理:每類抽象數(shù)據(jù)模板對應一系列的柵格數(shù)據(jù)處理工具，依據(jù)數(shù)據(jù)匹配的數(shù)據(jù)模板，自動調(diào)用對應的數(shù)據(jù)處理工具，完成柵格數(shù)據(jù)的自動化、流程化處理。
[0011](4)基于抽象模板的數(shù)據(jù)自動存儲:依據(jù)數(shù)據(jù)匹配的數(shù)據(jù)模板，自動創(chuàng)建數(shù)據(jù)存儲空間，分配集群存儲位置，并將數(shù)據(jù)處理工具提取的柵格數(shù)據(jù)元數(shù)據(jù)存入創(chuàng)建的數(shù)據(jù)存儲空間之中。
[0012](5)基于抽象模板的數(shù)據(jù)查詢檢索:依據(jù)數(shù)據(jù)模板，自動構建對應數(shù)據(jù)集柵格數(shù)據(jù)檢索默認條件，依據(jù)用戶輸入查詢條件進行檢索條件的部分更新，形成最終的查詢條件，通過對元數(shù)據(jù)檢索實現(xiàn)對海量柵格數(shù)據(jù)的查詢檢索。
[0013]當用戶需要添加一個新的柵格數(shù)據(jù)時，需要順序執(zhí)行(1)-(4)的步驟；當用戶需要對已有的數(shù)據(jù)進行查詢檢索時，需執(zhí)行步驟(5);當用戶需要對已有柵格數(shù)據(jù)進行更新時，需在執(zhí)行步驟(5)獲取對應元數(shù)據(jù)記錄及數(shù)據(jù)文件位置后，對更新的柵格數(shù)據(jù)順序執(zhí)行(1)_(4)，替換原有記錄及文件；當用戶需要刪除已有數(shù)據(jù)時，在執(zhí)行步驟(5)獲取對應元數(shù)據(jù)記錄及數(shù)據(jù)文件位置后，刪除對應記錄及數(shù)據(jù)文件。
[0014]本發(fā)明中步驟(I)中柵格數(shù)據(jù)特征可以通過讀取柵格文件及相關元數(shù)據(jù)文件自動提取，對于信息不足或元數(shù)據(jù)文件缺失的柵格數(shù)據(jù)可以由用戶人工指定對應特征。
[0015]本發(fā)明中步驟(2)中特征的匹配包括特征數(shù)量的匹配和每個特征值的匹配，依據(jù)特征權重進行匹配度的判斷。
[0016]本發(fā)明中步驟(3)中每類抽象數(shù)據(jù)模板對應一系列柵格數(shù)據(jù)處理工具的組合，主要包括柵格數(shù)據(jù)的格式轉(zhuǎn)換、校正、元數(shù)據(jù)信息提取等處理步驟，通過模板與工具組合信息的關聯(lián)，實現(xiàn)對應柵格數(shù)據(jù)的自動化處理。
[0017]本發(fā)明中步驟(4)、(5)中每類抽象數(shù)據(jù)模板對應一類數(shù)據(jù)存儲結構，在柵格數(shù)據(jù)添加、查詢等操作時，依據(jù)對應的存儲結構自動創(chuàng)建存儲空間或查詢條件結構，進而實現(xiàn)柵格數(shù)據(jù)的操作。
[0018]本發(fā)明技術與現(xiàn)有技術相比，具有以下有益效果:本發(fā)明利用抽象數(shù)據(jù)模板建立柵格數(shù)據(jù)與數(shù)據(jù)處理工具和存儲模型間的管理，解決海量柵格數(shù)據(jù)的快速、自動化處理和管理問題。只要是可識別的柵格數(shù)據(jù)均可通過柵格數(shù)據(jù)特征與模板特征的匹配進行數(shù)據(jù)的自動分類，再通過自動調(diào)用模板對應的數(shù)據(jù)處理工具及管理工具實現(xiàn)柵格數(shù)據(jù)的自動處理、入庫及管理。
【專利附圖】

【附圖說明】
[0019]圖1為本發(fā)明的柵格數(shù)據(jù)導入及處理流程圖。
[0020]圖2為本發(fā)明的柵格數(shù)據(jù)查詢流程圖。
[0021]圖3為本發(fā)明的柵格數(shù)據(jù)更新流程圖。
[0022]圖4為本發(fā)明的柵格數(shù)據(jù)刪除流程圖。
【具體實施方式】
[0023]下面結合附圖及具體實施例對本發(fā)明做進一步的詳細描述。[0024]本發(fā)明實施例提供了一種基于抽象數(shù)據(jù)模板的海量柵格數(shù)據(jù)自動處理和管理方法，具體包括以下步驟:
[0025](I)數(shù)據(jù)導入及處理
[0026]讀取柵格數(shù)據(jù)，進行柵格數(shù)據(jù)的自動處理，并完成是數(shù)據(jù)的入庫管理。參見圖1所示，數(shù)據(jù)導入及處理具體包括以下步驟:
[0027](a)讀取柵格數(shù)據(jù)文件及其元數(shù)據(jù)信息文件，從數(shù)據(jù)文件及元數(shù)據(jù)文件中提取主要特征信息，主要包括數(shù)據(jù)文件格式信息、數(shù)據(jù)文件組成信息、數(shù)據(jù)分辨率信息等內(nèi)容。
[0028](b)依據(jù)數(shù)據(jù)特征權重信息，與抽象數(shù)據(jù)模板庫進行數(shù)據(jù)特征數(shù)和特征值的匹配，判斷柵格數(shù)據(jù)所屬的數(shù)據(jù)模板。
[0029](C)對于正確匹配的柵格數(shù)據(jù)，通過抽象數(shù)據(jù)模板庫中對應數(shù)據(jù)處理信息，調(diào)用數(shù)據(jù)處理工具，完成數(shù)據(jù)預處理及元信息提??；對于沒有正確匹配的柵格數(shù)據(jù)返回無法處理信息結束導入處理流程。
[0030](d)對于處理完成并正確提取元信息的柵格數(shù)據(jù)，依據(jù)抽象數(shù)據(jù)模板庫中對應的數(shù)據(jù)存儲結構信息創(chuàng)建數(shù)據(jù)存儲空間以及分配數(shù)據(jù)在集群中的存儲位置，并完成數(shù)據(jù)的入
庫管理。
[0031](2)數(shù)據(jù)查詢
[0032]依據(jù)用戶選擇的數(shù)據(jù)集等信息確定查詢數(shù)據(jù)對應數(shù)據(jù)模板類型，動態(tài)構建查詢條件并與用戶輸入查詢信息組合，生成最終查詢條件，完成數(shù)據(jù)檢索查詢。參見圖2所示，數(shù)據(jù)查詢具體包括以下步驟:
[0033](a)用戶通過指定查詢數(shù)據(jù)集等交互確定查詢數(shù)據(jù)所屬模板類型。
[0034](b)依據(jù)數(shù)據(jù)模板庫中對應的數(shù)據(jù)結構信息，自動構建默認查詢條件。
[0035](C)用戶通過交互確定相關查詢條件，依據(jù)用戶交互信息更新默認查詢條件。
[0036](d)依據(jù)更新后的查詢條件進行數(shù)據(jù)查詢，并返回查詢結果集信息。
[0037](3)數(shù)據(jù)更新
[0038]在數(shù)據(jù)查詢的基礎上，指定需要更新的柵格數(shù)據(jù)，重復數(shù)據(jù)導入及處理流程，并將對應信息更新至查詢指定的數(shù)據(jù)記錄中。參見圖3所示，數(shù)據(jù)更新具體包括以下步驟:
[0039](a)用戶通過指定查詢數(shù)據(jù)集等交互確定查詢數(shù)據(jù)所屬模板類型。
[0040](b)依據(jù)數(shù)據(jù)模板庫中對應的數(shù)據(jù)結構信息，自動構建默認查詢條件。
[0041](c)用戶通過交互確定相關查詢條件，依據(jù)用戶交互信息更新默認查詢條件。
[0042](d)依據(jù)更新后的查詢條件進行數(shù)據(jù)查詢，并返回查詢結果集信息，在結果集中指定需要更新的具體數(shù)據(jù)。
[0043](e)讀取新的柵格數(shù)據(jù)文件及其元數(shù)據(jù)信息文件，從數(shù)據(jù)文件及元數(shù)據(jù)文件中提取主要特征信息，主要包括數(shù)據(jù)文件格式信息、數(shù)據(jù)文件組成信息、數(shù)據(jù)分辨率信息等內(nèi)容。
[0044](f)依據(jù)數(shù)據(jù)特征權重信息，與指定數(shù)據(jù)對應的抽象數(shù)據(jù)模板進行數(shù)據(jù)特征數(shù)和特征值的匹配，判斷柵格數(shù)據(jù)是否屬于此數(shù)據(jù)模板。
[0045](g)對于正確匹配的柵格數(shù)據(jù)，通過抽象數(shù)據(jù)模板庫中對應數(shù)據(jù)處理信息，調(diào)用數(shù)據(jù)處理工具，完成數(shù)據(jù)預處理及元信息提?。粚τ跊]有正確匹配的柵格數(shù)據(jù)返回無法處理信息結束更新處理流程。[0046](h)對于處理完成并正確提取元信息的柵格數(shù)據(jù)，將對應的元信息及數(shù)據(jù)文件信息更新至指定的數(shù)據(jù)對應的記錄及文件位置。
[0047](4)數(shù)據(jù)刪除
[0048]在數(shù)據(jù)查詢的基礎上，指定需要刪除的柵格數(shù)據(jù)，依據(jù)對應數(shù)據(jù)模板中記錄的數(shù)據(jù)存儲結構和元數(shù)據(jù)信息，刪除對應的元數(shù)據(jù)記錄、數(shù)據(jù)存儲空間和所有數(shù)據(jù)文件。參見圖4所示，數(shù)據(jù)刪除具體包括以下步驟:
[0049](a)用戶通過指定查詢數(shù)據(jù)集等交互確定刪除數(shù)據(jù)所屬模板類型。
[0050](b)依據(jù)數(shù)據(jù)模板庫中對應的數(shù)據(jù)結構信息，自動構建默認查詢條件。
[0051](C)用戶通過交互確定相關查詢條件，依據(jù)用戶交互信息更新默認查詢條件。
[0052](d)依據(jù)更新后的查詢條件進行數(shù)據(jù)查詢，并返回查詢結果集信息。
[0053](e)用戶通過交互指定需要刪除的數(shù)據(jù)
[0054](f)依據(jù)對應數(shù)據(jù)模板中數(shù)據(jù)結構信息刪除對應元數(shù)據(jù)記錄信息、數(shù)據(jù)文件以及數(shù)據(jù)存儲空間信息。
【權利要求】
1.一種基于抽象模板的海量柵格數(shù)據(jù)處理和管理方法，具體內(nèi)容為: (1)柵格數(shù)據(jù)特征提取:讀取柵格數(shù)據(jù)及相關元數(shù)據(jù)信息，提取數(shù)據(jù)主要特征信息，包括數(shù)據(jù)文件格式、數(shù)據(jù)文件命名規(guī)則、數(shù)據(jù)文件存儲方式、數(shù)據(jù)文件內(nèi)容、數(shù)據(jù)來源、數(shù)據(jù)分辨率信息，用于進行數(shù)據(jù)模板匹配； (2)柵格數(shù)據(jù)模板匹配:將柵格數(shù)據(jù)提取的特征與抽象模板特征進行匹配，依據(jù)特征的匹配度判斷最適合的數(shù)據(jù)模板； (3)基于抽象模板的柵格數(shù)據(jù)自動化處理:每類抽象數(shù)據(jù)模板對應一系列的柵格數(shù)據(jù)處理工具，依據(jù)數(shù)據(jù)匹配的數(shù)據(jù)模板，自動調(diào)用對應的數(shù)據(jù)處理工具，完成柵格數(shù)據(jù)的自動化、流程化處理； (4)基于抽象模板的柵格數(shù)據(jù)自動存儲:依據(jù)數(shù)據(jù)匹配的數(shù)據(jù)模板，自動創(chuàng)建數(shù)據(jù)存儲空間，分配集群存儲位置，并將數(shù)據(jù)處理工具提取的柵格數(shù)據(jù)元數(shù)據(jù)存入創(chuàng)建的數(shù)據(jù)存儲空間之中； (5)基于抽象模板的柵格數(shù)據(jù)查詢檢索:依據(jù)數(shù)據(jù)模板，自動構建對應數(shù)據(jù)集的柵格數(shù)據(jù)檢索默認條件，依據(jù)用戶輸入查詢條件進行檢索條件的部分更新，形成最終的查詢條件，通過對元數(shù)據(jù)檢索實現(xiàn)對海量柵格數(shù)據(jù)的查詢檢索； 當用戶需要添加一個新的柵格數(shù)據(jù)時，需要順序執(zhí)行(1)-(4)的步驟；當用戶需要對已有的數(shù)據(jù)進行查詢檢索時，需執(zhí)行步驟(5);當用戶需要對已有柵格數(shù)據(jù)進行更新時，需在執(zhí)行步驟(5)獲取對應元數(shù)據(jù)記錄及數(shù)據(jù)文件位置后，對更新的柵格數(shù)據(jù)順序執(zhí)行(1)-(4)的步驟，替換原有記錄及文件；當用戶需要刪除已有數(shù)據(jù)時，在執(zhí)行步驟(5)獲取對應元數(shù)據(jù)記錄及數(shù)據(jù)文件位置后，刪除對應記錄及數(shù)據(jù)文件。
2.根據(jù)權利要求1所述的基于抽象模板的海量柵格數(shù)據(jù)處理和管理方法，其特征在于:所述步驟(I)中柵格數(shù)據(jù)特征可以通過讀取柵格文件及相關元數(shù)據(jù)文件自動提取，對于信息不足或元數(shù)據(jù)文件缺失的特殊柵格數(shù)據(jù)可以由用戶人工指定對應特征。
3.根據(jù)權利要求1所述的基于抽象模板的海量柵格數(shù)據(jù)處理和管理方法，其特征在于:所述步驟(2)中數(shù)據(jù)特征的匹配包括特征數(shù)量的匹配和每個特征值的匹配，依據(jù)特征權重進行匹配度的判斷。
4.根據(jù)權利要求1所述的基于抽象模板的海量柵格數(shù)據(jù)處理和管理方法，其特征在于:所述步驟(3)中每類抽象數(shù)據(jù)模板對應一系列柵格數(shù)據(jù)處理工具的組合，主要包括柵格數(shù)據(jù)的格式轉(zhuǎn)換、輻射校正、幾何校正、元數(shù)據(jù)信息提取多種處理步驟，通過數(shù)據(jù)模板與工具組合信息的關聯(lián)，實現(xiàn)對應柵格數(shù)據(jù)的自動化處理。
5.根據(jù)權利要求1所述的基于抽象模板的海量柵格數(shù)據(jù)處理和管理方法，其特征在于:所述步驟(4)、(5)中每類抽象數(shù)據(jù)模板對應一類數(shù)據(jù)存儲結構，在柵格數(shù)據(jù)添加、查詢、更新和刪除操作時，依據(jù)對應的存儲結構自動創(chuàng)建存儲空間或查詢條件結構，進而實現(xiàn)柵格數(shù)據(jù)的管理操作。
【文檔編號】G06F17/30GK103678682SQ201310729321
【公開日】2014年3月26日 申請日期:2013年12月26日 優(yōu)先權日:2013年12月26日
【發(fā)明者】董文, 胡曉東, 沈占鋒, 駱劍承 申請人:中國科學院遙感與數(shù)字地球研究所