一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法
【專利摘要】本發(fā)明涉及一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法，其主要技術(shù)特點是：計算原始數(shù)據(jù)集的記錄數(shù)，如果超過預(yù)先設(shè)定的單個數(shù)據(jù)庫表存儲閥值，則進(jìn)行抽稀處理并生成測量航跡線，構(gòu)建Delauney三角網(wǎng)；提取數(shù)據(jù)集的精確數(shù)據(jù)范圍和外包矩形；進(jìn)行地理分片與編輯合并處理；提取各分片數(shù)據(jù)集的數(shù)據(jù)范圍；動態(tài)創(chuàng)建數(shù)據(jù)庫表和結(jié)構(gòu)；將各分片數(shù)據(jù)集批量錄入對應(yīng)的數(shù)據(jù)庫表中；建立各個數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系。本發(fā)明設(shè)計合理，其通過對海量離散采樣點數(shù)據(jù)進(jìn)行分級、分類組織和分表存儲，有效降低了單數(shù)據(jù)庫表的數(shù)據(jù)量，同時，數(shù)據(jù)庫系統(tǒng)可根據(jù)用戶的數(shù)據(jù)請求范圍，實現(xiàn)基于多張分片數(shù)據(jù)表的并行查詢，解決了大型空間數(shù)據(jù)庫的檢索速度問題。
【專利說明】 一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于海洋測量【技術(shù)領(lǐng)域】，尤其是一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法。
【背景技術(shù)】
[0002]數(shù)據(jù)的存儲管理方式是影響數(shù)據(jù)檢索速度的主要因素之一。隨著現(xiàn)代海洋探測技術(shù)和傳感器技術(shù)的發(fā)展，以及研究區(qū)域和尺度的不斷拓展，海洋地理和地球物理等環(huán)境信息普遍具有大區(qū)域、海量性特征，例如:1:50000測量比例尺的海洋重力測量，IOOOOkm2海域約產(chǎn)生400萬個有效采樣點數(shù)據(jù)；IOOOOkm2海域的多波束全覆蓋測量約產(chǎn)生10億個有效采樣點數(shù)據(jù)。因此，即使把研究范圍限制在中國管轄海域，也將產(chǎn)生海量的測量數(shù)據(jù)。
[0003]目前，海洋環(huán)境數(shù)據(jù)的存儲、管理、分發(fā)一般是在陸地上地理空間數(shù)據(jù)的存儲管理技術(shù)的基礎(chǔ)上拓展與優(yōu)化，但是，海洋環(huán)境數(shù)據(jù)和陸上的地理空間數(shù)據(jù)有較大差異:首先，海洋環(huán)境數(shù)據(jù)多為采樣點數(shù)據(jù)，陸上地理數(shù)據(jù)多為線、面狀數(shù)據(jù)；其次，海洋環(huán)境信息種類繁多、數(shù)據(jù)量巨大；再次，海洋研究的尺度和區(qū)域?qū)拸V；最后，海洋環(huán)境信息的時空變化更加顯著。因此，如何基于通用數(shù)據(jù)庫管理平臺(Oracle、SQL Server)對這些海洋環(huán)境數(shù)據(jù)進(jìn)行高效存儲與管理、提高數(shù)據(jù)的檢索速度是目前迫切需要解決的問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種設(shè)計合理、效率高、速度快的基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法。
[0005]本發(fā)明解決現(xiàn)有的技術(shù)問題是采取以下技術(shù)方案實現(xiàn)的:
[0006]一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法，包括以下步驟:
[0007]步驟1、計算原始數(shù)據(jù)集的記錄數(shù)，如果不超過預(yù)先設(shè)定的單個數(shù)據(jù)庫表存儲閥值，則轉(zhuǎn)到步驟4 ;
[0008]步驟2、對原始數(shù)據(jù)集進(jìn)行抽稀處理，生成抽稀數(shù)據(jù)集；
[0009]步驟3、根據(jù)抽稀數(shù)據(jù)集生成測量航跡線，對航跡線作矢量壓縮處理，處理結(jié)果保存在航跡線圖層表中；
[0010]步驟4、根據(jù)抽稀數(shù)據(jù)集快速構(gòu)建Delauney三角網(wǎng)；
[0011]步驟5、根據(jù)Delauney三角網(wǎng)，提取數(shù)據(jù)集的精確數(shù)據(jù)范圍和外包矩形，對精確數(shù)據(jù)范圍作矢量壓縮處理，并將處理結(jié)果保存在數(shù)據(jù)集范圍圖層表中；
[0012]步驟6、根據(jù)數(shù)據(jù)集的外包矩形和原始數(shù)據(jù)集的記錄數(shù)，對原始數(shù)據(jù)集進(jìn)行地理上均勻分片處理，對包含數(shù)據(jù)點較少的邊緣分片進(jìn)行合并處理，計算分片數(shù)量；
[0013]步驟7、根據(jù)地理分片及合并處理結(jié)果，利用數(shù)據(jù)集范圍和各矩形分片范圍進(jìn)行多邊形求交處理，提取各分片數(shù)據(jù)集的精確數(shù)據(jù)范圍，提取結(jié)果保存在分片數(shù)據(jù)范圍圖層表中；
[0014]步驟8、根據(jù)計算的分片數(shù)量，動態(tài)創(chuàng)建數(shù)據(jù)庫表和結(jié)構(gòu)；[0015]步驟9、調(diào)用數(shù)據(jù)采集接口將各分片數(shù)據(jù)集批量錄入對應(yīng)的數(shù)據(jù)庫表中；
[0016]步驟10、建立數(shù)據(jù)集范圍、航跡線、分片范圍和分片數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系。
[0017]而且，所述步驟10后還包括刪除抽稀數(shù)據(jù)集、Delauney三角網(wǎng)、分片數(shù)據(jù)集的步驟。
[0018]而且，所述步驟2的實現(xiàn)方法為:根據(jù)測量比例尺或制圖比例尺，以地圖上一定間距對原始數(shù)據(jù)集進(jìn)行抽稀處理，將抽稀結(jié)果形成抽稀集并保存。
[0019]而且，所述Delauney三角網(wǎng)的最大邊長設(shè)置為抽稀離散點間距的2.5倍。
[0020]本發(fā)明的優(yōu)點和積極效果是:
[0021]1、本發(fā)明通過對海量離散采樣點數(shù)據(jù)進(jìn)行分級、分類組織和分表存儲，有效降低了單數(shù)據(jù)庫表的數(shù)據(jù)量，同時，數(shù)據(jù)庫系統(tǒng)可根據(jù)用戶的數(shù)據(jù)請求范圍，實現(xiàn)基于多張分片數(shù)據(jù)表的并行查詢，從數(shù)據(jù)存儲技術(shù)方面解決了大型空間數(shù)據(jù)庫的檢索速度問題。
[0022]2、本發(fā)明可適用于Oracle、SQL Server等主流數(shù)據(jù)庫系統(tǒng)以及ESRIGeodatabase、Oracle Spatial等空間數(shù)據(jù)庫架構(gòu)，實現(xiàn)海量、大區(qū)域海洋測量數(shù)據(jù)的數(shù)據(jù)庫存儲功能，大大提高了數(shù)據(jù)檢索速度，解決了海洋環(huán)境信息的海量性和檢索速度之間的矛盾。
【專利附圖】

【附圖說明】
[0023]圖1為本發(fā)明的處理流程示意圖；
[0024]圖2為原始數(shù)據(jù)集地理分片編輯合并及精確數(shù)據(jù)范圍提取示意圖。
【具體實施方式】
[0025]以下結(jié)合附圖對本發(fā)明實施例做進(jìn)一步詳述。
[0026]一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法，如圖1所示，包括以下步驟:
[0027]步驟1、計算原始數(shù)據(jù)集的記錄數(shù)，如果不超過預(yù)先設(shè)定的單個數(shù)據(jù)庫表存儲閥值，則轉(zhuǎn)到步驟4。
[0028]步驟2、對原始數(shù)據(jù)集進(jìn)行抽稀處理，生成抽稀數(shù)據(jù)集。
[0029]其具體方法為:根據(jù)測量比例尺或制圖比例尺，以地圖上Icm間距對原始數(shù)據(jù)集進(jìn)行抽稀處理，例如，測量比例尺為1:10000時，則抽稀數(shù)據(jù)的實地間距為
0.01 X IOOOO=IOOm,抽稀結(jié)果形成抽稀數(shù)據(jù)集并保存在過程文件中，抽稀數(shù)據(jù)集的數(shù)據(jù)量約降為原始數(shù)據(jù)集的1/1000。
[0030]步驟3、根據(jù)步驟2生成的抽稀數(shù)據(jù)集生成測量航跡線，對航跡線作矢量壓縮處理，處理結(jié)果保存在航跡線(線要素數(shù)據(jù))圖層表中。
[0031]步驟4、根據(jù)抽稀數(shù)據(jù)集快速構(gòu)建Delauney三角網(wǎng)。
[0032]本步驟在構(gòu)建Delauney三角網(wǎng)時，數(shù)據(jù)集可能是原始數(shù)據(jù)集(當(dāng)原始數(shù)據(jù)集的記錄數(shù)不超過預(yù)先設(shè)定的單個數(shù)據(jù)庫表存儲閥值時)，也可能是是抽稀數(shù)據(jù)集(當(dāng)原始數(shù)據(jù)集的記錄數(shù)超過預(yù)先設(shè)定的單個數(shù)據(jù)庫表存儲閥值時并經(jīng)抽稀處理的抽稀數(shù)據(jù)集)。即:根據(jù)原始數(shù)據(jù)集或抽稀數(shù)據(jù)集構(gòu)建Delauney三角網(wǎng)，該Delauney三角網(wǎng)的最大邊長設(shè)置為抽稀離散點間距的2.5倍，測量比例尺為1:10000時，則三角網(wǎng)最大邊長為0.01X10000X2.5=250m。
[0033]步驟5、根據(jù)步驟4構(gòu)建的Delauney三角網(wǎng)，提取數(shù)據(jù)集的精確數(shù)據(jù)范圍和外包矩形，對精確數(shù)據(jù)范圍作矢量壓縮處理，并將處理結(jié)果(面要素數(shù)據(jù))保存在數(shù)據(jù)集范圍圖層表中。
[0034]步驟6、根據(jù)步驟5提取的數(shù)據(jù)集的外包矩形，對原始數(shù)據(jù)集進(jìn)行地理上均勻切分，確保各分片包含的最大數(shù)據(jù)量小于單個數(shù)據(jù)庫表存儲閥值，對包含采樣點較少的邊緣分片進(jìn)行合并處理，計算分片數(shù)量。如圖2所示，圖中淺灰色為地理分片范圍，深灰色為各分片精確數(shù)據(jù)范圍，數(shù)字為分片數(shù)據(jù)量。
[0035]步驟7、根據(jù)步驟6的地理分片及合并處理結(jié)果，利用數(shù)據(jù)集范圍和各矩形分片范圍進(jìn)行多邊形求交處理，提取各分片數(shù)據(jù)集的數(shù)據(jù)范圍，提取結(jié)果保存在分片數(shù)據(jù)范圍(面要素數(shù)據(jù))圖層表中。
[0036]步驟8、根據(jù)計算的分片數(shù)量，動態(tài)創(chuàng)建數(shù)據(jù)庫表和結(jié)構(gòu)。
[0037]在本步驟中，數(shù)據(jù)庫表命名規(guī)則為:數(shù)據(jù)集代碼_分片編號。
[0038]步驟9、調(diào)用數(shù)據(jù)采集接口將各分片數(shù)據(jù)集批量錄入對應(yīng)的數(shù)據(jù)庫表中。
[0039]步驟10、建立數(shù)據(jù)集范圍、航跡線、分片范圍和分片數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系，并刪除抽稀數(shù)據(jù)集、Delauney三角網(wǎng)、分片數(shù)據(jù)集等中間結(jié)果，從而實現(xiàn)基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲功能。
[0040]在通用數(shù)據(jù)庫系統(tǒng)(Oracle、SQL Server等)和主流空間數(shù)據(jù)庫架構(gòu)(ESRIGeodatabase、Oracle Spatial)的基礎(chǔ)上,對海洋測量數(shù)據(jù)按照數(shù)據(jù)類型、地理范圍進(jìn)行垂直分片和水平分片，將一張大數(shù)據(jù)表切分成多張記錄數(shù)小于指定閥值的數(shù)據(jù)表，數(shù)據(jù)分片后將各分片數(shù)據(jù)表按照一定的分布規(guī)則存儲到多個并行數(shù)據(jù)庫中，結(jié)合分片元數(shù)據(jù)管理系統(tǒng)，實現(xiàn)在數(shù)據(jù)檢索功能中將動態(tài)提取的分片元數(shù)據(jù)信息作為檢索參數(shù)傳遞給SQL語句，各個數(shù)據(jù)庫服務(wù)器能夠并行讀寫對應(yīng)分片數(shù)據(jù)，增加了數(shù)據(jù)I/O帶寬，能夠在現(xiàn)有軟硬件環(huán)境基礎(chǔ)上最大限度消除影響海量海洋環(huán)境數(shù)據(jù)庫檢索性能瓶頸問題?？蓮V泛用于海量、大區(qū)域海洋測量數(shù)據(jù)的數(shù)據(jù)庫存儲，有效解決了海量、大區(qū)域海洋環(huán)境數(shù)據(jù)的存儲效率和檢索速度問題。
[0041]需要強調(diào)的是，本發(fā)明所述的實施例是說明性的，而不是限定性的，因此本發(fā)明包括并不限于【具體實施方式】中所述的實施例，凡是由本領(lǐng)域技術(shù)人員根據(jù)本發(fā)明的技術(shù)方案得出的其他實施方式，同樣屬于本發(fā)明保護(hù)的范圍。
【權(quán)利要求】
1.一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法，其特征在于包括以下步驟: 步驟1、計算原始數(shù)據(jù)集的記錄數(shù)，如果不超過預(yù)先設(shè)定的單個數(shù)據(jù)庫表存儲閥值，則轉(zhuǎn)到步驟4 ； 步驟2、對原始數(shù)據(jù)集進(jìn)行抽稀處理，生成抽稀數(shù)據(jù)集； 步驟3、基于抽稀數(shù)據(jù)集生成測量航跡線，對航跡線作矢量壓縮處理，處理結(jié)果保存在航跡線圖層表中； 步驟4、基于抽稀數(shù)據(jù)集構(gòu)建Delauney三角網(wǎng)； 步驟5、基于Delauney三角網(wǎng)，提取數(shù)據(jù)集的精確數(shù)據(jù)范圍和外包矩形，對精確數(shù)據(jù)范圍作矢量壓縮處理，并將處理結(jié)果保存在數(shù)據(jù)集范圍圖層表中； 步驟6、根據(jù)數(shù)據(jù)集的外包矩形，對原始數(shù)據(jù)集進(jìn)行均勻地理分片處理，對包含數(shù)據(jù)點較少的邊緣分片進(jìn)行合并處理，計算分片數(shù)量； 步驟7、根據(jù)地理分片及合并處理結(jié)果，利用數(shù)據(jù)集范圍和各矩形分片范圍進(jìn)行多邊形求交處理，提取各分片數(shù)據(jù)集的數(shù)據(jù)范圍，提取結(jié)果保存在分片數(shù)據(jù)范圍圖層表中； 步驟8、根據(jù)計算的分片數(shù)量，動態(tài)創(chuàng)建數(shù)據(jù)庫表和結(jié)構(gòu)； 步驟9、調(diào)用數(shù)據(jù)采集接口將各分片數(shù)據(jù)集批量錄入對應(yīng)的數(shù)據(jù)庫表中； 步驟10、建立數(shù)據(jù)集范圍、航跡線、分片范圍和分片數(shù)據(jù)表之間的關(guān)聯(lián)關(guān)系。
2.根據(jù)權(quán)利要求1所述的一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法，其特征在于:所述步驟10后還包括刪除抽稀數(shù)據(jù)集、Delauney三角網(wǎng)、分片數(shù)據(jù)集的步驟。
3.根據(jù)權(quán)利要求1所述的一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法，其特征在于:所述步驟2的實現(xiàn)方法為:根據(jù)測量比例尺或制圖比例尺，以地圖上一定間距對原始數(shù)據(jù)集進(jìn)行抽稀處理，將抽稀結(jié)果形成抽稀數(shù)據(jù)集并保存。
4.根據(jù)權(quán)利要求1所述的一種基于地理分片和動態(tài)建表的海洋環(huán)境數(shù)據(jù)存儲方法，其特征在于:所述Delauney三角網(wǎng)的最大邊長設(shè)置為抽稀離散點間距的2.5倍。
【文檔編號】G06F17/30GK103870542SQ201410062980
【公開日】2014年6月18日 申請日期:2014年2月25日 優(yōu)先權(quán)日:2014年2月25日
【發(fā)明者】徐廣袖, 吳太旗, 任來平, 陸秀平, 歐陽永忠, 李凱鋒, 王耿峰 申請人:中國人民解放軍92859部隊