一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)，非結(jié)構(gòu)化數(shù)據(jù)存儲時，分布式系統(tǒng)的Master接收所述業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包，所述Master將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，采用分布式系統(tǒng)實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的存儲，由于每個數(shù)據(jù)節(jié)點的存儲空間有限，不會導(dǎo)致存儲效率的下降；非結(jié)構(gòu)化數(shù)據(jù)查詢時，分布式系統(tǒng)中的Master接收查詢模塊發(fā)送的查詢請求，根據(jù)查詢請求中所攜帶的查詢信息在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包，采用分布式系統(tǒng)實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的查詢，由于分布在Master中的每個數(shù)據(jù)節(jié)點所存儲的數(shù)據(jù)信息有限，所有數(shù)據(jù)節(jié)點并行查詢，不會導(dǎo)致查詢效率下降。
【專利說明】一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機【技術(shù)領(lǐng)域】，特別是一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)。

【背景技術(shù)】
[0002]銀行實施前臺業(yè)務(wù)和后臺業(yè)務(wù)處理分離的工作模式，對于一項業(yè)務(wù)操作來說，前臺生成此業(yè)務(wù)操作的實體業(yè)務(wù)票據(jù)以及業(yè)務(wù)元數(shù)據(jù)信息，并將實體業(yè)務(wù)票據(jù)掃描得到電子影像票據(jù)，將電子影像票據(jù)存儲在磁盤中，并將業(yè)務(wù)元數(shù)據(jù)信息以及電子影像票據(jù)在磁盤中的位置信息對應(yīng)存儲在關(guān)系數(shù)據(jù)庫。
[0003]后臺在進行上述業(yè)務(wù)操作的核查的過程中，先根據(jù)業(yè)務(wù)元數(shù)據(jù)信息從關(guān)系數(shù)據(jù)庫中查詢電子影像票據(jù)在磁盤中的位置信息，再根據(jù)位置信息從磁盤中查詢電子影像票據(jù)信息進行核查。
[0004]但是采用上述方法存儲和查詢業(yè)務(wù)操作的電子影像票據(jù)信息時，隨著業(yè)務(wù)操作的不斷增加，關(guān)系數(shù)據(jù)庫中所存儲的業(yè)務(wù)元數(shù)據(jù)信息與電子影像票據(jù)在磁盤中的位置信息的對應(yīng)關(guān)系越來越多，導(dǎo)致關(guān)系數(shù)據(jù)庫中的存儲效率會越來越低；并且，關(guān)系數(shù)據(jù)庫中的存儲的數(shù)據(jù)越多，在根據(jù)位置信息從磁盤中查詢電子影像票據(jù)信息的效率就越低。采用關(guān)系數(shù)據(jù)庫實現(xiàn)業(yè)務(wù)操作的電子影像票據(jù)的存儲和查詢，當(dāng)關(guān)系數(shù)據(jù)庫中存儲大量的數(shù)據(jù)信息時，會降低數(shù)據(jù)信息的存儲和查詢效率。


【發(fā)明內(nèi)容】

[0005]本發(fā)明解決的技術(shù)問題在于提供一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)，從而能夠利用分布式系統(tǒng)實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的存儲和查詢。
[0006]為此，本發(fā)明解決技術(shù)問題的技術(shù)方案是:
[0007]一種非結(jié)構(gòu)化數(shù)據(jù)存儲的方法，所述方法包括:
[0008]數(shù)據(jù)整合模塊將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包；
[0009]所述數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的主控機Master ；
[0010]分布式系統(tǒng)的Master將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信息。
[0011]可選的，所述數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包發(fā)送至分布式數(shù)據(jù)庫的Master包括:
[0012]數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包按照分布式文件系統(tǒng)HDFS協(xié)議發(fā)送至分布式數(shù)據(jù)庫的Master。
[0013]可選的，所述業(yè)務(wù)交易信息包括:
[0014]交易號碼、文檔類型以及系統(tǒng)編號。
[0015]一種非結(jié)構(gòu)化數(shù)據(jù)查詢的方法，所述方法包括:
[0016]查詢模塊接收用戶輸入的查詢信息，所述查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息；
[0017]查詢模塊向分布式系統(tǒng)中的主控機Master發(fā)送查詢請求,所述查詢請求攜帶有所述查詢信息；
[0018]所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包。
[0019]可選的,所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包包括:
[0020]所述Master向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令,所述查詢命令攜帶有所述查詢信息；
[0021]分布在所述Master的每個數(shù)據(jù)節(jié)點接收到所述查詢命令后，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包；
[0022]分布在所述Master的節(jié)點向所述Master返回與所述查詢信息匹配的壓縮數(shù)據(jù)包。
[0023]可選的，所述方法還包括:
[0024]所述Master將所述壓縮數(shù)據(jù)包發(fā)送至展示模塊進行展示。
[0025]可選的，所述查詢模塊向分布式系統(tǒng)中的Master發(fā)送查詢請求包括:
[0026]查詢模塊按照分布式文件系統(tǒng)HDFS協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求。
[0027]—種非結(jié)構(gòu)化數(shù)據(jù)存儲的裝置，所述裝置包括:
[0028]數(shù)據(jù)整合模塊與分布式系統(tǒng)中的主控機Master相連，分布式系統(tǒng)中的Master與多個數(shù)據(jù)節(jié)點相連；
[0029]數(shù)據(jù)整合模塊，用于將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包，將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的Master ；
[0030]分布式系統(tǒng)的Master，用于將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信息；[0031 ] 數(shù)據(jù)節(jié)點，用于存儲所述壓縮數(shù)據(jù)包。
[0032]可選的，
[0033]所述數(shù)據(jù)整合模塊，用于將所述壓縮數(shù)據(jù)包按照分布式文件系統(tǒng)HDFS協(xié)議發(fā)送至分布式數(shù)據(jù)庫的Master。
[0034]一種非結(jié)構(gòu)化數(shù)據(jù)查詢的裝置，所述裝置包括:
[0035]查詢模塊與分布式系統(tǒng)中的主控機Master相連，分布式系統(tǒng)中的Master與多個數(shù)據(jù)節(jié)點相連；
[0036]查詢模塊，用于接收用戶輸入的查詢信息，所述查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息，向分布式系統(tǒng)中的Master發(fā)送查詢請求,所述查詢請求攜帶有所述查詢信息；
[0037]分布式系統(tǒng)中的Master,用于查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包；
[0038]數(shù)據(jù)節(jié)點，用于存儲所述壓縮數(shù)據(jù)包。
[0039]可選的，所述分布式系統(tǒng)中的Master包括:
[0040]發(fā)送單元，用于向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令，所述查詢命令攜帶有所述查詢信息；
[0041]則所述數(shù)據(jù)節(jié)點包括:
[0042]查詢單元，用于接收到所述查詢命令后，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包；
[0043]返回單元，用于向所述Master返回與所述查詢信息匹配的壓縮數(shù)據(jù)包。
[0044]可選的，所述裝置還包括:
[0045]展示模塊，用于接收所述Master發(fā)送的壓縮數(shù)據(jù)包進行展示。
[0046]可選的，
[0047]所述查詢模塊，用于按照分布式文件系統(tǒng)HDFS協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求。
[0048]一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢系統(tǒng)，所述系統(tǒng)包括:
[0049]本申請所述的非結(jié)構(gòu)化數(shù)據(jù)存儲裝置及本申請所述的非結(jié)構(gòu)化數(shù)據(jù)查詢裝置。
[0050]通過上述技術(shù)方案可知，本發(fā)明有如下有益效果:
[0051]本發(fā)明提供了一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)存儲時，所述業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包進行壓縮處理獲得壓縮數(shù)據(jù)包后，發(fā)送至分布式系統(tǒng)的Master，分布式系統(tǒng)的Master將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，采用分布式系統(tǒng)以及分布式處理技術(shù)實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的存儲，即使所存儲大量的數(shù)據(jù)信息，由于每個數(shù)據(jù)節(jié)點的存儲空間有限，多個數(shù)據(jù)節(jié)點并行存儲，不會導(dǎo)致數(shù)據(jù)信息的存儲效率下降；
[0052]非結(jié)構(gòu)化數(shù)據(jù)查詢時，分布式系統(tǒng)中的Master接收查詢模塊發(fā)送的查詢請求，根據(jù)查詢請求中所攜帶的查詢信息在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包。采用分布式系統(tǒng)實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的查詢，即使存儲有大量的數(shù)據(jù)信息，由于分布在Master中的每個數(shù)據(jù)節(jié)點所存儲的數(shù)據(jù)信息有限，所有數(shù)據(jù)節(jié)點并行查詢，不會導(dǎo)致查詢效率下降。

【專利附圖】

【附圖說明】
[0053]為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0054]圖1為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)存儲的方法實施例一流程圖；
[0055]圖2為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)查詢的方法實施例二流程圖；
[0056]圖3為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)存儲的裝置實施例三結(jié)構(gòu)示意圖；
[0057]圖4為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)查詢的裝置實施例四結(jié)構(gòu)示意圖；
[0058]圖5為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢系統(tǒng)實施例五結(jié)構(gòu)示意圖。

【具體實施方式】
[0059]本發(fā)明提供了一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢的方法、裝置及系統(tǒng)，利用分布式系統(tǒng)實現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)的存儲和查詢，避免存儲大量的數(shù)據(jù)信息時降低存儲和查詢的效率。
[0060]下面結(jié)合附圖對本發(fā)明實施例進行詳細(xì)說明。
[0061]圖1為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)存儲的方法實施例一流程圖，所述方法包括:
[0062]步驟101:數(shù)據(jù)整合模塊將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包。
[0063]數(shù)據(jù)整合模塊將同一個業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息以及非結(jié)構(gòu)化的電子影像票據(jù)通過XML技術(shù)以及壓縮工具進行壓縮處理獲得壓縮數(shù)據(jù)包，所述壓縮數(shù)據(jù)包中包括:業(yè)務(wù)元數(shù)據(jù)信息及其所對應(yīng)的非結(jié)構(gòu)化的電子影像票。
[0064]將同一個業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息以及電子影像票據(jù)壓縮在一個壓縮數(shù)據(jù)包中，無需將兩種數(shù)據(jù)信息分開放置。查詢到一個業(yè)務(wù)操作的壓縮數(shù)據(jù)包后，即可獲得此業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息以及電子影像票據(jù)。
[0065]步驟102:所述數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的Master。
[0066]將壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)，利用分布式系統(tǒng)存儲所述壓縮數(shù)據(jù)包。數(shù)據(jù)整合模塊可以通過分布式文件系統(tǒng)HDFS協(xié)議將壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)，還可以采用GFS(Gcx)gIe File System)協(xié)議等其他協(xié)議將壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)，這里不再
--贅述。
[0067]步驟103:分布式系統(tǒng)的Master將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信肩、O
[0068]分布式系統(tǒng)中的一個Master與多個數(shù)據(jù)節(jié)點相連，Master接收到數(shù)據(jù)整合模塊發(fā)送的壓縮數(shù)據(jù)包時，將壓縮數(shù)據(jù)包發(fā)送至分布在所述Master的任意一個數(shù)據(jù)節(jié)點進行存儲。存儲所述壓縮數(shù)據(jù)包時，將業(yè)務(wù)操作電子影像票據(jù)ID或業(yè)務(wù)交易信息作為存儲的關(guān)鍵字，便于以后對所述壓縮數(shù)據(jù)包進行查詢。其中，所述交易信息包括交易號碼、文檔類型以及系統(tǒng)編號。
[0069]本發(fā)明中基于BFW框架建立Hadoop分布式系統(tǒng)，具有分布式架構(gòu)以及分布式處理能力。BFW框架是中國銀行基于spring的web開發(fā)框架，隨著存儲數(shù)據(jù)信息的數(shù)量增加，只需要添加PC Master以及對應(yīng)的存儲硬盤即可，具有良好的擴展性能。
[0070]由于采用分布式系統(tǒng)存儲壓縮數(shù)據(jù)包，當(dāng)所存儲大量的業(yè)務(wù)操作的數(shù)據(jù)信息時，將不同的業(yè)務(wù)操作的數(shù)據(jù)信息采用分布式處理技術(shù)存儲至不同的數(shù)據(jù)節(jié)點中，即使存儲大量的數(shù)據(jù)信息也不會導(dǎo)致存儲效率降低。
[0071]由上述內(nèi)容可知，本發(fā)明有如下有益效果:
[0072]非結(jié)構(gòu)化數(shù)據(jù)存儲時，所述業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包進行壓縮處理獲得壓縮數(shù)據(jù)包后，發(fā)送至分布式系統(tǒng)的Master，分布式系統(tǒng)的Master將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中,采用分布式系統(tǒng)以及分布式處理技術(shù)實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的存儲，即使所存儲大量的數(shù)據(jù)信息，由于每個數(shù)據(jù)節(jié)點的存儲空間有限，多個數(shù)據(jù)節(jié)點并行存儲，不會導(dǎo)致數(shù)據(jù)信息的存儲效率下降。
[0073]實施例二
[0074]圖2為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)查詢的方法實施例二流程圖，所述方法包括:
[0075]步驟201:查詢模塊接收用戶輸入的查詢信息，所述查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息。
[0076]本發(fā)明基于BFW框架構(gòu)建了一個web查詢模塊，用于可以向查詢模塊中輸入查詢信息。查詢模塊會根據(jù)用戶輸入的查詢信息構(gòu)建查詢請求發(fā)送至分布式系統(tǒng)中的Master。其中，用戶輸入的查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息，與壓縮數(shù)據(jù)包在數(shù)據(jù)節(jié)點中所存儲的關(guān)鍵字相同。
[0077]步驟202:查詢模塊向分布式系統(tǒng)中的Master發(fā)送查詢請求,所述查詢請求攜帶有所述查詢信息。
[0078]查詢模塊按照分布式文件系統(tǒng)HDFS協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求，當(dāng)然，查詢模塊還可以采用GFS協(xié)議或其他可用的協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求，這里不再一一贅述。
[0079]步驟203:所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包。
[0080]所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包包括:
[0081]所述Master向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令,所述查詢命令攜帶有所述查詢信息；
[0082]分布在所述Master的每個數(shù)據(jù)節(jié)點接收到所述查詢命令后，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包；
[0083]分布在所述Master的節(jié)點向所述Master返回與所述查詢信息匹配的壓縮數(shù)據(jù)包。
[0084]分布式系統(tǒng)中的Master與多個數(shù)據(jù)節(jié)點相連,所述Master接收到查詢模塊發(fā)送的查詢請求時，向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包。由于所有數(shù)據(jù)節(jié)點采用分布式處理技術(shù)，多個數(shù)據(jù)節(jié)點并行查詢，所以即使存儲大量的數(shù)據(jù)信息，也不會降低查詢的效率。
[0085]壓縮數(shù)據(jù)包在存儲時，以電子影像票據(jù)ID或業(yè)務(wù)交易信息為關(guān)鍵字進行存儲，用戶輸入的查詢信息也是電子影像票據(jù)ID或業(yè)務(wù)交易信息為關(guān)鍵字進行存儲。也就是說，查找與所述查詢信息匹配的壓縮數(shù)據(jù)包，就是查找以用戶輸入的查詢信息作為關(guān)鍵字進行存儲的壓縮數(shù)據(jù)包。
[0086]由上述內(nèi)容可知，本發(fā)明有如下有益效果:
[0087]非結(jié)構(gòu)化數(shù)據(jù)查詢時，分布式系統(tǒng)中的Master接收查詢模塊發(fā)送的查詢請求，根據(jù)查詢請求中所攜帶的查詢信息在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包。采用分布式系統(tǒng)實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的查詢，即使存儲有大量的數(shù)據(jù)信息，由于分布在Master中的每個數(shù)據(jù)節(jié)點所存儲的數(shù)據(jù)信息有限，所有數(shù)據(jù)節(jié)點并行查詢，不會導(dǎo)致查詢效率下降。
[0088]實施例三
[0089]圖3為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)存儲的裝置實施例三結(jié)構(gòu)示意圖，所述裝置包括:
[0090]數(shù)據(jù)整合模塊301與分布式系統(tǒng)中的Master302相連，分布式系統(tǒng)中的Master302與多個數(shù)據(jù)節(jié)點Al?An相連。
[0091]這里需要說明的是，所述數(shù)據(jù)整合模塊，用于將所述壓縮數(shù)據(jù)包按照分布式文件系統(tǒng)HDFS協(xié)議發(fā)送至分布式數(shù)據(jù)庫的Master。
[0092]數(shù)據(jù)整合模塊301，用于將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包，將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的Master。
[0093]分布式系統(tǒng)的Master302，用于將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信息。
[0094]數(shù)據(jù)節(jié)點Al?An，用于存儲所述壓縮數(shù)據(jù)包。
[0095]此處與實施例一類似，參考實施例一的描述，這里不再贅述。
[0096]實施例四
[0097]圖4為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)查詢的裝置實施例四結(jié)構(gòu)示意圖，所述裝置包括:
[0098]查詢模塊401與分布式系統(tǒng)中的Master302相連，分布式系統(tǒng)中的Master302與多個數(shù)據(jù)節(jié)點Al?An相連。
[0099]查詢模塊401，用于接收用戶輸入的查詢信息，所述查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息，向分布式系統(tǒng)中的Master發(fā)送查詢請求,所述查詢請求攜帶有所述查詢信息。
[0100]在具體實現(xiàn)時，所述查詢模塊，用于按照分布式文件系統(tǒng)HDFS協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求。
[0101]分布式系統(tǒng)中的Master302，用于查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包。
[0102]數(shù)據(jù)節(jié)點Al?An，用于存儲所述壓縮數(shù)據(jù)包。
[0103]這里需要說明的是，所述分布式系統(tǒng)中的Master包括:
[0104]發(fā)送單元，用于向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令，所述查詢命令攜帶有所述查詢信息；
[0105]則所述數(shù)據(jù)節(jié)點包括:
[0106]查詢單元，用于接收到所述查詢命令后，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包；
[0107]返回單元，用于向所述Master返回與所述查詢信息匹配的壓縮數(shù)據(jù)包。
[0108]并且，可選的，所述裝置還包括:
[0109]展示模塊，用于接收所述Master發(fā)送的壓縮數(shù)據(jù)包進行展示。
[0110]此處與實施例二類似，參考實施例二的描述，這里不再贅述。
[0111]實施例五
[0112]圖5為本發(fā)明一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢系統(tǒng)實施例五結(jié)構(gòu)示意圖，所述系統(tǒng)包括:
[0113]本發(fā)明實施例三所述的非結(jié)構(gòu)化數(shù)據(jù)存儲裝置501及本發(fā)明實施例四所述的非結(jié)構(gòu)化數(shù)據(jù)查詢裝置502。
[0114]以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以作出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。
【權(quán)利要求】
1.一種非結(jié)構(gòu)化數(shù)據(jù)存儲的方法，其特征在于，所述方法包括: 數(shù)據(jù)整合模塊將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包； 所述數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的主控機Master ； 分布式系統(tǒng)的Master將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信息。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包發(fā)送至分布式數(shù)據(jù)庫的Master包括: 數(shù)據(jù)整合模塊將所述壓縮數(shù)據(jù)包按照分布式文件系統(tǒng)HDFS協(xié)議發(fā)送至分布式數(shù)據(jù)庫的 Master。
3.根據(jù)權(quán)利要求1-2任意一項所述的方法，其特征在于，所述業(yè)務(wù)交易信息包括: 交易號碼、文檔類型以及系統(tǒng)編號。
4.一種非結(jié)構(gòu)化數(shù)據(jù)查詢的方法，其特征在于，所述方法包括: 查詢模塊接收用戶輸入的查詢信息，所述查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息； 查詢模塊向分布式系統(tǒng)中的主控機Master發(fā)送查詢請求,所述查詢請求攜帶有所述查詢信息； 所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于，所述Master查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包包括: 所述Master向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令,所述查詢命令攜帶有所述查詢信息； 分布在所述Master的每個數(shù)據(jù)節(jié)點接收到所述查詢命令后，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包； 分布在所述Master的 節(jié)點向所述Master返回與所述查詢信息匹配的壓縮數(shù)據(jù)包。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括: 所述Master將所述壓縮數(shù)據(jù)包發(fā)送至展示模塊進行展示。
7.根據(jù)權(quán)利要求4-6任意一項所述的方法,其特征在于,所述查詢模塊向分布式系統(tǒng)中的Master發(fā)送查詢請求包括: 查詢模塊按照分布式文件系統(tǒng)HDFS協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求。
8.一種非結(jié)構(gòu)化數(shù)據(jù)存儲的裝置，其特征在于，所述裝置包括: 數(shù)據(jù)整合模塊與分布式系統(tǒng)中的主控機Master相連,分布式系統(tǒng)中的Master與多個數(shù)據(jù)節(jié)點相連； 數(shù)據(jù)整合模塊，用于將業(yè)務(wù)系統(tǒng)提供的業(yè)務(wù)操作的業(yè)務(wù)元數(shù)據(jù)信息和電子影像票據(jù)進行壓縮處理獲得壓縮數(shù)據(jù)包，將所述壓縮數(shù)據(jù)包發(fā)送至分布式系統(tǒng)的Master ； 分布式系統(tǒng)的Master,用于將所述壓縮數(shù)據(jù)包存儲在分布在所述Master的任意一個數(shù)據(jù)節(jié)點中，所述壓縮數(shù)據(jù)包存儲的關(guān)鍵字包括電子影像票據(jù)ID或業(yè)務(wù)交易信息； 數(shù)據(jù)節(jié)點，用于存儲所述壓縮數(shù)據(jù)包。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于， 所述數(shù)據(jù)整合模塊，用于將所述壓縮數(shù)據(jù)包按照分布式文件系統(tǒng)HDFS協(xié)議發(fā)送至分布式數(shù)據(jù)庫的Master。
10.一種非結(jié)構(gòu)化數(shù)據(jù)查詢的裝置，其特征在于，所述裝置包括: 查詢模塊與分布式系統(tǒng)中的主控機Master相連，分布式系統(tǒng)中的Master與多個數(shù)據(jù)節(jié)點相連； 查詢模塊，用于接收用戶輸入的查詢信息，所述查詢信息包括電子影像票據(jù)ID或業(yè)務(wù)交易信息，向分布式系統(tǒng)中的Master發(fā)送查詢請求,所述查詢請求攜帶有所述查詢信息； 分布式系統(tǒng)中的Master,用于查詢分布在所述Master的所有數(shù)據(jù)節(jié)點獲取與所述查詢信息匹配的壓縮數(shù)據(jù)包； 數(shù)據(jù)節(jié)點，用于存儲所述壓縮數(shù)據(jù)包。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述分布式系統(tǒng)中的Master包括: 發(fā)送單元，用于向分布在所述Master的所有數(shù)據(jù)節(jié)點發(fā)送查詢命令，所述查詢命令攜帶有所述查詢信息； 則所述數(shù)據(jù)節(jié)點包括: 查詢單元，用于接收到所述查詢命令后，查詢與所述查詢信息匹配的壓縮數(shù)據(jù)包； 返回單元，用于向所述Master返回與所述查詢信息匹配的壓縮數(shù)據(jù)包。
12.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述裝置還包括: 展示模塊，用于接收所述Master發(fā)送的壓縮數(shù)據(jù)包進行展示。
13.根據(jù)權(quán)利要求10-12任意一項所述的裝置，其特征在于， 所述查詢模塊，用于按照分布式文件系統(tǒng)HDFS協(xié)議向分布式系統(tǒng)中的Master發(fā)送查詢請求。
14.一種非結(jié)構(gòu)化數(shù)據(jù)存儲和查詢系統(tǒng)，其特征在于，所述系統(tǒng)包括: 權(quán)利要求8-9任意一項所述的非結(jié)構(gòu)化數(shù)據(jù)存儲裝置及權(quán)利要求10-13任意一項所述的非結(jié)構(gòu)化數(shù)據(jù)查詢裝置。
【文檔編號】G06F17/30GK104077355SQ201410234903
【公開日】2014年10月1日 申請日期:2014年5月29日 優(yōu)先權(quán)日:2014年5月29日
【發(fā)明者】何方敏 申請人:中國銀行股份有限公司