本發(fā)明涉及計算機軟件技術領域，尤其涉及一種自動化數據查詢同步存儲方法。

背景技術：

隨著互聯(lián)網技術的發(fā)展，對于數據的存儲、查詢已由單一的數據庫操作逐漸發(fā)展到多樣化，其中Elasticserach(開源數據存儲工具)在復雜查詢的速度上用戶體驗明顯優(yōu)于數據庫。但由于數據庫的穩(wěn)定性、安全性表現(xiàn)突出，又不能完全的拋開數據庫獨立的使用ES作為存儲的容器。一種使用數據庫充當數據容器，ES來實現(xiàn)快速查詢的模型就產生。既能夠確保數據的準確性，又能確保復雜查詢的速度。因此，如何確保數據庫和ES的數據完全一致成為一個技術難點。

當前同步模型趨向于控制數據的入口，在數據入庫時同步更新數據庫和開源數據存儲工具的內容，確保數據一致，但兩套邏輯其中任何一方失敗都會導致數據的不一致，故需要再以數據庫數據為原始數據進行全量校驗。該模型能夠實現(xiàn)快速查詢復雜邏輯的要求，但是從代碼開發(fā)層面，需要付出大量的開發(fā)成本。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題是提供一種自動化數據查詢同步存儲方法，該自動化數據查詢同步存儲方法能自動捕獲數據庫中更新數據并同步至開源數據存儲工具，節(jié)約開發(fā)人員開發(fā)成本，無需進行開源數據存儲工具同步、校驗，方法各環(huán)節(jié)都實現(xiàn)可配置化，能夠按配置的靈活的添加、刪除新舊業(yè)務。

為解決上述技術問題，本發(fā)明提供了自動化數據查詢同步存儲方法，提供一數據庫、開源數據存儲工具及數據緩存工具，所述自動化數據查詢同步存儲方法包括以下步驟：獲取解析信息單元獲取數據庫變更數據，判斷是否訂閱自動化同步服務信息，如果是，則生成變更信息并將變更信息輸入到消息隊列單元，所述消息隊列單元分發(fā)業(yè)務信息至信息同步處理單元，所述信息同步處理單元對所述消息隊列單元分發(fā)的業(yè)務信息進行數據同步，如果否，則結束生成變更信息；

所述消息隊列單元輸入口為獲取數據庫變更信息，所述消息隊列單元的輸出口為輸出待進行信息同步處理的業(yè)務信息；

所述“獲取數據庫變更信息”步驟包括捕獲變更數據和生成、分發(fā)變更信息到消息隊列單元，所述“信息同步處理”步驟包括將消息隊列單元中存放的變更信息自動同步至所述開源數據存儲工具中；

所述獲取解析信息單元包括數據同步工具，所述“獲取解析信息單元獲取數據庫變更數據并生成變更信息”步驟包括：將數據同步工具定義成從服務器庫，向數據庫發(fā)送dump協(xié)議，數據庫收到dump協(xié)議后將二進制日志信息發(fā)送給從服務器庫，所述數據同步工具對二進制日志信息進行解析，獲取數據庫的數據變化。

優(yōu)選地，所述獲取解析信息單元還包括訂閱客戶端，所述“獲取解析信息單元獲取數據庫變更數據并生成變更信息”步驟還包括通過所述訂閱客戶端訂閱指定的數據結構及表，使用所述數據同步工具獲取數據庫的日志信息，并通過指定的數據結構完成對日志信息的解析。

優(yōu)選地，所述信息同步處理單元包括數據同步消費服務單元及若干個消費客戶端，所述“信息同步處理單元對所述消息隊列單元分發(fā)的業(yè)務信息進行數據同步”步驟包括：

步驟11：所述獲取解析信息單元根據數據庫變更的信息配置不同業(yè)務線的信息，并通過所述消息隊列單元將變更的業(yè)務信息自動地分發(fā)到各業(yè)務訂閱的消息隊列；

步驟12：判斷是否有待消費的信息，如果是，則執(zhí)行步驟13，如果否，則執(zhí)行步驟16；

步驟13：解析所述消費信息；

步驟14：判斷是否存在特殊的邏輯，如果是，則處理對應的邏輯，如果否，則執(zhí)行步驟15；

步驟15：所述數據同步消費服務單元將各業(yè)務的信息同步進行物理隔離，再由各個所述對應的消費客戶端的消費服務獨立完成各自的數據同步；

步驟16：重新等待。

優(yōu)選地，所述開源數據存儲工具由索引和類型指定數據空間，所述數據庫中表格結構和開源數據存儲工具的類型一一映射從而完成數據同步。

優(yōu)選地，所述數據庫中一個表格分別以不同的類型存在于所述開源數據存儲工具，針對一份數據，同時同步數據至所述開源數據存儲工具中指定的n個類型或類型中的子屬性。

優(yōu)選地，所述開源數據存儲工具及所述數據緩存工具包括集群、索引、類型。

優(yōu)選地，所述數據庫包括數據庫鏈接基本信息、數據庫索引、數據表。

優(yōu)選地，所述消息隊列單元指定待消費數據源。

優(yōu)選地，所述信息同步處理單元設定消費模型，并指定消費者按何種模型進行消費。

采用了上述方法之后，獲取解析信息單元獲取數據庫變更數據，判斷是否訂閱自動化同步服務信息，如果是，則生成變更信息，所述消息隊列單元分發(fā)業(yè)務信息至信息同步處理單元，所述信息同步處理單元對所述消息隊列單元分發(fā)的業(yè)務信息進行數據同步，如果否，則結束生成變更信息；所述消息隊列單元輸入口為獲取數據庫變更信息，所述消息隊列單元的輸出口為輸出待進行信息同步處理的業(yè)務信息；獲取數據庫變更信息步驟包括捕獲變更數據和生成、分發(fā)變更信息到消息隊列單元，所述信息同步處理步驟包括將消息隊列單元中存放的變更信息自動同步至所述開發(fā)源數據存儲工具中；所述獲取解析信息單元包括數據同步工具，獲取解析信息單元獲取數據庫變更數據并生成變更信息步驟包括：將數據同步工具定義成從服務器庫，向數據庫發(fā)送dump協(xié)議，數據庫收到dump協(xié)議后將二進制日志信息發(fā)送給從服務器庫，所述數據同步工具對二進制日志信息進行解析，獲取數據庫的數據變化，該自動化數據查詢同步存儲方法能自動捕獲數據庫中更新數據并同步至開源數據存儲工具，節(jié)約開發(fā)人員開發(fā)成本，無需進行開源數據存儲工具同步、校驗，方法各環(huán)節(jié)都實現(xiàn)可配置化，能夠按配置的靈活的添加、刪除新舊業(yè)務。

附圖說明

圖1是本發(fā)明的自動化數據查詢同步存儲方法的步驟流程圖；

圖2是與圖1的步驟流程圖對應的整體模型示意圖；

圖3是本發(fā)明自動化數據查詢同步存儲方法的信息同步處理步驟的流程圖；

圖4是本發(fā)明自動化數據查詢同步存儲方法的獲取解析信息步驟的流程圖；

圖5是本發(fā)明自動化數據查詢同步存儲方法的不同類型的業(yè)務同步模型的結構示意圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用于解釋本發(fā)明，并不用于限定本發(fā)明。

請參閱圖1及圖2，圖1是本發(fā)明的自動化數據查詢同步存儲方法的步驟流程圖；圖2是與圖1的步驟流程圖對應的整體模型示意圖。

本發(fā)明公開的一種自動化數據查詢同步存儲方法，提供一數據庫20、開源數據存儲工具30及數據緩存工具50，數據庫20、開源數據存儲工具30及數據緩存工具50通過數據封裝單元40進行數據交換，所述自動化數據查詢同步存儲方法包括以下步驟：

獲取解析信息單元10獲取數據庫變更數據，判斷是否訂閱自動化同步服務信息，如果是，則生成變更信息并將變更信息輸入到消息隊列單元16，消息隊列單元16分發(fā)業(yè)務信息至信息同步處理單元60，信息同步處理單元60對消息隊列單元16分發(fā)的業(yè)務信息進行數據同步，如果否，則結束生成變更信息；

消息隊列單元16輸入口為獲取數據庫變更信息，消息隊列單元16的輸出口為輸出待進行信息同步處理的業(yè)務信息；

請參閱圖4，圖4是本發(fā)明自動化數據查詢同步存儲方法的獲取解析信息步驟的流程圖；

所述“獲取數據庫變更信息”步驟包括捕獲變更數據和生成、分發(fā)變更信息到消息隊列單元16，所述信息同步處理步驟包括將消息隊列單元16中存放的變更信息自動同步至開源數據存儲工具30中；

獲取解析信息單元10包括數據同步工具，所述“獲取解析信息單元獲取數據庫變更數據并生成變更信息”步驟包括：將數據同步工具定義成從服務器庫，向數據庫20發(fā)送dump協(xié)議，數據庫20收到dump協(xié)議后將二進制日志信息發(fā)送給從服務器庫，數據同步工具對二進制日志信息進行解析，獲取數據庫20的數據變化。

獲取解析信息單元10還包括訂閱客戶端14、若干個業(yè)務服務端12及數據轉發(fā)中心子單元15，各個訂閱客戶端14將接收到的數據通過數據轉發(fā)中心單元15進行解析后傳給消息隊列單元16，所述“獲取解析信息單元獲取數據庫變更數據并生成變更信息”步驟還包括通過所述訂閱客戶端14訂閱指定的數據結構及表，使用所述數據同步工具獲取數據庫的日志信息，并通過指定的數據結構完成對日志信息的解析。

請參閱圖3，圖3是本發(fā)明自動化數據查詢同步存儲方法的信息同步處理步驟的流程圖；

信息同步處理單元60包括數據同步消費服務單元及若干個消費客戶端62，所述“信息同步處理單元60對所述消息隊列單元分發(fā)的業(yè)務信息進行數據同步”步驟包括：

步驟11：獲取解析信息單元10根據數據庫20變更的信息配置不同業(yè)務線的信息，并通過消息隊列單元16將變更的業(yè)務信息自動地分發(fā)到各業(yè)務訂閱的消息隊列；

步驟12：判斷是否有待消費的信息，如果是，則執(zhí)行步驟13，如果否，則執(zhí)行步驟16；

步驟13：解析所述消費信息；

步驟14：判斷是否存在特殊的邏輯，如果是，則處理對應的邏輯，如果否，則執(zhí)行步驟15；

步驟15：數據同步消費服務單元63將各業(yè)務的信息同步進行物理隔離，再由各個所述對應的消費客戶端62的消費服務獨立完成各自的數據同步；

步驟16：重新等待。

開源數據存儲工具30由索引和類型指定數據空間，數據庫20中表格結構和開源數據存儲工具30的類型一一映射從而完成數據同步。

數據庫20中一個表格分別以不同的類型存在于開源數據存儲工具30，針對一份數據，同時同步數據至開源數據存儲工具30中指定的n個類型或類型中的子屬性。

開源數據存儲工具30及所述數據緩存工具包括集群、索引、類型。

數據庫20包括數據庫鏈接基本信息、數據庫索引、數據表。

消息隊列單元16指定待消費數據源。

信息同步處理單元63設定消費模型，并指定消費者按何種模型進行消費。

數據庫20變更、生成變更信息即是生產，獲取數據同步即是消費。

各業(yè)務線各有一個消費者實例，通過配置，獲取到業(yè)務注冊隊列，從消息隊列單元中獲取對應待消費數據，開源數據存儲工具30由索引和類型指定數據空間，本實施例中，開源數據存儲工具30的同步包括兩種模型：

模型一：1：1模型，即數據庫20中表格結構和開源數據存儲工具30的類型一一映射從而完成數據同步；

模型二：數據庫20中一個表格分別以不同的類型存在于開源數據存儲工具30，針對一份數據，同時同步數據至開源數據存儲工具30中指定的n個類型或類型中的子屬性。

以上的同步操作，通過消費者自身的配置即可完成，即當添加一個新業(yè)務需要使用數據同步服務，無需做任何代碼上的開發(fā)，只需按標準化配置，配置好即可完成數據庫20和開源數據存儲工具30的數據同步。

請參閱圖4，圖4是本發(fā)明自動化數據查詢同步存儲方法的不同類型的業(yè)務同步模型的結構示意圖；

圖4中共有四條相互獨立的業(yè)務線，其中業(yè)務A、B、C分別訂閱了數據同步服務，業(yè)務D未訂閱同步服務。當業(yè)務D中的數據庫發(fā)生變化，由于未訂閱同步服務，更新完數據庫后，并未有任何其他操作。業(yè)務A、B、C分別訂閱了同步分鐘中的不同模型。業(yè)務A滿足1:1模型。數據庫表結構能夠與的類型一一對應。業(yè)務B也滿足1:1模型，但其表結構只是某個開源數據存儲工具30的類型的子屬性。業(yè)務C滿足1：n模型，即同一個表結構在開源數據存儲工具30中有若干份數據需要同步，其數據能夠是一個開源數據存儲工具30的類型也可以是開源數據存儲工具30任一種類型中的一個子屬性。當訂閱了自動同步服務的業(yè)務有相關表數據變化后，同步服務通過開源數據同步工具獲取數據庫變更日志，解析成消費端指定的數據格式，通過配置的消息隊列名，通過數據分發(fā)中心將待消費的數據分別的存入對應的消息對列單元隊列，獲取解析信息單元需要完成數據的捕獲、解析、分發(fā)。

當消費者服務偵聽到對應隊列有待消費數據，則開始數據消費。消費者具備高可配性，能夠靈活的配置開源數據存儲工具30、數據庫、消息隊列、消費模型。

開源數據存儲工具30配置包括集群、索引、類型。

數據庫包括數據庫鏈接基本信息、數據庫、表。

消費隊列指定待消費數據源。消費模型指定消費者按何種模型進行消費。從而能夠滿足不同業(yè)務的不同同步需求。消費者將數據庫變更同步至開源數據存儲工具30則整個服務流程就完成了。

整個同步服務具備高可配性，業(yè)務D若因業(yè)務變更需要使用開源數據存儲工具30，則只需在生產和消費兩個部分，添加對應規(guī)范化配置，則能夠使用數據的自動化同步。

采用了上述方法之后，獲取解析信息單元10獲取數據庫20變更數據，判斷是否訂閱自動化同步服務信息，如果是，則生成變更信息，消息隊列單元16分發(fā)業(yè)務信息至信息同步處理單元60，信息同步處理單元60對消息隊列單元16分發(fā)的業(yè)務信息進行數據同步，如果否，則結束生成變更信息；消息隊列單元16輸入口為獲取數據庫變更信息，消息隊列單元16的輸出口為輸出待進行信息同步處理的業(yè)務信息；獲取數據庫20變更信息步驟包括捕獲變更數據和生成、分發(fā)變更信息到消息隊列單元16，所述信息同步處理步驟包括將消息隊列單元16中存放的變更信息自動同步至開發(fā)源數據存儲工具30中；獲取解析信息單元10包括數據同步工具，獲取解析信息單元10獲取數據庫變更數據并生成變更信息步驟包括：將數據同步工具定義成從服務器庫，向數據庫20發(fā)送dump協(xié)議，數據庫20收到dump協(xié)議后將二進制日志信息發(fā)送給從服務器庫，所述數據同步工具對二進制日志信息進行解析，獲取數據庫的數據變化，該自動化數據查詢同步存儲方法能自動捕獲數據庫中更新數據并同步至開源數據存儲工具，節(jié)約開發(fā)人員開發(fā)成本，無需進行開源數據存儲工具同步、校驗，方法各環(huán)節(jié)都實現(xiàn)可配置化，能夠按配置的靈活的添加、刪除新舊業(yè)務。

同時，應當理解的是，以上僅為本發(fā)明的優(yōu)選實施例，不能因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內容所作的等效結構或等效實現(xiàn)方法，或直接或間接運用在其他相關的技術領域，均同理包括在本發(fā)明的專利保護范圍內。