一種基于配置參數(shù)實(shí)現(xiàn)跨數(shù)據(jù)庫類型同步數(shù)據(jù)的方法
【專利摘要】本發(fā)明涉數(shù)據(jù)庫【技術(shù)領(lǐng)域】，尤其是一種基于配置參數(shù)實(shí)現(xiàn)跨數(shù)據(jù)庫類型同步數(shù)據(jù)的方法。本發(fā)明方法如下：1、配置參數(shù)，2、讀取數(shù)據(jù)庫數(shù)據(jù)寫入內(nèi)存，3、讀取內(nèi)存數(shù)據(jù)同步數(shù)據(jù)庫。本發(fā)明解決了數(shù)據(jù)同步依賴于具體數(shù)據(jù)庫類型和依賴于數(shù)據(jù)庫表結(jié)構(gòu)的問題；可以用于不同數(shù)據(jù)類型的數(shù)據(jù)庫數(shù)據(jù)同步。
【專利說明】一種基于配置參數(shù)實(shí)現(xiàn)跨數(shù)據(jù)庫類型同步數(shù)據(jù)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉數(shù)據(jù)庫【技術(shù)領(lǐng)域】，尤其是一種基于配置參數(shù)實(shí)現(xiàn)跨數(shù)據(jù)庫類型同步數(shù)據(jù)的方法。
【背景技術(shù)】
[0002]數(shù)據(jù)庫是按照數(shù)據(jù)結(jié)構(gòu)來組織，存儲(chǔ)和管理數(shù)據(jù)的倉庫，并為多種應(yīng)用服務(wù)。由于數(shù)據(jù)庫類型多樣化，如MSSQLServer, Oracle, MySQL等等,而且這些數(shù)據(jù)庫定義的數(shù)據(jù)結(jié)構(gòu)，存儲(chǔ)方式和執(zhí)行語言都不完全相同；這就給應(yīng)用系統(tǒng)開發(fā)者帶來數(shù)據(jù)同步的問題。
[0003]目前數(shù)據(jù)庫同步主要問題有:
[0004]1、數(shù)據(jù)同步依賴于具體數(shù)據(jù)庫類型，對(duì)于不同數(shù)據(jù)庫類型的兩個(gè)數(shù)據(jù)庫同步數(shù)據(jù)，由于這些不同的數(shù)據(jù)庫類型之間沒有同步的接口，所以數(shù)據(jù)庫維護(hù)人員需要做如下操作，以MySQL數(shù)據(jù)庫存儲(chǔ)的數(shù)據(jù)同步到MSSQLServer存儲(chǔ)的數(shù)據(jù)庫為例，首先導(dǎo)出MySQL數(shù)據(jù)庫，保存為Excel文件，然后把導(dǎo)出的Excel文件導(dǎo)入到MSSQLServer管理器并創(chuàng)建臨時(shí)數(shù)據(jù)庫，通過編寫SQL操作語句把臨時(shí)數(shù)據(jù)庫中的數(shù)據(jù)同步到目標(biāo)數(shù)據(jù)庫中。以上同步過程導(dǎo)出導(dǎo)入數(shù)據(jù)，編寫SQL語句同步數(shù)據(jù)的過程之間不存在連貫進(jìn)行，而且需要人為的參與；所以，目前跨數(shù)據(jù)庫類型同步數(shù)據(jù)涉及手工環(huán)節(jié)多，容易出錯(cuò)，從而導(dǎo)致同步數(shù)據(jù)庫準(zhǔn)確率低，一次操作只能同步一次數(shù)據(jù)，通用性差。
[0005]2、目前數(shù)據(jù)庫同步系統(tǒng)依賴于數(shù)據(jù)庫表結(jié)構(gòu)，針對(duì)源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的表結(jié)構(gòu)，表名稱和表的字段名稱實(shí)現(xiàn)同步數(shù)據(jù)，這樣的系統(tǒng)依賴于數(shù)據(jù)庫表結(jié)構(gòu)，表名稱和表字段名稱。一旦修改表結(jié)構(gòu)，表名稱或者表的字段名稱則會(huì)導(dǎo)致該系統(tǒng)無法使用或需要維護(hù)源代碼。這樣的系統(tǒng)只能滿足當(dāng)前系統(tǒng)的業(yè)務(wù)需求，無法應(yīng)用于其他數(shù)據(jù)庫之間的同步，這樣的系統(tǒng)缺乏通用性和可維護(hù)性。

【發(fā)明內(nèi)容】

[0006]本發(fā)明解決的技術(shù)問題在于提供一種基于配置參數(shù)實(shí)現(xiàn)跨數(shù)據(jù)庫類型同步數(shù)據(jù)的方法。
[0007]本發(fā)明解決上述技術(shù)問題的技術(shù)方案是:
[0008]包括如下步驟:
[0009](I)、配置參數(shù)，通過設(shè)置和讀取配置文件中的配置參數(shù)，設(shè)置和讀取:源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型，數(shù)據(jù)庫連接字符串，源端數(shù)據(jù)庫查詢語句，分頁信息，目標(biāo)數(shù)據(jù)庫表名稱，表字段名稱；
[0010](2)、讀取數(shù)據(jù)并保存到內(nèi)存，基于上述配置參數(shù)，讀取源端數(shù)據(jù)庫的類型和源端數(shù)據(jù)庫讀取數(shù)據(jù)的查詢語句、分頁信息，通過抽象工廠類生成對(duì)應(yīng)的對(duì)象，調(diào)用對(duì)應(yīng)執(zhí)行操作數(shù)據(jù)庫類將讀取到的數(shù)據(jù)存放于內(nèi)存中；
[0011](3)讀取內(nèi)存數(shù)據(jù)并保存到目標(biāo)數(shù)據(jù)庫，基于上述配置參數(shù)，讀取目標(biāo)數(shù)據(jù)庫的類型、目標(biāo)數(shù)據(jù)庫數(shù)據(jù)表和對(duì)應(yīng)字段，通過抽象工廠類生成對(duì)應(yīng)的對(duì)象，調(diào)用對(duì)應(yīng)執(zhí)行操作數(shù)據(jù)庫類將數(shù)據(jù)同步到對(duì)應(yīng)的數(shù)據(jù)表和對(duì)應(yīng)的字段中。
[0012]用戶可自定義配置參數(shù)，并將參數(shù)保存于配置文件中；參數(shù)包括源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型，數(shù)據(jù)庫類型包括MSSQLServer數(shù)據(jù)庫、Oracle數(shù)據(jù)庫和MySQL數(shù)據(jù)庫；并可擴(kuò)展，如擴(kuò)展sysbase數(shù)據(jù)庫等。
[0013]源端數(shù)據(jù)庫讀取數(shù)據(jù)的查詢語句由用戶自定義，查詢語句對(duì)格式有特定的要求，源數(shù)據(jù)的字段名重命名為與目標(biāo)數(shù)據(jù)庫表中的字段名相同并且一一對(duì)應(yīng)；分頁信息包括是否分頁和頁碼大小，針對(duì)大量數(shù)據(jù)同步的情況，可進(jìn)行分頁同步。
[0014]基于配置參數(shù)中的源端數(shù)據(jù)庫類型，通過抽象工廠和反射技術(shù)，生成訪問對(duì)應(yīng)接口的對(duì)象；基于配置參數(shù)中源端數(shù)據(jù)庫連接字符串，源端數(shù)據(jù)庫查詢語句，通過接口對(duì)象調(diào)用操作數(shù)據(jù)庫類讀取數(shù)據(jù)并轉(zhuǎn)換為以XML結(jié)構(gòu)化格式的字符串保存在內(nèi)存中。
[0015]讀取內(nèi)存中存放的以XML結(jié)構(gòu)化格式的字符串，基于配置參數(shù)中的目標(biāo)數(shù)據(jù)庫類型，通過抽象工廠和反射技術(shù)，生成訪問對(duì)應(yīng)接口的對(duì)象；基于配置參數(shù)中目標(biāo)數(shù)據(jù)庫表名和對(duì)應(yīng)字段名稱，對(duì)象調(diào)用操作數(shù)據(jù)庫類同步數(shù)據(jù)。
[0016]本發(fā)明解決了數(shù)據(jù)同步依賴于具體數(shù)據(jù)庫類型和依賴于數(shù)據(jù)庫表結(jié)構(gòu)的問題。把源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型，源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的連接字符串，源端數(shù)據(jù)庫查詢語句，分頁信息，目標(biāo)數(shù)據(jù)表名稱，表字段名稱配置于文件中，基于配置參數(shù)實(shí)現(xiàn)跨數(shù)據(jù)庫同步數(shù)據(jù)，達(dá)到分解數(shù)據(jù)同步依賴于數(shù)據(jù)類型，依賴于數(shù)據(jù)庫表結(jié)構(gòu)的目的，提高數(shù)據(jù)同步的靈活性和通用性和可擴(kuò)展性。源端數(shù)據(jù)庫讀取數(shù)據(jù)的查詢語句自定義，分離了對(duì)源端數(shù)據(jù)庫表結(jié)構(gòu)的依賴，達(dá)到靈活配置的目的。分頁信息包括是否分頁和頁碼大小，針對(duì)大量數(shù)據(jù)同步的情況，可進(jìn)行分頁同步，避免大數(shù)據(jù)同步瞬間占用太多內(nèi)存，出現(xiàn)服務(wù)器卡死或死機(jī)的現(xiàn)象.【專利附圖】

【附圖說明】
[0017]下面結(jié)合附圖對(duì)本發(fā)明進(jìn)一步說明:
[0018]附圖是本發(fā)明方法流程框圖。
【具體實(shí)施方式】
[0019]如附圖所示，本發(fā)明包括如下步驟，
[0020]1、配置參數(shù)，如圖1所示，用戶配置參數(shù)，參數(shù)包括源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型，源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫連接字符串，源端數(shù)據(jù)庫讀取數(shù)據(jù)源的查詢語句，分頁信息，目標(biāo)數(shù)據(jù)庫同步數(shù)據(jù)的數(shù)據(jù)庫表名稱，表字段名稱，通過寫入配置參數(shù)模塊將配置參數(shù)寫入配置文件。
[0021]2、讀取數(shù)據(jù)庫數(shù)據(jù)寫入內(nèi)存，如圖1所示，系統(tǒng)通過讀取配置參數(shù)模塊獲取源端數(shù)據(jù)庫類型，源端數(shù)據(jù)庫連接字符串和源端數(shù)據(jù)庫查詢語句，基于讀取的源端數(shù)據(jù)庫類型參數(shù)，通過抽象工廠類和反射技術(shù)生成數(shù)據(jù)庫操作對(duì)象，通過對(duì)象調(diào)用相應(yīng)的數(shù)據(jù)庫類型操作類并基于源端數(shù)據(jù)庫連接字符串，源端數(shù)據(jù)庫查詢語句和分頁信息查詢?cè)炊藬?shù)據(jù)庫數(shù)據(jù)并轉(zhuǎn)換為XML結(jié)構(gòu)化格式的字符串保存于內(nèi)存中。
[0022]3、讀取內(nèi)存數(shù)據(jù)同步數(shù)據(jù)庫，如圖1所示，系統(tǒng)通過讀取配置參數(shù)模塊獲取目標(biāo)數(shù)據(jù)庫類型，目標(biāo)數(shù)據(jù)庫連接字符串和目標(biāo)數(shù)據(jù)庫表名稱，表字段名稱。讀取內(nèi)存中的數(shù)據(jù)，基于配置參數(shù)中目標(biāo)數(shù)據(jù)庫類型，通過抽象工廠類和反射技術(shù)生成數(shù)據(jù)庫操作對(duì)象，通過對(duì)象調(diào)用相應(yīng)的數(shù)據(jù)庫類型操作類并基于目標(biāo)數(shù)據(jù)庫連接字符串和目標(biāo)數(shù)據(jù)庫表名稱和表字段名稱將數(shù)據(jù)同步到目標(biāo)數(shù)據(jù)庫。
【權(quán)利要求】
1.一種基于配置參數(shù)實(shí)現(xiàn)跨數(shù)據(jù)庫同步數(shù)據(jù)的方法，其特征在于:包括如下步驟: (1)、配置參數(shù)，通過設(shè)置和讀取配置文件中的配置參數(shù)，設(shè)置和讀取:源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型，數(shù)據(jù)庫連接字符串，源端數(shù)據(jù)庫查詢語句，分頁信息，目標(biāo)數(shù)據(jù)庫表名稱，表字段名稱； (2)、讀取數(shù)據(jù)并保存到內(nèi)存，基于上述配置參數(shù)，讀取源端數(shù)據(jù)庫的類型和源端數(shù)據(jù)庫讀取數(shù)據(jù)的查詢語句、分頁信息，通過抽象工廠類生成對(duì)應(yīng)的對(duì)象，調(diào)用對(duì)應(yīng)執(zhí)行操作數(shù)據(jù)庫類將讀取到的數(shù)據(jù)存放于內(nèi)存中； (3)讀取內(nèi)存數(shù)據(jù)并保存到目標(biāo)數(shù)據(jù)庫，基于上述配置參數(shù)，讀取目標(biāo)數(shù)據(jù)庫的類型、目標(biāo)數(shù)據(jù)庫數(shù)據(jù)表和對(duì)應(yīng)字段，通過抽象工廠類生成對(duì)應(yīng)的對(duì)象，調(diào)用對(duì)應(yīng)執(zhí)行操作數(shù)據(jù)庫類將數(shù)據(jù)同步到對(duì)應(yīng)的數(shù)據(jù)表和對(duì)應(yīng)的字段中。
2.根據(jù)權(quán)利要求1所述的跨數(shù)據(jù)庫同步數(shù)據(jù)的方法，其特征在于:用戶可自定義配置參數(shù)，并將參數(shù)保存于配置文件中；參數(shù)包括源端數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)庫類型，數(shù)據(jù)庫類型包括MSSQLServer數(shù)據(jù)庫、Oracle數(shù)據(jù)庫和MySQL數(shù)據(jù)庫；并可擴(kuò)展，如擴(kuò)展sysbase數(shù)據(jù)庫等。
3.根據(jù)權(quán)利要求1所述的跨數(shù)據(jù)庫同步數(shù)據(jù)的方法，其特征在于:源端數(shù)據(jù)庫讀取數(shù)據(jù)的查詢語句由用戶自定義，查詢語句對(duì)格式有特定的要求，源數(shù)據(jù)的字段名重命名為與目標(biāo)數(shù)據(jù)庫表中的字段名相同并且一一對(duì)應(yīng)；分頁信息包括是否分頁和頁碼大小，針對(duì)大量數(shù)據(jù)同步的情況，可進(jìn)行分頁同步。
4.根據(jù)權(quán)利要求2所述的跨數(shù)據(jù)庫同步數(shù)據(jù)的方法，其特征在于:源端數(shù)據(jù)庫讀取數(shù)據(jù)的查詢語句由用戶自定義，查詢語句對(duì)格式有特定的要求，源數(shù)據(jù)的字段名重命名為與目標(biāo)數(shù)據(jù)庫表中的字段名相同并且一一對(duì)應(yīng)；分頁信息包括是否分頁和頁碼大小，針對(duì)大量數(shù)據(jù)同步的情況，可進(jìn)行分頁同步。
5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的跨數(shù)據(jù)庫同步數(shù)據(jù)的方法，其特征在于:基于配置參數(shù)中的源端數(shù)據(jù)庫類型，通過抽象工廠和反射技術(shù)，生成訪問對(duì)應(yīng)接口的對(duì)象；基于配置參數(shù)中源端數(shù)據(jù)庫連接字符串，源端數(shù)據(jù)庫查詢語句，通過接口對(duì)象調(diào)用操作數(shù)據(jù)庫類讀取數(shù)據(jù)并轉(zhuǎn)換為以XML結(jié)構(gòu)化格式的字符串保存在內(nèi)存中。
6.根據(jù)權(quán)利要求5所述的跨數(shù)據(jù)庫同步數(shù)據(jù)的方法，其特征在于:讀取內(nèi)存中存放的以XML結(jié)構(gòu)化格式的字符串，基于配置參數(shù)中的目標(biāo)數(shù)據(jù)庫類型，通過抽象工廠和反射技術(shù)，生成訪問對(duì)應(yīng)接口的對(duì)象；基于配置參數(shù)中目標(biāo)數(shù)據(jù)庫表名和對(duì)應(yīng)字段名稱，對(duì)象調(diào)用操作數(shù)據(jù)庫類同步數(shù)據(jù)。
【文檔編號(hào)】G06F17/30GK103699638SQ201310719511
【公開日】2014年4月2日 申請(qǐng)日期:2013年12月23日 優(yōu)先權(quán)日:2013年12月23日
【發(fā)明者】林偉斌, 孫傲冰, 季統(tǒng)凱 申請(qǐng)人:國云科技股份有限公司