基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲及處理系統(tǒng)，更具體地，涉及基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)。
【背景技術(shù)】
[0002]目前，隨著計算機(jī)和網(wǎng)絡(luò)應(yīng)用的日益廣泛以及不同領(lǐng)域的業(yè)務(wù)種類的日益豐富，分布式環(huán)境下的數(shù)據(jù)存儲及處理變得越來越重要。
[0003]在現(xiàn)有的技術(shù)方案中，當(dāng)整個系統(tǒng)采用多個數(shù)據(jù)庫和數(shù)據(jù)處理服務(wù)器時，為了實現(xiàn)高可用性(即在某一應(yīng)用節(jié)點出現(xiàn)宕機(jī)等問題后，該應(yīng)用節(jié)點的數(shù)據(jù)處理任務(wù)能夠由其他應(yīng)用節(jié)點接管以確保持續(xù)運(yùn)轉(zhuǎn)，以及在某一數(shù)據(jù)庫出現(xiàn)宕機(jī)等問題后，能夠從其他備份數(shù)據(jù)庫中獲取該數(shù)據(jù)庫中的記錄)，通常采取如下方式:使用冷備機(jī)器并以人工的方式在主備機(jī)之間切換。
[0004]上述現(xiàn)有的技術(shù)方案存在如下問題:操作所用的時間較長，精度較低且易于出錯。
[0005]因此，存在如下需求:提供能夠自動地進(jìn)行節(jié)點故障處理以及負(fù)載均衡并且具有較高的可擴(kuò)展性的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)。

【發(fā)明內(nèi)容】

[0006]為了解決上述現(xiàn)有技術(shù)方案所存在的問題，本發(fā)明提出了能夠自動地進(jìn)行節(jié)點故障處理以及負(fù)載均衡并且具有較高的可擴(kuò)展性的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)。
[0007]本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的:
一種基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)，所述基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)包括:
數(shù)據(jù)庫管理服務(wù)器，所述數(shù)據(jù)庫管理服務(wù)器接收來自數(shù)據(jù)源的數(shù)據(jù)，并基于所述數(shù)據(jù)的屬性和數(shù)據(jù)切分表將所述數(shù)據(jù)存儲到全量數(shù)據(jù)庫以及多個數(shù)據(jù)庫中的至少一個中，其中，所述數(shù)據(jù)切分表包含數(shù)據(jù)的屬性與用于存儲具有該屬性的數(shù)據(jù)的目標(biāo)數(shù)據(jù)庫3的映射關(guān)系;
多個數(shù)據(jù)庫，每個所述數(shù)據(jù)庫存儲符合由所述數(shù)據(jù)切分表所指示的映射關(guān)系的數(shù)據(jù)； 全量數(shù)據(jù)庫，所述全量數(shù)據(jù)庫存儲來自所述數(shù)據(jù)源的所有數(shù)據(jù)；
應(yīng)用節(jié)點管理服務(wù)器，所述應(yīng)用節(jié)點管理服務(wù)器接收來自用戶端的數(shù)據(jù)處理請求，并基于所述數(shù)據(jù)處理請求向每一個運(yùn)行狀態(tài)為“正?！钡膽?yīng)用節(jié)點發(fā)送數(shù)據(jù)處理指令；
多個應(yīng)用節(jié)點，每個所述應(yīng)用節(jié)點在接收到所述數(shù)據(jù)處理指令后從任務(wù)切分表獲取該應(yīng)用節(jié)點針對該數(shù)據(jù)處理指令而需執(zhí)行的任務(wù)，并隨之執(zhí)行所述任務(wù)，其中，所述任務(wù)切分表包含任務(wù)屬性和用于執(zhí)行具有該屬性的任務(wù)的目標(biāo)應(yīng)用節(jié)點的映射關(guān)系。
[0008]在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)庫管理服務(wù)器能夠在啟動時或者在所述多個數(shù)據(jù)庫中的一個數(shù)據(jù)庫發(fā)生故障或者有新的數(shù)據(jù)庫接入系統(tǒng)中時基于預(yù)定的數(shù)據(jù)切分規(guī)則及負(fù)載均衡算法自動地生成所述數(shù)據(jù)切分表，其中，所述數(shù)據(jù)切分規(guī)則用于將數(shù)據(jù)根據(jù)其屬性進(jìn)行分組，并基于此定義具有特定屬性的數(shù)據(jù)與用于存儲具有該屬性的數(shù)據(jù)的目標(biāo)數(shù)據(jù)庫的對應(yīng)關(guān)系。
[0009]在上面所公開的方案中，優(yōu)選地，所述應(yīng)用節(jié)點管理服務(wù)器能夠在啟動時或者在所述多個應(yīng)用節(jié)點中的一個應(yīng)用節(jié)點發(fā)生故障或者有新的應(yīng)用節(jié)點接入系統(tǒng)中時基于預(yù)定的任務(wù)切分規(guī)則及負(fù)載均衡算法自動地生成所述任務(wù)切分表，其中，所述任務(wù)切分規(guī)則用于將數(shù)據(jù)處理任務(wù)根據(jù)其屬性進(jìn)行分組，并基于此定義具有特定屬性的任務(wù)與用于執(zhí)行具有該屬性的任務(wù)的目標(biāo)應(yīng)用節(jié)點的對應(yīng)關(guān)系。
[0010]在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)處理指令包含待處理的任務(wù)的屬性信肩、Ο
[0011]在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)庫管理服務(wù)器周期性地檢測每個數(shù)據(jù)庫的運(yùn)行狀態(tài)，并且當(dāng)檢測到所述多個數(shù)據(jù)庫中的一個或多個數(shù)據(jù)庫發(fā)生故障或者檢測到有新的數(shù)據(jù)庫接入系統(tǒng)中時，所述數(shù)據(jù)庫管理服務(wù)器基于所述預(yù)定的數(shù)據(jù)切分規(guī)則及負(fù)載均衡算法重新生成所述數(shù)據(jù)切分表，新生成的數(shù)據(jù)切分表不包含發(fā)生故障的數(shù)據(jù)庫，并且包含新接入的數(shù)據(jù)庫，隨后基于新生成的數(shù)據(jù)切分表執(zhí)行后續(xù)的數(shù)據(jù)存儲過程。
[0012]在上面所公開的方案中，優(yōu)選地，所述應(yīng)用節(jié)點管理服務(wù)器周期性地檢測每個應(yīng)用節(jié)點的運(yùn)行狀態(tài)，并且當(dāng)檢測到所述多個應(yīng)用節(jié)點中的一個或多個應(yīng)用節(jié)點發(fā)生故障或者檢測到有新的應(yīng)用節(jié)點接入系統(tǒng)中時，所述應(yīng)用節(jié)點管理服務(wù)器基于所述預(yù)定的任務(wù)切分規(guī)則及負(fù)載均衡算法重新生成所述任務(wù)切分表，其中，新生成的任務(wù)切分表不包含發(fā)生故障的應(yīng)用節(jié)點，并且包含新接入的應(yīng)用節(jié)點，隨后運(yùn)行狀態(tài)為“正?！钡膽?yīng)用節(jié)點基于新生成的任務(wù)切分表執(zhí)行后續(xù)的數(shù)據(jù)處理過程。
[0013]在上面所公開的方案中，優(yōu)選地，來自所述數(shù)據(jù)源的同一數(shù)據(jù)被分別存儲到所述多個數(shù)據(jù)庫中的兩個以及所述全量數(shù)據(jù)庫中。
[0014]在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)庫管理服務(wù)器由互為備份的兩個物理主機(jī)構(gòu)成。
[0015]在上面所公開的方案中，優(yōu)選地，所述應(yīng)用節(jié)點管理服務(wù)器由互為備份的兩個物理主機(jī)構(gòu)成。
[0016]在上面所公開的方案中，優(yōu)選地，每個應(yīng)用節(jié)點針對不同類型的數(shù)據(jù)處理任務(wù)運(yùn)行多個進(jìn)程，所述多個進(jìn)程并行處理所述數(shù)據(jù)處理任務(wù)。
[0017]本發(fā)明所公開的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)具有以下優(yōu)點:(1)由于能夠在應(yīng)用節(jié)點和/或數(shù)據(jù)庫發(fā)生故障或者有新的應(yīng)用節(jié)點和/或數(shù)據(jù)庫接入系統(tǒng)中時基于預(yù)定的任務(wù)切分規(guī)則和/或數(shù)據(jù)切分規(guī)則及負(fù)載均衡算法重新生成任務(wù)切分表和/或數(shù)據(jù)切分表，故具有高度的可擴(kuò)展性和高可用性和可靠性；(2)由于數(shù)據(jù)被存儲到分布式的多個數(shù)據(jù)庫中并且數(shù)據(jù)處理任務(wù)被多個應(yīng)用節(jié)點執(zhí)行，每個應(yīng)用節(jié)點處理一部分?jǐn)?shù)據(jù)處理任務(wù)，故整個系統(tǒng)具有較高的數(shù)據(jù)處理性能；(3)整個系統(tǒng)成本較低并且管理便捷。
【附圖說明】
[0018]結(jié)合附圖，本發(fā)明的技術(shù)特征以及優(yōu)點將會被本領(lǐng)域技術(shù)人員更好地理解，其中:
圖1是根據(jù)本發(fā)明的實施例的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)的示意性結(jié)構(gòu)圖。
【具體實施方式】
[0019]圖1是根據(jù)本發(fā)明的實施例的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)的示意性結(jié)構(gòu)圖。如圖1所示，本發(fā)明所公開的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)包括數(shù)據(jù)庫管理服務(wù)器1、應(yīng)用節(jié)點管理服務(wù)器2、多個數(shù)據(jù)庫3、全量數(shù)據(jù)庫4以及多個應(yīng)用節(jié)點5。所述數(shù)據(jù)庫管理服務(wù)器1接收來自數(shù)據(jù)源的數(shù)據(jù)，并基于所述數(shù)據(jù)的屬性和數(shù)據(jù)切分表將所述數(shù)據(jù)存儲到全量數(shù)據(jù)庫4以及多個數(shù)據(jù)庫3中的至少一個中，其中，所述數(shù)據(jù)切分表包含數(shù)據(jù)的屬性與用于存儲具有該屬性的數(shù)據(jù)的目標(biāo)數(shù)據(jù)庫3的映射關(guān)系(即定義具有特定屬性的數(shù)據(jù)由哪個或那些特定的數(shù)據(jù)庫存儲)。每個所述數(shù)據(jù)庫3存儲符合由所述數(shù)據(jù)切分表所指示的映射關(guān)系的數(shù)據(jù)。所述全量數(shù)據(jù)庫4存儲來自所述數(shù)據(jù)源的所有數(shù)據(jù)。所述應(yīng)用節(jié)點管理服務(wù)器2接收來自用戶端的數(shù)據(jù)處理請求，并基于所述數(shù)據(jù)處理請求向每一個運(yùn)行狀態(tài)為“正常”的應(yīng)用節(jié)點5發(fā)送數(shù)據(jù)處理指令。每個所述應(yīng)用節(jié)點5在接收到所述數(shù)據(jù)處理指令后從任務(wù)切分表獲取該應(yīng)用節(jié)點針對該數(shù)據(jù)處理指令而需執(zhí)行的任務(wù)，并隨之執(zhí)行所述任務(wù)，其中，所述任務(wù)切分表包含任務(wù)屬性和用于執(zhí)行具有該屬性的任務(wù)的目標(biāo)應(yīng)用節(jié)點5的映射關(guān)系(即定義具有特定屬性的任務(wù)由哪個或那些特定的應(yīng)用節(jié)點執(zhí)行)。
[0020]優(yōu)選地，在本發(fā)明所公開的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)中，所述數(shù)據(jù)庫管理服務(wù)器1能夠在啟動時或者在所述多個數(shù)據(jù)庫3中的一個數(shù)據(jù)庫3發(fā)生故障或者有新的數(shù)據(jù)庫3接入系統(tǒng)中時基于預(yù)定的數(shù)據(jù)切分規(guī)則(其由系統(tǒng)開發(fā)人員根據(jù)實際需求確定)及負(fù)載均衡算法自動地生成所述數(shù)據(jù)切分表，其中，所述數(shù)據(jù)切分規(guī)則用于將數(shù)據(jù)根據(jù)其屬性進(jìn)行分組(例如，在金融領(lǐng)域中，可以將交易數(shù)據(jù)按用戶ID、商戶代碼、機(jī)構(gòu)代碼、交易地區(qū)等屬性進(jìn)行分組)，并基于此定義具有特定屬性的數(shù)據(jù)與用于存儲具有該屬性的數(shù)據(jù)的目標(biāo)數(shù)據(jù)庫3的對應(yīng)關(guān)系。
[0021]優(yōu)選地，在本發(fā)明所公開的基于分布式環(huán)境的數(shù)據(jù)存儲及處理系統(tǒng)中，所述應(yīng)用節(jié)點管理服務(wù)器2能夠在啟動時或者在所述多個應(yīng)用節(jié)點5中的一個應(yīng)用節(jié)點5發(fā)生故障或者有新的應(yīng)用節(jié)點5接入系統(tǒng)中時基于預(yù)定的任務(wù)切分規(guī)則(其由系統(tǒng)開發(fā)人員根據(jù)實際需求確定)及負(fù)載均衡算法自動地生成所述任務(wù)切分表，其中，所述任務(wù)切分規(guī)則用于將數(shù)據(jù)處理任務(wù)根據(jù)其屬