一種基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及一種基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法和 裝置。
【背景技術(shù)】
[0002] 隨著信息化的推進(jìn)，企業(yè)在信息化過程中會(huì)積累大量的數(shù)據(jù)資源，并保存在不同 的數(shù)據(jù)庫中。
[0003] 由于不同系統(tǒng)使用的數(shù)據(jù)庫類型、數(shù)據(jù)格式互不相同，在數(shù)據(jù)結(jié)構(gòu)上存在很大的 差異，導(dǎo)致各系統(tǒng)資源相互孤立，無法形成數(shù)據(jù)共享。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提供一種基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法和裝置，能夠整合異構(gòu)數(shù)據(jù)。
[0005] 第一方面，本發(fā)明實(shí)施例提供了一種基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法，包括：
[0006] 建立數(shù)據(jù)連接總線接口，通過數(shù)據(jù)連接總線接口連接至數(shù)據(jù)庫；
[0007] 提取數(shù)據(jù)庫中符合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)到數(shù)據(jù)存儲(chǔ)中；
[0008] 匯總所述數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)，將數(shù)據(jù)類型分析轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)類型；
[0009] 保存所述數(shù)據(jù)存儲(chǔ)中的統(tǒng)一數(shù)據(jù)類型的數(shù)據(jù)至主數(shù)據(jù)庫。
[0010] 優(yōu)選地，
[0011] 所述建立數(shù)據(jù)連接總線接口包括：通過包括數(shù)據(jù)庫連接信息的數(shù)據(jù)表建立數(shù)據(jù)連 接總線接口。
[0012] 優(yōu)選地，
[0013] 在所述提取數(shù)據(jù)庫中符合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)到數(shù)據(jù)存儲(chǔ)之前，進(jìn)一步包括：
[0014] 接收數(shù)據(jù)整合策略，根據(jù)數(shù)據(jù)整合策略動(dòng)態(tài)生成數(shù)據(jù)提取標(biāo)準(zhǔn)。
[0015] 優(yōu)選地，
[0016] 在所述保存所述數(shù)據(jù)存儲(chǔ)中的統(tǒng)一數(shù)據(jù)類型的數(shù)據(jù)至主數(shù)據(jù)庫之前，進(jìn)一步包 括：
[0017] 在所述數(shù)據(jù)連接總線接口建立臨時(shí)表，將所述數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)臨時(shí)儲(chǔ)存在所述 臨時(shí)表中。
[0018] 在所述保存所述數(shù)據(jù)存儲(chǔ)中的統(tǒng)一數(shù)據(jù)類型的數(shù)據(jù)至主數(shù)據(jù)庫后刪除所述臨時(shí) 表。
[0019] 第二方面，本發(fā)明提供了一種基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合裝置，包括：
[0020] 建立單元，用于建立數(shù)據(jù)連接總線接口，觸發(fā)連接單元；
[0021] 連接單元，用于通過數(shù)據(jù)連接總線接口連接至數(shù)據(jù)庫，觸發(fā)提取單元；
[0022] 提取單元，用于提取數(shù)據(jù)庫中符合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)到數(shù)據(jù)存儲(chǔ)中，將所述符 合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)輸出給處理單元；
[0023] 處理單元，用于匯總所述符合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)，將數(shù)據(jù)類型分析轉(zhuǎn)換為統(tǒng)一 數(shù)據(jù)類型，將所述數(shù)據(jù)存儲(chǔ)中的同一數(shù)據(jù)類型的數(shù)據(jù)輸出給保存單元；
[0024] 保存單元，用于將所述數(shù)據(jù)存儲(chǔ)中的同一數(shù)據(jù)類型的數(shù)據(jù)保存至主數(shù)據(jù)庫。
[0025] 優(yōu)選地，
[0026] 所述建立單元，用于通過包括數(shù)據(jù)庫連接信息的數(shù)據(jù)表建立數(shù)據(jù)連接總線接口， 觸發(fā)所述連接單元。
[0027] 優(yōu)選地，進(jìn)一步包括：
[0028] 接收單元，用于接收數(shù)據(jù)整合策略，將數(shù)據(jù)整合策略輸出給生成單元；
[0029] 生成單元，用于根據(jù)數(shù)據(jù)整合策略動(dòng)態(tài)生成數(shù)據(jù)提取標(biāo)準(zhǔn)，將提取標(biāo)準(zhǔn)輸出給所 述提取單元。
[0030] 優(yōu)選地，進(jìn)一步包括：
[0031] 臨時(shí)存儲(chǔ)單元，用于在所述數(shù)據(jù)連接總線接口建立臨時(shí)表，將所述數(shù)據(jù)存儲(chǔ)中的 數(shù)據(jù)臨時(shí)儲(chǔ)存在所述臨時(shí)表中，將臨時(shí)表中的所述數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)輸出給所述保存單 元；
[0032] 刪除單元，用于在所述保存單元將所述數(shù)據(jù)存儲(chǔ)中的同一數(shù)據(jù)類型的數(shù)據(jù)保存至 主數(shù)據(jù)庫后刪除臨時(shí)表。
[0033] 本發(fā)明實(shí)施例提出的基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法及裝置，通過建立數(shù)據(jù)連 接總線接口連接至數(shù)據(jù)庫，提取數(shù)據(jù)庫中符合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)到數(shù)據(jù)存儲(chǔ)中，并將數(shù) 據(jù)轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)類型保存至主數(shù)據(jù)庫，從而將異構(gòu)數(shù)據(jù)的整合至主數(shù)據(jù)庫，從而實(shí)現(xiàn) 數(shù)據(jù)共享。
【附圖說明】
[0034]圖1是本發(fā)明實(shí)施例提供的基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法流程圖；
[0035] 圖2是本發(fā)明另一實(shí)施例提供的基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法流程圖；
[0036]圖3是本發(fā)明實(shí)施例提供的數(shù)據(jù)表結(jié)構(gòu)圖；
[0037]圖4是本發(fā)明實(shí)施例提供的整合策略表結(jié)構(gòu)圖；
[0038]圖5是本發(fā)明實(shí)施例提供的基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合裝置結(jié)構(gòu)示意圖；
[0039]圖6是本發(fā)明另一實(shí)施例提供的基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合裝置結(jié)構(gòu)示意圖；
[0040]圖7是本發(fā)明又一實(shí)施例提供的基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合裝置結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0041] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述。顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒?發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí) 施例，都屬于本發(fā)明保護(hù)的范圍。
[0042] 本發(fā)明實(shí)施例提供了一種基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法，如圖1所示，該方 法可以包括以下步驟：
[0043] 步驟101 :建立數(shù)據(jù)連接總線接口，通過數(shù)據(jù)連接總線接口連接至數(shù)據(jù)庫；
[0044] 步驟102 :提取數(shù)據(jù)庫中符合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)到數(shù)據(jù)存儲(chǔ)中；
[0045] 步驟103 :分析數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)，將數(shù)據(jù)類型轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)類型；
[0046] 步驟104:保存數(shù)據(jù)存儲(chǔ)中的統(tǒng)一數(shù)據(jù)類型的數(shù)據(jù)至主數(shù)據(jù)庫。
[0047] 可見，由于本發(fā)明實(shí)施例提出的基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法及裝置，通過 建立數(shù)據(jù)連接總線接口連接至數(shù)據(jù)庫，提取數(shù)據(jù)庫中符合數(shù)據(jù)提取標(biāo)準(zhǔn)的數(shù)據(jù)到數(shù)據(jù)存儲(chǔ) 中，并將數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)類型保存至主數(shù)據(jù)庫，從而將異構(gòu)數(shù)據(jù)的整合至主數(shù)據(jù)庫， 從而實(shí)現(xiàn)數(shù)據(jù)共享。
[0048] 在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，為了建立能夠根據(jù)連接信息連接到多個(gè)不同的數(shù)據(jù) 庫的數(shù)據(jù)連接總線接口，建立數(shù)據(jù)連接總線接口包括：通過包括數(shù)據(jù)庫連接信息的數(shù)據(jù)表 建立數(shù)據(jù)連接總線接口，從而數(shù)據(jù)連接總線接口能夠根據(jù)連接信息連接到多個(gè)不同的數(shù)據(jù) 庫。
[0049] 在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，為了根據(jù)數(shù)據(jù)整合策略動(dòng)態(tài)生成數(shù)據(jù)提取標(biāo)準(zhǔn)，在 步驟102之前，進(jìn)一步包括：接收數(shù)據(jù)整合策略，根據(jù)數(shù)據(jù)整合策略動(dòng)態(tài)生成數(shù)據(jù)提取標(biāo) 準(zhǔn)，從而可以根據(jù)數(shù)據(jù)整合策略動(dòng)態(tài)生成數(shù)據(jù)提取標(biāo)準(zhǔn)。
[0050] 在本發(fā)明一個(gè)優(yōu)選實(shí)施例中，為了將數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)保存至主數(shù)據(jù)庫，在步驟 104之前，進(jìn)一步包括：在數(shù)據(jù)連接總線接口建立臨時(shí)表，將所述數(shù)據(jù)存儲(chǔ)中的數(shù)據(jù)臨時(shí)儲(chǔ) 存在所述臨時(shí)表中，并在步驟104之后刪除所述臨時(shí)表。
[0051] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖及具體實(shí)施例對(duì)本 發(fā)明作進(jìn)一步地詳細(xì)描述。
[0052] 本發(fā)明實(shí)施例提供了一種基于數(shù)據(jù)存儲(chǔ)的異構(gòu)數(shù)據(jù)整合方法，如圖2所示，該方 法包括以下實(shí)現(xiàn)過程：
[0053] 步驟201 :通過包括數(shù)據(jù)庫連接信息的數(shù)據(jù)表建立數(shù)據(jù)連接總線接口。
[0054] 在本實(shí)施例中，數(shù)據(jù)連接總線接口支持各主流數(shù)據(jù)庫。例如，Oracle、Sql Server、 Sybase等?？梢愿鶕?jù)數(shù)據(jù)接口提供數(shù)據(jù)庫連接信息的配置方法，配置數(shù)據(jù)庫連接信息并保 存。
[0055] 其中，數(shù)據(jù)表結(jié)構(gòu)如圖3所示，數(shù)據(jù)庫連接信息包括數(shù)據(jù)庫類型、服務(wù)器名稱、 數(shù)據(jù)庫名稱、登錄用戶和登錄口令。例如，數(shù)據(jù)庫類型為MSSQLSERVER，服務(wù)器名稱為 master，數(shù)據(jù)庫名稱為系統(tǒng)數(shù)據(jù)庫，登錄用戶為user，登錄口令為123456。
[0056] 配置方法如下：
[0057] //數(shù)據(jù)庫系統(tǒng)類型
[0058] vsdbms = ds_bz· object. CXDWDB_DBMS[vl_cur_row]
[0059] //服務(wù)器名稱
[0060]vssrvnm=ds_bz·object.CXDWDB_SRVNM[vl_cur_row]
[0061] //數(shù)據(jù)庫名稱
[0062] vsdbnm = ds_bz. object. CXDWDB_DBNM[vl_cur_;row]
[0063] //登錄用戶
[0064]vslogid=ds_bz·object.CXDWDB_L0GID[vl_cur_row]
[0065] //登錄口令
[0066] vspass = ds_bz· object. CXDWDB_PASS[vl_cur_row]
[0067] 步驟202 :通過數(shù)據(jù)連接總線接口連接至數(shù)據(jù)庫，并判斷是否連接成功，如果成 功，執(zhí)行步驟203,否則，彈出"數(shù)據(jù)庫連接失敗"的提示信息。
[0068] 在本實(shí)施例中，通過獲取并解析數(shù)據(jù)庫連接信息，根據(jù)具體配置信息連接到對(duì)應(yīng) 的數(shù)據(jù)庫，連接完畢后判斷是否連接成功。
[0069] //獲取連接信息
[0070] SELECT
[0071] CXDWDB-SRVNM，CXDWDB-DBMS，CXDWDB-DBNM，CXDWDB-L0
[0072] GID，CXDWDB-PASS，CXDWDB-ZTNAME
[0073] INTO:vsSrvnm, :vsdbms, :vsdbnm, :vslogid, :vspass, :vsztname
[0074] FROM CXDWDB
[0075] WHERE CXDWDB_DWBH = : dwbh；
[0076] ptran. SERVERNAME = trim(vssrvnm)
[0077] ptran. DBMS = "ADO. NET"
[0078] vsspace = trim(vsdbms)
[0079] ptran. DATABASE = trim(vsdbnm)
[0080] ptran. LOGID = trim(vslogid)
[0081] if not isnull (vsPass) and Trim(vsPass)〈>" then
[0082] f-passexpand (vspass)
[0083] vsPass = Right (vspass, len (vspass)-3)
[0084] end if
[0085] ptran. L0GPASS = trim (vspass)
[0086] gf_SetHelp(〃正在連接數(shù)據(jù)庫，請(qǐng)等待.....〃）
[0087] SetPointer(HourGlass !)
[0088] disconnect using ptran ;
[0089] if pos (vsspace，"Oracle") >0then
[0090] ptran. dbparm =
[0091] ''Namespace = J System. Data. Ole