一種數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)業(yè)務(wù)接口技術(shù)，尤其涉及一種數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法與系統(tǒng)。
【背景技術(shù)】
[0002]數(shù)據(jù)提取、轉(zhuǎn)換和加載(Extract1n-Transformat1n-Loading,ETL)是數(shù)據(jù)抽取(Extract)、清洗(Cleaning)、轉(zhuǎn)換(Transform)、裝載(Load)的過程,是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)。用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。
[0003]數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理環(huán)境、外部數(shù)據(jù)源和脫機(jī)的數(shù)據(jù)存儲(chǔ)介質(zhì)導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)中；在技術(shù)上，ETL主要涉及到關(guān)聯(lián)、轉(zhuǎn)換、增量、調(diào)度和監(jiān)控等幾個(gè)方面，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)中的數(shù)據(jù)實(shí)時(shí)同步，所以，ETL可以定時(shí)進(jìn)行。
[0004]傳統(tǒng)ETL根據(jù)接口傳輸?shù)奶匦圆捎枚〞r(shí)驅(qū)動(dòng)的方式進(jìn)行鏈?zhǔn)竭\(yùn)算，例如每天晚上八點(diǎn)運(yùn)算接口 A ;當(dāng)接口數(shù)據(jù)缺失時(shí)，調(diào)度將無(wú)法正常進(jìn)行，且接口數(shù)據(jù)延遲或缺失數(shù)天后到達(dá)時(shí)也不能智能進(jìn)行后續(xù)工作，后續(xù)補(bǔ)漏工作需要人工進(jìn)行干預(yù)。通常，需要維護(hù)人員手動(dòng)進(jìn)行數(shù)據(jù)補(bǔ)漏操作，或者調(diào)整ETL某些配置/狀態(tài)/開關(guān)，使之開始運(yùn)算缺失的接口數(shù)據(jù),給ETL維護(hù)人員帶來了麻煩，也給相關(guān)系統(tǒng)帶來了麻煩。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明實(shí)施例期望提供一種數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法與系統(tǒng)，能夠在無(wú)用戶干預(yù)的情況下，智能完成所有數(shù)據(jù)的缺失補(bǔ)漏操作。
[0006]為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0007]本發(fā)明實(shí)施例提供了一種數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法，所述方法包括:
[0008]掃描未完成任務(wù)對(duì)應(yīng)接口的接口文件，并下載新增或重傳的接口文件；
[0009]將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配，確定匹配成功時(shí)，更改任務(wù)日志中任務(wù)狀態(tài)；確定匹配失敗時(shí)，跳過當(dāng)前任務(wù)。
[0010]上述方案中，所述掃描未完成任務(wù)對(duì)應(yīng)接口的接口文件之前，所述方法還包括:讀取任務(wù)日志，確定未完成的任務(wù)，并發(fā)送掃描請(qǐng)求。
[0011]上述方案中，所述下載新增或重傳的接口文件之后，所述方法還包括:在任務(wù)日志中標(biāo)注文件傳輸協(xié)議(File Transfer Protocol，F(xiàn)TP)下載階段為已完成，標(biāo)注清洗階段為正在進(jìn)行。
[0012]上述方案中，所述標(biāo)注清洗階段為正在進(jìn)行之后，將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配之前，所述方法還包括:讀取任務(wù)日志中任務(wù)狀態(tài)，并發(fā)送接口文件匹配請(qǐng)求。
[0013]本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)系統(tǒng)，所述系統(tǒng)包括:FTP掃描器和任務(wù)日志管理驅(qū)動(dòng)器；其中，
[0014]所述FTP掃描器，用于掃描未完成任務(wù)對(duì)應(yīng)接口的接口文件，并下載新增或重傳的接口文件；
[0015]所述任務(wù)日志管理驅(qū)動(dòng)器，用于將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配，確定匹配成功時(shí)，更改任務(wù)日志狀態(tài)；確定匹配失敗時(shí)，跳過當(dāng)前任務(wù)。
[0016]上述方案中，所述系統(tǒng)還包括:核心控制器、接口文件庫(kù)、本地文件庫(kù)和存儲(chǔ)器；其中，
[0017]所述核心控制器，用于讀取任務(wù)日志，確定未完成的任務(wù)及任務(wù)狀態(tài)，調(diào)度FTP掃描器和任務(wù)日志管理驅(qū)動(dòng)器的運(yùn)行；
[0018]所述接口文件庫(kù)，用于存儲(chǔ)對(duì)方接口機(jī)接收的接口文件；
[0019]所述本地文件庫(kù)，用于存儲(chǔ)本地接口機(jī)的所有接口文件；
[0020]所述存儲(chǔ)器，用于存儲(chǔ)任務(wù)日志。
[0021 ] 上述方案中，所述FTP掃描器還用于，在任務(wù)日志中標(biāo)注FTP下載階段為已完成，標(biāo)注清洗階段為正在進(jìn)行。
[0022]本發(fā)明實(shí)施例所提供的數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法，掃描未完成任務(wù)對(duì)應(yīng)接口的接口文件，并下載新增或重傳的接口文件；將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配，確定匹配成功時(shí)，更改任務(wù)日志狀態(tài)；確定匹配失敗時(shí)，跳過當(dāng)前任務(wù)。如此，能彌補(bǔ)現(xiàn)有ETL對(duì)數(shù)據(jù)延遲、遺失等異常情況處理的不足，提升對(duì)數(shù)據(jù)準(zhǔn)確性、及時(shí)性的保障能力，同時(shí)降低對(duì)ETL維護(hù)的成本,使得增值業(yè)務(wù)綜合運(yùn)營(yíng)平臺(tái)(Value-added Service GeneralOperat1n Platform, VGOP)能夠更有效的對(duì)數(shù)據(jù)業(yè)務(wù)進(jìn)行支撐,為數(shù)據(jù)業(yè)務(wù)長(zhǎng)久平穩(wěn)的向前發(fā)展提供指引。
【附圖說明】
[0023]圖1為本發(fā)明實(shí)施例一數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法流程示意圖；
[0024]圖2為本發(fā)明實(shí)施例二數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法流程示意圖；
[0025]圖3為本發(fā)明實(shí)施例數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)系統(tǒng)組成結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0026]在本發(fā)明實(shí)施例中，掃描未完成任務(wù)對(duì)應(yīng)接口的接口文件，并下載新增或重傳的接口文件；將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配，確定匹配成功時(shí)，更改任務(wù)日志狀態(tài)；確定匹配失敗時(shí)，跳過當(dāng)前任務(wù)。
[0027]圖1為本發(fā)明實(shí)施例一數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法流程示意圖，如圖1所示，該數(shù)據(jù)缺失補(bǔ)漏的智能實(shí)現(xiàn)方法流程包括:
[0028]步驟101:掃描未完成任務(wù)對(duì)應(yīng)接口的接口文件，并下載新增或重傳的接口文件；
[0029]這里，所述掃描未完成任務(wù)對(duì)應(yīng)接口的接口文件之前，所述方法還包括:讀取任務(wù)日志，確定未完成的任務(wù)，并發(fā)送掃描請(qǐng)求；其中，所述掃描請(qǐng)求中包含未完成的任務(wù)信息；
[0030]所述下載新增或重傳的接口文件為:通過接口文件屬性，如創(chuàng)建時(shí)間信息等獲知新增或重傳的接口文件，然后下載新增或重傳的接口文件；
[0031]所述下載新增或重傳的接口文件之后，所述方法還包括:在任務(wù)日志中，標(biāo)注FTP下載階段為已完成，標(biāo)注清洗階段為正在進(jìn)行。
[0032]步驟102:將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配，確定匹配成功時(shí)，更改任務(wù)日志中任務(wù)狀態(tài)；確定匹配失敗時(shí)，跳過當(dāng)前任務(wù)；
[0033]這里，所述預(yù)先生成的任務(wù)日志為:根據(jù)用戶預(yù)先配置的信息生成的任務(wù)日志，所述預(yù)先配置的信息可以包括任務(wù)及文件信息，如定時(shí)需要調(diào)度的程序及接口文件名、接口文件大小、存儲(chǔ)時(shí)間、前置存儲(chǔ)條件等；
[0034]所述標(biāo)注清洗階段為正在進(jìn)行之后，將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配之前，所述方法還包括:讀取任務(wù)日志中任務(wù)狀態(tài)，并發(fā)送接口文件匹配請(qǐng)求；這里，所述接口文件匹配請(qǐng)求中包含任務(wù)日志中需要匹配的任務(wù)及對(duì)應(yīng)接口信息；
[0035]所述將預(yù)先生成的任務(wù)日志和接口文件進(jìn)行匹配包括:根據(jù)預(yù)先生成的任務(wù)日志，查找未完成任務(wù)對(duì)應(yīng)接口的接口文件，如果查找到正確的接口文件，則匹配成功，如果對(duì)應(yīng)的接口文件不存在或找到錯(cuò)誤的接口文件，則匹配失??；
[0036]所述更改任務(wù)日志中任務(wù)狀態(tài)包括:更改任務(wù)日志中FTP下載階段后的接口文件匹配結(jié)果為匹配成功，并觸發(fā)后續(xù)ETL處理流程。
[0037]圖2為