異步數(shù)據(jù)處理方法和異步數(shù)據(jù)處理系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領域，具體而言，涉及一種異步數(shù)據(jù)處理方法和異步數(shù)據(jù)處理系統(tǒng)。
【背景技術】
[0002]在信息自動化處理中，企業(yè)單位的內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)之間經(jīng)常存在著不同步的情形，因此異步數(shù)據(jù)處理是準確執(zhí)行業(yè)務流程的關鍵技術。例如，企事業(yè)單位在銀行中的存款實際數(shù)目是通過“銀行對賬單”來反映的，企事業(yè)單位的出納人員的一項重要日常工作就是照實將用戶日記賬定期與“銀行對賬單”進行核對，至少每月核對一次。
[0003]由于用戶和銀行的賬務處理和入賬時間不一樣，往往發(fā)生雙方賬面不一致的情況，為了防止記賬發(fā)生錯誤，正確反映銀行存款的實際余額，用戶必須定期將用戶銀行日記賬與銀行提供的對賬單進行核對，并編制銀行存款余額調節(jié)表。不同用戶對于不同的用戶對賬的規(guī)則也不同，再加上一線電商用戶訂單量的劇增，勢必在對賬邏輯處理和海量數(shù)據(jù)上帶來很大瓶頸。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明提供一種異步數(shù)據(jù)處理方法和相應的數(shù)據(jù)處理系統(tǒng)，用以核對用戶日記賬和銀行對賬單數(shù)據(jù)。
[0005]根據(jù)本發(fā)明的一個方面，提供一種異步數(shù)據(jù)處理方法，包括:建立比對規(guī)則，所述比對規(guī)則用于匹配用戶數(shù)據(jù)和銀行數(shù)據(jù);在緩沖單元中存儲用戶數(shù)據(jù)和銀行數(shù)據(jù);從緩沖單元獲取用戶數(shù)據(jù)和銀行數(shù)據(jù);根據(jù)所述比對規(guī)則比較所述用戶數(shù)據(jù)和所述銀行數(shù)據(jù)，從而獲得標記信息；以及根據(jù)所述標記信息生成表單。
[0006]優(yōu)選地，所述用戶數(shù)據(jù)為用戶記賬數(shù)據(jù)，所述銀行數(shù)據(jù)為銀行對賬單數(shù)據(jù)，所述比對規(guī)則是用于匹配用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)的對賬規(guī)則。
[0007]優(yōu)選地，所述建立對賬規(guī)則包括針對所述用戶賬戶建立所述對賬規(guī)則。
[0008]優(yōu)選地，所述針對用戶賬戶建立對賬規(guī)則包括:針對所述用戶賬戶建立多個規(guī)則表達式。
[0009]優(yōu)選地，所述針對用戶賬戶建立對賬規(guī)則還包括:指定所述多個規(guī)則表達式的執(zhí)行順序。
[0010]優(yōu)選地，所述多個規(guī)則表達式執(zhí)行精確匹配、模糊匹配和金額匹配中的至少一種。
[0011]優(yōu)選地，所述比較所述用戶數(shù)據(jù)和所述銀行數(shù)據(jù)包括:將所述用戶記賬數(shù)據(jù)和所述銀行對賬單數(shù)據(jù)的屬性字段代入到所述規(guī)則表達式，返回是否匹配的布爾值。
[0012]優(yōu)選地，存儲用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)包括:與用戶財務系統(tǒng)和目標銀行支付系統(tǒng)建立連接;從所述用戶財務系統(tǒng)和所述支付系統(tǒng)分別獲得所述用戶記賬數(shù)據(jù)以及所述銀行對賬單數(shù)據(jù)；以及將所述用戶記賬數(shù)據(jù)以及所述銀行對賬單數(shù)據(jù)存入緩沖單元。
[0013]優(yōu)選地，所述緩沖單元包括選自消息隊列、內(nèi)存、數(shù)據(jù)庫和硬盤至少之一的緩沖區(qū)。
[0014]優(yōu)選地，所述標記信息包括已達賬標記和未達賬標記。
[0015]優(yōu)選地，所述表單包括余額調節(jié)表，未達賬明細表、已達賬明細表和用戶余額表。
[0016]優(yōu)選地，所述數(shù)據(jù)處理辦法還包括:定期將匹配成功的所述用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)歸檔。
[0017]根據(jù)本發(fā)明的另一方面，提供一種異步數(shù)據(jù)處理系統(tǒng)，包括:規(guī)則創(chuàng)建單元，用于建立比對規(guī)則，所述比對規(guī)則用于匹配用戶數(shù)據(jù)和銀行數(shù)據(jù);緩沖單元，用于存儲用戶數(shù)據(jù)和銀行數(shù)據(jù);數(shù)據(jù)獲取單元，用于從緩沖單元獲取用戶數(shù)據(jù)和銀行數(shù)據(jù);數(shù)據(jù)處理單元，用于根據(jù)所述比對規(guī)則比較所述用戶數(shù)據(jù)和所述銀行數(shù)據(jù)，從而獲得標記信息；以及表單生成單元，用于根據(jù)所述標記信息生成表單。
[0018]優(yōu)選地，所述用戶數(shù)據(jù)為用戶記賬數(shù)據(jù)，所述銀行數(shù)據(jù)為銀行對賬單數(shù)據(jù)，所述比對規(guī)則是用于匹配用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)的對賬規(guī)則。
[0019]優(yōu)選地，所述建立對賬規(guī)則包括針對所述用戶賬戶建立所述對賬規(guī)則。
[0020]優(yōu)選地，所述規(guī)則創(chuàng)建單元針對所述用戶賬戶建立多個規(guī)則表達式。
[0021]優(yōu)選地，所述規(guī)則創(chuàng)建單元還指定所述多個規(guī)則表達式的執(zhí)行順序。
[0022]優(yōu)選地，所述多個規(guī)則表達式執(zhí)行精確匹配、模糊匹配和金額匹配中的至少一種。
[0023]優(yōu)選地，數(shù)據(jù)處理單元包括:將所述用戶記賬數(shù)據(jù)和所述銀行對賬單數(shù)據(jù)的屬性字段代入到所述規(guī)則表達式進行計算，并且返回是否匹配的布爾值。
[0024]優(yōu)選地，所述緩沖單元執(zhí)行以下步驟:與用戶財務系統(tǒng)和目標銀行支付系統(tǒng)建立連接;從所述用戶財務系統(tǒng)和所述銀行支付系統(tǒng)分別獲得所述用戶記賬數(shù)據(jù)以及所述銀行對賬單數(shù)據(jù)；以及將所述用戶記賬數(shù)據(jù)以及所述銀行對賬單數(shù)據(jù)存入緩沖單元。
[0025]優(yōu)選地，所述緩沖單元包括選自消息隊列、內(nèi)存、數(shù)據(jù)庫和硬盤至少之一的緩沖區(qū)。
[0026]優(yōu)選地，所述標記信息包括已達賬標記和未達賬標記。
[0027]優(yōu)選地，所述表單包括余額調節(jié)表，未達賬明細表，銀行存款表和已達賬表單。
[0028]優(yōu)選地，所述數(shù)據(jù)處理系統(tǒng)還包括:定期將匹配成功的所述用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)歸檔。
[0029]優(yōu)選地，所述數(shù)據(jù)處理系統(tǒng)還包括:任務創(chuàng)建單元，用于創(chuàng)建定時啟動所述數(shù)據(jù)處理系統(tǒng)的任務。
[0030]優(yōu)選地，所述任務處理一個或多個所述用戶賬戶的數(shù)據(jù)。
[0031 ] 優(yōu)選地，所述任務創(chuàng)建單元記錄所述任務啟動時間，終止時間、運行結果以及運行次數(shù)。
[0032]優(yōu)選地，所述數(shù)據(jù)處理系統(tǒng)還包括:人工處理單元，用于根據(jù)用戶指令所述用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)。
[0033]優(yōu)選地，根據(jù)所述運行次數(shù)確定是否啟動人工處理單元。
[0034]根據(jù)本發(fā)明實施例的異步數(shù)據(jù)處理方法和系統(tǒng)，將用戶數(shù)據(jù)和銀行數(shù)據(jù)存儲在緩沖單元中，利用比對規(guī)則進行比較并生成調度表。該緩沖單元的使用可以減輕數(shù)據(jù)阻塞，從而克服邏輯處理和海量數(shù)據(jù)上的瓶頸。
[0035]在上述的比較步驟之后獲得標記信息，因此可以在后續(xù)的數(shù)據(jù)處理中不再重復處理一部分相關數(shù)據(jù)，從而可以減少數(shù)據(jù)處理量，進一步減輕數(shù)據(jù)阻塞和提高數(shù)據(jù)處理效率。
[0036]該異步數(shù)據(jù)處理方法包括建立比對規(guī)則的步驟，因而可以靈活配置比對規(guī)則。由于比對規(guī)則的獨立性，比對規(guī)則與業(yè)務耦合低，可以實現(xiàn)規(guī)則透明、易于理解、可擴展性高、便于維護。
[0037]通過設置比對規(guī)則進行數(shù)據(jù)比較，減少人工干預環(huán)節(jié)，提供效率。另外通過將數(shù)據(jù)處理系統(tǒng)設置在任務中運行，提高計算機工作效率。
【附圖說明】
[0038]通過參照以下附圖對本發(fā)明實施例的描述，本發(fā)明的上述以及其它目的、特征和優(yōu)點將更為清楚，在附圖中:
[0039]圖1是根據(jù)本發(fā)明實施例的異步數(shù)據(jù)處理方法的流程圖；
[0040]圖2是根據(jù)本發(fā)明實施例的數(shù)據(jù)處理系統(tǒng)的結構圖；
[0041]圖3是根據(jù)本發(fā)明另一實施例的數(shù)據(jù)處理系統(tǒng)的示意圖。
【具體實施方式】
[0042]以下基于實施例對本發(fā)明進行描述，但是本發(fā)明并不僅僅限于這些實施例。在下文對本發(fā)明的細節(jié)描述中，詳盡描述了一些特定的細節(jié)部分。對本領域技術人員來說沒有這些細節(jié)部分的描述也可以完全理解本發(fā)明。為了避免混淆本發(fā)明的實質，公知的方法、過程、流程沒有詳細敘述。另外附圖不一定是按比例繪制的。
[0043]附圖中的流程圖、框圖圖示了本發(fā)明實施例的系統(tǒng)、方法、裝置的可能的體系框架、功能和操作，流程圖和框圖上的方框可以代表一個模塊、程序段或僅僅是一段代碼，所述模塊、程序段和代碼都是用來實現(xiàn)規(guī)定邏輯功能的可執(zhí)行指令。也應當注意，所述實現(xiàn)規(guī)定邏輯功能的可執(zhí)行指令可以重新組合，從而生成新的模塊和程序段。因此附圖的方框以及方框順序只是用來更好的圖示實施例的過程和步驟，而不應以此作為對發(fā)明本身的限制。
[0044]圖1是根據(jù)本發(fā)明實施例的異步數(shù)據(jù)處理方法的流程圖。所述數(shù)據(jù)處理方法包括步驟101-步驟107。
[0045]在步驟101中，針對用戶賬戶建立對賬規(guī)則。對賬規(guī)則為用戶賬戶設置的多個規(guī)則表達式，所述對賬規(guī)則用于匹配用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)。在對賬規(guī)則里，指定用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)對應關系，包括多個規(guī)則表達式，并指定上述規(guī)則表達式的執(zhí)行順序?？梢酝ㄟ^可視化的規(guī)則配置頁面輸入對賬規(guī)則。
[0046]在一個可選的實施例中，每個對賬規(guī)則都包括一個規(guī)則主題和多個規(guī)則表達式組成。規(guī)則主題一般包含用戶賬號。規(guī)則表達式里表示用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)的屬性字段的對應關系。對賬規(guī)則可以通過多個數(shù)據(jù)庫表或配置文件保存。
[0047]在步驟102中，在緩沖單元中存儲用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)。在一個優(yōu)選的實施中，緩沖單元與用戶財務系統(tǒng)和目標銀行支付系統(tǒng)建立連接，從所述用戶財務系統(tǒng)和所述支付系統(tǒng)分別獲得所述用戶記賬數(shù)據(jù)以及所述銀行對賬單數(shù)據(jù)，以及將所述用戶記賬數(shù)據(jù)以及所述銀行對賬單數(shù)據(jù)存入緩沖單元。所述緩沖單元包括選自消息隊列、內(nèi)存、數(shù)據(jù)庫和硬盤至少之一的緩沖區(qū)。在消息隊列和內(nèi)存中存儲的數(shù)據(jù)作為臨時數(shù)據(jù)，例如用于spark基于內(nèi)存計算處理。在數(shù)據(jù)庫和硬盤中存儲的數(shù)據(jù)作為持久性數(shù)據(jù)。
[0048]在步驟103中，從緩沖單元獲取用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)。
[0049]在步驟104中，根據(jù)對賬規(guī)則比較用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)。在本步驟中，首先獲取對應的對賬規(guī)則的表達式，以及根據(jù)表達式的執(zhí)行順序，然后根據(jù)表達式和執(zhí)行順序進行計算。在一個可選的實施例中，將用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)的屬性字段代入到所述規(guī)則表達式，返回是否匹配的布爾值，根據(jù)多個表達式的布爾值確定比較結果。在一個可選的實施中，根據(jù)布爾值的邏輯表達式，確定比較結果。
[0050]在步驟105中，判斷數(shù)據(jù)匹配。在步驟103中，根據(jù)對賬規(guī)則對用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)進行比對，在本步驟中，對比對結果進行判斷。
[0051 ]在步驟106中，匹配不成功的用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)標記為未達賬。
[0052]在步驟107中，匹配成功用戶記賬數(shù)據(jù)和銀行對賬單數(shù)據(jù)標記為已達賬。
[0053]在步驟106-107中，標記匹配成功和匹配失敗的用戶日記賬和銀行對賬單