專利名稱：一種用于可分類數(shù)據(jù)批處理的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及批處理作業(yè)的數(shù)據(jù)處理領(lǐng)域。
背景技術(shù)：
在銀行業(yè)、證券業(yè)和保險(xiǎn)業(yè)等的業(yè)務(wù)處理系統(tǒng)中，一般采用核心系統(tǒng)處理自己的各種相關(guān)業(yè)務(wù)，核心系統(tǒng)中可以提供兩種數(shù)據(jù)處理環(huán)境聯(lián)機(jī)環(huán)境和批處理環(huán)境。它們是兩類不同特性的數(shù)據(jù)處理環(huán)境，通常基于不同的中間件平臺(tái)之上。
批處理是批量數(shù)據(jù)處理的環(huán)境，可以支持整批的數(shù)據(jù)處理進(jìn)程，通常是在自動(dòng)控制的流程中遞交批處理的作業(yè)，用來(lái)處理數(shù)據(jù)庫(kù)或文件的批量訪問(wèn)或更新。在自動(dòng)控制流程完善的條件下，整個(gè)批處理過(guò)程可以無(wú)需人工干預(yù)的完成一批作業(yè)處理。例如，在銀行核心系統(tǒng)中，每日日終后，有許多批量的數(shù)據(jù)加工和處理，如生成各類會(huì)計(jì)報(bào)表、銀行計(jì)息、自動(dòng)轉(zhuǎn)存和自動(dòng)還款等，還例如保險(xiǎn)公司的保單續(xù)保等。
在數(shù)據(jù)集中之前，各部門存儲(chǔ)的數(shù)據(jù)分別由各部門的單獨(dú)進(jìn)行處理，各部門數(shù)據(jù)單獨(dú)核算，總部不能清楚了解各部門的數(shù)據(jù)，不便統(tǒng)一進(jìn)行管理，也造成數(shù)據(jù)資源不能共享、數(shù)據(jù)安全性、完整性的風(fēng)險(xiǎn)大和維護(hù)費(fèi)用多等問(wèn)題，而且各部門均需自備備份主機(jī)及相應(yīng)設(shè)備，硬件資源利用率低。
在數(shù)據(jù)集中存儲(chǔ)后，即把待處理數(shù)據(jù)由原來(lái)的分散在各部門，并由各部門單獨(dú)處理，改變?yōu)榘迅鞑块T的數(shù)據(jù)進(jìn)行集中存儲(chǔ)，所述數(shù)據(jù)可以按部門進(jìn)行分類，并集中進(jìn)行數(shù)據(jù)處理。數(shù)據(jù)集中克服了分散帶來(lái)的問(wèn)題，但在集中點(diǎn)需要處理的數(shù)據(jù)量很大，現(xiàn)有的使用統(tǒng)一批處理作業(yè)數(shù)據(jù)處理方式對(duì)這些來(lái)自不同部門的數(shù)據(jù)進(jìn)行處理時(shí)，存在下面的問(wèn)題1、需要處理的數(shù)據(jù)量大，批處理作業(yè)執(zhí)行時(shí)，執(zhí)行時(shí)間過(guò)長(zhǎng)，不能及時(shí)得到處理結(jié)果，影響數(shù)據(jù)處理效率，數(shù)據(jù)處理結(jié)果實(shí)效性差，2、由于不同部門業(yè)務(wù)的差異，對(duì)各自部門的數(shù)據(jù)處理的要求也不同，需要針對(duì)每個(gè)部門的不同業(yè)務(wù)做出判斷處理，現(xiàn)有統(tǒng)一批處理作業(yè)數(shù)據(jù)處理方式不能很好的滿足數(shù)據(jù)處理的要求。
3、對(duì)于每個(gè)部門的數(shù)據(jù)來(lái)說(shuō)，在具體的數(shù)據(jù)處理的步驟上有前后依賴關(guān)系，即部分?jǐn)?shù)據(jù)需要先處理，其結(jié)果用于參與另一些數(shù)據(jù)的處理，采用現(xiàn)有統(tǒng)一批處理作業(yè)數(shù)據(jù)處理方式進(jìn)行處理時(shí)，在批處理運(yùn)行過(guò)程中，可能會(huì)交叉處理不同部門的數(shù)據(jù)，造成數(shù)據(jù)依賴關(guān)系復(fù)雜，影響批處理作業(yè)執(zhí)行的穩(wěn)定性。
可見，現(xiàn)有的使用統(tǒng)一批處理作業(yè)進(jìn)行數(shù)據(jù)處理方式存在著效率低、不能很好的滿足數(shù)據(jù)處理的要求和處理過(guò)程中穩(wěn)定性差的問(wèn)題。如何設(shè)計(jì)一個(gè)新的滿足數(shù)據(jù)集中后業(yè)務(wù)運(yùn)營(yíng)和發(fā)展的要求的批處理系統(tǒng)架構(gòu)以及調(diào)度方法，成為了在大型機(jī)應(yīng)用開發(fā)者面前的一個(gè)需要解決的課題。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種用于可分類數(shù)據(jù)批處理的方法及裝置，以解決現(xiàn)有技術(shù)中效率低、不能很好的滿足數(shù)據(jù)處理的要求和處理過(guò)程中穩(wěn)定性差的問(wèn)題。
為了解決上述技術(shù)問(wèn)題，本發(fā)明公開了一種用于可分類數(shù)據(jù)批處理的方法，包括將分散存儲(chǔ)的數(shù)據(jù)進(jìn)行按分類集中存儲(chǔ)；設(shè)置模板作業(yè)及參數(shù)集，所述參數(shù)集用于保存不同分類數(shù)據(jù)的處理參數(shù)，所述模板作業(yè)用于生成不同分類數(shù)據(jù)的分類批處理作業(yè)；根據(jù)所述模板作業(yè)和所述參數(shù)集生成不同分類數(shù)據(jù)的分類批處理作業(yè)；執(zhí)行所述分類批處理作業(yè)。
優(yōu)選的，所述方法還包括，對(duì)所述分類批處理作業(yè)進(jìn)行作業(yè)調(diào)度。
優(yōu)選的，所述作業(yè)調(diào)度采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)、多管道路由技術(shù)或者優(yōu)先級(jí)隊(duì)列調(diào)度算法。
優(yōu)選的，所述方法還包括，對(duì)所述分類批處理作業(yè)的執(zhí)行進(jìn)行出錯(cuò)控制。
優(yōu)選的，所述可分類數(shù)據(jù)是銀行系統(tǒng)各分行數(shù)據(jù)，所述分類批處理作業(yè)是銀行系統(tǒng)各分行數(shù)據(jù)批處理作業(yè)。
優(yōu)選的，所述各分行數(shù)據(jù)批處理作業(yè)按照時(shí)段對(duì)所述分行數(shù)據(jù)進(jìn)行處理。
本發(fā)明還提供了一種用于可分類數(shù)據(jù)批處理的裝置，包括數(shù)據(jù)集中單元，用于將分散存儲(chǔ)的數(shù)據(jù)進(jìn)行按分類集中存儲(chǔ)；
設(shè)置單元，用于設(shè)置模板作業(yè)及參數(shù)集，所述參數(shù)集用于保存不同分類數(shù)據(jù)的處理參數(shù)，所述模板作業(yè)用于生成不同分類的分類批處理作業(yè)；存儲(chǔ)單元，用于保存所述模板作業(yè)及所述參數(shù)集；生成單元，用于根據(jù)所述模板作業(yè)和所述參數(shù)集生成不同分類的分類批處理作業(yè)；執(zhí)行單元，用于執(zhí)行所述分類批處理作業(yè)。
優(yōu)選的，所述裝置還包括，調(diào)度處理單元，用于對(duì)所述分類批處理作業(yè)進(jìn)行作業(yè)調(diào)度。
優(yōu)選的，所述調(diào)度處理單元采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)、多管道路由技術(shù)或者優(yōu)先級(jí)隊(duì)列調(diào)度算法。
優(yōu)選的，所述裝置還包括，出錯(cuò)處理單元，用于對(duì)所述分類批處理作業(yè)的執(zhí)行進(jìn)行出錯(cuò)控制。
與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)1、采用不同的分類批處理作業(yè)分別處理不同分類的數(shù)據(jù)，每個(gè)批處理作業(yè)所要處理的數(shù)據(jù)量小，處理速度快，并行處理方式進(jìn)一步減少了完成全部數(shù)據(jù)處理需要的時(shí)間，提高了數(shù)據(jù)處理的效率，數(shù)據(jù)處理實(shí)效性好。
2、采用模版作業(yè)和分類處理參數(shù)來(lái)生成各分類數(shù)據(jù)的批處理作業(yè)，可以根據(jù)不同的業(yè)務(wù)配置不同參數(shù)，生成不同的批處理作業(yè)，適應(yīng)不同部門的業(yè)務(wù)差異，更好的滿足各部門數(shù)據(jù)處理的要求。
3、各分類的批處理作業(yè)只處理本分類的數(shù)據(jù)，可以按先后順序處理，更好的保證數(shù)據(jù)處理過(guò)程中數(shù)據(jù)的依賴關(guān)系，保證批處理作業(yè)執(zhí)行的穩(wěn)定性，保證處理結(jié)果的正確性。
4、采用統(tǒng)一的模版作業(yè)和分類參數(shù)相結(jié)合的方式生成各分類的批處理作業(yè)，維護(hù)人員只需要維護(hù)模版作業(yè)和各分類的參數(shù)文件，維護(hù)工作量小。
5、采用無(wú)環(huán)路多層次樹形結(jié)構(gòu)邏輯控制技術(shù)、多管道路由技術(shù)和優(yōu)先級(jí)隊(duì)列作業(yè)調(diào)度算法對(duì)運(yùn)行中的批處理作業(yè)進(jìn)行調(diào)度，提高了系統(tǒng)中并行運(yùn)行的作業(yè)數(shù)，合理的利用了系統(tǒng)資源，加快了批處理作業(yè)的運(yùn)行速度。


圖1是本發(fā)明的方法實(shí)施例1流程圖；
圖2是本發(fā)明的方法實(shí)施例2流程圖；圖3是本發(fā)明的生成分行批處理作業(yè)的流程圖；圖4是本發(fā)明的批處理作業(yè)的執(zhí)行的流程圖；圖5是本發(fā)明的批處理作業(yè)調(diào)度流程圖；圖6是本發(fā)明的裝置實(shí)施例框圖。
具體實(shí)施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
參見圖1，是本發(fā)明的方法實(shí)施例1流程圖，包括步驟101，將分散存儲(chǔ)的數(shù)據(jù)進(jìn)行按分類集中存儲(chǔ)。
在數(shù)據(jù)集中后，即把待處理數(shù)據(jù)由原來(lái)的分散在各部門，并由各部門單獨(dú)處理的情況，改變?yōu)榘迅鞑块T的數(shù)據(jù)進(jìn)行集中存儲(chǔ)，所述數(shù)據(jù)可以按部門進(jìn)行分類，并集中進(jìn)行數(shù)據(jù)處理的方式。然而，在集中點(diǎn)需要處理的數(shù)據(jù)量很大，使用統(tǒng)一批處理作業(yè)數(shù)據(jù)處理方式對(duì)這些來(lái)自不同部門的數(shù)據(jù)進(jìn)行處理時(shí)，存在著需要處理的數(shù)據(jù)量大，批處理作業(yè)執(zhí)行時(shí)間過(guò)長(zhǎng)，不能及時(shí)得到處理結(jié)果，不能很好的滿足各分類數(shù)據(jù)的特殊處理的要求；在批處理運(yùn)行過(guò)程中，可能會(huì)交叉處理不同部門的數(shù)據(jù)，造成數(shù)據(jù)依賴關(guān)系復(fù)雜，影響批處理作業(yè)執(zhí)行的穩(wěn)定性。采用下面的步驟102到步驟104可以克服這些問(wèn)題。
步驟102，設(shè)置模板作業(yè)及參數(shù)集，所述參數(shù)集用于保存不同分類數(shù)據(jù)的處理參數(shù)，所述模板作業(yè)用于生成不同分類數(shù)據(jù)的分類批處理作業(yè)。
所述分類數(shù)據(jù)是集中存儲(chǔ)的、可以按照某種分類方法對(duì)其分開進(jìn)行處理，例如，可以根據(jù)某個(gè)字段的值把所述的分類數(shù)據(jù)分離開，如可以是按不同的部門、不同的來(lái)源等屬性進(jìn)行分類，分類后的數(shù)據(jù)相互之間沒(méi)有依賴關(guān)系。由于用于分類的屬性值不同，分類后的數(shù)據(jù)需要進(jìn)行處理的具體過(guò)程可以有所不同，可以把分類后的數(shù)據(jù)要進(jìn)行的數(shù)據(jù)處理的具體參數(shù)設(shè)置在參數(shù)集中，參數(shù)集可以中包含多個(gè)分類的處理參數(shù)。另設(shè)置一模版作業(yè)，模版作業(yè)中的特定位置的參數(shù)由變量代替，可以根據(jù)參數(shù)集中不同的參數(shù)進(jìn)行替換，從而生成每個(gè)分類的分類批處理作業(yè)。
步驟103，根據(jù)所述模板作業(yè)和所述參數(shù)集生成不同分類數(shù)據(jù)的分類批處理作業(yè)。
把模板作業(yè)中的變量用參數(shù)集中的參數(shù)替換，生成對(duì)不同分類數(shù)據(jù)進(jìn)行處理的批處理作業(yè)。在本步驟中，不同分類的批處理作業(yè)使用同一個(gè)模板作業(yè)生成，維護(hù)人員只需要維護(hù)模板作業(yè)和參數(shù)集，減少了維護(hù)人員的工作量。
步驟104，執(zhí)行所述分類批處理作業(yè)。
所述生成的分類批處理作業(yè)，可以在批處理環(huán)境下執(zhí)行，執(zhí)行時(shí)可以根據(jù)需要先后執(zhí)行或者并行執(zhí)行。分類批處理作業(yè)開始執(zhí)行后，可以分別對(duì)各分類的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理。
優(yōu)選的，還包括，對(duì)所述分類批處理作業(yè)進(jìn)行作業(yè)調(diào)度。
通過(guò)對(duì)系統(tǒng)中的作業(yè)進(jìn)行調(diào)度處理，可以合理的對(duì)分類批處理作業(yè)及子作業(yè)的執(zhí)行順序進(jìn)行控制、提高系統(tǒng)中并發(fā)執(zhí)行的作業(yè)數(shù)量、按照作業(yè)的優(yōu)先級(jí)別對(duì)正在運(yùn)行的作業(yè)分配系統(tǒng)資源，從而可以提高作業(yè)的運(yùn)行速度，減少數(shù)據(jù)處理的時(shí)間。
優(yōu)選的，還包括，采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)對(duì)所述分類批處理作業(yè)進(jìn)行控制。
在分類批處理作業(yè)的執(zhí)行過(guò)程中，通過(guò)批處理作業(yè)流控制表采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)對(duì)批處理作業(yè)進(jìn)行調(diào)度，批處理作業(yè)流控制表中記錄了由分類批處理作業(yè)引導(dǎo)執(zhí)行的分作業(yè)的執(zhí)行的先后順序，分類批處理作業(yè)執(zhí)行時(shí)，可以分成若干的時(shí)段，每一時(shí)段完成特定的數(shù)據(jù)處理，特定時(shí)段的數(shù)據(jù)處理過(guò)程可以由若干子作業(yè)完成，在每一時(shí)段中，子作業(yè)的數(shù)量可能多達(dá)70-80個(gè)，可以使用批處理作業(yè)流控制表來(lái)對(duì)它們進(jìn)行調(diào)度處理，使用起始層和結(jié)束層來(lái)控制每個(gè)時(shí)段批處理作業(yè)的執(zhí)行和完成。
優(yōu)選的，還包括，采用多管道路由技術(shù)對(duì)所述分類批處理作業(yè)進(jìn)行控制。
在控制批處理作業(yè)的并行運(yùn)行時(shí)，可以采用多管道路由技術(shù)，例如，可以設(shè)定10個(gè)管道，并行執(zhí)行10個(gè)批處理作業(yè)，每個(gè)管道的批處理作業(yè)執(zhí)行完后，再調(diào)度另外一個(gè)批處理作業(yè)進(jìn)行執(zhí)行，提高批處理環(huán)境中并行執(zhí)行的作業(yè)數(shù)，提高批處理作業(yè)的執(zhí)行效率，保證數(shù)據(jù)處理結(jié)果的實(shí)效性。
優(yōu)選的，還包括，采用優(yōu)先級(jí)隊(duì)列作業(yè)調(diào)度算法對(duì)所述分類批處理作業(yè)進(jìn)行控制。
在批處理作業(yè)的并行執(zhí)行中，必然會(huì)對(duì)CPU、內(nèi)存、磁盤、數(shù)據(jù)庫(kù)或者文件進(jìn)行爭(zhēng)搶使用，本發(fā)明采用對(duì)每個(gè)需要執(zhí)行的批處理作業(yè)設(shè)定優(yōu)先級(jí)的方法來(lái)確定對(duì)資源使用，高優(yōu)先級(jí)別的批處理作業(yè)獲得的系統(tǒng)資源高于低優(yōu)先級(jí)別的作業(yè)，通過(guò)獲得更多的CPU等資源，縮短高優(yōu)先級(jí)別的作業(yè)執(zhí)行的時(shí)間，從而繼續(xù)后續(xù)的處理，使系統(tǒng)資源得到充分的利用。
優(yōu)選的，還包括，對(duì)所述分類批處理作業(yè)的執(zhí)行進(jìn)行出錯(cuò)控制。
在多個(gè)作業(yè)并行處理的中，很可能會(huì)有作業(yè)執(zhí)行出錯(cuò)，當(dāng)系統(tǒng)檢測(cè)到作業(yè)出錯(cuò)時(shí)，執(zhí)行出錯(cuò)控制功能，在批處理系統(tǒng)中提示相應(yīng)的出錯(cuò)信息，并根據(jù)相應(yīng)的作業(yè)資料參數(shù)來(lái)由異常處理器技術(shù)來(lái)處理，例如，可以自動(dòng)的重新執(zhí)行或者提過(guò)處理等。
優(yōu)選的，所述可分類數(shù)據(jù)是銀行系統(tǒng)各分行數(shù)據(jù)，所述生成的分類批處理作業(yè)是銀行系統(tǒng)各分行數(shù)據(jù)批處理作業(yè)。
對(duì)于銀行業(yè)務(wù)系統(tǒng)，在數(shù)據(jù)集中后，各分行的數(shù)據(jù)集中存儲(chǔ)，但它們之間仍舊可以按照不同分行分類分別進(jìn)行處理，可以按照不同的分行的業(yè)務(wù)特定按照模板作業(yè)和參數(shù)集生成各自分行的批處理作業(yè)，分別進(jìn)行各自分行的數(shù)據(jù)處理。
優(yōu)選的，還包括，所述各分行數(shù)據(jù)批處理作業(yè)按照時(shí)段對(duì)所述分行數(shù)據(jù)進(jìn)行處理。
所述不同分行的批處理作業(yè)的處理流程主要分為T1、T2、TN、TC時(shí)段，這4個(gè)時(shí)段的信息需要順次處理。
參見圖2，是本發(fā)明的方法實(shí)施例2流程圖，包括步驟201，設(shè)置模板作業(yè)。
模板作業(yè)是生成分行作業(yè)的母作業(yè)，在模板作業(yè)中設(shè)置若干參數(shù)，使用參數(shù)值替換參數(shù)后，可以生成分行批處理作業(yè)。例如，可以設(shè)置下面的模板作業(yè)//％％VBRHCODE.CI701D JOB A，CLASS＝A，MSGCLASS＝X，MSGLEVEL＝(1，1)％％VSCHENV.
//SET1 SET BRH＝％％VBRHCODE.
//STEP100 EXECIMSBATCH，PSB＝PCI BFB，MBR＝GBMPHEAD，LIB＝′UTILITY.LOAD′，
// NBA＝％％NBA1.20，OBA＝％％OBA1.30，DIRCA＝％％DCA1.20//SYSOUT DD SYSOUT＝*//DFSHALDB DD*HALDB PCB＝(BCI AMSP，％％VBRHCODE.I AMS1)//PARMIN DD*GCIB701M，0010，PCIBFB，，，1，，％％VBRHCODE.CI701D/*//FSYSIN1 DD*003/*其中％％開始，以’.’結(jié)束的部分就是參數(shù)，如％％VBRHCODE.以及％％VSCHENV.等，這些參數(shù)可以被替換成具體的參數(shù)值。
步驟202，設(shè)置參數(shù)集。
例如，可以設(shè)置參數(shù)集中的一組具體參數(shù)值為VSCHENV＝，SCHENV＝BATCHD REPL C 14VBRHCODE＝BJREPL C 2等等，其中‘REPL C 2‘表示將作業(yè)中的％％VBRHCODE.替換為BJ。
參數(shù)集中可以包含多組參數(shù)，用于各分行的數(shù)據(jù)處理。
步驟203，生成分行批處理作業(yè)。
例如由前面步驟設(shè)置的模板作業(yè)和參數(shù)集，通過(guò)克隆的方式，生成北京行的作業(yè)如下//BJCI701D JOB A，CLASS＝A，MSGCLASS＝X，MSGLEVEL＝(1，1)，SCHENV＝BATCHD//SET1 SET BRH＝BJ//STEP100EXECIMSBATCH，PSB＝PCIBFB，MBR＝GBMPHEAD，LIB＝′UTILITY.LOAD′，// NBA＝20，OBA＝30，DIRCA＝20//SYSOUT DD SYSOUT＝*//DFSHALDB DD*HALDB PCB＝(BCIAMSP，BJIAMS1)
//PARMINDD*GCIB701M，0010，PCIBFB，，，1，，BJCI701D/*//FSYSIN1 DD*003/*參見圖3，是上述生成分行批處理作業(yè)的流程圖，具體包括由模板作業(yè)根據(jù)分行參數(shù)分別生成北京行作業(yè)、遼寧行作業(yè)和新疆行作業(yè)等。
步驟204，執(zhí)行分行批處理作業(yè)，對(duì)分行數(shù)據(jù)進(jìn)行處理。
參見圖4，是批處理作業(yè)的執(zhí)行的流程圖，具體介紹如下分行的批處理作業(yè)流程主要分為T1、T2、TN、TC時(shí)段，T1時(shí)段主要是處理代理、24小時(shí)切換成OFFLINE、清算等業(yè)務(wù)數(shù)據(jù)，T2時(shí)段主要是進(jìn)行總分核對(duì)、過(guò)總帳、計(jì)算并輸出當(dāng)天的報(bào)表等處理，TN時(shí)段主要是進(jìn)行數(shù)據(jù)清理以及數(shù)據(jù)庫(kù)的DELETE/DEFINE(數(shù)據(jù)刪除/數(shù)據(jù)定義)，TC時(shí)段是進(jìn)行24小時(shí)切換成ONLINE、次日工前準(zhǔn)備工作(如自動(dòng)轉(zhuǎn)存、自動(dòng)還款、預(yù)約代理等)以及24小時(shí)追帳等業(yè)務(wù)的數(shù)據(jù)處理。
每個(gè)分行都有一套單獨(dú)的批處理作業(yè)系統(tǒng)，每個(gè)分行的批處理作業(yè)單獨(dú)執(zhí)行，例如流水的切換、清算數(shù)據(jù)的產(chǎn)生、過(guò)總帳、總分核對(duì)等數(shù)據(jù)處理都由各分行單獨(dú)的批處理作業(yè)進(jìn)行單獨(dú)控制，避免了各分行之間的在數(shù)據(jù)處理上的聯(lián)系。但對(duì)于營(yíng)業(yè)日期的切換以及一部分可以集中處理的內(nèi)容上，仍由統(tǒng)一的批處理作業(yè)進(jìn)行操作，可以由各分行的批處理作業(yè)調(diào)用統(tǒng)一的批處理模塊來(lái)完成。
在本步驟中，把各分行的數(shù)據(jù)分開進(jìn)行處理，若數(shù)據(jù)處理上出現(xiàn)錯(cuò)誤，便于查找相應(yīng)分行的數(shù)據(jù)，及時(shí)進(jìn)行錯(cuò)誤處理，如果所有分行數(shù)據(jù)統(tǒng)一進(jìn)行處理，若出現(xiàn)問(wèn)題，則不易發(fā)現(xiàn)是哪個(gè)分行的問(wèn)題。
各分行的批處理作業(yè)執(zhí)行時(shí)，可以并行執(zhí)行，也可以先后執(zhí)行，不影響各自分行的數(shù)據(jù)處理。
步驟205，對(duì)正在執(zhí)行的作業(yè)進(jìn)行作業(yè)調(diào)度控制。
對(duì)于批處理作業(yè)的執(zhí)行，可以充分利用批處理系統(tǒng)中提供的多作業(yè)并行處理的執(zhí)行方式，提高執(zhí)行的效率；并行處理方式的有效進(jìn)行，依賴于對(duì)當(dāng)前系統(tǒng)中正在執(zhí)行的作業(yè)進(jìn)行作業(yè)調(diào)度。
本發(fā)明作業(yè)調(diào)度主要采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)、多管道路由技術(shù)、優(yōu)先級(jí)隊(duì)列作業(yè)調(diào)度算法等技術(shù)，綜合使用前述技術(shù)可以使當(dāng)前主機(jī)系統(tǒng)中作業(yè)數(shù)能更為合理、執(zhí)行的速度更快。
無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)是指批處理作業(yè)的執(zhí)行順序是一層一層來(lái)執(zhí)行的，每一層都可以有很多作業(yè)，有起始層和結(jié)束層來(lái)控制批處理某個(gè)時(shí)段的完成。例如，對(duì)于分行批處理作業(yè)，在每個(gè)時(shí)段的處理中，都會(huì)帶出并行執(zhí)行的多個(gè)子作業(yè)，可以在每個(gè)時(shí)段處理上設(shè)置起始層和結(jié)束層，起始層可以看作是執(zhí)行作業(yè)的樹冠，當(dāng)作業(yè)全部執(zhí)行完后，進(jìn)入結(jié)束層，結(jié)束層可以看做樹根。
多管道路由技術(shù)滿足了批處理運(yùn)行的時(shí)候，同時(shí)對(duì)多個(gè)作業(yè)進(jìn)行處理。例如可以采用10個(gè)管道的并行處理，同時(shí)運(yùn)行10個(gè)作業(yè)，當(dāng)某個(gè)管道中的作業(yè)執(zhí)行完畢后，再根據(jù)批處理作業(yè)流控制表執(zhí)行下一個(gè)作業(yè)。
優(yōu)先級(jí)隊(duì)列作業(yè)調(diào)度算法是指作業(yè)運(yùn)行的時(shí)候有CLASS級(jí)別的劃分，可以根據(jù)作業(yè)的優(yōu)先等級(jí)來(lái)使得該作業(yè)運(yùn)行在不同的CLASS級(jí)別上，從而獲得不同的系統(tǒng)資源等。例如，多個(gè)作業(yè)可能會(huì)都需要使用主機(jī)的CPU和內(nèi)存資源，可以在批處理作業(yè)流控制表中設(shè)定各個(gè)作業(yè)的優(yōu)先級(jí)別，用于確定對(duì)資源的使用的優(yōu)先級(jí)別，通過(guò)獲得更多的CPU等資源，縮短高優(yōu)先級(jí)別的作業(yè)執(zhí)行的時(shí)間，從而繼續(xù)后續(xù)的處理，使系統(tǒng)資源得到充分的利用。對(duì)于文件、輸入輸出設(shè)備等，都存在爭(zhēng)用的問(wèn)題。
在本實(shí)施例中，對(duì)作業(yè)執(zhí)行的先后關(guān)系是通過(guò)CTL(作業(yè)控制流，由用戶使用作業(yè)控制語(yǔ)言編寫，用于對(duì)作業(yè)的執(zhí)行進(jìn)行控制)來(lái)實(shí)現(xiàn)的。一個(gè)需要執(zhí)行的作業(yè)可能有前鍵作業(yè)和后繼作業(yè)，前鍵作業(yè)是指在運(yùn)行本作業(yè)之前已經(jīng)正常結(jié)束的作業(yè)，本作業(yè)有可能需要前鍵作業(yè)的執(zhí)行結(jié)果作為輸入數(shù)據(jù)，同樣，后繼作業(yè)也必需在本作業(yè)正常結(jié)束后才能執(zhí)行，三者之間有一定的依賴關(guān)系，在本系統(tǒng)中，為了更好的提高作業(yè)的執(zhí)行效率，避免當(dāng)前系統(tǒng)中由于并發(fā)作業(yè)過(guò)多而使每個(gè)作業(yè)的執(zhí)行速度變慢，前鍵作業(yè)和后繼作業(yè)的總數(shù)有一定的限制，例如可以限制為總數(shù)不能超過(guò)100個(gè)，也可以限制為其他的經(jīng)驗(yàn)數(shù)值。
在本實(shí)施例中，對(duì)正在執(zhí)行的作業(yè)進(jìn)行作業(yè)調(diào)度控制具體可以采用下面的方法實(shí)現(xiàn)。
參見圖5，是批處理作業(yè)調(diào)度流程圖，包括首先進(jìn)入批處理的菜單界面，在菜單界面中選擇批處理選項(xiàng)，再選擇執(zhí)行日終的T1時(shí)段作業(yè)的選擇項(xiàng)；系統(tǒng)執(zhí)行日終的T1時(shí)段作業(yè)，完成后將相應(yīng)的作業(yè)執(zhí)行信息寫入批處理管道文件中；根據(jù)批處理管道中該作業(yè)的執(zhí)行信息來(lái)更新CTL(批處理作業(yè)控制流)的動(dòng)態(tài)信息文件；如果該作業(yè)執(zhí)行信息中的返回碼大于4，則說(shuō)明該作業(yè)執(zhí)行錯(cuò)誤，在批處理菜單中顯示出錯(cuò)信息。此時(shí)需要通過(guò)調(diào)用異常處理來(lái)對(duì)該作業(yè)進(jìn)行處理，可以采用重新遞交作業(yè)或者跳過(guò)該作業(yè)等處理方式；如果該作業(yè)返回碼小于等于4，則表明該作業(yè)已經(jīng)正確完成，此時(shí)根據(jù)CTL(批處理作業(yè)控制流)的動(dòng)態(tài)信息文件的內(nèi)容來(lái)確定后繼作業(yè)。若有后繼作業(yè)，則通過(guò)批處理管道將后繼作業(yè)調(diào)度到批處理執(zhí)行隊(duì)列；作業(yè)隊(duì)列中批處理作業(yè)執(zhí)行結(jié)束后，將相應(yīng)的作業(yè)執(zhí)行信息寫入批處理管道文件中，繼續(xù)對(duì)系統(tǒng)中其它的作業(yè)進(jìn)行調(diào)度直至整個(gè)調(diào)度過(guò)程結(jié)束。
步驟206，對(duì)出錯(cuò)的作業(yè)進(jìn)行出錯(cuò)處理。
出錯(cuò)處理可以和信息提示、風(fēng)險(xiǎn)控制聯(lián)合起來(lái)工作。若有運(yùn)行的作業(yè)出錯(cuò)，信息提示則會(huì)工作，在批處理界面中產(chǎn)生相應(yīng)的錯(cuò)誤信息，通過(guò)異常處理器技術(shù)進(jìn)行相應(yīng)的處理(包括重新運(yùn)行、提過(guò)處理等)。風(fēng)險(xiǎn)控制機(jī)制可以設(shè)定作業(yè)流的一般屬性，例如能否被跳過(guò)、能否重跑、是否為斷點(diǎn)等，這些屬性可以作為進(jìn)行錯(cuò)誤處理時(shí)的處理參數(shù)。
參見圖6，是本發(fā)明的裝置實(shí)施例框圖，具體包括數(shù)據(jù)集中單元600，用于將分散存儲(chǔ)的數(shù)據(jù)進(jìn)行按分類集中存儲(chǔ)；設(shè)置單元601，用于設(shè)置模板作業(yè)及參數(shù)集，所述參數(shù)集用于保存不同分類數(shù)據(jù)的處理參數(shù)，所述模板作業(yè)用于生成不同分類的分類批處理作業(yè)；存儲(chǔ)單元602，用于保存所述模板作業(yè)及所述參數(shù)集；生成單元603，用于根據(jù)所述模板作業(yè)和所述參數(shù)集生成不同分類的分類批處理作業(yè)；執(zhí)行單元604，用于并行執(zhí)行所述分類批處理作業(yè)。
通過(guò)設(shè)置單元601設(shè)置模板作業(yè)和參數(shù)集，所述模板作業(yè)和參數(shù)集保存在存儲(chǔ)單元602中，生成單元603根據(jù)存儲(chǔ)單元602中保存的模板作業(yè)和參數(shù)集生成分類數(shù)據(jù)的分類1批處理作業(yè)，執(zhí)行單元604運(yùn)行所述生成的分類批處理作業(yè)。
優(yōu)選的，還包括，調(diào)度處理單元605，用于對(duì)所述分類批處理作業(yè)進(jìn)行作業(yè)調(diào)度。
通過(guò)對(duì)系統(tǒng)中的作業(yè)進(jìn)行調(diào)度處理，可以合理的分配系統(tǒng)資源、控制作業(yè)執(zhí)行的先后次序以及提高系統(tǒng)并發(fā)的作業(yè)數(shù)量，從而可以提高作業(yè)的運(yùn)行速度，減少數(shù)據(jù)處理的時(shí)間。
優(yōu)選的，所述調(diào)度處理單元采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)、多管道路由技術(shù)或者優(yōu)先級(jí)隊(duì)列調(diào)度算法。
優(yōu)選的，還包括，出錯(cuò)處理單元606，用于對(duì)所述分類批處理作業(yè)的執(zhí)行進(jìn)行出錯(cuò)控制。
在多個(gè)作業(yè)并行處理的中，很可能會(huì)有作業(yè)執(zhí)行出錯(cuò)，當(dāng)檢測(cè)到作業(yè)出錯(cuò)時(shí)，執(zhí)行出錯(cuò)控制功能，在批處理系統(tǒng)中提示相應(yīng)的出錯(cuò)信息，并同過(guò)相應(yīng)的作業(yè)資料參數(shù)來(lái)由異常處理器技術(shù)來(lái)處理。
以上對(duì)本發(fā)明所提供的一種用于可分類數(shù)據(jù)批處理的方法及裝置，進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
權(quán)利要求
1.一種用于可分類數(shù)據(jù)批處理的方法，包括將分散存儲(chǔ)的數(shù)據(jù)進(jìn)行按分類集中存儲(chǔ)；設(shè)置模板作業(yè)及參數(shù)集，所述參數(shù)集用于保存不同分類數(shù)據(jù)的處理參數(shù)，所述模板作業(yè)用于生成不同分類數(shù)據(jù)的分類批處理作業(yè)；根據(jù)所述模板作業(yè)和所述參數(shù)集生成不同分類數(shù)據(jù)的分類批處理作業(yè)；執(zhí)行所述分類批處理作業(yè)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述方法后，還包括，對(duì)所述分類批處理作業(yè)進(jìn)行作業(yè)調(diào)度。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述作業(yè)調(diào)度采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)、多管道路由技術(shù)或者優(yōu)先級(jí)隊(duì)列調(diào)度算法。
4.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，在所述方法后，還包括，對(duì)所述分類批處理作業(yè)的執(zhí)行進(jìn)行出錯(cuò)控制。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述可分類數(shù)據(jù)是銀行系統(tǒng)各分行數(shù)據(jù)，所述分類批處理作業(yè)是銀行系統(tǒng)各分行數(shù)據(jù)批處理作業(yè)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述各分行數(shù)據(jù)批處理作業(yè)按照時(shí)段對(duì)所述分行數(shù)據(jù)進(jìn)行處理。
7.一種用于可分類數(shù)據(jù)批處理的裝置，包括，數(shù)據(jù)集中單元，用于將分散存儲(chǔ)的數(shù)據(jù)進(jìn)行按分類集中存儲(chǔ)；設(shè)置單元，用于設(shè)置模板作業(yè)及參數(shù)集，所述參數(shù)集用于保存不同分類數(shù)據(jù)的處理參數(shù)，所述模板作業(yè)用于生成不同分類的分類批處理作業(yè)；存儲(chǔ)單元，用于保存所述模板作業(yè)及所述參數(shù)集；生成單元，用于根據(jù)所述模板作業(yè)和所述參數(shù)集生成不同分類的分類批處理作業(yè)；執(zhí)行單元，用于執(zhí)行所述分類批處理作業(yè)。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括，調(diào)度處理單元，用于對(duì)所述分類批處理作業(yè)進(jìn)行作業(yè)調(diào)度。
9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述調(diào)度處理單元采用無(wú)環(huán)路多層次樹型結(jié)構(gòu)邏輯控制技術(shù)、多管道路由技術(shù)或者優(yōu)先級(jí)隊(duì)列調(diào)度算法。
10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括，出錯(cuò)處理單元，用于對(duì)所述分類批處理作業(yè)的執(zhí)行進(jìn)行出錯(cuò)控制。
全文摘要
本發(fā)明公開了一種用于可分類數(shù)據(jù)批處理的方法及裝置，其中所述方法包括下列步驟將分散存儲(chǔ)的數(shù)據(jù)進(jìn)行按分類集中存儲(chǔ)；設(shè)置模板作業(yè)及參數(shù)集，所述參數(shù)集用于保存不同分類數(shù)據(jù)的處理參數(shù)，所述模板作業(yè)用于生成不同分類數(shù)據(jù)的分類批處理作業(yè)；根據(jù)所述模板作業(yè)和所述參數(shù)集生成不同分類數(shù)據(jù)的分類批處理作業(yè)；執(zhí)行所述分類批處理作業(yè)。本發(fā)明提高了數(shù)據(jù)處理的效率，數(shù)據(jù)處理實(shí)效性好，可以生成不同的批處理作業(yè)，適應(yīng)不同部門的業(yè)務(wù)差異，更好的滿足各部門數(shù)據(jù)處理的要求，本發(fā)明還保證了批處理作業(yè)執(zhí)行的穩(wěn)定性，保證處理結(jié)果的正確性，提高了系統(tǒng)中并行運(yùn)行的作業(yè)數(shù)，合理的利用了系統(tǒng)資源，加快了批處理作業(yè)的運(yùn)行速度。
文檔編號(hào)G06F9/46GK101017546SQ20071007944
公開日2007年8月15日 申請(qǐng)日期2007年3月12日 優(yōu)先權(quán)日2007年3月12日
發(fā)明者林志農(nóng), 戚桂鳳, 徐浩, 朱洪梅, 洪延生, 吳奔, 孫玉華, 馬婕, 顧凌, 顧蓓 申請(qǐng)人:中國(guó)建設(shè)銀行股份有限公司