一種基于通道隔離的業(yè)務(wù)分配方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)交換技術(shù)領(lǐng)域，具體涉及一種基于通道隔離的業(yè)務(wù)分配方法和裝置。
【背景技術(shù)】
[0002]在互聯(lián)網(wǎng)技術(shù)的發(fā)展浪潮中，電商行業(yè)發(fā)展迅猛。隨著電商業(yè)務(wù)量的不斷擴展，電商平臺每天處理的數(shù)據(jù)量逐步增加，數(shù)據(jù)交換系統(tǒng)承受著較大壓力，例如為提高消費者的網(wǎng)購體驗，電商往往愿意承諾在極短時間內(nèi)完成商品的接單備貨直至配送，這對數(shù)據(jù)交換系統(tǒng)的吞吐量和實時處理能力要求較高；如果碰到電商大促銷的情況，數(shù)據(jù)單量會在短時間內(nèi)迅速攀升，對數(shù)據(jù)交換系統(tǒng)的處理能力構(gòu)成挑戰(zhàn)。當前，常規(guī)數(shù)據(jù)交換平臺的吞吐量和實時處理能力越來越不能滿足大規(guī)模電商及時配送的要求，而進行系統(tǒng)擴展需建立在昂貴的硬件成本和軟件成本基礎(chǔ)上，無法做到低成本擴展。如何實現(xiàn)電商應(yīng)用中各種單據(jù)數(shù)據(jù)的有效傳遞，滿足日常情況以及大促銷等特殊情況下的數(shù)據(jù)處理需求，在技術(shù)實現(xiàn)上是一個挑戰(zhàn)。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本發(fā)明提出一種基于通道隔離的業(yè)務(wù)分配方法和裝置，對不同性質(zhì)的數(shù)據(jù)實施傳輸通道隔離，各通道傳輸過程互不影響，保證對及時性要求高的數(shù)據(jù)優(yōu)先處理。
[0004]—方面，本發(fā)明提供一種基于通道隔離的業(yè)務(wù)分配方法，包括:業(yè)務(wù)注冊步驟，將多種業(yè)務(wù)注冊到系統(tǒng)配置信息中，注冊內(nèi)容包括每種業(yè)務(wù)的數(shù)據(jù)生產(chǎn)者、數(shù)據(jù)消費者、優(yōu)先級和處理流程；通道創(chuàng)建步驟，根據(jù)系統(tǒng)配置信息生成多個數(shù)據(jù)通道，以使每種業(yè)務(wù)對應(yīng)至少一個數(shù)據(jù)通道，其中各個數(shù)據(jù)通道之間相互隔離，每個數(shù)據(jù)通道對應(yīng)一個優(yōu)先級；以及通道分配步驟，當接收到來自數(shù)據(jù)生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時，根據(jù)該業(yè)務(wù)的優(yōu)先級選取對應(yīng)的數(shù)據(jù)通道，將該業(yè)務(wù)分配給該數(shù)據(jù)通道，其中該業(yè)務(wù)的優(yōu)先級與該數(shù)據(jù)通道的優(yōu)先級相匹配。
[0005]優(yōu)選地，其中數(shù)據(jù)通道的優(yōu)先級越高，該數(shù)據(jù)通道的處理能力越高，且單個通道中各個節(jié)點的處理能力相匹配。
[0006]優(yōu)選地，其中所述注冊內(nèi)容還包括每種業(yè)務(wù)的平均單量，并且在所述通道創(chuàng)建步驟中，業(yè)務(wù)的平均單量越多，對該種業(yè)務(wù)生成的數(shù)據(jù)通道的線程數(shù)越多。
[0007]優(yōu)選地，該方法還包括:單量更新步驟，按照預設(shè)條件對系統(tǒng)配置信息中一種或多種業(yè)務(wù)的平均單量進行更新；自適應(yīng)調(diào)整步驟，根據(jù)更新后的平均單量對對應(yīng)的數(shù)據(jù)通道的線程數(shù)進行調(diào)整。
[0008]優(yōu)選地，其中所述預設(shè)條件為當預定時間段內(nèi)實際的平均單量大于預定閾值時，對系統(tǒng)配置信息中的平均單量進行更新，其中預定閾值為系統(tǒng)配置信息中的平均單量的1.5 倍。
[0009]另一方面，本發(fā)明還提供一種基于通道隔離的業(yè)務(wù)分配裝置，包括:業(yè)務(wù)注冊模塊，用于將多種業(yè)務(wù)注冊到系統(tǒng)配置信息中，注冊內(nèi)容包括每種業(yè)務(wù)的數(shù)據(jù)生產(chǎn)者、數(shù)據(jù)消費者、優(yōu)先級和處理流程；通道創(chuàng)建模塊，用于根據(jù)系統(tǒng)配置信息生成多個數(shù)據(jù)通道，以使每種業(yè)務(wù)對應(yīng)至少一個數(shù)據(jù)通道，并為每個數(shù)據(jù)通道建立任務(wù)隊列，其中每個數(shù)據(jù)通道對應(yīng)一個優(yōu)先級；以及通道分配模塊，用于當接收到來自數(shù)據(jù)生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時，根據(jù)該業(yè)務(wù)的優(yōu)先級選取對應(yīng)的數(shù)據(jù)通道，將該業(yè)務(wù)分配給該數(shù)據(jù)通道，其中該業(yè)務(wù)的優(yōu)先級與該數(shù)據(jù)通道的優(yōu)先級相匹配。
[0010]另一方面，本發(fā)明還提供一種服務(wù)器，其包括如上所述的基于通道隔離的業(yè)務(wù)分配裝置。
[0011]有益效果:本發(fā)明屬于電商數(shù)據(jù)交換系統(tǒng)的重要組成部分，在數(shù)據(jù)傳輸過程中，按照數(shù)據(jù)重要性及時性要求不同來分配不同大小、彼此隔離的系統(tǒng)資源，來進行不同性質(zhì)的數(shù)據(jù)傳輸。本發(fā)明實施例對不同性質(zhì)的數(shù)據(jù)傳輸通道進行隔離，通過通道分配策略，使不同優(yōu)先級的數(shù)據(jù)在傳輸過程中互不影響，可解決在數(shù)據(jù)量超大、不同優(yōu)先級數(shù)據(jù)混雜且較低的資源投入情況下，保證及時性較高的數(shù)據(jù)及時投遞到目的系統(tǒng)的難題。利用本發(fā)明的實施例，各類數(shù)據(jù)可獨立擴展，可有針對性的增加某個數(shù)據(jù)類型的吞吐量，以適應(yīng)電商應(yīng)用高度靈活性的應(yīng)用需求，可有效解決在電商應(yīng)用中由于促銷產(chǎn)生的數(shù)據(jù)風暴導致重要數(shù)據(jù)受其他數(shù)據(jù)影響而滯留的問題，利用本發(fā)明實施例可將有效的計算資源使用到最重要、及時性最高的數(shù)據(jù)傳輸中，節(jié)省硬件資源投入。
【附圖說明】
[0012]圖1是本發(fā)明實施例的基于通道隔離的業(yè)務(wù)分配方法流程框圖。
[0013]圖2是本發(fā)明實施例可采用的數(shù)據(jù)交換平臺的系統(tǒng)架構(gòu)。
[0014]圖3是本發(fā)明實施例中當接收到某類型業(yè)務(wù)數(shù)據(jù)時，為該業(yè)務(wù)分配數(shù)據(jù)通道的流程圖。
[0015]圖4是本發(fā)明實施例中注冊生產(chǎn)者和消費者并與通道建立關(guān)聯(lián)的流程圖。
[0016]圖5是本發(fā)明實施例中的通道自適應(yīng)調(diào)整流程圖。
[0017]圖6是本發(fā)明實施例中的數(shù)據(jù)通道的內(nèi)部結(jié)構(gòu)圖。
[0018]圖7是本發(fā)明實施例的基于通道隔離的業(yè)務(wù)分配裝置的結(jié)構(gòu)圖。
【具體實施方式】
[0019]以下結(jié)合附圖以及具體實施例，對本發(fā)明的技術(shù)方案進行詳細描述。
[0020]首先簡要介紹電商平臺數(shù)據(jù)的類型，大體上可分為三類，第一類數(shù)據(jù)的重要性和及時性要求最高，例如“限時送達”的商品訂單數(shù)據(jù)；第二類數(shù)據(jù)的及時性要求較高，例如普通的商品訂單數(shù)據(jù)、促銷信息數(shù)據(jù)；第三類數(shù)據(jù)的及時性要求較低，如物流信息數(shù)據(jù)。
[0021]圖1示出了本發(fā)明實施例的基于通道隔離的業(yè)務(wù)分配方法流程圖，包括:
[0022]業(yè)務(wù)注冊步驟:將多種業(yè)務(wù)注冊到系統(tǒng)配置信息中，注冊內(nèi)容包括每種業(yè)務(wù)的數(shù)據(jù)生產(chǎn)者、數(shù)據(jù)消費者、優(yōu)先級和處理流程；
[0023]通道創(chuàng)建步驟:根據(jù)系統(tǒng)配置信息生成多個數(shù)據(jù)通道，以使每種業(yè)務(wù)對應(yīng)至少一個數(shù)據(jù)通道，其中各個數(shù)據(jù)通道之間相互隔離，每個數(shù)據(jù)通道對應(yīng)一個優(yōu)先級；以及
[0024]通道分配步驟:當接收到來自數(shù)據(jù)生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時，根據(jù)該業(yè)務(wù)的優(yōu)先級選取對應(yīng)的數(shù)據(jù)通道，將該業(yè)務(wù)分配給該數(shù)據(jù)通道，其中該業(yè)務(wù)的優(yōu)先級與該數(shù)據(jù)通道的優(yōu)先級相匹配。
[0025]按照上述步驟可將不同種類的業(yè)務(wù)按優(yōu)先級分配到相應(yīng)的數(shù)據(jù)通道中，例如可將“限時送達”訂單業(yè)務(wù)分配到優(yōu)先級最高的數(shù)據(jù)通道中，將普通訂單業(yè)務(wù)和促銷信息業(yè)務(wù)分配到優(yōu)先級居中的數(shù)據(jù)通道中，將物流信息業(yè)務(wù)分配到優(yōu)先級最低的數(shù)據(jù)通道中，每個業(yè)務(wù)在分配好的通道中進行處理，處理完畢后發(fā)送給數(shù)據(jù)消費者。
[0026]這樣處理的好處是，由于通道之間彼此獨立，互不影響，因此即使遇到數(shù)據(jù)洪峰的情況，仍然能夠準確地將有限的計算資源投入到優(yōu)先級高的數(shù)據(jù)通道中，對及時性要求高的數(shù)據(jù)優(yōu)先處理，實現(xiàn)電商平臺中重要單據(jù)的有效傳遞。
[0027]在實際應(yīng)用場景中，如圖2，示出了本發(fā)明的實施例可采用的數(shù)據(jù)交換平臺的系統(tǒng)架構(gòu)，描述了數(shù)據(jù)交換平臺的各個參與方的關(guān)系。該數(shù)據(jù)交換平臺包括:服務(wù)器、若干數(shù)據(jù)生產(chǎn)者、若干數(shù)據(jù)消費者，以及鏈接在各生產(chǎn)者和各消費者之間的若干數(shù)據(jù)通道。
[0028]其中，生產(chǎn)者是指產(chǎn)出業(yè)務(wù)數(shù)據(jù)并向其他系統(tǒng)發(fā)送業(yè)務(wù)數(shù)據(jù)的系統(tǒng)(如前臺訂單系統(tǒng)、采購系統(tǒng)等)。消費者是指接收業(yè)務(wù)數(shù)據(jù)的系統(tǒng)(如后臺的倉儲系統(tǒng)，配送系統(tǒng))。通常一個系統(tǒng)既可以作為生產(chǎn)者，也可以作為消費者。生產(chǎn)者發(fā)送的數(shù)據(jù)可以面向一個消費者，也可以面向一個消費者群組。其中，各個數(shù)據(jù)通道是鏈接消費者與生產(chǎn)者的紐帶，每個通道包含一組處理線程，這些線程從通道的任務(wù)隊列中獲取業(yè)務(wù)ID，并可根據(jù)業(yè)務(wù)ID獲取數(shù)據(jù)報文，進行后續(xù)數(shù)據(jù)處理。
[0029]在本發(fā)明的實施例中，在業(yè)務(wù)注冊階段，需將各種業(yè)務(wù)數(shù)據(jù)的生產(chǎn)者，消費者，每種業(yè)務(wù)的系統(tǒng)優(yōu)先級、平均單量(如日均單量)、處理流程、下發(fā)方式等信息注冊到系統(tǒng)的配置信息中。
[0030]所有配置信息完成后，進入通道創(chuàng)建階段，根據(jù)系統(tǒng)配置信息(至少包含業(yè)務(wù)數(shù)據(jù)的生產(chǎn)者、消費者、優(yōu)先級)創(chuàng)建各種類型的數(shù)據(jù)通道，各個通道有不同的系統(tǒng)優(yōu)先級，優(yōu)先級高則處理能力高，并可為各個通道建立任務(wù)隊列。
[0031]當服務(wù)器接收到生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)時，進入通道分配階段，該業(yè)務(wù)數(shù)據(jù)中含有用于表示業(yè)務(wù)優(yōu)先級的唯一標識，根據(jù)該標識，從系統(tǒng)配置信息中可獲得該業(yè)務(wù)配置的通道信息，將該業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)ID存放到對應(yīng)的通道隊列中，同時可將該業(yè)務(wù)數(shù)據(jù)的報文信息存儲到例如分布式文件系統(tǒng)中。
[0032]以上對來自生產(chǎn)者的業(yè)務(wù)數(shù)據(jù)分配了優(yōu)先級匹配的數(shù)據(jù)通道，在后續(xù)處理中，消息處理中心根據(jù)分配的通道信息獲取通道中的處理節(jié)點，將任務(wù)隊列中的業(yè)務(wù)ID數(shù)據(jù)按順序放到處理節(jié)點中，找到對應(yīng)的數(shù)據(jù)報文，依次進行處理。數(shù)據(jù)在消息處理中心處理完成后，再根據(jù)通道的配置信息，將數(shù)據(jù)發(fā)送到消費者。
[0033]圖3示出了本發(fā)明某些實施例中，當接收到某種類型的業(yè)務(wù)數(shù)據(jù)時，為該業(yè)務(wù)分配數(shù)據(jù)通道的流程圖。首先使用數(shù)據(jù)交換系統(tǒng)的生產(chǎn)者和消費者在系統(tǒng)中注冊，并完成所有的相關(guān)配置，系統(tǒng)為每個業(yè)務(wù)(也稱為“主題” subject)生成數(shù)據(jù)通道，用于連接這個業(yè)務(wù)的生產(chǎn)者和消費者。當系統(tǒng)接收到該主題的數(shù)據(jù)后，會將該主題的數(shù)據(jù)生成的任務(wù)與該主題分配的通道進行綁定。
[0034]其中，需要注意的是，在系統(tǒng)完成注冊配置并創(chuàng)建數(shù)據(jù)通道之后，即在系統(tǒng)中形成了每種業(yè)務(wù)與對應(yīng)通道的綁定關(guān)系。則當接收到一條新的業(yè)務(wù)數(shù)據(jù)時，可以根據(jù)該業(yè)務(wù)數(shù)據(jù)的優(yōu)先級標識來選取對應(yīng)的通道，后續(xù)處理交給通道中的后臺線程進行處理。
[0035]圖4示出了本發(fā)明某些實施例中將生產(chǎn)者和消費者在系統(tǒng)中注冊并與通道建立關(guān)聯(lián)的流程圖。通道的分配是在注冊生產(chǎn)者、消費者、發(fā)布主題時確定的，其中，發(fā)布主題就是指發(fā)布該生產(chǎn)者的業(yè)務(wù)、確定業(yè)務(wù)數(shù)據(jù)的優(yōu)先級及業(yè)務(wù)日均單量等信息，供消費者訂閱。消費者注冊后一旦訂閱了某主題，意味著該消費者可以接收該業(yè)務(wù)數(shù)據(jù)，則配置完成后，系統(tǒng)根據(jù)生產(chǎn)者和消費者之間的訂閱關(guān)系生成數(shù)據(jù)通道。上述過程對用戶是透明的，用戶可通過管理端查看系統(tǒng)為每個業(yè)務(wù)分配的通道信息。
[0036]其中，特定主題的數(shù)據(jù)會分配到一個或多個通道上去，如果某個主題的數(shù)據(jù)分配到多個通道上，則根據(jù)通道的處理能力進行負載分配。<