本發(fā)明涉及網(wǎng)絡(luò)
技術(shù)領(lǐng)域：
，尤其涉及一種實(shí)時數(shù)據(jù)處理的方法及裝置。
背景技術(shù)：
：隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，電子商務(wù)在全球各地廣泛開展，基于瀏覽器或者應(yīng)用程序的應(yīng)用方式，買賣雙方經(jīng)由計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行各種商貿(mào)活動，因此，實(shí)時的交易數(shù)據(jù)的處理與展示是電子商務(wù)中必不可少的環(huán)節(jié)。然而，隨著電子商務(wù)網(wǎng)站規(guī)模及經(jīng)營范圍的多樣化，高并發(fā)的交易數(shù)據(jù)的處理是一個常見的現(xiàn)象，并且高并發(fā)的交易數(shù)據(jù)處理對網(wǎng)絡(luò)及系統(tǒng)的處理能力及負(fù)載能力要求較高，現(xiàn)有的一種實(shí)時處理高并發(fā)的交易數(shù)據(jù)的數(shù)據(jù)處理方法易影響系統(tǒng)性能，造成系統(tǒng)卡頓而嚴(yán)重影響用戶體驗(yàn)，而另一種延遲處理高并發(fā)的交易數(shù)據(jù)的數(shù)據(jù)處理方法，將造成數(shù)據(jù)展示的延誤，交易雙方無法獲得及時的交易數(shù)據(jù)，同樣影響系統(tǒng)的使用及用戶體驗(yàn)，因此，本領(lǐng)域一般技術(shù)人員急需一種能減少對系統(tǒng)性能的影響的實(shí)時數(shù)據(jù)處理方法及裝置。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是提供一種實(shí)時數(shù)據(jù)處理方法及裝置，能夠減少實(shí)時數(shù)據(jù)處理對系統(tǒng)性能的影響。本發(fā)明一個實(shí)施方式的實(shí)時數(shù)據(jù)處理方法包括：獲取實(shí)時數(shù)據(jù)；生成所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)，及計(jì)算所述實(shí)時數(shù)據(jù)的至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果；分別存儲所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)及所述至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。本發(fā)明提供的另一個實(shí)施方式的一種實(shí)時數(shù)據(jù)處理裝置，所述實(shí)時數(shù)據(jù)處理裝置包括：后臺服務(wù)器系統(tǒng)，獲取實(shí)時數(shù)據(jù)，生成所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)，及計(jì)算所述實(shí)時數(shù)據(jù)的至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果；多維度明細(xì)數(shù)據(jù)庫，存儲所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)；至少一分維度數(shù)據(jù)庫，存儲所述實(shí)時數(shù)據(jù)的所述至少一分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。本發(fā)明提供的實(shí)時數(shù)據(jù)處理方法及裝置通過分別對實(shí)時數(shù)據(jù)的分維度數(shù)據(jù)進(jìn)行統(tǒng)計(jì)來對實(shí)時數(shù)據(jù)進(jìn)行處理，降低了實(shí)時數(shù)據(jù)處理對系統(tǒng)性能的消耗。附圖說明圖1是本實(shí)施例提供的實(shí)時數(shù)據(jù)處理方法的流程圖；圖2為依據(jù)本發(fā)明實(shí)施例的實(shí)時數(shù)據(jù)處理裝置的架構(gòu)示意圖。具體實(shí)施方式下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。本發(fā)明提供的實(shí)時數(shù)據(jù)處理方法，適用于網(wǎng)絡(luò)技術(shù)應(yīng)用中各種高并發(fā)數(shù)據(jù)的統(tǒng)計(jì)與展示。主要用于對網(wǎng)絡(luò)技術(shù)中的業(yè)務(wù)系統(tǒng)中產(chǎn)生的實(shí)時數(shù)據(jù)進(jìn)行處理。如電子商務(wù)領(lǐng)域的商品明細(xì)信息的分維度統(tǒng)計(jì)；網(wǎng)頁的用戶訪問信息中的分維度統(tǒng)計(jì)；社交網(wǎng)絡(luò)中的各種應(yīng)用信息統(tǒng)計(jì)；應(yīng)用分發(fā)平臺的信息應(yīng)用分發(fā)信息等。在本發(fā)明的實(shí)施例中以對電子商務(wù)中的商品明細(xì)信息數(shù)據(jù)的數(shù)據(jù)處理為例，對本發(fā)明提出的實(shí)時數(shù)據(jù)處理方法及裝置進(jìn)行說明。圖1是本實(shí)施例提供的實(shí)時數(shù)據(jù)處理方法的流程圖，如圖1所示，本發(fā)明的實(shí)時數(shù)據(jù)處理方法包括：步驟S101、獲取實(shí)時數(shù)據(jù)。所述實(shí)時數(shù)據(jù)自業(yè)務(wù)系統(tǒng)獲取。在本申請中，“實(shí)時數(shù)據(jù)”的含義為，自業(yè)務(wù)系統(tǒng)即時獲取的數(shù)據(jù)。以業(yè)務(wù)系統(tǒng)為電子商務(wù)網(wǎng)站舉例如下：用戶通過電子終端，如電腦或者移動終端于電子商務(wù)網(wǎng)站執(zhí)行一次業(yè)務(wù)操作，如商品購買操作，電子商務(wù)網(wǎng)站傳送所述商品購買操作所產(chǎn)生的實(shí)時數(shù)據(jù)至后臺服務(wù)器。所述實(shí)時數(shù)據(jù)為業(yè)務(wù)操作對象的記錄數(shù)據(jù)，也就是對每一次業(yè)務(wù)操作對象的記錄數(shù)據(jù)的即時傳輸及處理。如上述舉例，當(dāng)所述業(yè)務(wù)操作的對象為商品。舉例來說，商品購買操作產(chǎn)生的實(shí)時數(shù)據(jù)包含商品名目(ID)、買家信息、賣家信息、購買數(shù)量、購買時間、收貨地點(diǎn)、付款方式等。具體舉例如下：買家：A、賣家X、商品ID：001、成交數(shù)：3、成交時間：2015.3.5、收貨地 點(diǎn)：廣州、付款方式：支付寶。且本舉例持續(xù)應(yīng)用于后續(xù)步驟的舉例中。步驟S102、生成所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)，及計(jì)算所述實(shí)時數(shù)據(jù)的至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。后臺服務(wù)器對所述業(yè)務(wù)系統(tǒng)的實(shí)時數(shù)據(jù)進(jìn)行處理。依據(jù)后臺服務(wù)器所屬類別的不同，其對業(yè)務(wù)系統(tǒng)的實(shí)時數(shù)據(jù)處理的方式也存在差異。如電子商務(wù)網(wǎng)站對應(yīng)的后臺服務(wù)器與社交網(wǎng)站的后臺服務(wù)器對數(shù)據(jù)的處理顯然存在不同的需求。承接步驟S101中的舉例，對本步驟的詳細(xì)說明如下：所述后臺服務(wù)器將所述實(shí)時數(shù)據(jù)依據(jù)電子商務(wù)網(wǎng)站展示商品信息需求，建立所述實(shí)時數(shù)據(jù)之間的關(guān)聯(lián)，生成所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)，如成交記錄明細(xì)。成交記錄明細(xì)的舉例如表1所示：商品ID買家成交數(shù)量成交時間001A32015.3.5表1后臺服務(wù)器還對所述實(shí)時數(shù)據(jù)進(jìn)行分維度的處理，計(jì)算至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。如商品分維度統(tǒng)計(jì)：若所述商品購買操作為所述商品的首次被購買，則商品分維度統(tǒng)計(jì)表舉例如表2所示：商品ID商品被購買的統(tǒng)計(jì)數(shù)0013表2若所述商品購買操作為所述商品的非首次被購買，則可對商品維度進(jìn)行增量統(tǒng)計(jì)操作，如通過調(diào)用或者接口方式，從商品維度數(shù)據(jù)庫獲取已存儲的商品維度的統(tǒng)計(jì)數(shù)據(jù)，對所述已存儲的商品維度的統(tǒng)計(jì)數(shù)據(jù)執(zhí)行增量統(tǒng)計(jì)。其中，所述已存儲的商品維度的統(tǒng)計(jì)數(shù)據(jù)舉例如表3所示，實(shí)時數(shù)據(jù)的商品維度數(shù)據(jù)的增量統(tǒng)計(jì)處理舉例如表4所述：商品ID商品被購買的統(tǒng)計(jì)數(shù)00110表3商品ID商品被購買的統(tǒng)計(jì)數(shù)00113表4由表4可知，商品維度的統(tǒng)計(jì)數(shù)據(jù)已經(jīng)更新為13，為所述已存儲的統(tǒng)計(jì)結(jié)果(10)與本次商品維度的數(shù)量(3)之和。再以買家維度統(tǒng)計(jì)數(shù)據(jù)舉例說明如下：若所述商品購買操作為所述商品的首次被購買，則買家維度統(tǒng)計(jì)表舉例如表5所示：買家商品ID累計(jì)購買數(shù)A0013表5若所述商品購買操作所述商品的非首次被購買，則可對買家維度進(jìn)行增量統(tǒng)計(jì)操作，如通過調(diào)用或者接口方式，從買家維度數(shù)據(jù)庫獲取已存儲的買家維度的統(tǒng)計(jì)數(shù)據(jù)，對所述已存儲的買家維度的統(tǒng)計(jì)數(shù)據(jù)執(zhí)行增量統(tǒng)計(jì)。其中，所述已存儲的買家維度的統(tǒng)計(jì)數(shù)據(jù)舉例如表6所示，實(shí)時數(shù)據(jù)的買家維度數(shù)據(jù)的增量統(tǒng)計(jì)處理舉例如表7所述：買家商品ID累計(jì)購買數(shù)C00110A0012表6買家商品ID累計(jì)購買數(shù)C00110A0015表7由表7可知，買家維度的數(shù)據(jù)統(tǒng)計(jì)，當(dāng)出現(xiàn)新買家時，新增一條買家記錄，當(dāng)為已有買家時，將所述已有買家的新增購買量直接累計(jì)購買數(shù)，如舉例中的買家A的累積購買數(shù)(5)為已存儲的買家維度的累計(jì)購買數(shù)(2)+本次買家A的新增購買數(shù)(3)之和。于步驟S102，分別進(jìn)行了實(shí)時數(shù)據(jù)的明細(xì)記錄及分維度數(shù)據(jù)的統(tǒng)計(jì)，由于實(shí)時數(shù)據(jù)的明細(xì)記錄并不會消耗系統(tǒng)性能，而分維度數(shù)據(jù)統(tǒng)計(jì)也僅需對單筆的實(shí)時數(shù)據(jù)進(jìn)行統(tǒng)計(jì)運(yùn)算，因此，分維度數(shù)據(jù)統(tǒng)計(jì)運(yùn)算的系統(tǒng)消耗也較少。S103、分別存儲所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)表及所述至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果。將步驟S102生成的所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)存儲至多維度明細(xì)數(shù)據(jù)庫，即更新已存儲的多維度明細(xì)數(shù)據(jù)。具體舉例如表8所示：商品ID買家成交數(shù)量成交時間005B62014.11.1001C102015.1.1001A22015.2.8001A32015.3.5表8將步驟S102所計(jì)算的所述實(shí)時數(shù)據(jù)的至少一個分維度數(shù)據(jù)的結(jié)果存儲至分維度數(shù)據(jù)庫。舉例如下，將步驟S102中增量統(tǒng)計(jì)的表格4和表格7分別存儲至商品維度數(shù)據(jù)庫及買家維度數(shù)據(jù)庫。完成所述實(shí)時數(shù)據(jù)的處理。由于后臺服務(wù)器進(jìn)行實(shí)時數(shù)據(jù)處理的需求一般來源于業(yè)務(wù)系統(tǒng)對數(shù)據(jù)的展示需求，因此，本發(fā)明的實(shí)時數(shù)據(jù)處理方法還可以包括步驟S104，即于業(yè)務(wù)系統(tǒng)的頁面實(shí)時展示所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)表及所述至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果或?qū)崟r推送所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)表及所述至 少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果至業(yè)務(wù)系統(tǒng)的需求用戶。由上述舉例說明可知，隨著高并發(fā)應(yīng)用場景的不斷增加，相較于現(xiàn)有技術(shù)僅存儲多維度明細(xì)數(shù)據(jù)，并且于多維度明細(xì)數(shù)據(jù)庫中進(jìn)行所需分維度數(shù)據(jù)的統(tǒng)計(jì)計(jì)算的方法，本發(fā)明所提出的實(shí)時數(shù)據(jù)處理方法，由于使用冗余數(shù)據(jù)的處理原理，在后臺服務(wù)器端直接對單筆實(shí)時數(shù)據(jù)的分維度進(jìn)行了統(tǒng)計(jì)計(jì)算，并且分別存儲了分維度統(tǒng)計(jì)數(shù)據(jù)，統(tǒng)計(jì)計(jì)算對于系統(tǒng)性能的消耗大量減少，保證了高并發(fā)應(yīng)用場景下系統(tǒng)有效的運(yùn)轉(zhuǎn)，改善了用戶體驗(yàn)。本發(fā)明的實(shí)時數(shù)據(jù)處理方法并不限于上述實(shí)時例中對電子商務(wù)網(wǎng)站的購買操作所產(chǎn)生的實(shí)時數(shù)據(jù)的處理。還可以擴(kuò)展應(yīng)用至其他業(yè)務(wù)系統(tǒng)。如社交網(wǎng)站上，某條微博、微信或者信息的轉(zhuǎn)發(fā)量、評論量等實(shí)時數(shù)據(jù)的統(tǒng)計(jì)與展示。比如在應(yīng)用分發(fā)平臺系統(tǒng)上，對某一應(yīng)用下載次數(shù)、下載用戶、虛擬幣的交易等等實(shí)時數(shù)據(jù)的統(tǒng)計(jì)與展示。本領(lǐng)域的一般技術(shù)人員通過上述具體舉例的描述，可以應(yīng)用本發(fā)明的實(shí)時數(shù)據(jù)處理方法對所需的分維度數(shù)據(jù)分別進(jìn)行統(tǒng)計(jì)并存儲，以減少系統(tǒng)性能的消耗。上述分維度統(tǒng)計(jì)計(jì)算的方式也不限于增量統(tǒng)計(jì)計(jì)算，而是依據(jù)業(yè)務(wù)系統(tǒng)的需求進(jìn)行統(tǒng)計(jì)計(jì)算，如業(yè)務(wù)系統(tǒng)需求為庫存量的統(tǒng)計(jì)，則相應(yīng)的統(tǒng)計(jì)計(jì)算為減量計(jì)算。若業(yè)務(wù)需求為綜合結(jié)果，則統(tǒng)計(jì)計(jì)算可應(yīng)用相應(yīng)的權(quán)重計(jì)算公式計(jì)算。圖2為依據(jù)本發(fā)明實(shí)施例的實(shí)時數(shù)據(jù)處理裝置100的架構(gòu)示意圖。所述實(shí)時例中的實(shí)時數(shù)據(jù)處理裝置100包含終端101、業(yè)務(wù)系統(tǒng)102、后臺服務(wù)器103、明細(xì)數(shù)據(jù)庫104、分維度數(shù)據(jù)庫105、106及展示平臺處理器107。其中，終端101可為移動終端、臺式電腦或者其他可經(jīng)由互聯(lián)網(wǎng)技術(shù)接入所述業(yè)務(wù)系統(tǒng)的電子設(shè)備。業(yè)務(wù)系統(tǒng)102為保證特定業(yè)務(wù)正常運(yùn)行的系統(tǒng)。一般來說，常見的業(yè)務(wù)系統(tǒng)可以分為電子商務(wù)型業(yè)務(wù)系統(tǒng)、社交類業(yè)務(wù)系統(tǒng)及平臺型業(yè)務(wù)系統(tǒng)。相應(yīng)的，于上述業(yè)務(wù)系統(tǒng)上執(zhí)行的業(yè)務(wù)操作也一般可以分為三種類型：交易型業(yè)務(wù)操作、用戶訪問型業(yè)務(wù)操作及平臺分發(fā)型業(yè)務(wù)操作。后臺服務(wù)器103為響應(yīng)業(yè)務(wù)系統(tǒng)的需求，為業(yè)務(wù)操作所需的信息及數(shù)據(jù)進(jìn)行處理。明細(xì)數(shù)據(jù)庫104、分維度數(shù)據(jù)庫105及106這三個業(yè)務(wù)數(shù)據(jù)庫分別用于存儲后臺服務(wù)器103處理生成的數(shù)據(jù)結(jié)果。可以依據(jù)業(yè)務(wù)系統(tǒng)102的需求配置數(shù)據(jù)庫的數(shù)量。本實(shí)施例中所列的數(shù)據(jù)庫類型與數(shù)量，僅作為說明作用，并不作為對本發(fā)明的限制。展示平臺處理器107可以獨(dú)立于所述后臺服務(wù)器103，也可以為后臺服務(wù)器103的一部分，其用于依據(jù)業(yè)務(wù)系統(tǒng)的需求，展示所述明細(xì)數(shù)據(jù)庫104、所述分維度數(shù)據(jù)庫105及106存儲的統(tǒng)計(jì)數(shù)據(jù)。于本實(shí)施例中，以所述業(yè)務(wù)系統(tǒng)102為電子商務(wù)網(wǎng)站舉例，用戶通過所述終端101登錄所述電子商務(wù)網(wǎng)站102，執(zhí)行交易操作，購買某一特定商品，所述電子商務(wù)網(wǎng)站102運(yùn)行完成此次交易操作，并將此次交易操作所產(chǎn)生的實(shí)時數(shù)據(jù)，如商品購買操作產(chǎn)生的實(shí)時數(shù)據(jù)包含商品名目(ID)、買家信息、賣家信息、購買數(shù)量、購買時間、收貨地點(diǎn)、付款方式等。所述后臺服務(wù)器獲取所述實(shí)時數(shù)據(jù)，依據(jù)預(yù)先設(shè)定的需求程式或者所述電子商務(wù)網(wǎng)站發(fā)送的需求，對所述實(shí)時數(shù)據(jù)進(jìn)行處理。其中，包括生成所述實(shí)時數(shù)據(jù)的多維度明細(xì)數(shù)據(jù)，及計(jì)算所述實(shí)時數(shù)據(jù)的至少一個分維度數(shù)據(jù)的統(tǒng)計(jì)結(jié)果，如交易明細(xì)數(shù)據(jù)及對商品維度及買家維度的統(tǒng)計(jì)，并將所述明細(xì)數(shù)據(jù)及商品維度及買家維度的統(tǒng)計(jì)分別存儲至所述業(yè)務(wù)數(shù)據(jù)庫，如，明細(xì)數(shù)據(jù)庫104存儲所說交易明細(xì)數(shù)據(jù)、分維度數(shù)據(jù)庫105及106則分別存儲商品維度統(tǒng)計(jì)數(shù)據(jù)及買家維度統(tǒng)計(jì)數(shù)據(jù)。所述展示平臺處理器107邏輯連接于所述后臺服務(wù)器103，依據(jù)所述業(yè)務(wù)系統(tǒng)的需求在電子商務(wù)網(wǎng)站上直接展示明細(xì)數(shù)據(jù)、商品維度統(tǒng)計(jì)數(shù)據(jù)及買家維度統(tǒng)計(jì)數(shù)據(jù)。或者依據(jù)電子商務(wù)網(wǎng)站或者電子商務(wù)網(wǎng)站會員的需求直接將明細(xì)數(shù)據(jù)、商品維度統(tǒng)計(jì)數(shù)據(jù)及買家維度統(tǒng)計(jì)數(shù)據(jù)推送至所述終端101。依據(jù)上述內(nèi)容可知，本實(shí)施例的實(shí)時數(shù)據(jù)處理裝置100在所述后臺服務(wù)器103端進(jìn)行實(shí)時數(shù)據(jù)的分維度數(shù)據(jù)統(tǒng)計(jì)，而非在數(shù)據(jù)庫內(nèi)進(jìn)行分維度數(shù)據(jù)統(tǒng)計(jì)，可較少的消耗系統(tǒng)性能。其次，本實(shí)施例的所述實(shí)時數(shù)據(jù)處理裝置100，對接收到的實(shí)時數(shù)據(jù)進(jìn)行分維度統(tǒng)計(jì)，并分別存儲分維度統(tǒng)計(jì)結(jié)果，而非在明細(xì)數(shù)據(jù)表內(nèi)直接做分維度的求和統(tǒng)計(jì)，因此，本發(fā)明所述的實(shí)時數(shù)據(jù)處理 裝置100的計(jì)算量遠(yuǎn)小于現(xiàn)有技術(shù)在明細(xì)數(shù)據(jù)表內(nèi)做分維度數(shù)據(jù)統(tǒng)計(jì)的計(jì)算量，對系統(tǒng)性能的影響也將大大降低。本領(lǐng)域的一般技術(shù)人員結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。結(jié)合本文中所公開的實(shí)施例描述的方法或算法的步驟可以用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實(shí)施。軟件模塊可以置于隨機(jī)存儲器(RAM)、內(nèi)存、只讀存儲器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬盤、可移動磁盤、CD-ROM、或
技術(shù)領(lǐng)域：
內(nèi)所公知的任意其它形式的存儲介質(zhì)中。以上所述的具體實(shí)施方式，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁1 2 3