本發(fā)明涉計算機應(yīng)用領(lǐng)域，并且更具體地，涉及一種基于消息中間件的數(shù)據(jù)收集方法和系統(tǒng)。

背景技術(shù)：

隨著IT技術(shù)的發(fā)展，現(xiàn)代企業(yè)快節(jié)奏的業(yè)務(wù)需求和競爭壓力對數(shù)據(jù)處理的實時性和有效性提出了更高的要求，數(shù)據(jù)產(chǎn)生的速度太快，要處理的數(shù)據(jù)量也太大。現(xiàn)有的信息收集一般采用兩種方式，一種是文件方式傳輸，即數(shù)據(jù)信息通過生成文件的方式，固定在某個時間段集中傳輸?shù)椒?wù)接收端，服務(wù)接收端收到信息文件后集中入庫處理分析；一種是通過消息串報文方式傳輸，即數(shù)據(jù)信息通過實時消息串報文及時傳送到服務(wù)器接收端，服務(wù)端接口應(yīng)用程序?qū)嵤┨幚韴笪墨@取數(shù)據(jù)，完成入庫操作。

隨著數(shù)據(jù)量的暴增，以上兩種數(shù)據(jù)收集處理方式在面對目前的實時處理分析需求及大數(shù)據(jù)量的數(shù)據(jù)處理時，都不能很好地實現(xiàn)系統(tǒng)功能。方式一顯然無法很好滿足實時的數(shù)據(jù)傳輸需求，方式二雖然滿足了實時傳輸需求，單次實時處理入庫性能在數(shù)據(jù)量小的情況下也還行，但是數(shù)據(jù)量如果突破一定量級，就會有大量數(shù)據(jù)堆積在發(fā)送端無法及時發(fā)送，單次入庫性能就會成為瓶頸。因此，大量數(shù)據(jù)要么無法實時傳輸，要么在實施傳輸時，大量數(shù)據(jù)擁堵，無法及時傳輸處理，系統(tǒng)處理的性能和效率也急速下降，甚至無法處理運行。

技術(shù)實現(xiàn)要素：

為了解決背景技術(shù)存在的上述問題，本發(fā)明提供一種基于消息中間件的數(shù)據(jù)收集方法，其特征在于，所述方法包括：

將報文數(shù)據(jù)存儲請求發(fā)送到代理服務(wù)器，代理服務(wù)器返回報文數(shù)據(jù)推送成功狀態(tài)至數(shù)據(jù)推送端；

通過代理服務(wù)器對多個Web應(yīng)用程序服務(wù)器進行聚集以建立第一可擴展集群，利用第一可擴展集群同時接收報文數(shù)據(jù)，實現(xiàn)報文數(shù)據(jù)的實時緩存；以及

采用消息中間件并且通過對多個Web應(yīng)用程序服務(wù)器進行聚集而建立的第二可擴展集群，完成合并的報文數(shù)據(jù)一次性存入數(shù)據(jù)庫。

優(yōu)選地，所述代理服務(wù)器能夠支持高并行連接數(shù)。

優(yōu)選地，所述代理服務(wù)器是Nginx。

優(yōu)選地，所述消息中間件是Apache ActiveMQ。

優(yōu)選地，所述多個Web應(yīng)用程序服務(wù)器均是Tomcat服務(wù)器。

根據(jù)本發(fā)明的另一方面，本發(fā)明提供一種基于消息中間件的數(shù)據(jù)收集系統(tǒng)，其特征在于，所述系統(tǒng)包括：

數(shù)據(jù)推送端，其用于將報文數(shù)據(jù)存儲請求發(fā)送到代理服務(wù)器，并接收代理服務(wù)器返回的報文數(shù)據(jù)推送成功狀態(tài)；

代理服務(wù)器，其用于實時接收數(shù)據(jù)推送端推送的報文數(shù)據(jù)存儲請求，并返回報文數(shù)據(jù)推送成功狀態(tài)至數(shù)據(jù)推送端，以及對多個Web應(yīng)用程度服務(wù)器進行聚集以建立第一可擴展集群；

第一可擴展集群，其用于同時接收報文數(shù)據(jù)，實現(xiàn)數(shù)據(jù)報文的實時緩存；

第二可擴展集群，其是通過對多個Web應(yīng)用程度服務(wù)器進行聚集而建立的，用于完成合并的報文數(shù)據(jù)一次性存入數(shù)據(jù)庫；以及

消息中間件，其用于為第二可擴展集群提供消息通信。

優(yōu)選地，所述代理服務(wù)器能夠支持高并行連接數(shù)。

優(yōu)選地，所述代理服務(wù)器是Nginx。

優(yōu)選地，所述消息中間件是Apache ActiveMQ。

優(yōu)選地，所述多個Web應(yīng)用程序服務(wù)器均是Tomcat服務(wù)器。

在本發(fā)明中，采用數(shù)據(jù)報文格式實時推送數(shù)據(jù)，最大可能地保證了數(shù)據(jù)傳輸?shù)膶崟r性，同時，本發(fā)明采用實時數(shù)據(jù)緩存的方式，先不對數(shù)據(jù)進行入庫操作，并即刻返回報文推送成功狀態(tài)給數(shù)據(jù)推送端，從而極大地降低了每次報文請求的響應(yīng)時間，迅速提升了數(shù)據(jù)實時網(wǎng)絡(luò)傳輸?shù)男?。同時，針對單個Web應(yīng)用程序服務(wù)器在大批量高并發(fā)請求情況下處理能力有限，通過對多個Web應(yīng)用程度服務(wù)器進行集群，實現(xiàn)同時處理請求，提升了并發(fā)請求的處理能力。而在報文數(shù)據(jù)入庫方面，針對現(xiàn)有技術(shù)每個報文數(shù)據(jù)一次入庫的浪費數(shù)據(jù)庫資源的操作，本發(fā)明采用多個報文數(shù)據(jù)合并后再進行一次入庫操作的處理方式，從而極大提升了數(shù)據(jù)入庫性能。

附圖說明

通過參考下面的附圖，可以更為完整地理解本發(fā)明的示例性實施方式：

圖1示出了本發(fā)明具體實施方式的基于中間件的數(shù)據(jù)收集的方法的流程圖；以及

圖2示出了本發(fā)明具體實施方式的基于中間件的數(shù)據(jù)收集的系統(tǒng)的結(jié)構(gòu)圖。

具體實施方式

現(xiàn)在參考附圖介紹本發(fā)明的示例性實施方式，然而，本發(fā)明可以用許多不同的形式來實施，并且不局限于此處描述的實施例，提供這些實施例是為了詳盡地且完全地公開本發(fā)明，并且向所屬技術(shù)領(lǐng)域的技術(shù)人員充分傳達本發(fā)明的范圍。對于表示在附圖中的示例性實施方式中的術(shù)語并不是對本發(fā)明的限定。在附圖中，相同的單元/元件使用相同的附圖標記。

除非另有說明，此處使用的術(shù)語(包括科技術(shù)語)對所屬技術(shù)領(lǐng)域的技術(shù)人員具有通常的理解含義。另外，可以理解的是，以通常使用的詞典限定的術(shù)語，應(yīng)當被理解為與其相關(guān)領(lǐng)域的語境具有一致的含義，而不應(yīng)該被理解為理想化的或過于正式的意義。

圖1是本發(fā)明具體實施方式的基于中間件的數(shù)據(jù)收集的方法的流程圖。基于中間件的數(shù)據(jù)收集的方法100從步驟101開始。

在步驟101，將報文數(shù)據(jù)存儲請求發(fā)送到代理服務(wù)器，代理服務(wù)器返回報文數(shù)據(jù)推送成功狀態(tài)至數(shù)據(jù)推送端。

在步驟102，通過代理服務(wù)器對多個Web應(yīng)用程序服務(wù)器進行聚集以建立第一可擴展集群，利用第一可擴展集群同時接收報文數(shù)據(jù)，實現(xiàn)報文數(shù)據(jù)的實時緩存。

在步驟103，采用消息中間件并且通過對多個Web應(yīng)用程序服務(wù)器進行聚集而建立的第二可擴展集群，完成合并的報文數(shù)據(jù)一次性存入數(shù)據(jù)庫。

優(yōu)選地，所述代理服務(wù)器能夠支持高并行連接數(shù)。

優(yōu)選地，所述代理服務(wù)器是Nginx。

優(yōu)選地，所述消息中間件是Apache ActiveMQ。

優(yōu)選地，所述多個Web應(yīng)用程序服務(wù)器均是Tomcat服務(wù)器。

圖2是本發(fā)明具體實施方式的基于中間件的數(shù)據(jù)收集的系統(tǒng)的結(jié)構(gòu)圖。如圖2所示，所述系統(tǒng)200包括數(shù)據(jù)推送端201、代理服務(wù)器202、第一可擴展集群203、第二可擴展集群204、數(shù)據(jù)庫205和消息中間件206。

數(shù)據(jù)推送端201，其用于將報文數(shù)據(jù)存儲請求發(fā)送到代理服務(wù)器202，并接收代理服務(wù)器202返回的報文數(shù)據(jù)推送成功狀態(tài)；

代理服務(wù)器202，其用于實時接收數(shù)據(jù)推送端201推送的報文數(shù)據(jù)存儲請求，并返回報文數(shù)據(jù)推送成功狀態(tài)至數(shù)據(jù)推送端201，以及對多個Web應(yīng)用程度服務(wù)器進行聚集以建立第一可擴展集群203；

第一可擴展集群203，其用于同時接收報文數(shù)據(jù)，實現(xiàn)數(shù)據(jù)報文的實時緩存；

第二可擴展集群204，其是通過對多個Web應(yīng)用程度服務(wù)器進行聚集而建立的，用于完成合并的報文數(shù)據(jù)一次性存入數(shù)據(jù)庫205；以及

消息中間件206，其用于為第二可擴展集群204提供消息通信。

優(yōu)選地，所述代理服務(wù)器202能夠支持高并行連接數(shù)。

優(yōu)選地，所述代理服務(wù)器202是Nginx。Nginx是一個高性能的HTTP和反向代理服務(wù)器。在高連接并發(fā)的情況下，Nginx能夠支持高達50,000個并發(fā)連接數(shù)的響應(yīng)，而內(nèi)存、CPU等系統(tǒng)資源消耗卻非常低、運行非常穩(wěn)定。

優(yōu)選地，所述消息中間件206是Apache ActiveMQ。Apache ActiveMQ是一種開源的，實現(xiàn)了JMS1.1規(guī)范的，面向消息(MOM)的中間件，為應(yīng)用程序提供高效的、可擴展的、穩(wěn)定的和安全的企業(yè)級消息通信。

優(yōu)選地，所述多個Web應(yīng)用程序服務(wù)器均是Tomcat服務(wù)器。

已經(jīng)通過上述實施方式描述了本發(fā)明。然而，本領(lǐng)域技術(shù)人員所公知的，正如附帶的專利權(quán)利要求所限定的，除了本發(fā)明以上公開的其他的實施例等同地落在本發(fā)明的范圍內(nèi)。

通常地，在權(quán)利要求中使用的所有術(shù)語都根據(jù)他們在技術(shù)領(lǐng)域的通常含義被解釋，除非在其中被另外明確地定義。所有的參考“一個/所述/該【裝置、組件等】”都被開放地解釋為所述裝置、組件等中的至少一個實例，除非另外明確地說明。這里公開的任何方法的步驟都沒必要以公開的準確的順序運行，除非明確地說明。