本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體涉及一種大數(shù)據(jù)采集方法、裝置及系統(tǒng)。

背景技術(shù)：

隨著科技的發(fā)展，為給用戶提供更精準(zhǔn)的服務(wù)，很多研發(fā)機(jī)構(gòu)及企業(yè)捕捉用戶的使用行為信息，進(jìn)行有效分析，而后，用準(zhǔn)確量化的數(shù)據(jù)進(jìn)行分析得到大數(shù)據(jù)分析結(jié)果。基于大數(shù)據(jù)的分析結(jié)果來(lái)實(shí)現(xiàn)產(chǎn)品創(chuàng)新及優(yōu)化，研發(fā)機(jī)構(gòu)及企業(yè)對(duì)數(shù)據(jù)分析的需求越來(lái)越旺盛。

由于通?；诳蛻舳送鈷斐绦虻姆绞絹?lái)進(jìn)行用戶數(shù)據(jù)采集，采集樣本容量非常龐大，并且用戶行為信息的數(shù)據(jù)格式與數(shù)據(jù)分析時(shí)所采用的數(shù)據(jù)格式不同，若采用在線采集數(shù)據(jù)、分析數(shù)據(jù)會(huì)造成數(shù)據(jù)處理量大的問(wèn)題，容易導(dǎo)致網(wǎng)絡(luò)堵塞的情況發(fā)生。因此，現(xiàn)有技術(shù)中，在對(duì)大數(shù)據(jù)進(jìn)行采集分析時(shí)，通常采集和分析兩步分離作業(yè)。亦即，首先基于客戶端或者終端記錄用戶的行為，完成一定時(shí)段的記錄后，將這些行為信息收集起來(lái)，而后，將完成收集的信息打包交由后臺(tái)大數(shù)據(jù)服務(wù)器進(jìn)行分析，得到分析結(jié)果?，F(xiàn)有技術(shù)中的這種大數(shù)據(jù)采集、分析模式為t+1模式，耗費(fèi)的時(shí)間長(zhǎng)，數(shù)據(jù)采集的效率低下，難以滿足對(duì)數(shù)據(jù)實(shí)時(shí)性的需求，尤其是需要在線調(diào)整、優(yōu)化產(chǎn)品的需求。

因此，如何實(shí)現(xiàn)大數(shù)據(jù)的實(shí)時(shí)采集，滿足大數(shù)據(jù)實(shí)時(shí)分析條件成為亟待解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題在于現(xiàn)有技術(shù)中實(shí)現(xiàn)大數(shù)據(jù)的實(shí)時(shí)采集，滿足大數(shù)據(jù)實(shí)時(shí)分析條件。

為此，根據(jù)第一方面，本發(fā)明實(shí)施例公開(kāi)了一種大數(shù)據(jù)采集方法，包括：

接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求；根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作；將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式；按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。

可選地，按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件包括：收集多個(gè)傳輸文件構(gòu)成傳輸文件集；向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

可選地，在收集多個(gè)傳輸文件構(gòu)成傳輸文件集和按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集之間，還包括：對(duì)傳輸文件集進(jìn)行解碼轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的結(jié)構(gòu)化數(shù)據(jù)集；按預(yù)設(shè)時(shí)間間隔向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

可選地，服務(wù)日志包括：數(shù)據(jù)交互過(guò)程日志、數(shù)據(jù)更新日志和第三方報(bào)文日志中的任意一種或者任意組合。

根據(jù)第二方面，本發(fā)明實(shí)施例公開(kāi)了一種大數(shù)據(jù)采集裝置，包括：

請(qǐng)求接收模塊，用于接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求；監(jiān)聽(tīng)模塊，用于根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作；日志轉(zhuǎn)化模塊，用于將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式；傳輸模塊，用于按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。

可選地，傳輸模塊包括：收集單元，用于收集多個(gè)傳輸文件構(gòu)成傳輸文件集；發(fā)送單元，用于向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

可選地，還包括：結(jié)構(gòu)化模塊，用于對(duì)傳輸文件集進(jìn)行解碼轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的結(jié)構(gòu)化數(shù)據(jù)集；發(fā)送單元用于按預(yù)設(shè)時(shí)間間隔向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

可選地，服務(wù)日志包括：數(shù)據(jù)交互過(guò)程日志、數(shù)據(jù)更新日志和第三方報(bào)文日志中的任意一種或者任意組合。

根據(jù)第三方面，本發(fā)明實(shí)施例公開(kāi)了一種計(jì)算機(jī)裝置，包括處理器，處理器用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序?qū)崿F(xiàn)如下方法：

接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求；根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作；將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式；按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。

根據(jù)第四方面，本發(fā)明實(shí)施例公開(kāi)了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，處理器用于執(zhí)行存儲(chǔ)介質(zhì)中存儲(chǔ)的計(jì)算機(jī)程序?qū)崿F(xiàn)如下方法：

接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求；根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作；將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式；按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。

根據(jù)第五方面，本發(fā)明實(shí)施例公開(kāi)了一種大數(shù)據(jù)采集系統(tǒng)，包括：數(shù)據(jù)前端；采集服務(wù)器；上述的大數(shù)據(jù)采集裝置。

本發(fā)明技術(shù)方案，具有如下優(yōu)點(diǎn)：

本發(fā)明實(shí)施例提供的大數(shù)據(jù)采集方法、裝置及系統(tǒng)，由于在接收到數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求后，根據(jù)服務(wù)請(qǐng)求通過(guò)有別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，使得在記錄服務(wù)日志的同時(shí)能夠通過(guò)該區(qū)別于記錄日志線程的線程對(duì)服務(wù)動(dòng)作進(jìn)行監(jiān)聽(tīng)采集，從而能夠在該線程上將服務(wù)動(dòng)作轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的傳輸文件，相對(duì)于現(xiàn)有技術(shù)中需要收集預(yù)定時(shí)間段的日志后，再對(duì)日志進(jìn)行格式轉(zhuǎn)化的方式，本發(fā)明實(shí)施例提供的方案實(shí)現(xiàn)了大數(shù)據(jù)的實(shí)時(shí)采集，為大數(shù)據(jù)實(shí)時(shí)分析創(chuàng)造了條件。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施方式，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本實(shí)施例公開(kāi)的一種大數(shù)據(jù)采集方法流程圖；

圖2為本實(shí)施例公開(kāi)的一種大數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)框圖；

圖3為本實(shí)施例公開(kāi)的一種大數(shù)據(jù)采集裝置結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

在本發(fā)明的描述中，需要說(shuō)明的是，術(shù)語(yǔ)“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語(yǔ)“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。

在本發(fā)明的描述中，需要說(shuō)明的是，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過(guò)中間媒介間接相連，還可以是兩個(gè)元件內(nèi)部的連通，可以是無(wú)線連接，也可以是有線連接。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

此外，下面所描述的本發(fā)明不同實(shí)施方式中所涉及的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互結(jié)合。

為了實(shí)現(xiàn)大數(shù)據(jù)的實(shí)時(shí)采集，滿足大數(shù)據(jù)實(shí)時(shí)分析條件，本實(shí)施例公開(kāi)了一種大數(shù)據(jù)采集方法，請(qǐng)參考圖1，為該大數(shù)據(jù)采集方法流程圖，該大數(shù)據(jù)采集方法包括：

步驟s100，接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求。本實(shí)施例中，所稱數(shù)據(jù)前端是指能夠產(chǎn)生服務(wù)操作的數(shù)據(jù)端，該數(shù)據(jù)端可以是移動(dòng)終端、計(jì)算機(jī)、工控機(jī)以及后臺(tái)服務(wù)器等。在具體實(shí)施例中，當(dāng)用戶在數(shù)據(jù)前端進(jìn)行操作時(shí)會(huì)產(chǎn)生觸發(fā)信號(hào)，該觸發(fā)信號(hào)可以表征提供服務(wù)請(qǐng)求。

步驟s200，根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志。本實(shí)施例中，所稱服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作。一般而言，用戶在前端進(jìn)行數(shù)據(jù)操作、后臺(tái)數(shù)據(jù)發(fā)生變更、不同設(shè)備之間的數(shù)據(jù)交互、第三方報(bào)文等動(dòng)作時(shí)，都會(huì)產(chǎn)生相應(yīng)的服務(wù)日志并通過(guò)日志線程進(jìn)行服務(wù)日志記錄。本實(shí)施例中，通過(guò)開(kāi)設(shè)特定的線程來(lái)監(jiān)聽(tīng)服務(wù)日志，由此，來(lái)實(shí)現(xiàn)數(shù)據(jù)前端為客戶提供服務(wù)動(dòng)作的監(jiān)聽(tīng)，該特定的線程區(qū)別于記錄日志的線程。

在具體實(shí)施例中，請(qǐng)參考圖2，為本實(shí)施例公開(kāi)的一種大數(shù)據(jù)采集系統(tǒng)結(jié)構(gòu)框圖，服務(wù)日志可以來(lái)自前端應(yīng)用工具1，也可以來(lái)自后端2，具體地，服務(wù)日志包括：數(shù)據(jù)交互過(guò)程日志、數(shù)據(jù)更新日志和第三方報(bào)文日志中的任意一種或者任意組合。

步驟s300，將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件。本實(shí)施例中，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式。由于服務(wù)日志的數(shù)據(jù)格式不能直接應(yīng)用于大數(shù)據(jù)分析，通常需要對(duì)服務(wù)日志進(jìn)行轉(zhuǎn)化，而后對(duì)轉(zhuǎn)化后的數(shù)據(jù)進(jìn)行分析。在現(xiàn)有技術(shù)中，因?yàn)閱尉€程記錄服務(wù)日志，因此，需要在完成服務(wù)日志記錄后，收集這些服務(wù)日志，再批量轉(zhuǎn)化，否則容易造成線程擁堵，或者數(shù)據(jù)錯(cuò)位導(dǎo)致數(shù)據(jù)分析有誤。本實(shí)施例中，通過(guò)有別于記錄日志線程的線程來(lái)監(jiān)聽(tīng)服務(wù)日志，使得在記錄服務(wù)日志的同時(shí)，能夠通過(guò)監(jiān)聽(tīng)的線程對(duì)服務(wù)日志進(jìn)行格式處理，并且該格式處理一般不占用服務(wù)日志記錄線程，因此，能夠?qū)崿F(xiàn)在線實(shí)時(shí)的服務(wù)日志轉(zhuǎn)化。

在具體實(shí)施例中，請(qǐng)參考圖2，在監(jiān)聽(tīng)到服務(wù)日志后，可以將不同類型的服務(wù)日志分別轉(zhuǎn)化為預(yù)設(shè)格式的文件，作為例子，預(yù)設(shè)格式的文件可以是例如落盤文件；而后對(duì)各個(gè)類型服務(wù)日志的落盤文件分別進(jìn)行整合。

步驟s400，按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。數(shù)據(jù)庫(kù)在接收到符合大數(shù)據(jù)分析格式的傳輸文件后，即可對(duì)傳輸文件進(jìn)行分析。

為了便于統(tǒng)一調(diào)度不同類型的傳輸文件，在可選的實(shí)施例中，在執(zhí)行步驟s400時(shí)，按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件包括：收集多個(gè)傳輸文件構(gòu)成傳輸文件集；向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。具體地，請(qǐng)參考圖2，在監(jiān)聽(tīng)到各個(gè)類型服務(wù)日志后，分別將各個(gè)類型的服務(wù)日志轉(zhuǎn)化為預(yù)定格式的傳輸文件，而后，將這些轉(zhuǎn)化為預(yù)定格式的傳輸文件集合在一起形成傳輸文件集，最后，將形成的傳輸文件集發(fā)送給數(shù)據(jù)庫(kù)3。

為了有序地統(tǒng)籌傳輸文件集，在可選的實(shí)施例中，在收集多個(gè)傳輸文件構(gòu)成傳輸文件集和按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集之間，還包括：對(duì)傳輸文件集進(jìn)行解碼轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的結(jié)構(gòu)化數(shù)據(jù)集；按預(yù)設(shè)時(shí)間間隔向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。作為例子，可以通過(guò)例如sparkstreaming模型對(duì)傳輸文件集進(jìn)行解碼得到結(jié)構(gòu)化數(shù)據(jù)集。本實(shí)施例中，預(yù)設(shè)時(shí)間間隔可以是例如5分鐘、10分鐘或者更多、更少的時(shí)間間隔，本實(shí)施例并不限制具體的時(shí)間間隔數(shù)值。

本實(shí)施例還公開(kāi)了一種大數(shù)據(jù)采集裝置，請(qǐng)參考圖3，為該大數(shù)據(jù)采集裝置結(jié)構(gòu)示意圖，該大數(shù)據(jù)采集裝置包括：請(qǐng)求接收模塊100、監(jiān)聽(tīng)模塊200、日志轉(zhuǎn)化模塊300和傳輸模塊400，其中：

請(qǐng)求接收模塊100用于接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求；監(jiān)聽(tīng)模塊200用于根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作；日志轉(zhuǎn)化模塊300用于將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式；傳輸模塊400用于按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。

在可選的實(shí)施例中，傳輸模塊包括：收集單元，用于收集多個(gè)傳輸文件構(gòu)成傳輸文件集；發(fā)送單元，用于向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

在可選的實(shí)施例中，還包括：結(jié)構(gòu)化模塊，用于對(duì)傳輸文件集進(jìn)行解碼轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的結(jié)構(gòu)化數(shù)據(jù)集；發(fā)送單元用于按預(yù)設(shè)時(shí)間間隔向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

在可選的實(shí)施例中，服務(wù)日志包括：數(shù)據(jù)交互過(guò)程日志、數(shù)據(jù)更新日志和第三方報(bào)文日志中的任意一種或者任意組合。

此外，本實(shí)施例還公開(kāi)了一種計(jì)算機(jī)裝置，包括處理器，處理器用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序?qū)崿F(xiàn)如下方法：

接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求；根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作；將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式；按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。

在可選的實(shí)施例中，按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件包括：收集多個(gè)傳輸文件構(gòu)成傳輸文件集；向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

在可選的實(shí)施例中，在收集多個(gè)傳輸文件構(gòu)成傳輸文件集和按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集之間，還包括：對(duì)傳輸文件集進(jìn)行解碼轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的結(jié)構(gòu)化數(shù)據(jù)集；按預(yù)設(shè)時(shí)間間隔向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

在可選的實(shí)施例中，服務(wù)日志包括：數(shù)據(jù)交互過(guò)程日志、數(shù)據(jù)更新日志和第三方報(bào)文日志中的任意一種或者任意組合。

本領(lǐng)域技術(shù)人員可以理解，實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體（rom)或隨機(jī)存儲(chǔ)記憶體（ram)等。計(jì)算機(jī)處理器用于執(zhí)行存儲(chǔ)介質(zhì)中存儲(chǔ)的計(jì)算機(jī)程序?qū)崿F(xiàn)以下方法：

接收數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求；根據(jù)服務(wù)請(qǐng)求通過(guò)區(qū)別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，服務(wù)日志用于表征數(shù)據(jù)前端為客戶提供的服務(wù)動(dòng)作；將服務(wù)日志轉(zhuǎn)化為預(yù)設(shè)格式的傳輸文件，預(yù)設(shè)格式為符合大數(shù)據(jù)分析的格式；按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件。

在可選的實(shí)施例中，按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件包括：收集多個(gè)傳輸文件構(gòu)成傳輸文件集；向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

在可選的實(shí)施例中，在收集多個(gè)傳輸文件構(gòu)成傳輸文件集和按預(yù)設(shè)路徑向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集之間，還包括：對(duì)傳輸文件集進(jìn)行解碼轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的結(jié)構(gòu)化數(shù)據(jù)集；按預(yù)設(shè)時(shí)間間隔向數(shù)據(jù)庫(kù)發(fā)送傳輸文件集。

在可選的實(shí)施例中，服務(wù)日志包括：數(shù)據(jù)交互過(guò)程日志、數(shù)據(jù)更新日志和第三方報(bào)文日志中的任意一種或者任意組合。

本發(fā)明實(shí)施例公開(kāi)了一種大數(shù)據(jù)采集系統(tǒng)，包括：數(shù)據(jù)前端，為客戶提供服務(wù)動(dòng)作，數(shù)據(jù)前端在為客戶提供服務(wù)動(dòng)作時(shí)，會(huì)產(chǎn)生服務(wù)日志；采集服務(wù)器，用于提供存儲(chǔ)大數(shù)據(jù)的數(shù)據(jù)庫(kù)；上述的大數(shù)據(jù)采集裝置。

本實(shí)施例提供的大數(shù)據(jù)采集方法、裝置及系統(tǒng)，由于在接收到數(shù)據(jù)前端發(fā)送的提供服務(wù)請(qǐng)求后，根據(jù)服務(wù)請(qǐng)求通過(guò)有別于記錄服務(wù)動(dòng)作的日志線程監(jiān)聽(tīng)服務(wù)日志，使得在記錄服務(wù)日志的同時(shí)能夠通過(guò)該區(qū)別于記錄日志線程的線程對(duì)服務(wù)動(dòng)作進(jìn)行監(jiān)聽(tīng)采集，從而能夠在該線程上將服務(wù)動(dòng)作轉(zhuǎn)化為符合大數(shù)據(jù)分析格式的傳輸文件，相對(duì)于現(xiàn)有技術(shù)中需要收集預(yù)定時(shí)間段的日志后，再對(duì)日志進(jìn)行格式轉(zhuǎn)化的方式，本發(fā)明實(shí)施例提供的方案實(shí)現(xiàn)了大數(shù)據(jù)的實(shí)時(shí)采集，為大數(shù)據(jù)實(shí)時(shí)分析創(chuàng)造了條件。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)（包括但不限于磁盤存儲(chǔ)器、cd-rom、光學(xué)存儲(chǔ)器等）上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實(shí)施例的方法、設(shè)備（系統(tǒng)）、和計(jì)算機(jī)程序產(chǎn)品的流程圖和／或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和／或方框圖中的每一流程和／或方框、以及流程圖和／或方框圖中的流程和／或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和／或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中，使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和／或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和／或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。

顯然，上述實(shí)施例僅僅是為清楚地說(shuō)明所作的舉例，而并非對(duì)實(shí)施方式的限定。對(duì)于所屬領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在上述說(shuō)明的基礎(chǔ)上還可以做出其它不同形式的變化或變動(dòng)。這里無(wú)需也無(wú)法對(duì)所有的實(shí)施方式予以窮舉。而由此所引伸出的顯而易見(jiàn)的變化或變動(dòng)仍處于本發(fā)明創(chuàng)造的保護(hù)范圍之中。