用于大數(shù)據(jù)預(yù)分析的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)分析方法和裝置，更具體地，涉及用于大數(shù)據(jù)預(yù)分析的方法和裝置。
【背景技術(shù)】
[0002]目前，隨著計(jì)算機(jī)和網(wǎng)絡(luò)應(yīng)用的日益廣泛以及不同領(lǐng)域的業(yè)務(wù)種類的日益豐富，在實(shí)際使用海量數(shù)據(jù)(即大數(shù)據(jù))之前對其進(jìn)行預(yù)分析變得越來越重要。
[0003]在現(xiàn)有的技術(shù)方案中，通常采用數(shù)據(jù)抽樣方式對大數(shù)據(jù)進(jìn)行預(yù)分析(例如分析目標(biāo)數(shù)據(jù)的內(nèi)容、分布、關(guān)聯(lián)關(guān)系等等)，即從目標(biāo)大數(shù)據(jù)中隨機(jī)地或基于預(yù)定規(guī)則抽取樣本數(shù)據(jù)，并隨之針對該樣本數(shù)據(jù)執(zhí)行分析操作。
[0004]然而，現(xiàn)有的技術(shù)方案存在如下問題:由于基于樣本數(shù)據(jù)執(zhí)行數(shù)據(jù)預(yù)分析，故預(yù)分析結(jié)果的準(zhǔn)確性直接取決于所抽取的樣本數(shù)據(jù)的質(zhì)量和代表性，由此預(yù)分析結(jié)果的有效性和準(zhǔn)確性難于控制并且是不穩(wěn)定的。
[0005]因此，存在如下需求:提供能夠顯著地提高大數(shù)據(jù)預(yù)分析結(jié)果的有效性和準(zhǔn)確性的用于大數(shù)據(jù)預(yù)分析的方法和裝置。

【發(fā)明內(nèi)容】

[0006]為了解決上述現(xiàn)有技術(shù)方案所存在的問題，本發(fā)明提出了能夠顯著地提高大數(shù)據(jù)預(yù)分析結(jié)果的有效性和準(zhǔn)確性的用于大數(shù)據(jù)預(yù)分析的方法和裝置。
[0007]本發(fā)明的目的是通過以下技術(shù)方案實(shí)現(xiàn)的:
一種大數(shù)據(jù)預(yù)分析裝置，所述大數(shù)據(jù)預(yù)分析裝置包括:
命令輸入單元，所述命令輸入單元接收來自用戶的數(shù)據(jù)查詢及分析命令，其中，所述用戶能夠選擇式地或者直接地輸入所述數(shù)據(jù)查詢及分析命令；
任務(wù)執(zhí)行及優(yōu)化單元，所述任務(wù)執(zhí)行及優(yōu)化單元解析所述數(shù)據(jù)查詢及分析命令以確定其定義的數(shù)據(jù)處理任務(wù)，并隨之基于預(yù)定規(guī)則優(yōu)化并執(zhí)行所述數(shù)據(jù)處理任務(wù)；
數(shù)據(jù)存儲(chǔ)單元，所述數(shù)據(jù)存儲(chǔ)單元基于存儲(chǔ)優(yōu)化算法存儲(chǔ)所述數(shù)據(jù)處理任務(wù)執(zhí)行過程中使用的數(shù)據(jù)；
結(jié)果輸出單元，所述結(jié)果輸出單元向用戶輸出所述數(shù)據(jù)處理任務(wù)的執(zhí)行結(jié)果。
[0008]在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)查詢及分析命令是基于SQL語言的命令。
[0009]在上面所公開的方案中，優(yōu)選地，所述優(yōu)化所述數(shù)據(jù)處理任務(wù)包括:根據(jù)待執(zhí)行任務(wù)的具體操作并基于預(yù)統(tǒng)計(jì)的結(jié)果優(yōu)化各個(gè)操作執(zhí)行的先后順序以及數(shù)據(jù)加載的順序，其中，所述預(yù)統(tǒng)計(jì)被周期性地或不定期的執(zhí)行以識(shí)別數(shù)據(jù)取值分布以及數(shù)據(jù)表的數(shù)據(jù)量大小，并且所述優(yōu)化限定針對表關(guān)聯(lián)操作優(yōu)先加載數(shù)據(jù)量小的數(shù)據(jù)表并且限定針對數(shù)據(jù)過濾操作優(yōu)先針對取值分布較多的字段進(jìn)行過濾。
[0010]在上面所公開的方案中，優(yōu)選地，所述優(yōu)化所述數(shù)據(jù)處理任務(wù)進(jìn)一步包括:根據(jù)待執(zhí)行任務(wù)操作的數(shù)據(jù)字段的數(shù)量選擇不同存儲(chǔ)方式的數(shù)據(jù)進(jìn)行操作，即當(dāng)待執(zhí)行任務(wù)操作的數(shù)據(jù)字段的數(shù)量小于預(yù)定閾值時(shí)選擇列式存儲(chǔ)的數(shù)據(jù)，而當(dāng)待執(zhí)行任務(wù)操作的數(shù)據(jù)字段的數(shù)量不小于所述預(yù)定閾值時(shí)選擇行列混合式存儲(chǔ)的數(shù)據(jù)。
[0011 ] 在上面所公開的方案中，優(yōu)選地，所述數(shù)據(jù)存儲(chǔ)單元自動(dòng)地確定所述數(shù)據(jù)處理任務(wù)執(zhí)行過程中不同操作使用列式存儲(chǔ)的數(shù)據(jù)和行列混合式存儲(chǔ)的數(shù)據(jù)時(shí)的處理效率，并根據(jù)所確定的處理效率針對特定的數(shù)據(jù)字段執(zhí)行數(shù)據(jù)優(yōu)化操作，其中所述數(shù)據(jù)優(yōu)化操作包括:(I)對經(jīng)常處理分析的數(shù)據(jù)字段進(jìn)行壓縮；(2)對關(guān)聯(lián)的數(shù)據(jù)字段進(jìn)行聯(lián)合存儲(chǔ)。
[0012]在上面所公開的方案中，優(yōu)選地，所述結(jié)果輸出單元能夠通過顯示器向用戶呈現(xiàn)所述數(shù)據(jù)處理任務(wù)的執(zhí)行結(jié)果，并且能夠基于用戶的指令提供所述數(shù)據(jù)處理任務(wù)的執(zhí)行結(jié)果的下載服務(wù)。
[0013]本發(fā)明的目的也能夠通過以下技術(shù)方案實(shí)現(xiàn):
一種用于大數(shù)據(jù)預(yù)分析的方法，所述用于大數(shù)據(jù)預(yù)分析的方法包括下列步驟:
(Al)接收來自用戶的數(shù)據(jù)查詢及分析命令，其中，所述用戶能夠選擇式地或者直接地輸入所述數(shù)據(jù)查詢及分析命令；
(A2)解析所述數(shù)據(jù)查詢及分析命令以確定其定義的數(shù)據(jù)處理任務(wù)，并隨之基于預(yù)定規(guī)則優(yōu)化并執(zhí)行所述數(shù)據(jù)處理任務(wù)；
(A3)基于存儲(chǔ)優(yōu)化算法存儲(chǔ)所述數(shù)據(jù)處理任務(wù)執(zhí)行過程中使用的數(shù)據(jù)；
(A4)向用戶輸出所述數(shù)據(jù)處理任務(wù)的執(zhí)行結(jié)果
本發(fā)明所公開的用于大數(shù)據(jù)預(yù)分析的方法和裝置具有以下優(yōu)點(diǎn):能夠顯著地提高大數(shù)據(jù)預(yù)分析結(jié)果的有效性和準(zhǔn)確性，并且提高了數(shù)據(jù)處理操作的效率。
【附圖說明】
[0014]結(jié)合附圖，本發(fā)明的技術(shù)特征以及優(yōu)點(diǎn)將會(huì)被本領(lǐng)域技術(shù)人員更好地理解，其中:
圖1是根據(jù)本發(fā)明的實(shí)施例的大數(shù)據(jù)預(yù)分析裝置的示意性結(jié)構(gòu)圖；
圖2是根據(jù)本發(fā)明的實(shí)施例的用于大數(shù)據(jù)預(yù)分析的方法的流程圖。
【具體實(shí)施方式】
[0015]圖1是根據(jù)本發(fā)明的實(shí)施例的大數(shù)據(jù)預(yù)分析裝置的示意性結(jié)構(gòu)圖。如圖1所示，本發(fā)明所公開的大數(shù)據(jù)預(yù)分析裝置包括命令輸入單元1、任務(wù)執(zhí)行及優(yōu)化單元2、數(shù)據(jù)存儲(chǔ)單元3以及結(jié)果輸出單元4。其中，所述命令輸入單元I接收來自用戶的數(shù)據(jù)查詢及分析命令，其中，所述用戶能夠選擇式地(例如通過下拉框選擇)或者直接地輸入所述數(shù)據(jù)查詢及分析命令。所述任務(wù)執(zhí)行及優(yōu)化單元2解析(例如語句的拼裝和拆分)所述數(shù)據(jù)查詢及分析命令以確定其定義的數(shù)據(jù)處理任務(wù)，并隨之基于預(yù)定規(guī)則優(yōu)化并執(zhí)行所述數(shù)據(jù)處理任務(wù)。所述數(shù)據(jù)存儲(chǔ)單元3基于存儲(chǔ)優(yōu)化算法存儲(chǔ)所述數(shù)據(jù)處理任務(wù)執(zhí)行過程中使用的數(shù)據(jù)。所述結(jié)果輸出單元4向用戶輸出所述數(shù)據(jù)處理任務(wù)的執(zhí)行結(jié)果。
[0016]優(yōu)選地，在本發(fā)明所公開的大數(shù)據(jù)預(yù)分析裝置中，所述數(shù)據(jù)查詢及分析命令是基于SQL (結(jié)構(gòu)化查詢語言)的命令。
[0017]優(yōu)選地，在本發(fā)明所公開的大數(shù)據(jù)預(yù)分析裝置中，所述優(yōu)化所述數(shù)據(jù)處理任務(wù)包括:根據(jù)待執(zhí)行任務(wù)的具體操作并基于預(yù)統(tǒng)計(jì)的結(jié)果優(yōu)化各個(gè)操作執(zhí)行的先后順序以及數(shù)據(jù)加載的順序，其中，所述預(yù)統(tǒng)計(jì)被周期性地或不定期的執(zhí)行以識(shí)別數(shù)據(jù)取值分布以及數(shù)據(jù)表的數(shù)據(jù)量大小，并且所述優(yōu)化限定針對表關(guān)聯(lián)操作優(yōu)先加載數(shù)據(jù)量小的數(shù)據(jù)表并且限定針對數(shù)據(jù)過濾操作優(yōu)先針對取值分布較多的字段進(jìn)行過濾。
[0018]優(yōu)選地，在本發(fā)明所公開的大數(shù)據(jù)預(yù)分析裝置中，所述優(yōu)化所述數(shù)據(jù)處理任務(wù)進(jìn)一步包括:根據(jù)待執(zhí)行任務(wù)操作的數(shù)據(jù)字段的數(shù)量選擇不同存儲(chǔ)方式的數(shù)據(jù)進(jìn)行操作，即當(dāng)待執(zhí)行任務(wù)操作的數(shù)據(jù)字段的數(shù)量小于預(yù)定閾值(例如15個(gè)數(shù)據(jù)字段)時(shí)選擇列式存儲(chǔ)的數(shù)據(jù)，而當(dāng)待執(zhí)行任務(wù)操作的數(shù)據(jù)字段的數(shù)量不小于預(yù)定閾值(例如15個(gè)數(shù)據(jù)字段)時(shí)選擇行列混合式存儲(chǔ)的數(shù)據(jù)。
[0019]優(yōu)選地，在本發(fā)明所公開的大數(shù)據(jù)預(yù)分析裝置中，所述數(shù)據(jù)存儲(chǔ)單元3自動(dòng)地確定所述數(shù)據(jù)處理任務(wù)執(zhí)行過程中不同操作使用列式存儲(chǔ)的數(shù)據(jù)和行列混合式存儲(chǔ)的數(shù)據(jù)時(shí)的處理效率，并根據(jù)所確定的處理效率針對特定的數(shù)據(jù)字段執(zhí)行數(shù)據(jù)優(yōu)化操作，其中所述數(shù)據(jù)優(yōu)化操作包括:(1)對經(jīng)常處理分析的數(shù)據(jù)字段進(jìn)行壓縮(例如，在金融領(lǐng)域中，對卡號字段的值進(jìn)行數(shù)值轉(zhuǎn)換并將其壓縮成哈夫曼編碼)；(2)對關(guān)聯(lián)的數(shù)據(jù)字段進(jìn)行聯(lián)合存儲(chǔ)(例如，在金融領(lǐng)域中，卡品牌和卡屬性經(jīng)常