本實用新型涉及數(shù)據(jù)處理裝置，具體的講是適用于超大規(guī)模數(shù)據(jù)動態(tài)粒度切分的裝置。

背景技術(shù)：

隨著云計算和大數(shù)據(jù)技術(shù)的發(fā)展，需要處理的數(shù)據(jù)量越來越龐大，如何在業(yè)務(wù)處理中高效處理和訪問相關(guān)數(shù)據(jù)成為數(shù)據(jù)分析技術(shù)的研究熱點。在此形勢下，對計算機(jī)信息處理技術(shù)也有了更高的要求。因此，加強(qiáng)對大數(shù)據(jù)背景下的計算機(jī)信息處理技術(shù)的研究，具有重要的現(xiàn)實意義。

近些年來，我國公安信息化建設(shè)發(fā)展迅猛，公安行業(yè)的大規(guī)模信息化裝備部署運行，產(chǎn)生了海量的數(shù)據(jù)，既有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，也有大量文檔、圖片、視頻、柵格、矢量、文本等非結(jié)構(gòu)化數(shù)據(jù)。據(jù)不完全統(tǒng)計，截至2015年底，全國公安機(jī)關(guān)掌握的數(shù)據(jù)資源已達(dá)數(shù)百類、上萬億條、EB級規(guī)模。目前，公安數(shù)據(jù)的年增長率超過50％，并且數(shù)據(jù)產(chǎn)生匯集的速度越來越快，數(shù)據(jù)呈階梯式增長。公安數(shù)據(jù)中蘊藏著人、事、物、組織和案件等豐富的信息，充分利用這些信息，挖掘海量數(shù)據(jù)背后隱藏的關(guān)聯(lián)關(guān)系，對于維護(hù)社會大局穩(wěn)定、預(yù)防和打擊犯罪、輔助指揮決策都具有重要的價值。因此，警務(wù)數(shù)據(jù)處理模型也越來越復(fù)雜，時效性要求越來越高。

然而，現(xiàn)有的計算架構(gòu)無法針對如此規(guī)模龐大的數(shù)據(jù)資源，進(jìn)行快速復(fù)雜處理，其關(guān)鍵瓶頸之一是現(xiàn)有技術(shù)對大數(shù)據(jù)的處理采用的是自然粒度全數(shù)據(jù)加載的方法，存在大量數(shù)據(jù)冗余，因此難以實現(xiàn)對實時數(shù)據(jù)資源的快速處理。

技術(shù)實現(xiàn)要素：

本實用新型提供了一種超大規(guī)模數(shù)據(jù)動態(tài)粒度切分裝置，可對實時數(shù)據(jù)邊處理邊存儲，以及對數(shù)據(jù)進(jìn)行動態(tài)粒度切分和數(shù)據(jù)預(yù)測加載，更高效率的對原始數(shù)據(jù)進(jìn)行動態(tài)粒度切分。

本實用新型的超大規(guī)模數(shù)據(jù)動態(tài)粒度切分裝置，具有包括裝置外殼的本體，在本體上設(shè)有實時數(shù)據(jù)接入接口和存量數(shù)據(jù)接入接口，在本體內(nèi)設(shè)有系統(tǒng)配置主機(jī)，以及與所述系統(tǒng)配置主機(jī)相連、且與實時數(shù)據(jù)接入接口和存量數(shù)據(jù)接入接口連接的數(shù)據(jù)接入接口，數(shù)據(jù)接入接口通過數(shù)據(jù)處理器與存儲裝置連接，存儲裝置還與用于對數(shù)據(jù)粒度處理的決策單元連接，并與所述決策單元一同連接至系統(tǒng)配置主機(jī)，在決策單元中包含有對數(shù)據(jù)粒度進(jìn)行計算處理的粒度處理器和與所述粒度處理器配合的粒度緩存裝置。其中系統(tǒng)配置主機(jī)可以是單片機(jī)或是CPU類型的數(shù)據(jù)處理設(shè)備，實時數(shù)據(jù)接入接口和存量數(shù)據(jù)接入接口可以根據(jù)實際需要設(shè)置為串口結(jié)構(gòu)或其他現(xiàn)有的接口結(jié)構(gòu)。

通過實時數(shù)據(jù)接入接口和存量數(shù)據(jù)接入接口兩種類型的接口分別接收對應(yīng)的數(shù)據(jù)，并經(jīng)數(shù)據(jù)處理器可以對兩種數(shù)據(jù)進(jìn)行清理，包括對數(shù)據(jù)進(jìn)行校驗等，目的在于刪除重復(fù)信息、糾正數(shù)據(jù)中存在的錯誤，并提供數(shù)據(jù)的一致性。其中實時數(shù)據(jù)接入接口對接收到的實時數(shù)據(jù)通過數(shù)據(jù)處理器存入存儲裝置中。存儲裝置可以根據(jù)需要進(jìn)行緩存存儲裝置和/或永久存儲裝置的設(shè)置。所示的存量數(shù)據(jù)接入接口對接收到的存量數(shù)據(jù)通過數(shù)據(jù)處理器的在線重刪技術(shù)處理后可節(jié)約出數(shù)據(jù)存儲空間，在線重刪技術(shù)是在數(shù)據(jù)存儲到存儲裝置上的同時進(jìn)行重復(fù)數(shù)據(jù)刪除的操作，在數(shù)據(jù)存儲到永久存儲裝置之前重復(fù)的數(shù)據(jù)便已經(jīng)被去除掉了。

進(jìn)一步的，本體上還設(shè)有與本體內(nèi)的日志采集器對應(yīng)的日志傳輸接口，所述日志采集器與所述系統(tǒng)配置主機(jī)連接。日志采集器可按照設(shè)定格式或自定義格式自動采集日志數(shù)據(jù)，并可通過日志傳輸接口導(dǎo)出到外接設(shè)備中進(jìn)行查看。

進(jìn)一步的，本體內(nèi)設(shè)有溫度監(jiān)測器和濕度監(jiān)測器，所述的溫度監(jiān)測器和濕度監(jiān)測器通過系統(tǒng)配置主機(jī)將監(jiān)測信號傳遞給設(shè)于本體上的溫/濕度顯示屏，以對本體內(nèi)的溫度和適度進(jìn)行監(jiān)測，保證良好的運行環(huán)境。溫度監(jiān)測器和濕度監(jiān)測器均可采用現(xiàn)有的檢測設(shè)備。

進(jìn)一步的，本體內(nèi)設(shè)有通過一體機(jī)管理主機(jī)連接至所述系統(tǒng)配置主機(jī)的狀態(tài)監(jiān)測服務(wù)器，狀態(tài)監(jiān)測服務(wù)器通過系統(tǒng)配置主機(jī)將監(jiān)測信號傳遞給設(shè)于本體上的狀態(tài)顯示屏。狀態(tài)監(jiān)測服務(wù)器用于對各種裝置的運行狀態(tài)進(jìn)行監(jiān)測，例如內(nèi)存使用率、存儲裝置剩余空間、數(shù)據(jù)處理器的使用率等。

進(jìn)一步的，系統(tǒng)配置主機(jī)還連接有可與外接設(shè)備連接的外部數(shù)據(jù)接入接口，通過外部數(shù)據(jù)接入接口可以連接其他主機(jī)等設(shè)備，將外接數(shù)據(jù)導(dǎo)入到系統(tǒng)配置主機(jī)中。

在此基礎(chǔ)上，本體上設(shè)有散熱進(jìn)風(fēng)口和散熱出風(fēng)口，有利于對本體內(nèi)進(jìn)行通風(fēng)散熱。

可選的，本體上設(shè)有指示燈，用于對電源、運行狀態(tài)等進(jìn)行提示。

本實用新型中涉及到的各種處理程序均是基于對應(yīng)的現(xiàn)有硬件設(shè)備的常規(guī)數(shù)據(jù)處理方式，均可由本領(lǐng)域技術(shù)人員按照常規(guī)手段得以實現(xiàn)。

本實用新型的超大規(guī)模數(shù)據(jù)動態(tài)粒度切分裝置，能夠?qū)崿F(xiàn)對數(shù)據(jù)邊處理邊存儲，并且通過對存量數(shù)據(jù)和重復(fù)數(shù)據(jù)的清理節(jié)約了大量的存儲空間，大幅度提高了對復(fù)雜數(shù)據(jù)結(jié)構(gòu)動態(tài)粒度劃分的速度，還能夠預(yù)測加載數(shù)據(jù)，更進(jìn)一步的提高了對數(shù)據(jù)的查詢效率。

以下結(jié)合實施例的具體實施方式，對本實用新型的上述內(nèi)容再作進(jìn)一步的詳細(xì)說明。但不應(yīng)將此理解為本實用新型上述主題的范圍僅限于以下的實例。在不脫離本實用新型上述技術(shù)思想情況下，根據(jù)本領(lǐng)域普通技術(shù)知識和慣用手段做出的各種替換或變更，均應(yīng)包括在本實用新型的范圍內(nèi)。

附圖說明

圖1為本實用新型大數(shù)據(jù)安全防護(hù)裝置的本體的正面示意圖。

圖2為圖1的背面示意圖。

圖3為圖1內(nèi)部的結(jié)構(gòu)示意圖。

具體實施方式

如圖1至圖3所示本實用新型的超大規(guī)模數(shù)據(jù)動態(tài)粒度切分裝置，具有包括裝置外殼的本體。本體上設(shè)有散熱進(jìn)風(fēng)口1和散熱出風(fēng)口2，用于對本體內(nèi)部進(jìn)行通風(fēng)散熱。本體上設(shè)有電源插口6、網(wǎng)絡(luò)連接接口10、實時數(shù)據(jù)接入接口7和存量數(shù)據(jù)接入接口8，在本體內(nèi)設(shè)有系統(tǒng)配置主機(jī)，以及與所述系統(tǒng)配置主機(jī)相連、且與實時數(shù)據(jù)接入接口7和存量數(shù)據(jù)接入接口8連接的數(shù)據(jù)接入接口。數(shù)據(jù)接入接口通過CPU類型的數(shù)據(jù)處理器與存儲裝置連接，存儲裝置可以根據(jù)需要進(jìn)行緩存存儲裝置和/或永久存儲裝置的設(shè)置。存儲裝置還與用于對數(shù)據(jù)粒度處理的決策單元連接，并與所述決策單元一同連接至系統(tǒng)配置主機(jī)。在決策單元中包含有對數(shù)據(jù)粒度進(jìn)行計算處理的CPU類型的粒度處理器和與所述粒度處理器配合的粒度緩存裝置。

本體上還設(shè)有與本體內(nèi)的日志采集器對應(yīng)的日志傳輸接口9，所述日志采集器與所述系統(tǒng)配置主機(jī)連接，可將運行日志進(jìn)行導(dǎo)出。本體內(nèi)還設(shè)有對本體內(nèi)部的溫度和適度進(jìn)行監(jiān)測的溫度監(jiān)測器和濕度監(jiān)測器，以及通過一體機(jī)管理主機(jī)連接至所述系統(tǒng)配置主機(jī)的狀態(tài)監(jiān)測服務(wù)器，所述的溫度監(jiān)測器和濕度監(jiān)測器可通過系統(tǒng)配置主機(jī)將監(jiān)測信號傳遞給設(shè)于本體上的溫/濕度顯示屏5上進(jìn)行顯示。狀態(tài)監(jiān)測服務(wù)器通過系統(tǒng)配置主機(jī)將監(jiān)測信號傳遞給設(shè)于本體上的狀態(tài)顯示屏3上顯示。

當(dāng)需要導(dǎo)入外接數(shù)據(jù)時，可以通過與系統(tǒng)配置主機(jī)連接的外部數(shù)據(jù)接入接口連接外接設(shè)備后，將數(shù)據(jù)導(dǎo)入。本體上還設(shè)有指示燈4，當(dāng)接通電源時指示燈4會點亮進(jìn)行提示，當(dāng)本體內(nèi)部有設(shè)備運行狀態(tài)異?；蛘邇?nèi)存、數(shù)據(jù)處理器、存儲裝置等使用率達(dá)到閾值時，指示燈4也會進(jìn)行閃爍提示。