本發(fā)明屬于系統(tǒng)安全技術領域，尤其涉及一種云環(huán)境下MapReduce結果正確性保障機制。

背景技術：

MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算。在Google，MapReduce用在非常廣泛的應用程序中，包括"分布grep，分布排序，web連接圖反轉，每臺機器的詞矢量，web訪問日志分析，反向索引構建，文檔聚類，機器學習，基于統(tǒng)計的機器翻譯等。然而，在開放系統(tǒng)中，MapReduce面臨著數(shù)據(jù)處理服務誠信問題，因為服務提供商可能來自不同的管理域，他們并不總是可信的。目前，已經有很多惡意工作者檢測技術被用于MapReduce并行計算模型中。但是，這些惡意工作者檢測技術可以有效地檢測懶惰或者非勾結惡意工作者，對于相互勾結的惡意工作者的檢測效率卻相對較低。云環(huán)境提供了一個全方位的，高效的并且檢測能力極強的安全防護系統(tǒng)，利用云環(huán)境中的并行處理、海量數(shù)據(jù)存儲、分布式計算技術，完成惡意工作者的檢測。借助大量的冗余計算資源，利用多次復制任務分配給不同工作者的方法，或引入可信工作者，通過概率性的驗證，從而找出惡意工作者，保證工作者集群模塊的良性運行，提高整個系統(tǒng)的安全性與效率?，F(xiàn)有的惡意工作者檢測方式主要有兩種：一種是利用大量的冗余資源進行多副本任務分別進行，然后根據(jù)投票的方法與思想，將返回結果相同的工作者歸為一組，最后選取工作者數(shù)量最多的組所返回的結果作為可信結果。這種方式不但占用系統(tǒng)大量的計算資源和系統(tǒng)存儲空間，影響工作者集群模塊處理其他任務的速度與效率，還造成了極大的系統(tǒng)開銷，不能識別出惡意工作者，并且對于工作者集群模塊中惡意工作者比例較高的情況很可能會出現(xiàn)判斷出錯的情況；另一種是檢查點協(xié)議驗證，其主要形式如水印或探針等。根據(jù)用戶提交任務的特征、類型等相關信息，在任務數(shù)據(jù)中以一定比例添加工作者無法區(qū)分或識別的水印或者探針，根據(jù)工作者所返回的結果中水印是否完整或探針數(shù)量是否正確來判斷工作者任務處理的正確性，但是添加水印或探針并恢復需要增加系統(tǒng)額外的開銷，同時只有特定的數(shù)據(jù)類型才能添加水印或探針，因此，該方法并不具有普適性。同時，隨著全球信息產業(yè)在不斷融合發(fā)展，網絡資源與數(shù)據(jù)規(guī)模也在不斷增長，開放式海量數(shù)據(jù)處理的計算正確性已經越來約受到重視，所接觸的兩種惡意工作者檢測方式已經無法滿足當前密集型海量數(shù)據(jù)處理的需求，數(shù)據(jù)處理的類型也有一定局限性，尤其是在云計算與大數(shù)據(jù)高速發(fā)展的今天，迫切需要提出一種高效地云環(huán)境下MapReduce結果正確性保障機制來應對更加強大的敵手。

綜上所述，現(xiàn)有技術存在的問題是：現(xiàn)有技術的敵手模型已經不能滿足當今時代的背景，且由于現(xiàn)有的利用多副本檢測惡意工作者技術，其主機不能直接判斷任務結果的正確性，所以需要多次重復計算同一任務，造成極大的系統(tǒng)開銷且影響工作者集群模塊處理其他任務的速度與效率，而且不能確定地識別出惡意工作者，容易判斷出錯；而添加水印或探針技術，雖然可以判斷出惡意工作者，但是添加水印或探針需要增加系統(tǒng)額外的開銷，同時只有特定的數(shù)據(jù)類型才能添加水印或探針，因此，并不能廣泛地應用。

技術實現(xiàn)要素：

針對現(xiàn)有技術存在的問題，本發(fā)明提供了一種云環(huán)境下MapReduce結果正確性保障機制。

本發(fā)明是這樣實現(xiàn)的，一種云環(huán)境下MapReduce結果正確性保障機制，所述云環(huán)境下MapReduce結果正確性保障機制包括：

用戶端，用于將本地數(shù)據(jù)文件上傳到分布式文件存儲管理模塊，并且將數(shù)據(jù)處理任務遞交給系統(tǒng)主機，同時得到任務處理結果；

分布式文件存儲管理模塊，與用戶端，系統(tǒng)主機和工作者集群模塊連接，用于提供數(shù)據(jù)分布式存儲服務，并且代替用戶存儲和管理數(shù)據(jù)，同時為系統(tǒng)主機提供數(shù)據(jù)的分塊與調度服務；

系統(tǒng)主機，與用戶端，分布式文件存儲管理模塊和工作者集群模塊連接，用于采用惡意工作者檢測技術，剔除惡意工作者并更新工作者集群模塊；

工作者集群模塊，與系統(tǒng)主機和分布式文件存儲管理模塊連接，用于為分布式文件存儲管理模塊提供存儲資源，同時為系統(tǒng)主機提供計算服務。

進一步，所述用戶端分別將文件數(shù)據(jù)與處理任務遞交到分布式文件存儲管理模塊和系統(tǒng)主機，工作者集群模塊中的工作者在執(zhí)行任務時只能接收到相應的任務與數(shù)據(jù)位置，無法獲取整個任務信息和文件數(shù)據(jù)。

進一步，所述分布式文件存儲管理模塊將工作者集群模塊提供的存儲資源劃分成固定大小的存儲塊，同時將用戶上傳數(shù)據(jù)的位置信息遞交給系統(tǒng)主機。

進一步，所述系統(tǒng)主機將每個任務分配到兩個不同的工作者進行處理，并將結果進行比較分析，定位惡意工作者。

進一步，所述工作者集群模塊并行高效的執(zhí)行系統(tǒng)主機分配的任務，擁有巨量的冗余計算資源。

本發(fā)明的另一目的在于提供一種所述云環(huán)境下MapReduce結果正確性保障機制的云環(huán)境下MapReduce結果正確性保障方法，所述云環(huán)境下MapReduce結果正確性保障方法包括以下步驟：

步驟一，用戶將本地數(shù)據(jù)文件上傳到分布式文件存儲管理模塊，并且將數(shù)據(jù)處理任務遞交給系統(tǒng)主機，分布式文件存儲管理模塊將數(shù)據(jù)文件存入工作者集群模塊提供的存儲塊中并將數(shù)據(jù)存儲位置遞交給系統(tǒng)主機，系統(tǒng)主機初始時根據(jù)用戶遞交的任務隨機選取兩個工作者并將任務及數(shù)據(jù)位置分別發(fā)送給這兩個工作者；

步驟二，工作者執(zhí)行完任務后，將結果存入本地磁盤并將結果的哈希值遞交給系統(tǒng)主機，系統(tǒng)主機比較兩個工作者返回的哈希值，如果結果一致，則暫時信任該結果，如果結果不一致，則重新選取兩個工作者執(zhí)行此任務；

步驟三，系統(tǒng)主機更新每個工作者的可信值與兩個工作者間的權重值，利用正確性證明圖定位惡意工作者，同時根據(jù)可信值對工作者進行排序并劃分為可信組與不可信組；

步驟四，系統(tǒng)主機分別在可信組與不可信組中選取一個工作者執(zhí)行相同的任務，重復步驟二，三直至用戶所有任務完成。

進一步，工作者集群模塊提供惡意工作者檢測服務，然后惡意工作者檢測實施的步驟為：

步驟一，一對工作者執(zhí)行完一個任務時，系統(tǒng)主機比較返回的結果并記錄是否一致，然后建立工作者集群模塊的正確性證明圖G，每個頂點代表一個工作者Vi并賦有初始值為1的可信值Ti，可信值Ti是工作者Vi與集群中所有工作者返回結果一致的次數(shù)占它所完成任務次數(shù)的比例，頂點間的邊代表相互間的一致關系并賦有初始值為-1的權重Wi,j,權重值Wi,j是工作者Vi與Vj之間返回結果一致的次數(shù)占它們共同完成任務次數(shù)的比例；

步驟二，在正確性證明圖G中，所有頂點個數(shù)不少于2且頂點間邊的權重值為1的完全子圖構成一個一致團；

步驟三，假設工作者集群模塊中共有N個工作者M個惡意工作者且惡意工作者的數(shù)量少于誠實工作者，經過K輪隨機選取工作者后計算新的Ti與Wi,j并更新圖G，刪除所有權重值Wi,j小于1的邊后將所有孤立的工作者確定為惡意工作者并移出集群；

步驟四，利用Bron-Kerbosch算法尋找圖G中所有工作者數(shù)量大于F的一致團，由于我們假設可靠工作者的數(shù)量大于惡意工作者，F(xiàn)可暫時設定為然后將不屬于任何規(guī)模大于F一致團的工作者判定為惡意工作者并移出集群。

進一步，工作者選取方法，然后工作者選取實施的步驟為：

步驟一，根據(jù)K輪隨機選取工作者后更新的Ti對工作者由高到低排名，將前個工作者劃分到可信組R中，剩下的工作者劃分到不可信組UR中；

步驟二，選取工作者對時先在不可信組UR中隨機選取一個工作者Vi，然后在可信組R中選取另一個工作者；

步驟三，若可信組R中存在與工作者Vi之間邊的權重值Wi,*為-1的工作者，即未與Vi一同執(zhí)行過任務，從中隨機選取一個與Vi執(zhí)行任務；

步驟四，若可信組R中不存在與工作者Vi之間邊的權重值Wi,*為-1的工作者，即均與Vi一同執(zhí)行過任務，此時，若存在與工作者Vi之間邊的權重值Wi,*為1的工作者，從中隨機選取一個與Vi執(zhí)行任務，否則，重新在不可信組UR中隨機選取另一個工作者Vj并重復以上步驟。

本發(fā)明的優(yōu)點及積極效果為：首先在惡意工作者檢測技術方面，我們采用基于帶權重正確性證明圖的尋找一致團方法，區(qū)別于傳統(tǒng)的概率性檢測方法，利用工作者處理任務的歷史日志，在不增加額外開銷的情況下，以完全確定地方式快速準確定位出惡意工作者；然后為了提高定位惡意工作者地速度，我們將工作者集群劃分可信與不可信組，利用將雙副本任務分別分配給其中可能存在不一致關系的工作者的分配策略，提高檢測到工作者間不一致關系的概率；最后，我們將確定性的一致團檢測技術與概率性提高檢測到不一致關系的分配策略有機地結合起來，從而提高惡意工作者的檢測效率，保證用戶任務的正確執(zhí)行。

附圖說明

圖1是本發(fā)明實施例提供的云環(huán)境下MapReduce結果正確性保障機制結構示意圖；

圖中：1、用戶端；2、分布式文件存儲管理模塊；3、系統(tǒng)主機；4、工作者集群模塊。

圖2是本發(fā)明實施例提供的云環(huán)境下MapReduce結果正確性保障方法流程圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

下面結合附圖對本發(fā)明的應用原理作詳細的描述。

如圖1所示，本發(fā)明實施例提供的云環(huán)境下MapReduce結果正確性保障機制包括：用戶端1、分布式文件存儲管理模塊2、系統(tǒng)主機3、工作者集群模塊4。

用戶端1，要將將本地數(shù)據(jù)文件上傳到分布式文件存儲管理模塊2，將數(shù)據(jù)處理任務遞交給系統(tǒng)主機3，同時此后能接收任務處理結果的實體。

分布式文件存儲管理模塊2，與用戶端1、系統(tǒng)主機3和工作者集群模塊4連接，提供數(shù)據(jù)分布式存儲服務，并且代替用戶端1存儲和管理數(shù)據(jù)，同時為系統(tǒng)主機3提供數(shù)據(jù)的分塊與調度服務。理論上講，為了提高用戶數(shù)據(jù)安全性，分布式文件存儲管理模塊2管理工作者集群模塊4的存儲資源，同時控制數(shù)據(jù)的訪問權限。

系統(tǒng)主機3，與用戶端1、分布式文件存儲管理模塊2和工作者集群模塊4連接，用于采用惡意工作者檢測技術，剔除惡意工作者并更新工作者集群模塊。為了提高準確性和檢測速度，利用正確性證明圖尋找一致團與雙副本任務分配相結合的方法，快速準確地定位惡意工作者。

工作者集群模塊4，與分布式文件存儲管理模塊2和系統(tǒng)主機3連接，用于為分布式文件存儲管理模塊2提供存儲資源，同時為系統(tǒng)主機3提供計算服務。為了適應大數(shù)據(jù)任務的需求，集群中巨量工作者是來自不同區(qū)域的服務器。

如圖2所示，本發(fā)明實施例提供的云環(huán)境下MapReduce結果正確性保障方法包括以下步驟：

S201：用戶將本地數(shù)據(jù)文件上傳到分布式文件存儲管理模塊，并且將數(shù)據(jù)處理任務遞交給系統(tǒng)主機，分布式文件存儲管理模塊將數(shù)據(jù)文件存入工作者集群模塊提供的存儲塊中并將數(shù)據(jù)存儲位置遞交給系統(tǒng)主機；

S202：系統(tǒng)主機初次與工作者集群模塊建立連接時，根據(jù)用戶遞交的任務隨機選取兩個工作者并將任務及數(shù)據(jù)位置分別發(fā)送給這兩個工作者，工作者執(zhí)行完任務后，將結果存入本地磁盤并將結果的哈希值遞交給系統(tǒng)主機，系統(tǒng)主機比較兩個工作者返回的哈希值，如果結果一致，則暫時信任該結果，如果結果不一致，則重新選取兩個工作者執(zhí)行此任務；

S203：根據(jù)工作者返回結果的一致關系，系統(tǒng)主機建立工作者集群模塊的正確性證明圖G，每個頂點代表一個工作者Vi并賦有初始值為1的可信值Ti，可信值Ti是工作者Vi與集群中所有工作者返回結果一致的次數(shù)占它所完成任務次數(shù)的比例，頂點間的邊代表相互間的一致關系并賦有初始值為-1的權重Wi,j,權重值Wi,j是工作者Vi與Vj之間返回結果一致的次數(shù)占它們共同完成任務次數(shù)的比例；

S204：在正確性證明圖G中，所有頂點個數(shù)不少于2且頂點間邊的權重值為1的完全子圖構成一個一致團，假設工作者集群模塊中共有N個工作者M個惡意工作者且惡意工作者的數(shù)量少于誠實工作者，經過K輪隨機選取工作者后計算新的Ti與Wi,j并更新圖G，刪除所有權重值Wi,j小于1的邊后將所有孤立的工作者確定為惡意工作者并移出集群；

S205：利用Bron-Kerbosch算法尋找圖G中所有工作者數(shù)量大于F的一致團，由于我們假設可靠工作者的數(shù)量大于惡意工作者，F(xiàn)可暫時設定為然后將不屬于任何規(guī)模大于F一致團的工作者判定為惡意工作者并移出集群；

S206：經過K輪隨機選取工作者后，更新的Ti對工作者由高到低排名，將前個工作者劃分到可信組R中，剩下的工作者劃分到不可信組UR中；

S207：選取工作者對時先在不可信組UR中隨機選取一個工作者Vi，然后在可信組R中選取另一個工作者；

如果可信組R中存在與工作者Vi之間邊的權重值Wi,*為-1的工作者，即未與Vi一同執(zhí)行過任務，從中隨機選取一個與Vi執(zhí)行任務；

如果可信組R中不存在與工作者Vi之間邊的權重值Wi,*為-1的工作者，即均與Vi一同執(zhí)行過任務，此時，若存在與工作者Vi之間邊的權重值Wi,*為1的工作者，從中隨機選取一個與Vi執(zhí)行任務，否則，重新在不可信組UR中隨機選取另一個工作者Vj并重復該步驟。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內。