專利名稱：一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于并行系統(tǒng)容錯(cuò)的技術(shù)領(lǐng)域，涉及利用冗余計(jì)算對(duì)關(guān)鍵計(jì)算任務(wù)進(jìn)行檢錯(cuò)和恢復(fù)，特別提出一種基于容錯(cuò)數(shù)據(jù)塊二次劃分及二次調(diào)度的故障恢復(fù)策略。
背景技術(shù)：
計(jì)算機(jī)系統(tǒng)的容錯(cuò)處理是一個(gè)不容忽視的問(wèn)題。一個(gè)系統(tǒng)是容錯(cuò)的，指的是它的程序在出現(xiàn)邏輯故障的情況下仍然能夠正確的運(yùn)行。近年來(lái)，隨著系統(tǒng)結(jié)構(gòu)的復(fù)雜性增加，半導(dǎo)體制造工藝的發(fā)展，線寬的降低以及集成度的提高，從用戶桌面系統(tǒng)到分布式計(jì)算環(huán)境，乃至大規(guī)模并行計(jì)算機(jī)系統(tǒng)，功耗和可靠性問(wèn)題都日漸突出。計(jì)算機(jī)系統(tǒng)的可靠性反映了系統(tǒng)為用戶提供預(yù)定服務(wù)的能力，可靠性的高低與系統(tǒng)故障率緊密相關(guān)。容錯(cuò)技術(shù)的目的在于降低計(jì)算機(jī)系統(tǒng)的故障率，或者在一 定故障率的如提下，提聞系統(tǒng)能正確提供服務(wù)的概率。容錯(cuò)技術(shù)雖然多樣，但具有一個(gè)共同的本質(zhì)，就是進(jìn)行一定程度的冗余計(jì)算。所謂冗余計(jì)算是指在對(duì)關(guān)鍵任務(wù)進(jìn)行多副本的同步計(jì)算。最基本的冗余包括時(shí)間冗余和空間冗余。時(shí)間冗余直觀地講就是復(fù)算(recompute)，包括重復(fù)進(jìn)行的計(jì)算和重復(fù)進(jìn)行的通信，以及對(duì)多次計(jì)算結(jié)果的比較?？臻g冗余又可以細(xì)分為軟件冗余、硬件冗余和信息冗余。軟件冗余就是設(shè)置冗余的軟件模塊；硬件冗余就是設(shè)置冗余的硬件部件；而信息冗余就是通過(guò)使用附加的數(shù)據(jù)來(lái)描述某些內(nèi)部狀態(tài)，通過(guò)對(duì)這些附加數(shù)據(jù)的考察就可以實(shí)現(xiàn)檢錯(cuò)和容錯(cuò)。通過(guò)對(duì)現(xiàn)有的研究工作分析研究發(fā)現(xiàn)，目前國(guó)內(nèi)外已有的并行系統(tǒng)的成果主要基于硬件冗余和軟件冗余機(jī)制，且主要用于故障檢測(cè)，而針對(duì)故障恢復(fù)機(jī)制的研究還很少。當(dāng)前主流的軟件容錯(cuò)策略面向時(shí)間冗余的方法，導(dǎo)致計(jì)算失敗的節(jié)點(diǎn)需要重新進(jìn)行任務(wù)恢復(fù)，由于其恢復(fù)時(shí)間大于前一個(gè)檢查點(diǎn)和故障發(fā)生時(shí)刻之間的時(shí)間間隔，從而導(dǎo)致大量剩余的計(jì)算資源處于閑置的狀態(tài)，而這些問(wèn)題導(dǎo)致了并行效率降低以及計(jì)算資源的浪費(fèi)。

發(fā)明內(nèi)容
本發(fā)明針對(duì)上述問(wèn)題，提出了基于冗余計(jì)算的故障檢測(cè)方法以及基于二次調(diào)度的故障恢復(fù)方法，能夠提高并行效率。本發(fā)明一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法采用的技術(shù)方案如下a)對(duì)關(guān)鍵計(jì)算任務(wù)進(jìn)行二次冗余或三次冗余計(jì)算策略及錯(cuò)誤判定(I)容錯(cuò)調(diào)度策略采用二次調(diào)度方法，包括冗余計(jì)算策略和調(diào)度方法。冗余計(jì)算策略分為二次冗余和三次冗余。二次冗余計(jì)算開銷小，但只能判斷任務(wù)是否出錯(cuò)，不能確定采用哪個(gè)結(jié)果；而三次冗余可確定正確結(jié)果，但開銷大。冗余策略RI可以根據(jù)集群計(jì)算節(jié)點(diǎn)空閑數(shù)和任務(wù)數(shù)確定如下
權(quán)利要求
1.一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法，其特征在于，所述方法包括a)對(duì)關(guān)鍵計(jì)算任務(wù)進(jìn)行二次冗余或三次冗余計(jì)算策略及錯(cuò)誤判定山)基于內(nèi)存頁(yè)調(diào)度策略的容錯(cuò)數(shù)據(jù)塊的理論層次結(jié)構(gòu)；c)基于空閑節(jié)點(diǎn)個(gè)數(shù)以及最小數(shù)據(jù)塊的容錯(cuò)數(shù)據(jù)塊的二次劃分。
2.根據(jù)權(quán)利要求I所述的一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法，其特征在于，所述冗余計(jì)算策略的確定方法為結(jié)合集群計(jì)算節(jié)點(diǎn)空閑數(shù)和任務(wù)數(shù)，依據(jù)冗余策略RI確定合適的計(jì)算策略；其中，冗余策略RI為
3.根據(jù)權(quán)利要求I所述的一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法，其特征在于，所述對(duì)關(guān)鍵計(jì)算任務(wù)進(jìn)行二次冗余計(jì)算的方法包括 步驟201，具有相同功能的兩個(gè)模塊共同執(zhí)行同一個(gè)任務(wù)； 步驟202，錯(cuò)誤檢測(cè)裁決器對(duì)兩個(gè)節(jié)點(diǎn)的計(jì)算結(jié)果進(jìn)行比較判定，若求得的值大于閾值ε，則執(zhí)行步驟203 ;若不大于閾值ε，則執(zhí)行步驟204 ； 其中，裁決器判定公式為
4.根據(jù)權(quán)利要求I所述的一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法，其特征在于，所述對(duì)關(guān)鍵計(jì)算任務(wù)進(jìn)行三次冗余計(jì)算的方法包括 步驟301，具有相同功能的三個(gè)模塊共同執(zhí)行同一個(gè)任務(wù)； 步驟302，錯(cuò)誤檢測(cè)裁決器對(duì)三個(gè)節(jié)點(diǎn)的計(jì)算結(jié)果進(jìn)行兩兩比較判定，若求得的值均不大于閾值ε，則執(zhí)行步驟306 ;若不是，則執(zhí)行步驟303繼續(xù)判定； 其中，裁決器判定公式為
5.根據(jù)權(quán)利要求I所述的一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法，其特征在于，所述基于內(nèi)存頁(yè)調(diào)度策略的出錯(cuò)任務(wù)對(duì)應(yīng)數(shù)據(jù)塊的層次結(jié)構(gòu)構(gòu)建包括 步驟401，基于內(nèi)存頁(yè)調(diào)度策略，可以得到最小數(shù)據(jù)單位fmin;按照四叉樹結(jié)構(gòu)組合得到復(fù)合數(shù)據(jù)，從而得到一個(gè)樹結(jié)構(gòu)； 步驟402，根據(jù)計(jì)算結(jié)點(diǎn)內(nèi)存大小M和可用比例δ，計(jì)算復(fù)合數(shù)據(jù)塊最大值fmax，并確定四叉樹的層數(shù)I ;
6.根據(jù)權(quán)利要求I所述的一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法，其特征在于，所述基于空閑節(jié)點(diǎn)個(gè)數(shù)以及最小數(shù)據(jù)塊的容錯(cuò)數(shù)據(jù)塊二次劃分方法包括 步驟501，掃描當(dāng)前集群系統(tǒng)中的空閑節(jié)點(diǎn)得到當(dāng)前空閑節(jié)點(diǎn)的個(gè)數(shù)n，可求得按空閑節(jié)點(diǎn)劃分的理論劃分層次K為··
全文摘要
本發(fā)明公開了一種面向數(shù)據(jù)并行計(jì)算的容錯(cuò)處理方法，屬于并行系統(tǒng)容錯(cuò)的技術(shù)領(lǐng)域，是一種基于出錯(cuò)任務(wù)對(duì)應(yīng)的數(shù)據(jù)塊進(jìn)行二次劃分及二次調(diào)度的錯(cuò)誤恢復(fù)策略與方法。該方法包括對(duì)關(guān)鍵計(jì)算任務(wù)進(jìn)行二次冗余或三次冗余計(jì)算及結(jié)果判定；基于內(nèi)存頁(yè)調(diào)度策略的數(shù)據(jù)組成結(jié)構(gòu)的構(gòu)造方法；基于空閑節(jié)點(diǎn)個(gè)數(shù)以及最小數(shù)據(jù)塊的容錯(cuò)數(shù)據(jù)塊的二次劃分。本發(fā)明完全可應(yīng)用于大規(guī)模海量數(shù)據(jù)的并行數(shù)字地形分析的高性能計(jì)算的容錯(cuò)處理場(chǎng)合，例如，規(guī)則格網(wǎng)并行插值、坡度坡向并行計(jì)算、洼地填平并行計(jì)算等地形因子提??；可以應(yīng)用于地理信息處理的高性能計(jì)算；也可以應(yīng)用于基于地理信息的空間決策分析和數(shù)據(jù)挖掘等應(yīng)用場(chǎng)合，提高處理效率。
文檔編號(hào)G06F11/14GK102902603SQ20121036627
公開日2013年1月30日 申請(qǐng)日期2012年9月27日 優(yōu)先權(quán)日2012年9月27日
發(fā)明者竇萬(wàn)峰, 楊坤, 許敏, 宋效東, 湯國(guó)安 申請(qǐng)人:南京師范大學(xué)