一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法及服務(wù)器的制造方法
【專利摘要】本發(fā)明實(shí)施例提供了一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法。本發(fā)明實(shí)施例中通過判斷M個窗口中某一個窗口中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件，來查找數(shù)據(jù)流分割點(diǎn)，當(dāng)某一個窗口中至少部分?jǐn)?shù)據(jù)不滿足預(yù)定條件，則跳過N*U個長度，獲得下一個潛在分割點(diǎn)，提高了數(shù)據(jù)流分割點(diǎn)查找效率。
【專利說明】一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法及服務(wù)器

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息【技術(shù)領(lǐng)域】，尤其涉及一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法及服務(wù)器。

【背景技術(shù)】
[0002]數(shù)據(jù)量的不斷增長，使得提供充足的數(shù)據(jù)存儲成為當(dāng)前存儲領(lǐng)域面臨的嚴(yán)峻挑戰(zhàn)。目前應(yīng)對這一挑戰(zhàn)的一種方式為利用需要存儲的數(shù)據(jù)的冗余特性，使用重復(fù)數(shù)據(jù)刪除技術(shù)，從而減少存儲的數(shù)據(jù)量。
[0003]現(xiàn)有技術(shù)中，基于內(nèi)容分塊(Content Defined Chunk, CDC)的重復(fù)數(shù)據(jù)刪除算法，首先要將待存儲的數(shù)據(jù)流分成很多數(shù)據(jù)塊，而將數(shù)據(jù)流分成數(shù)據(jù)塊就需要在數(shù)據(jù)流中查找合適的分割點(diǎn)，兩個相鄰數(shù)據(jù)流分割點(diǎn)之間的數(shù)據(jù)構(gòu)成一個數(shù)據(jù)塊。計算數(shù)據(jù)塊的特征值，從而查找是否存在相同特征值的數(shù)據(jù)塊，如果查找到相同特征指的數(shù)據(jù)塊，則認(rèn)為存在重復(fù)數(shù)據(jù)。具體的，基于內(nèi)容分塊的重復(fù)數(shù)據(jù)刪除技術(shù)是應(yīng)用滑動窗口技術(shù)(Sliding WindowTechnique)基于文件的內(nèi)容來查找分塊的分割點(diǎn)，即通過計算窗口內(nèi)數(shù)據(jù)的Rabin指紋來確定數(shù)據(jù)流分割點(diǎn)。假設(shè)從數(shù)據(jù)流的左邊向右邊查找分割點(diǎn)，每次計算滑動窗口內(nèi)數(shù)據(jù)的指紋，并且將指紋值基于給定的整數(shù)K取模后，與給定的余數(shù)R進(jìn)行比對；若相等則窗口的右端為數(shù)據(jù)流分割點(diǎn)，否則將窗口繼續(xù)往右滑動一個字節(jié)，依次循環(huán)地進(jìn)行計算和比對，直到到達(dá)數(shù)據(jù)流末尾。在基于內(nèi)容分塊的重復(fù)數(shù)據(jù)刪除過程中，查找數(shù)據(jù)流分割點(diǎn)，需要消耗大量的計算資源，從而成為提升重復(fù)數(shù)據(jù)刪除性能的瓶頸。


【發(fā)明內(nèi)容】

[0004]第一方面，本發(fā)明實(shí)施例提供了一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)
[0005]k 確定 M 個點(diǎn) px、點(diǎn) Px 對應(yīng)的窗口 Wx[px_Ax，px+Bj 和窗口 Wx [px_Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M ^ 2, Ax和Bx為整數(shù)；所述方法包括:
[0006]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Ici確定點(diǎn)Piz及所述點(diǎn)Piz對應(yīng)的窗口WiJpiz-Az, piz+Bz]，i 和 z 為整數(shù)，并且 I 彡 z 彡 M ;
[0007]b)判斷所述窗口 Wiz[piz_Az, piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0008]當(dāng)所述窗口Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz,從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax || + || (Ic1-Pix) || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)；
[0009]c)當(dāng)所述當(dāng)前潛在分割點(diǎn)Ici的皿個窗口中的每一個窗口 Wix[pix_Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0010]結(jié)合第一方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個點(diǎn)Pe和Pf，滿足條件 Ae = Af, Be = Bf, Ce = Cf。
[0011]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和？。相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
[0012]結(jié)合第一方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
[0013]結(jié)合第一方面，或第一方面第一至第三種任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0014]使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0015]結(jié)合第一方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述使用隨機(jī)函數(shù)判斷所述窗口 Wiz[Piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體為使用hash函數(shù)判斷所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0016]結(jié)合第一方面，或第一方面第一至第五種任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，當(dāng)所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)Piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pi。對應(yīng)的窗口ffic[pic-Ac,pic+Bc]的左邊界與所述窗口 Wiz[piz-Az，piz+Bz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pic;對應(yīng)的所述窗口 WiJpicH^piJBJ的左邊界位于所述窗口Wiz[piz-Az, piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。是根據(jù)所述規(guī)貝U，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
[0017]結(jié)合第一方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，使用隨機(jī)函數(shù)判斷所述窗口 Wiz[Piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0018]在所述窗口 Wiz [piz_Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為a。,表示所述F*H個字節(jié)中第m個


^1,1 ai'2 …^1,8
字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:ar ": 8 ，


\α￥*ΗΛ aF*H二 …j
當(dāng)an，n = I時，Vamjn = 1，當(dāng)Bni,n = O時，Vam；n = -1，其中a"表示B111,廣、』中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:(V VV λ
ν α?,?ν α\α
Κ:1 Κ:'2:，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
Vγ...V

hi'i hl2...hi%
陣R，所述矩陣R表示為:? k〒 7 V ，將所述矩陣Va的第m行與所述矩陣
^F*H,2...J
R的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…
+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
[0019]第二方面，本發(fā)明實(shí)施例提供了一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口Wx[k-Ax, k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)；
[0020]所述方法包括:
[0021]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Iii確定對應(yīng)的窗口 WiJk1-Az, k^Bj，i和z為整數(shù)，并且I彡z彡Μ;
[0022]b)判斷所述窗口 WiJk1-Az, k^Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0023]當(dāng)所述窗口WiJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N*U不大于Il Bz Il +maxx( Il Ax || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)；
[0024]c)當(dāng)所述當(dāng)前潛在分割點(diǎn)Iii的M個窗口中的每一個窗口 WiJk1-Ax, k^Bj中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0025]結(jié)合第二方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個窗口Wie Lk1-Ae, VBe]與 WifLk1-Af, VBf]，滿足條件:I Ae+Be | = | Af+Bf |, Ce = Cfo
[0026]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:κ和Af為正整數(shù)。
[0027]結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:Ae-l = Af, Be+1 = Bf。
[0028]結(jié)合第二方面，或第二方面第一至第三任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，判斷所述窗口 WiJk1-AukdBJ中至少部分?jǐn)?shù)據(jù)是否所述滿足預(yù)定條件Cz，具體包括:
[0029]使用隨機(jī)函數(shù)判斷所述窗口 WJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0030]結(jié)合第二方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述使用隨機(jī)函數(shù)判斷所述窗口 Wiz Lk1-Az, ki+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體為使用hash函數(shù)判斷所述窗口 WiJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0031]結(jié)合第二方面，或第二方面第一至第五任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，當(dāng)所述窗口 Wiz [k1-Az，ki+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 Uk1-A。，h+B。]的左邊界與所述窗口 Wiz[k1-Az，h+Bj的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口 WiJH ki+B。]的左邊界位于所述窗口 Wiz[H I^+BJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-Ac^ h+B。]是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
[0032]結(jié)合第二方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，使用隨機(jī)函數(shù)判斷所述窗口 Wiz[k1-Az，h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0033]在所述窗口 WiJk1-AzJjBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為,表示所述F*H個字節(jié)中第m個



氣 I a\,2 ■..α?,8
字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:y aT，
aF*H'1...aF*HS J
當(dāng)an，n = I時，Vamjn = 1，當(dāng)= 0時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:
r Cu Ku …、
1Valf.Ffl.2,8 ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
Λ VaFm,2^aFliHS j
(h h h λ
liU〃1,2...〃1,8
陣R，所述矩陣R表示為:h:;' k丨1':，將所述矩陣Va的第m行與所述矩陣
hi...^F*H,a j
R的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…
+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
[0034]第三方面，本發(fā)明實(shí)施例提供了一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，所述服務(wù)器包括中央處理單元和主存儲器，所述中央處理單元與所述主存儲器通信，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)px、點(diǎn)px對應(yīng)的窗口 Wx [px-Ax，px+Bx]和窗口 Wx[px-Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)；
[0035]所述主存儲器用于存儲可執(zhí)行指令，所述中央處理單元執(zhí)行所述可執(zhí)行指令，以執(zhí)行如下步驟:
[0036]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Ici確定點(diǎn)Piz及所述點(diǎn)Piz對應(yīng)的窗口WiJpiz-Az, piz+Bz]，i 和 z 為整數(shù)，并且 I 彡 z 彡 M ;
[0037]b)判斷所述窗口 Wiz [piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0038]當(dāng)所述窗口Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz,從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax || + || (Ic1-Pix) || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)；
[0039]c)當(dāng)所述當(dāng)前潛在分割點(diǎn)Ici的皿個窗口中的每一個窗口 Wix[pix_Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件cx，則所述當(dāng)前潛在分割點(diǎn)ki為數(shù)據(jù)流分割點(diǎn)。
[0040]結(jié)合第三方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個點(diǎn)Pe和Pf，滿足條件 Ae = Af, Be = Bf, Ce = Cf。
[0041]結(jié)合第三方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf，相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
[0042]結(jié)合第三方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
[0043]結(jié)合第三方面，或第一至第三任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，所述中央處理單元具體用于
[0044]使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0045]結(jié)合第三方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述中央處理單元具體用于使用hash函數(shù)判斷所述窗口 Wiz[piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0046]結(jié)合第三方面，或第一至第五任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，當(dāng)所述窗口 Wiz [piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pi。對應(yīng)的窗口 Wic;[Pic;-A。，pic+Bc]的左邊界與所述窗口 Wiz[piz-Az, piz+Bj的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。對應(yīng)的所述窗口 WjpicH^piJBj的左邊界位于所述窗口 Wiz[piz-Az，piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
[0047]結(jié)合第三方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，所述中央處理單元使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz,具體包括:
[0048]在所述窗口 Wiz [piz_Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為a。,表示所述F*H個字節(jié)中第m個
^ G1 j O12...α18 Λ
字節(jié)的第I到第8位，所述f*h個字節(jié)對應(yīng)的位可以表示為:1a；'8 ，
KaF*H\l αβ H …j
當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:
,Ku Ku2 …^、
Va:>l VT 7 vT ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
Vν...V
\ v aF*H,l t Hy aF*H^ J
(h h h ^
ilI5I〃1,2 … fiU
陣R，所述矩陣R表示為:?丨h(huán)]? 7，將所述矩陣Va的第m行與所述矩陣

T*H 'I h1...j
R的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…
+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。第四方面，本發(fā)明實(shí)施例提供了一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，所述服務(wù)器包括中央處理單元和主存儲器，所述中央處理單元與所述主存儲器通信，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口 Wx[k-Ax，k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)；
[0049]所述主存儲器用于存儲可執(zhí)行指令，所述中央處理單元執(zhí)行所述可執(zhí)行指令，以執(zhí)行以下步驟:
[0050]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Iii確定對應(yīng)的窗口 WiJk1-Az, k^Bj，i和z為整數(shù)，并且I彡z彡Μ;
[0051]b)判斷所述窗口 WiJk1-Az, k^Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0052]當(dāng)所述窗口WiJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N*U不大于Il Bz Il +maxx( Il Ax || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)；
[0053]c)當(dāng)所述當(dāng)前潛在分割點(diǎn)Iii的M個窗口中的每一個窗口 WiJk1-Ax, k^Bj中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0054]結(jié)合第四方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個窗口Wie Lk1-Ae, VBe]與 WifLk1-Af, VBf]，滿足條件:I Ae+Be | = | Af+Bf |, Ce = Cfo
[0055]結(jié)合第四方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:κ和Af為正整數(shù)。
[0056]結(jié)合第四方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:Ae-l = Af, Be+1 = Bf。
[0057]結(jié)合第四方面，或第一至第三任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，所述中央處理單元具體用于
[0058]使用隨機(jī)函數(shù)判斷所述窗口 WJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0059]結(jié)合第四方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述中央處理單元具體用于使用hash函數(shù)判斷所述窗口 Wiz[k1-Az，h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0060]結(jié)合第四方面，或第一至第五任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，當(dāng)所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)匕沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 WiJk1-Ac^VBJ的左邊界與所述窗口 WiJk1-AzAfBz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口WiJk1-Ac, ^+BJ的左邊界位于所述窗口 WiJk1-Az, I^+BJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-Ac^ k^Bj是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
[0061]結(jié)合第四方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，所述中央處理單元使用隨機(jī)函數(shù)判斷所述窗口 WJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz,具體包括:
[0062]在所述窗口 WiJk1-AzJjBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為,表示所述F*H個字節(jié)中第m個


氣1 α\Λ ".flI,8
字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:,1 α:'2 7 0V ，
aFm'2 …J
當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:
r Kul Ku …匕8、
K:A7，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
VV...ν
、1 r aF*Har aF*H^ j

^1,1 ^1.2 …,Yx
陣R，所述矩陣R表示為:U kf，將所述矩陣Va的第m行與所述矩陣

^?*Η,\ hi...^1F* Hfi j
R的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…
+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
[0063]第五方面，本發(fā)明實(shí)施例提供了一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)px、點(diǎn)px對應(yīng)的窗口Wx[px-Ax, px+Bx]和窗口 Wx[px-Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，其中，x為I到M連續(xù)的自然數(shù)，M彡2，Ax和BxS整數(shù);
[0064]所述服務(wù)器包括:處理單元，用于執(zhí)行步驟a):
[0065]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Ici確定點(diǎn)Piz及所述點(diǎn)Piz對應(yīng)的窗口WiJpiz-Az, piz+Bz]，i 和 z 為整數(shù)，并且 I 彡 z 彡 M ;
[0066]判斷處理單元，用于判斷所述窗口 Wiz[piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0067]當(dāng)所述窗口Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz,從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax Il + Il (Ic1-Pix) Il )，獲得新的潛在分割點(diǎn)，則所述確定單元為所述新的潛在分割點(diǎn)執(zhí)行步驟a)；
[0068]當(dāng)所述當(dāng)前潛在分割點(diǎn)Iii的M個窗口中的每一個窗口 Wix[pix-Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0069]結(jié)合第五方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個點(diǎn)Pe和Pf，滿足條件 Ae = Af, Be = Bf, Ce = Cf。
[0070]結(jié)合第五方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf，相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
[0071]結(jié)合第五方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間距離為I個U。
[0072]結(jié)合第五方面，或第一至第三任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，所述判斷處理單元具體使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0073]結(jié)合第五方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述判決處理單元具體用于使用hash函數(shù)判斷所述窗口 Wiz[piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0074]結(jié)合第五方面，或第一至第五任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，所述判斷處理單元用于當(dāng)所述窗口 Wiz[Piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，所述確定單元為所述新的潛在分割點(diǎn)執(zhí)行步驟a)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pic;對應(yīng)的窗口 Wic; [pic-Ac, pic+Bc]的左邊界與所述窗口 Wiz[piz-Az，piz+Bz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口ffic[pic-Ac,pic+Bc]的左邊界位于所述窗口 Wiz[piz-Az，piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 H-AyPk+B。]是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
[0075]結(jié)合第五方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，所述判斷處理單元具體用于使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0076]在所述窗口 Wiz [piz_Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為a。,表示所述F*H個字節(jié)中第m個


a1.\ a\,2...氣8
字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:7，
aF'*H.2 …aF*H^ J
當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:'Kul Vahl …匕8、
K:A K!a 7 ^fl.2,8 ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
VV...ν
、1 r aF*Har aF*H^ j
f h h b ^
iiUn\2 … nl，8
陣R，所述矩陣R表示為:? krh ，將所述矩陣Va的第m行與所述矩陣
^1FtHa...^1F* H? j
R的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…
+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
[0077]第六方面，本發(fā)明實(shí)施例提供了一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口Wx[k-Ax, k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)；
[0078]所述服務(wù)器包括:確定單元，用于執(zhí)行步驟a:
[0079]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Iii確定對應(yīng)的窗口 WiJk1-Az, k^Bj，i和z為整數(shù)，并且I彡z彡Μ;
[0080]判斷處理單元，用于判斷所述窗口 WJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0081]當(dāng)所述窗口 WiJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U, N*U不大于Il Bz Il +maxx( Il Ax || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)；
[0082]c當(dāng)所述當(dāng)前潛在分割點(diǎn)Iii的M個窗口中的每一個窗口 WiJk1-Ax, k^Bj中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0083]結(jié)合第六方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個窗口Wie Lk1-Ae, VBe]與 WifLk1-Af, VBf]，滿足條件:I Ae+Be | = | Af+Bf |, Ce = Cfo
[0084]結(jié)合第六方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:κ和Af為正整數(shù)。
[0085]結(jié)合第六方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:Ae-l = Af, Be+1 = Bf。
[0086]結(jié)合第六方面，或第一至第三任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，所述判斷處理單元具體用于
[0087]使用隨機(jī)函數(shù)判斷所述窗口 WJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0088]結(jié)合第六方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述判斷處理單元具體用于使用hash函數(shù)判斷所述窗口 Wiz[k1-Az，h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0089]結(jié)合第六方面，或第一至第五任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，所述判斷處理單元用于當(dāng)所述窗口 WiJk1-AzAJBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)匕沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，所述確定單元為所述新的潛在分割點(diǎn)執(zhí)行步驟a)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 WiJk1-Ac^kfBJ的左邊界與所述窗口 WiJk1-Az^fBJ的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口WiJk1-Ac, ^+BJ的左邊界位于所述窗口 WiJk1-Az, I^+BJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-Ac^ k^Bj是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
[0090]結(jié)合第六方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，所述判斷處理單元使用隨機(jī)函數(shù)判斷所述窗口 WiJk1-Az^fBz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz,具體包括:
[0091]在所述窗口 WiJk1-AzAfBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為,表示所述F*H個字節(jié)中第m個



氣 I a\,2 ".°1,8
字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:y a:28 ，
aFma … 以 FU j
當(dāng) an，n = I 時，Vamjn = 1，當(dāng) Bni,n = O 時，Vam；n = -1，其中 a"表示中的任一個，
所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:I11 K12 …‘、
Κ.2>1 Κ:'2^:'8 ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
VV...V
V t H,I y aF*H,2P //,8 J

f Ii11 h'.:.//丨.x.、
陣R，所述矩陣R表示為:U ；Γ，將所述矩陣Va的第m行與所述矩陣


KhF*H>l hFtH 2...^1F* H S J
R的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…
+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
[0092]第七方面，本發(fā)明實(shí)施例提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)用于存儲可執(zhí)行指令，服務(wù)器執(zhí)行所述可執(zhí)行指令以查找數(shù)據(jù)流分割點(diǎn)，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)px、點(diǎn)px對應(yīng)的窗口Wx[px-Ax, px+Bx]和窗口 Wx[px-Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，其中，x為I到M連續(xù)的自然數(shù)，M彡2，Ax和BxS整數(shù);
[0093]當(dāng)所述服務(wù)器執(zhí)行所述可執(zhí)行指令，以執(zhí)行以下步驟:
[0094]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Ici確定點(diǎn)Piz及所述點(diǎn)Piz對應(yīng)的窗口WiJpiz-Az, piz+Bz]，i 和 z 為整數(shù)，并且 I 彡 z 彡 M ;
[0095]b)判斷所述窗口 Wiz [piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0096]當(dāng)所述窗口Wiz[piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax || + || (Ic1-Pix) || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)；
[0097]c)當(dāng)所述當(dāng)前潛在分割點(diǎn)Ici的皿個窗口中的每一個窗口 Wix[pix_Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0098]結(jié)合第七方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個點(diǎn)Pe和Pf，滿足條件 Ae = Af, Be = Bf, Ce = Cf。
[0099]結(jié)合第七方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf，相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
[0100]結(jié)合第七方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
[0101]結(jié)合第七方面，或第七方面第一至第三任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，所述服務(wù)器判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz,具體包括:
[0102]所述服務(wù)器使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0103]結(jié)合第七方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述服務(wù)器使用隨機(jī)函數(shù)判斷所述窗口 Wiz[Piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0104]所述服務(wù)器使用hash函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0105]結(jié)合第七方面，或第七方面第一至第五任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，當(dāng)所述窗口 Wiz [Piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)Piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pic;對應(yīng)的窗口 Wic;[pic;-A。，pic+Bc]的左邊界與所述窗口 Wiz[piz-Az，piz+Bj的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。對應(yīng)的所述窗口 Wic;[pic;-A。，pic+Bc]的左邊界位于所述窗口 Wiz[Piz-Az, piz+Bj范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
[0106]結(jié)合第七方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，使用隨機(jī)函數(shù)判斷所述窗口 Wiz[Piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0107]在所述窗口 Wiz [piz_Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為a。,表示所述F*H個字節(jié)中第m個


aUl 氣2 … 氣8
字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:，α:2Ix ，當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣\，所述矩陣Va表示為:
(VVV λ
ν α?αV Cih2ν al,8
K:J VT T Κ:'8 ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
VV...ν
Vα￥*ΗΛ v aF*H2v aF*HS J
(h h h λ
iiI5I η\,2 … "1,8
陣R，所述矩陣R表示為:1 亍 Y ；,H ，將所述矩陣Va的第m行與所述矩陣
h h h
I2 …nF*U ^ J
R的第m行的隨機(jī)數(shù)相乘,然后永和付到一個值,具體表示為Sam = Vam；^hnij!+Vanij2*hm；2+...+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
[0108]第八方面，本發(fā)明實(shí)施例提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)用于存儲可執(zhí)行指令，服務(wù)器執(zhí)行所述可執(zhí)行指令以查找數(shù)據(jù)流分割點(diǎn)，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口Wx[k-Ax, k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)；當(dāng)所述服務(wù)器執(zhí)行所述可執(zhí)行指令，以執(zhí)行以下步驟:
[0109]a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Iii確定對應(yīng)的窗口 WJk1-Az, k^Bj，i和z為整數(shù)，并且KzSM;
[0110]b)判斷所述窗口 WJk1-Az, ki+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0111]當(dāng)所述窗口WJk1-Az, VBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N*U不大于Il Bz Il +maxx( Il Ax || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)；
[0112]c)當(dāng)所述當(dāng)前潛在分割點(diǎn)Iii的M個窗口中的每一個窗口 WJk1-Ax, VBJ中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0113]結(jié)合第八方面，第一種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:至少兩個窗口Wie Lk1-Ae, VBe]與 WifLk1-Af, VBf]，滿足條件:I Ae+Be | = | Af+Bf |, Ce = Cfo
[0114]結(jié)合第八方面的第一種可能的實(shí)現(xiàn)方式，第二種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括:K和Af為正整數(shù)。
[0115]結(jié)合第八方面的第一種可能的實(shí)現(xiàn)方式或第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，所述規(guī)則還包括=Ae-1 = Af, %- + 1= Β.丨?丨 /
[0116]結(jié)合第八方面，或第八方面第一到第三任一可能的實(shí)現(xiàn)方式，第四種可能的實(shí)現(xiàn)方式中，所述服務(wù)器判斷所述窗口 Wiz[k1-Az，ki+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz,具體包括:
[0117]使用隨機(jī)函數(shù)判斷所述窗口 Wiz[k1-Az，h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0118]結(jié)合第八方面的第四種可能的實(shí)現(xiàn)方式，第五種可能的實(shí)現(xiàn)方式中，所述服務(wù)器使用隨機(jī)函數(shù)判斷所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體為所述服務(wù)器使用hash函數(shù)判斷所述窗口 WJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0119]結(jié)合第八方面，或第八方面第一到第五任一可能的實(shí)現(xiàn)方式，第六種可能的實(shí)現(xiàn)方式中，當(dāng)所述窗口 WJk1-Az, VBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 Uk1-A。，h+B。]的左邊界與所述窗口 Wiz[ki_Az，h+Bj的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口 WiJH ki+B。]的左邊界位于所述窗口 Wiz[H I^+BJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-Ac^ h+B。]是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
[0120]結(jié)合第八方面的第四種可能的實(shí)現(xiàn)方式，第七種可能的實(shí)現(xiàn)方式中，使用隨機(jī)函數(shù)判斷所述窗口 Wiz[k1-Az，ki+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0121]在所述窗口 WiJk1-AzAfBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為a^,,表示所述F*H個字節(jié)中第m個


aU aU ".01,8
字節(jié)的第I到第8位，所述f*h個字節(jié)對應(yīng)的位可以表示為:七丨ar，，
V*** aFieH^ j
當(dāng) an，n = I 時，Vamjn = 1，當(dāng) Bni,n = O 時，Vam；n = -1，其中 a"表示中的任一個，
所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:
^ Ku Ku …Cu、
Va:A VT 7 Va:'& ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
VV...V
aF*丑，I v aFmav aF*H^ J
f γ.1.1, \

Ul，l 氣2 … 氣8
陣R，所述矩陣R表示為:卜1 卜 T h?，將所述矩陣Va的第m行與所述矩陣


Λ ^F*H,2 ■.■ ^1F* H? j
R的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…
+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
[0122]本發(fā)明實(shí)施例中通過判斷M個窗口中某一個窗口中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件，來查找數(shù)據(jù)流分割點(diǎn)，當(dāng)某一個窗口中至少部分?jǐn)?shù)據(jù)不滿足預(yù)定條件，則跳過N*U個長度，獲得下一個潛在分割點(diǎn)，提高了數(shù)據(jù)流分割點(diǎn)查找效率。

【專利附圖】

【附圖說明】
[0123]圖1為本發(fā)明實(shí)施例一種應(yīng)用場景示意圖；
[0124]圖2為數(shù)據(jù)流分割點(diǎn)示意圖；
[0125]圖3為查找數(shù)據(jù)流分割點(diǎn)示意圖；
[0126]圖4為本發(fā)明實(shí)施例方法示意圖；
[0127]圖5和圖6為查找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0128]圖7和圖8為查找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0129]圖9和圖10為找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0130]圖11和圖12和圖13為找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0131]圖14和圖15為找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0132]圖16和圖17為判斷窗口中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件示意圖；
[0133]圖18為去重服務(wù)器結(jié)構(gòu)圖；
[0134]圖19為去重服務(wù)器結(jié)構(gòu)圖；
[0135]圖20為本發(fā)明實(shí)施例方法示意圖；
[0136]圖21和圖22為查找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0137]圖23和圖24為查找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0138]圖25和圖26為找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0139]圖27和圖28和圖29為找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0140]圖30和圖31為找數(shù)據(jù)流分割點(diǎn)實(shí)施方式示意圖；
[0141]圖32和圖33為判斷窗口中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件示意圖。
具體實(shí)施例
[0142]隨著存儲技術(shù)的不斷進(jìn)步，數(shù)據(jù)產(chǎn)生量也在不斷增加，大量的數(shù)據(jù)對存儲容量提出了最高的要求。存儲容量增加的同時，也增加了 IT設(shè)備采購成本，為了緩解數(shù)據(jù)量與存儲容量之間的需求矛盾，節(jié)約IT設(shè)備采購成本，在數(shù)據(jù)存儲領(lǐng)域引入了重復(fù)數(shù)據(jù)刪除技術(shù)。
[0143]本發(fā)明實(shí)施例一種使用場景為數(shù)據(jù)備份場景。數(shù)據(jù)備份是為防止各種原因?qū)е碌臄?shù)據(jù)丟失，通過備份服務(wù)器將數(shù)據(jù)備份到其他存儲介質(zhì)的過程。如圖1所示的數(shù)據(jù)備份系統(tǒng)架構(gòu)。數(shù)據(jù)備份系統(tǒng)包括客戶端(1laUOlb…101η)、備份服務(wù)器102、重復(fù)數(shù)據(jù)刪除服務(wù)器(簡稱去重服務(wù)器或重刪服務(wù)器)103和存儲設(shè)備(104a、104b…104η)。其中客戶端(1laUOlb…1ln)可以為應(yīng)用服務(wù)器、工作站等；備份服務(wù)器102用于備份客戶端生成的數(shù)據(jù)；去重服務(wù)器103用于執(zhí)行備份數(shù)據(jù)的重復(fù)數(shù)據(jù)刪除任務(wù)；存儲設(shè)備(104a、104lr..104η)作為存儲重復(fù)數(shù)據(jù)刪除后的數(shù)據(jù)的存儲介質(zhì)，可以為磁盤陣列、磁帶庫等存儲介質(zhì)?？蛻舳?101a、1lb…101η)、備份服務(wù)器102、重復(fù)數(shù)據(jù)刪除服務(wù)器103和存儲設(shè)備(104a、104b…104η)可以通過交換機(jī)、局域網(wǎng)、互聯(lián)網(wǎng)、光纖等方式連接，上述設(shè)備可以位于同一地點(diǎn)，也可以位于不同地點(diǎn)。備份服務(wù)器102、重刪服務(wù)器103、存儲設(shè)備(104a、104b...104η)可以為獨(dú)立的物理設(shè)備，或者在具體實(shí)現(xiàn)中物理上集成為一體，或者備份服務(wù)器102與重刪服務(wù)器103集成為一體，或者重刪服務(wù)器103與存儲設(shè)備(104a、104b…104η)集成為一體等。
[0144]去重服務(wù)器103對備份數(shù)據(jù)的數(shù)據(jù)流執(zhí)行重復(fù)數(shù)據(jù)刪除操作，一般包括以下步驟:
[0145]I)數(shù)據(jù)流分割點(diǎn)查找:根據(jù)特定算法在數(shù)據(jù)流中查找數(shù)據(jù)流分割點(diǎn)；
[0146]2)根據(jù)查找到的數(shù)據(jù)流分割點(diǎn)劃分?jǐn)?shù)據(jù)塊；
[0147]3)計算數(shù)據(jù)塊的特征值:計算數(shù)據(jù)塊的特征值作為標(biāo)識該數(shù)據(jù)塊的特征；將計算得到的特征值添加到該數(shù)據(jù)流對應(yīng)的文件的數(shù)據(jù)塊的特征列表中；一般利用SHA-1或MD5算法計算數(shù)據(jù)塊的特征值；
[0148]4)相同數(shù)據(jù)塊檢測:將計算得到的數(shù)據(jù)塊的特征值與數(shù)據(jù)塊特征列表中已存在的特征值進(jìn)行比對以確定是否存在相同數(shù)據(jù)塊；
[0149]5)刪除重復(fù)數(shù)據(jù)塊:通過相同數(shù)據(jù)塊檢測，如果發(fā)現(xiàn)數(shù)據(jù)塊特征列表中存在與該數(shù)據(jù)塊相同的特征值，則不需要再存儲該數(shù)據(jù)塊或者根據(jù)備份策略確定的重復(fù)數(shù)據(jù)塊存儲數(shù)量決定是否存儲該數(shù)據(jù)塊。
[0150]通過去重服務(wù)器103對備份數(shù)據(jù)的數(shù)據(jù)流執(zhí)行重復(fù)數(shù)據(jù)刪除操作的步驟可知，數(shù)據(jù)流分割點(diǎn)查找作為重復(fù)數(shù)據(jù)刪除操作的關(guān)鍵步驟，直接決定了重復(fù)數(shù)據(jù)刪除的性能。
[0151 ] 本發(fā)明實(shí)施例中，去重服務(wù)器103接收備份服務(wù)器102發(fā)送的備份文件，對該文件執(zhí)行重復(fù)數(shù)據(jù)刪除處理。通常待處理備份文件在去重服務(wù)器103中以數(shù)據(jù)流形式呈現(xiàn)，去重服務(wù)器103查找數(shù)據(jù)流中的分割點(diǎn)時，通常要確定數(shù)據(jù)流分割點(diǎn)最小查找單位，具體如圖2所示，如潛在分割點(diǎn)Ic1位于序號分別為I和2的連續(xù)兩個數(shù)據(jù)流分割點(diǎn)最小查找單位之間，潛在分割點(diǎn)是指需要進(jìn)行判斷是否可以作為數(shù)據(jù)流分割點(diǎn)的點(diǎn)；當(dāng)點(diǎn)h為一個數(shù)據(jù)流分割點(diǎn)，數(shù)據(jù)流分割點(diǎn)查找方向如圖2中箭頭所示，查找下一個潛在分割點(diǎn)為k7，即位于序號分別為7和8的連續(xù)兩個數(shù)據(jù)流分割點(diǎn)最小查找單位之間，當(dāng)潛在分割點(diǎn)k7為數(shù)據(jù)流分割點(diǎn)，則相鄰的兩個數(shù)據(jù)流分割點(diǎn)匕木之間的數(shù)據(jù)為I個數(shù)據(jù)塊。數(shù)據(jù)流分割點(diǎn)最小查找單位具體可以根據(jù)實(shí)際需要確定，這里以I個字節(jié)(Byte)為例，即序號為1、2、7和8的數(shù)據(jù)流分割點(diǎn)最小查找單位大小均為I個字節(jié)。如圖2所示的數(shù)據(jù)流分割點(diǎn)查找方向通常表示由文件頭向文件尾方向查找，或者由文件尾向文件頭方向，本實(shí)施例中以從文件頭向文件尾方向查找為例。
[0152]在重復(fù)數(shù)據(jù)刪除場景，通常數(shù)據(jù)塊越小，重復(fù)數(shù)據(jù)刪除率越高，越容易查找到重復(fù)數(shù)據(jù)塊，但是由此生成的元數(shù)據(jù)數(shù)量越大，而且數(shù)據(jù)塊小到一定程度之后，重復(fù)數(shù)據(jù)刪除率就不會增加了，但是元數(shù)據(jù)數(shù)量卻會急劇增加。因此，必須控制數(shù)據(jù)塊大小，實(shí)際應(yīng)用中，通常會設(shè)定數(shù)據(jù)塊的最小值，例如4KB(4096個字節(jié))，同時考慮到重復(fù)數(shù)據(jù)刪除率，也會設(shè)定數(shù)據(jù)塊的最大值，即數(shù)據(jù)塊大小不能超過最大值，例如12KB (12288個字節(jié))。一種具體實(shí)現(xiàn)方式如圖3所示，去重服務(wù)器103在沿著箭頭所示方向查找數(shù)據(jù)流分割點(diǎn)，ka為當(dāng)前查找到的數(shù)據(jù)流分割點(diǎn)，從ka向數(shù)據(jù)流分割點(diǎn)查找方向查找下一個潛在分割點(diǎn)，為滿足最小數(shù)據(jù)塊要求，通常會從數(shù)據(jù)流分割點(diǎn)開始沿著數(shù)據(jù)流分割點(diǎn)查找方向跳過最小數(shù)據(jù)塊大小，從最小數(shù)據(jù)塊結(jié)束位置開始查找，也就是將最小數(shù)據(jù)塊結(jié)束位置作為下一個潛在分割點(diǎn)k”在本發(fā)明實(shí)施例中，可以先從ka點(diǎn)沿數(shù)據(jù)流分割點(diǎn)查找方向跳躍最小數(shù)據(jù)塊4KB，即4*1024 = 4096字節(jié)。從ka點(diǎn)沿數(shù)據(jù)流分割點(diǎn)查找方向跳躍4096個字節(jié)，在第4096個字節(jié)的結(jié)束位置獲得點(diǎn)ki;作為潛在分割點(diǎn)，例如Iii位于序號分別為4096和4097的連續(xù)兩個數(shù)據(jù)流分割點(diǎn)最小查找單位之間。仍然以圖3為例，匕為當(dāng)前查找到的數(shù)據(jù)流分割點(diǎn)，沿如圖3所示方向查找下一個數(shù)據(jù)流分割點(diǎn)，如果超過數(shù)據(jù)塊最大值仍然沒有找到下一個數(shù)據(jù)流分割點(diǎn)，則在從匕點(diǎn)開始向數(shù)據(jù)流分割點(diǎn)查找方向達(dá)到數(shù)據(jù)塊最大值的點(diǎn)匕作為下一個數(shù)據(jù)流分割點(diǎn)，進(jìn)行強(qiáng)制分割。
[0153]本發(fā)明實(shí)施例提供一種基于去重服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法，如圖4所示，包括:
[0154]在去重服務(wù)器103上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)px、點(diǎn)Px對應(yīng)的窗口 Wx[Px-Ax，PX+BJ和窗口 Wx[Px-Ax，PX+BJ對應(yīng)的預(yù)定條件Cx，其中，x為I到M連續(xù)的自然數(shù)，M > 2，Ax和Bx為整數(shù)；其中，px與潛在分割點(diǎn)k之間距離dx個數(shù)據(jù)流分割點(diǎn)最小查找單位，數(shù)據(jù)流分割點(diǎn)最小查找單位以U表示，本實(shí)施例中U= I個字節(jié)，。在圖3所示的實(shí)現(xiàn)方式中，關(guān)于M的取值，其中一種實(shí)現(xiàn)方式，M*U取值不大于預(yù)設(shè)的兩個相鄰的數(shù)據(jù)流分割點(diǎn)之間的最大距離，即預(yù)設(shè)的數(shù)據(jù)塊最大長度。判斷點(diǎn)Pz對應(yīng)的窗口 Wz[pz-Az，PZ+BJ中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz，其中，z為整數(shù)，I ^ z ^ M, (pz-Az)與(pz+Bz)分別表示窗口 Wz的兩個邊界。當(dāng)判斷任意一個點(diǎn)Pz的窗口 Wz[pz-Az, pz+Bj中至少部分?jǐn)?shù)據(jù)不滿足預(yù)定條件Cz，則從不滿足預(yù)定條件的窗口 Wz[pz-Az，pz+Bz]對應(yīng)的點(diǎn)pz沿數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個字節(jié)，N彡Il Bz Il +maxx( Il Ax Il + Il (k-px) Il )。其中，Il (k-px) Il表示M個點(diǎn)px中任一個點(diǎn)與潛在分割點(diǎn)k之間的距離，maxx( Il Ax Il + Il (k_px) II )表示M個點(diǎn)Px中任一個點(diǎn)與潛在分割點(diǎn)k之間的距離及該點(diǎn)對應(yīng)的Ax的絕對值之和的最大值；Il Bz Il表示W(wǎng)z[pz-Az，pz+Bz]中Bz的絕對值，將在下面實(shí)施例中具體介紹N取值的原理。當(dāng)判斷M個窗口中的每一個窗口 Wx [px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則潛在分割點(diǎn)k為數(shù)據(jù)流分割點(diǎn)。
[0155]具體的，對當(dāng)前潛在分割點(diǎn)ki;依據(jù)所述規(guī)則，執(zhí)行以下步驟:
[0156]步驟401:依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Iii確定點(diǎn)piz及所述點(diǎn)Piz對應(yīng)的窗口WiJpiz-Az, piz+Bz]，i 和 z 為整數(shù)，并且 I 彡 z 彡 M ;
[0157]步驟402:判斷所述窗口 Wiz [piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ；
[0158]當(dāng)所述窗口Wiz[piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax Il + Il (Ic1-Pix) Il )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟401 ；
[0159]當(dāng)所述當(dāng)前潛在分割點(diǎn)Ici的M個窗口中的每一個窗口 Wix[pix-Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
[0160]進(jìn)一步地,所述規(guī)則還包括:至少兩個點(diǎn)Pe和pf,滿足條件K = Af, Be = Bf, Ce =Cf;
[0161]所述規(guī)則還包括:所述至少兩個點(diǎn)？6和Pf，相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
[0162]所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
[0163]判斷所述窗口 Wiz[piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括:
[0164]使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0165]所述使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz_Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz,具體為使用hash函數(shù)判斷所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
[0166]當(dāng)所述窗口Wiz [Piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)Piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pi。對應(yīng)的窗口ffic[pic-Ac,pic+Bc]的左邊界與所述窗口 Wiz[piz-Az，piz+Bz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pic;對應(yīng)的所述窗口 WiJpicH^piJBJ的左邊界位于所述窗口Wiz[piz-Az, piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。是根據(jù)所述規(guī)貝U，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
[0167]本發(fā)明實(shí)施例中通過判斷M個窗口中某一個窗口中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件，來查找數(shù)據(jù)流分割點(diǎn)，當(dāng)某一個窗口中至少部分?jǐn)?shù)據(jù)不滿足預(yù)定條件，則跳過N*U個長度，其中，N*U不大于Il Bz Il +maxx( Il Ax Il + Il (Ic1-Pix) Il )，獲得下一個潛在分割點(diǎn)，提高了數(shù)據(jù)流分割點(diǎn)查找效率。
[0168]在重復(fù)數(shù)據(jù)刪除過程中，為保證數(shù)據(jù)塊大小均勻，會考慮平均數(shù)據(jù)塊(也稱為平均分塊)大小，即在滿足最小數(shù)據(jù)塊大小和最大數(shù)據(jù)塊大小限定的同時，會確定平均數(shù)據(jù)塊大小，以保證獲得的數(shù)據(jù)塊大小均勻。點(diǎn)Px個數(shù)M與點(diǎn)px對應(yīng)的窗口 Wx[px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx的概率，這兩個因素決定了找到數(shù)據(jù)流分割點(diǎn)的概率(以P (η)表示)。前者影響跳躍的長度，后者影響跳躍的概率，二者共同影響平均分塊大小。一般而言，在平均分塊大小固定時，點(diǎn)Px個數(shù)M增加，則單個點(diǎn)ρχ對應(yīng)的窗口 Wx [ρχ-Αχ，ρχ+Βχ]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx的概率也增加，例如在去重服務(wù)器103上預(yù)設(shè)的規(guī)則為:為潛在分割點(diǎn)k確定11個點(diǎn)px，X分別為I到11連續(xù)的自然數(shù)，11個點(diǎn)中任一個點(diǎn)Px對應(yīng)的窗口 Wx[px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx的概率為1/2。而在去重服務(wù)器103上預(yù)設(shè)的另一組規(guī)則為:為潛在分割點(diǎn)k選擇的24個點(diǎn)px，X分別為I到24連續(xù)的自然數(shù)，24個點(diǎn)中任一個點(diǎn)px對應(yīng)的窗口 Wx [px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx的概率3/4。具體窗口 Wx[px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx的概率設(shè)定可參見判斷窗口 Wx[px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cx部分的描述。Apx個數(shù)M與點(diǎn)px對應(yīng)的窗口 Wx [px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx的概率這兩個因素決定P(n)，P(n)表示:從數(shù)據(jù)流起始位置/上一數(shù)據(jù)流分割點(diǎn)查找η個數(shù)據(jù)流分割點(diǎn)最小查找單位后沒找到數(shù)據(jù)流分割點(diǎn)的概率。關(guān)于這兩個因素決定Ρ(η)的計算過程，實(shí)際上是一個多步長Fibonacci數(shù)列，后面將具體描述。得到P (η)后，1_Ρ (η)即為數(shù)據(jù)流分割點(diǎn)的分布函數(shù)，(1-Ρ(η))-(1-Ρ(η-1)) = P(η_1)-P(η)，即為在第η個點(diǎn)找到數(shù)據(jù)流分割點(diǎn)的概率，也就是數(shù)據(jù)流分割點(diǎn)的密度函數(shù)，根據(jù)數(shù)據(jù)流分割點(diǎn)的密度函數(shù)就可以
12*1024
積分Σ1)-Ρ(?))，從而求得數(shù)據(jù)流分割點(diǎn)的期望長度，即平均分塊大小，其中，
/3:4*1024
4*1024(字節(jié))表示最小數(shù)據(jù)塊長度，12*1024(字節(jié))表示最大數(shù)據(jù)塊長度。
[0169]如圖3所示的數(shù)據(jù)流分割點(diǎn)查找的基礎(chǔ)上，在圖5所示的實(shí)施方式中，在去重服務(wù)器103上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定11個點(diǎn)px、點(diǎn)px對應(yīng)的窗口Wx[px-Ax, px+Bx](簡稱窗口 Wx)和窗口 Wx[px-Ax，px+Bx]對應(yīng)的預(yù)定條件 Cx,其中，A1 = A2 =A3 = A4 = A5 = A6 = A7 = A8 = A9 = A10 = A11 = 169,B1 = B2 = B3 = B4 = B5 = B6 = B7 =Bs = B9 = B10 = B11 = O,并且 C1 = C2 = C3 = C4 = C5 = C6 = C7 = C8 = C9 = C10 = Cn。其中，點(diǎn)Px與潛在分割點(diǎn)k之間距離dx個字節(jié)，具體的，點(diǎn)P1與潛在分割點(diǎn)k之間距離O個字節(jié)，點(diǎn)P2與潛在分割點(diǎn)k之間距離I個字節(jié)，點(diǎn)p3與潛在分割點(diǎn)k之間距離2個字節(jié)，點(diǎn)P4與潛在分割點(diǎn)k之間距離3個字節(jié)，點(diǎn)p5與潛在分割點(diǎn)k之間距離4個字節(jié)，點(diǎn)p6與潛在分割點(diǎn)k之間距離5個字節(jié)，點(diǎn)p7與潛在分割點(diǎn)k之間距離6個字節(jié)，點(diǎn)p8與潛在分害I]點(diǎn)k之間距離7個字節(jié)，點(diǎn)p9與潛在分割點(diǎn)k之間距離8個字節(jié)，點(diǎn)Pltl與潛在分割點(diǎn)k之間距離9個字節(jié)，點(diǎn)P11與潛在分割點(diǎn)k之間距離10個字節(jié),并且點(diǎn)p2、p3、P4> p5、p6、p7、p8、p9、P10和pn相對于潛在分割點(diǎn)k均位于數(shù)據(jù)流分割點(diǎn)查找反方向。ka為數(shù)據(jù)流分割點(diǎn)，圖5中所示數(shù)據(jù)流分割點(diǎn)查找方向?yàn)閺淖笙蛴遥瑥臄?shù)據(jù)流分割點(diǎn)匕跳過最小數(shù)據(jù)塊4KB后，最小數(shù)據(jù)塊4KB結(jié)束位置作為下一個潛在分割點(diǎn)ki;為潛在分割點(diǎn)Ici確定點(diǎn)pix，在本實(shí)施例中，根據(jù)在去重服務(wù)器103上預(yù)設(shè)的規(guī)則，X分別為I到11連續(xù)的自然數(shù)。在圖5所示的實(shí)施方式中，為潛在分割點(diǎn)ki確定的點(diǎn)為11個,分別為Pn、Pi2、Pi3、Pm、Pi5、Pi6、
Pi7、Pi8、Pi9、PilO 和 Pill? 點(diǎn) Pil > Pi2、Pi3、Pi4、Pi5、Pi6、Pi7、Pi8、Pi9、PilO 和 Pill 對應(yīng)白勺 & 口分力ll
為 Wil [ρη-169, ρη]、Wi2 [pi2-169, pi2]、Wi3 [pi3_169, pi3]、Wi4 [pi4_169, pi4]、Wi5 [pi5_169, pi5]、Wi6[pi6-169, pi6]、ffi7[pi7-169, pi7]、Wi8[pig-169, pi8]、ffi9[pi9-169, pi9]、Wil0[pil0-169, pil0]和Will[pin-169, PilJ0 上述窗口分別簡稱為 Wn、Wi2、Wi3、Wi4、Wi5、Wi6、Wi7、Wi8、Wi9、WilQ 和 Wm。其中，點(diǎn)Pix與潛在分割點(diǎn)h之間距離dx個字節(jié)，具體的，Pil與Ici間距O個字節(jié)、pi2與h間距I個字節(jié)、Pi3與h間距2個字節(jié)、pi4與Ici間距3個字節(jié)、pi5與Ici間距4個字節(jié)、pi6與h間距5個字節(jié)、pi7與Ici間距6個字節(jié)、pi8與Ici間距7個字節(jié)、pi9與Ici間距8個字節(jié)、
PilO 與 kj 間距 9 個子 T1，PiH 與 kj 間距 10 個子 T1，并 J=L Pi2、Pi3、Pi4、Pi5、Pi6、Pi7、Pi8、Pi9、PilO
和Pill相對于潛在分割點(diǎn)ki均位于數(shù)據(jù)流分割點(diǎn)查找反方向。判斷wn[pn-169，Pil]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C1、判斷Wi2 [pi2-169, pi2]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C2、判斷Wi3[pi3-169，pi3]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C3、判斷Wi4[pi4-169，pi4]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C4、判斷Wi5[pi5-169，pi5]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C5、判斷Wi6[pi6-169，pi6]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C6、判斷Wi7[Pi「169，pi7]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C7、判斷Wi8[pi8-169，pi8]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C8、判斷Wi9[pi9-169，pi9]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C9、判斷Wiltl[pilQ-169，pil0]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cltl和判斷Wm[pin-169，Pill]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cn。當(dāng)判斷窗口 Wil中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件仏、窗口 Wi2中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C2、窗口 Wi3中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C3、窗口 Wi4中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C4、窗口 Wi5中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C5、窗口 Wi6中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C6、窗口 Wi7中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C7、窗口 Wi8中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C8、窗口 Wi9中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C9、窗口 Wiltl中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cltl和窗口Wm中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C11時，則當(dāng)前潛在分割點(diǎn)ki為數(shù)據(jù)流分割點(diǎn)。當(dāng)11個窗口中任一個窗口中至少部分?jǐn)?shù)據(jù)不滿足對應(yīng)的預(yù)定條件時，如圖6所示，Wi5[pi5-169，Pi5]中至少部分?jǐn)?shù)據(jù)不滿足對應(yīng)的預(yù)定條件C5，則從點(diǎn)pi5沿著數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個字節(jié)，其中N個字節(jié)不大于Il B5 Il+maxx(|| Ax Il+ 11 (k-p^) Il )，在圖6所示的實(shí)施方式中，跳躍N個字節(jié)不大于179字節(jié)，在本實(shí)施例中，N= 11，得到下一個潛在分割點(diǎn)，為與潛在分割點(diǎn)h區(qū)別，這里將新的潛在分割點(diǎn)表示為h。根據(jù)圖5所示的實(shí)施方式中在去重服務(wù)器103上預(yù)設(shè)的規(guī)則,為潛在分割點(diǎn)kj確定的點(diǎn)為11個,分別為Pp Pj2> Pj3> Pj4> Pj5> Pj6>
Pj7、Pj8、Pj9、PjlO 和 Pjll，確定點(diǎn) Pjl、Pj2、Pj3、Pj4、Pj5、Pj6、Pj7、Pj8、Pj9、PjlO 和 Pjll 對應(yīng)的 1? 口分別為 ^1^-169, Pj1] >ffJ2 [pJ2-169, Pj2]、Wj3[Pj3-169，pJ3]、Wj4[Pj4-169，pJ4] >ffJ5 [pJ5-169, pJ5]、Wj6 [pJ6-169, Pj6]、ffJ7[pJ7-169, pJ7]、Wj8 [pJ8-169, pJ8]、ffJ9[pJ9-169, pJ9]、Wj10[Pj10-169，pJ10]和WjntPju-1eg, Pj11]。其中，Pjx與潛在分割點(diǎn)kj之間距離dx個字節(jié),具體的，Pj1與kj間距O個字節(jié)、Pj2與kj間距I個字節(jié)、pj3與kj間距2個字節(jié)、pj4與kj間距3個字節(jié)、pj5與kj間距4個字節(jié)、pj6與kj間距5個字節(jié)、pj7與kj間距6個字節(jié)、pj8與kj間距7個字節(jié)、pj9與&間距8個字節(jié)、Pjici與kj間距9個字節(jié)，Pj11與kj間距10個字節(jié)，并且Pm、Pj2、Pj3> Pj4> Pj5>Pj6> Pj7> Pj8> Pj9> Pj1和Pjii相對于潛在分割點(diǎn)kj均位于數(shù)據(jù)流分割點(diǎn)查找反方向。如圖6所示實(shí)施方式中，當(dāng)為潛在分割點(diǎn)kj確定的第11個窗口 Wjn[pjn-169，Pjll]，在保證潛在分割點(diǎn)ki與潛在分割點(diǎn)h之間的范圍都在判斷范圍之內(nèi)，則在本實(shí)施方式中，必須保證窗口Wjll [pjn-169, Pjll]的左邊界與 Wi5 [pi5-169, pi5]的右邊界 pi5 重合或者位于 Wi5 [pi5_169，pi5]范圍之內(nèi)，其中，所述潛在分割點(diǎn)h確定的點(diǎn)Pm是根據(jù)所述規(guī)則，為所述潛在分割點(diǎn)kj確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。因此，在這一限定內(nèi)，當(dāng)Wi5[pi5-169，pi5]中至少部分?jǐn)?shù)據(jù)不滿足預(yù)定條件C5,從pi5沿著數(shù)據(jù)流分割點(diǎn)查找方向跳躍的距離為不大于Il B5 Il+maxx(|| Ax Il+ 11 (k「pix) II)，其中，M= 11，11*U不大于maxx( Il Ax Il + Il (Ic1-Pix) Il )，因此，從pi5沿著數(shù)據(jù)流分割點(diǎn)查找方向跳躍的距離為不大于179。判斷WjJpjl-1eg, PjJ中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C1、判斷Wj2[pj2-169，pJ2]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C2、判斷W?[Pp-169，pJ3]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C3、判斷Wj4[pj4-169，pJ4]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C4、判斷Wj5[pj5-169，pJ5]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C5、判斷W#[p^rl69，pJ6]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C6、判斷Wj7[pj7-169，pJ7]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C7、判斷Wj8[pj8-169，pJ8]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C8、判斷1#[?#-169，pJ9]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C9、判斷Wjltl [pjl(l-169，pJ10]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cltl和判斷Wjll [pjn-169, pjn]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cn。當(dāng)然在本發(fā)明實(shí)施例中，判斷潛在分割點(diǎn)ka是否為數(shù)據(jù)流分割點(diǎn)時也遵循該規(guī)則，具體實(shí)現(xiàn)不再描述，可以參照判斷潛在分割點(diǎn)h的描述。當(dāng)判斷窗口 Wm中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C1、窗口中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C2、窗口 Wp中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C3、窗口 W#中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C4、窗口 Wj5中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C5、窗口中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C6、窗口 Wp中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C7、窗口 W#中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C8、窗口 Wi3中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C9、窗口中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cltl和窗口 Ww中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C11時，則當(dāng)前潛在分割點(diǎn)h為數(shù)據(jù)流分割點(diǎn)，h與匕之間的數(shù)據(jù)構(gòu)成I個數(shù)據(jù)塊，同時按照與匕相同的方式跳過最小分塊大小4KB，獲得下一個潛在分割點(diǎn)，并按照在去重服務(wù)器103上預(yù)設(shè)的規(guī)則，判斷下一個潛在分割點(diǎn)是否為數(shù)據(jù)流分割點(diǎn)。當(dāng)判斷潛在分割點(diǎn)h不是數(shù)據(jù)流分割點(diǎn)時，按照與Ici相同的方式跳躍11個字節(jié)獲得下一個潛在分割點(diǎn)，并按照在去重服務(wù)器103上預(yù)設(shè)的規(guī)則及上述方法判斷下一個潛在分割點(diǎn)是否為數(shù)據(jù)流分割點(diǎn)。當(dāng)超過設(shè)定的最大數(shù)據(jù)塊仍然沒有找到數(shù)據(jù)流分割點(diǎn)時，則從最大數(shù)據(jù)塊的結(jié)束位置作為強(qiáng)制分割點(diǎn)。
[0170]在圖5所示的實(shí)施方式中，根據(jù)在去重服務(wù)器103上預(yù)設(shè)的規(guī)則，從判斷Wn[pn-169, pn]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C1開始，當(dāng)判斷Wn[pn-169，ρη]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C1、判斷Wi2[pi2-169，pi2]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C2、判斷Wi3[pi3-169, pi3]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C3和判斷Wi4[pi4-169，pi4]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件C4,判斷Wi5 [pi5-169, pi5]中至少部分?jǐn)?shù)據(jù)不滿足預(yù)定條件C5時，從點(diǎn)pi5沿著數(shù)據(jù)流分割點(diǎn)查找方向跳躍10個字節(jié)，在第10個字節(jié)的結(jié)束位置獲得新的潛在分割點(diǎn)，為與其他潛在分割點(diǎn)區(qū)別，這里表示為kg，按照在去重服務(wù)器103上預(yù)設(shè)的規(guī)則，為潛在分割點(diǎn)kg確定11個點(diǎn)pgx, X分別為I到11連續(xù)的自然數(shù),分別為Pgl、P-、Pu、Pm、Pg5、Pg6、Pg^Pg8> Pg9> Pg1 和 Pgii，確定點(diǎn) Pgl、Pg2 > Pg3 > Pg4、Pg5 > Pg6> Pg7 > Pg8> Pg9> PglO 和 Pgii 對應(yīng)的窗口分別為 Wgl [pgl-169, Pgl]、Wg2 [pg2-169, pg2]、Wg3 [pg3_169, pg3]、Wg4 [pg4_169, pg4]、Wg5 [pg5_169, pg5]、Wg6[pg6-169, pg6]、ffg7[pg7-169, pg7]、ffg8[pg8-169, pg8]、ffg9[pg9-169, pg9]、Wgl0[pgl0-169, pgl0]和Wgll[pgll-169, pgll]。其中，pgx與潛在分割點(diǎn)kg之間距離dx個字節(jié),具體的，Pgl與kg間距O個字節(jié)、Pg2與kg間距I個字節(jié)、pg3與kg間距2個字節(jié)、pg4與kg間距3個字節(jié)、pg5與kg間距4個字節(jié)、pg6與kg間距5個字節(jié)、pg7與kg間距6個字節(jié)、pg8與kg間距7個字節(jié)、pg9與kg間距8個字節(jié)、Pgltl與kg間距9個字節(jié)，Pgll與kg間距10個字節(jié),并且pg2、pg3、pg4、pg5、Pg6> Pg7> Pg8> Pg9> Pgici和Pgii相對于潛在分割點(diǎn)kg均位于數(shù)據(jù)流分割點(diǎn)查找反方向。判斷Wgl [pgl-169, pgl]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C1、判斷Wg2 [pg2-169, pg2]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C2、判斷Wg3[pg3-169，pg3]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C3、判斷Wg4[pg4_169, pg4]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C4、判斷Wg5[pg5-169, pg5]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C5、判斷Wg6[pg6-169，pg6]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C6、判斷Wg7 [pg7-169, pg7]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C7、判斷Wg8[pg8-169, pg8]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C8、判斷Wg9[pg9-169，pg9]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C9、判斷ffgl0[pgl0-169, pgl0]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cltl和判斷Wgll [pgll-169，pgll]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件C11。因此，潛在分割點(diǎn)kg對應(yīng)的點(diǎn)Pgll與潛在分割點(diǎn)Ici對應(yīng)的點(diǎn)Pi5重合，并且點(diǎn)Pgll對應(yīng)的窗口 Wgll[pgll-169，Pgll]與點(diǎn)pi5對應(yīng)的窗口 Wi5[pi5-169，pi5]重合，并且C5 = C11,因此，對當(dāng)潛在分割點(diǎn)ki;當(dāng)判斷Wi5 [pi5-169, pi5]中至少部分?jǐn)?shù)據(jù)不滿足預(yù)定條件C5時，從點(diǎn)pi5沿著數(shù)據(jù)流分割點(diǎn)查找方向跳躍10個字節(jié)，獲得的潛在分割點(diǎn)kg仍然不符合作為數(shù)據(jù)流分割點(diǎn)的條件。因此，如果從點(diǎn)Pi5沿著數(shù)據(jù)流分割點(diǎn)查找方向跳躍10個字節(jié)會存在重復(fù)計算，從點(diǎn)Pi5沿著數(shù)據(jù)流分割點(diǎn)查找方向跳躍11個字節(jié)可以減少重復(fù)計算，效率更高。因此提高了查找數(shù)據(jù)流分割點(diǎn)的速度。當(dāng)預(yù)設(shè)規(guī)定中點(diǎn)Px對應(yīng)的窗口 Wx[px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx的概率為1/2時，即是說以1/2的概率執(zhí)行跳躍，每次最多可以跳躍179個字節(jié)。
[0171] 在本實(shí)施方式中，預(yù)定規(guī)則為:為潛在分割點(diǎn)k確定11個點(diǎn)px、點(diǎn)Px對應(yīng)的窗口Wx[px-Ax, px+Bx]和窗口 Wx[px-Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，x分別為I到11連續(xù)的自然數(shù)，其中，點(diǎn)Px對應(yīng)的窗口 Wx [px-Ax，px+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件的概率為1/2，通過這兩個因素可以計算 P (η)。并且 A1 = A2 = A3 = A4 = A5 = A6 = A7 = A8 = A9 = A10 = A11 =169, B1 = B2 = B3 = B4 = B5 = B6 = B7 = B8 = B9 = B10 = B11 = O,并且 C1 = C2 = C3 = C4=C5 = C6 = C7 = C8 = C9 = Cltl = C11,其中，ρχ與潛在分割點(diǎn)k之間距離dx個字節(jié)，具體的，P1與潛在分割點(diǎn)k之間距離O個字節(jié)，p2與k之間距離I個字節(jié)，P3與k之間距離2個字節(jié)，P4與k之間距離3個字節(jié)，p5與k之間距離4個字節(jié)，p6與k之間距離5個字節(jié)，p7與k之間距離6個字節(jié)，p8與k之間距離7個字節(jié)，p9與k之間距離8個字節(jié)，Pltl與k之間距離9個字節(jié)，P11與k之間距離10個字節(jié),并且p2> p3、p4、p5、p6、p7、p8、p9、p10和pn相對于潛在分割點(diǎn)k均位于數(shù)據(jù)流分割點(diǎn)查找反方向。因此是否存在連續(xù)11個點(diǎn)對應(yīng)窗口中的每一個窗口中至少部分?jǐn)?shù)據(jù)均滿足預(yù)定條件Cx就決定潛在分割點(diǎn)k是否為數(shù)據(jù)流分割點(diǎn)。從數(shù)據(jù)流起始位置/上一數(shù)據(jù)流分割點(diǎn)跳躍最小分塊長度4096個字節(jié)后，向數(shù)據(jù)流分割點(diǎn)查找反方向回退10個字節(jié)，找到第4086個點(diǎn)，在該點(diǎn)處不存在數(shù)據(jù)流分割點(diǎn)，所以P (4086) = I，依次類推，P (4087) = 1，……P (4095) = I。在第4096個點(diǎn)處，即在最小分塊大小處，以(1/2)~11的概率這11個點(diǎn)對應(yīng)的窗口中每一個窗口中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，因此以(1/2) ~11的概率存在數(shù)據(jù)流分割點(diǎn)，以1-(1/2) ~11的概率不存在數(shù)據(jù)流分割點(diǎn)，所以 P(Il) = 1_(1/2)~11。
[0172]在第η個點(diǎn)處，可以分為12種情況來遞推P (η)。
[0173]

【權(quán)利要求】
1.一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法，其特征在于: 在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)Px、點(diǎn)Px對應(yīng)的窗口 Wx [px-Ax，px+Bx]和窗口 Wx [px-Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，其中，x為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 所述方法包括: a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)h確定點(diǎn)piz及所述點(diǎn)piz對應(yīng)的窗口WiJpiz-Az, piz+Bz]，i 和 z 為整數(shù)，并且 I 彡 z 彡 M ; b)判斷所述窗口Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz; 當(dāng)所述窗口 Wiz[Piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax || + || (Ic1-Pix) || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)； c)當(dāng)所述當(dāng)前潛在分割點(diǎn)1^的M個窗口中的每一個窗口Wix [pix-Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述規(guī)則還包括:至少兩個點(diǎn)Pe和pf，滿足條件 Ae = Af, Be = Bf, Ce = Cf。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf,相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
5.根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，判斷所述窗口Wiz [piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述使用隨機(jī)函數(shù)判斷所述窗口Wiz [piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體為使用hash函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
7.根據(jù)權(quán)利要求1至6任一所述的方法，其特征在于，當(dāng)所述窗口Wiz[Piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pi。對應(yīng)的窗口 Wic; [pic-Ac, pic+Bc]的左邊界與所述窗口Wiz[piz-Az，piz+Bz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。對應(yīng)的所述窗口 WiJpicH^piJBJ的左邊界位于所述窗口 Wiz[piz-Az，piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
8.根據(jù)權(quán)利要求5所述的方法，其特征在于，使用隨機(jī)函數(shù)判斷所述窗口Wiz [piz-Az, piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 Wiz[piz-Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為amyam，8,表示所述F*H個字節(jié)中第m個

氣1 aU2 … 氣8 字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:a'J yy ，KaF*H,l Ut H." aF*H,S j當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣\，所述矩陣Va表示為:'Vakl 匕u …^、vT1 vT ；' vT ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩VV...Vy α￥*Η,\ v aF*H2y aF*H^ J
'hu K2 …K,、陣R，所述矩陣R表示為:、klr ": h',，將所述矩陣Va的第m行與所述矩陣
h h h
\η?^ΗΛ flF*H.2 … nF*H,n JR的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
9.一種基于服務(wù)器查找數(shù)據(jù)流分割點(diǎn)的方法，其特征在于， 在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口 Wx [k-Ax, k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 所述方法包括: a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)h確定對應(yīng)的窗口WiJk1-Az, ki+Bj，i和z為整數(shù)，并且I彡z彡M ; b)判斷所述窗口WiJk1-Az, ki+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ； 當(dāng)所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N*U不大于Il Bz Il +maxx( Il Ax || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)； c)當(dāng)所述當(dāng)前潛在分割點(diǎn)h的M個窗口中的每一個窗口WiJk1-AykfBx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述規(guī)則還包括:至少兩個窗口Wie Lk1-Ae, VBe]與 WifLk1-Af, VBf]，滿足條件:I Ae+Be | = | Af+Bf |, Ce = Cfo
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述規(guī)則還包括:κ和Af為正整數(shù)。
12.根據(jù)權(quán)利要求10或11所述的方法，其特征在于，所述規(guī)則還包括:Ae-l= Af, Be+1=Bf0
13.根據(jù)權(quán)利要求9至12任一所述的方法，其特征在于，判斷所述窗口Wiz Lk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 使用隨機(jī)函數(shù)判斷所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件cz。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述使用隨機(jī)函數(shù)判斷所述Wiz Lk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體為使用hash函數(shù)判斷所述WiJk1-Az, ki+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
15.根據(jù)權(quán)利要求9至14任一所述的方法，其特征在于，當(dāng)所述窗口WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)Ici沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 WiJH ki+B。]的左邊界與所述窗口 WiJHkfBz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-AdkdBJ的左邊界位于所述窗口 WizDi1-AukfBJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口WicLk1-Ac, h+B。]是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
16.根據(jù)權(quán)利要求13所述的方法，其特征在于，使用隨機(jī)函數(shù)判斷所述窗口WiJk1-Az, ki+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 WiJk1-AzAfBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成，記為amyam，8,表示所述F*H個字節(jié)中第m個



aI,IflI,2...aIS字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:''U ，aFlpH.! …J當(dāng) an，n = I 時，Vamjn = 1，當(dāng) Bni,n = O 時，Vam；n = -1，其中 a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:(VVV Λ y al,lν α\αV alSVfl VT 7 vT ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩陣R，yKiF*H,l ^aF*H,2...^aFfHX /
(h h h \
uU rtI,2 ".η\?所述矩陣R表示為:? hT '； hT ，將所述矩陣Va的第m行與所述矩陣R的第
J1F-H 'I ^P* H,I...jm行的隨機(jī)數(shù)相乘，然后求和得到一個值,具體表示為Sani =同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaF*H中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WjUki+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
17.一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，其特征在于，所述服務(wù)器包括中央處理單元和主存儲器，所述中央處理單元與所述主存儲器通信，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)px、點(diǎn)px對應(yīng)的窗口 Wx [px-Ax，px+Bx]和窗口Wx[px-Ax, px+Bx]對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 所述主存儲器用于存儲可執(zhí)行指令，所述中央處理單元執(zhí)行所述可執(zhí)行指令，以執(zhí)行以下步驟: a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)h確定點(diǎn)piz及所述點(diǎn)piz對應(yīng)的窗口WiJpiz-Az, piz+Bz]，i 和 z 為整數(shù)，并且 I 彡 z 彡 M ; b)判斷所述窗口Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz; 當(dāng)所述窗口 Wiz[Piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax || + || (Ic1-Pix) || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)； c)當(dāng)所述當(dāng)前潛在分割點(diǎn)1^的M個窗口中的每一個窗口Wix [pix-Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
18.根據(jù)權(quán)利要求17所述服務(wù)器，其特征在于，所述規(guī)則還包括:至少兩個點(diǎn)Pe和Pf，滿足條件 Ae = Af, Be = Bf, Ce = Cf。
19.根據(jù)權(quán)利要求18所述服務(wù)器，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)&和Pf，相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
20.根據(jù)權(quán)利要求18或19所述的服務(wù)器，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
21.根據(jù)權(quán)利要求17至20任一所述的服務(wù)器，其特征在于，所述中央處理單元具體用于使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
22.根據(jù)權(quán)利要求21所述的服務(wù)器，其特征在于，所述中央處理單元具體用于使用hash函數(shù)判斷所述窗口 Wiz [piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
23.根據(jù)權(quán)利要求17至22任一所述的服務(wù)器，其特征在于，當(dāng)所述窗口WiJpiz-Az, piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)貝U，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pi。對應(yīng)的窗口 Wic;[pic;-A。，pic+Bc]的左邊界與所述窗口Wiz[piz-Az，piz+Bz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。對應(yīng)的所述窗口 WiJpicH^piJBJ的左邊界位于所述窗口 Wiz[piz-Az，piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
24.根據(jù)權(quán)利要求21所述的服務(wù)器，其特征在于，所述中央處理單元使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 Wiz[piz-Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為amyam，8,表示所述F*H個字節(jié)中第m個

U a\.2..氣8字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:U.aT ": α/8 ，aFH …aFmfi j當(dāng) an，n = I 時，Vamjn = 1，當(dāng) Bni,n = O 時，Vam；n = -1，其中 a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣Va，所述矩陣Va表示為:(Ku Ku2 …。、Va:'{ VT: VT ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩陣、I l.H,l ^aF*H,2...^aF*H,& y

h|..| h'.l … 力 1,8R，所述矩陣R表示為:h':' /?；'2 "；' 卜，將所述矩陣Va的第m行與所述矩陣R的第

Λ ^F*H,2...】lF*H,% Jm行的隨機(jī)數(shù)相乘，然后求和得到一個值,具體表示為Sani =同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaF*H中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz[Piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
25.一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，其特征在于，所述服務(wù)器包括中央處理單元和主存儲器，所述中央處理單元與所述主存儲器通信，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口 Wx[k-Ax，k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 所述主存儲器用于存儲可執(zhí)行指令，所述中央處理單元執(zhí)行所述可執(zhí)行指令，以執(zhí)行以下步驟: a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Ici確定對應(yīng)的窗口WiJk1-Az, ki+Bj，i和z為整數(shù)，并且I彡z彡M ; b)判斷所述窗口WiJk1-Az, ki+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ； 當(dāng)所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N*U不大于Il Bz Il +maxx( Il Ax || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)； c)當(dāng)所述當(dāng)前潛在分割點(diǎn)h的M個窗口中的每一個窗口WiJk1-AykfBx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
26.根據(jù)權(quán)利要求25所述的服務(wù)器，其特征在于，所述規(guī)則還包括:至少兩個窗口Wie Lk1-Ae, VBe]與 WifLk1-Af, VBf]，滿足條件:I Ae+Be | = | Af+Bf |, Ce = Cfo
27.根據(jù)權(quán)利要求26所述的服務(wù)器，其特征在于，為所述服務(wù)器預(yù)設(shè)規(guī)則，所述規(guī)則還包括:κ和Af為正整數(shù)。
28.根據(jù)權(quán)利要求26或27所述的服務(wù)器，其特征在于，所述規(guī)則還包括:Αε-1= Af,Be+1 = Bf。
29.根據(jù)權(quán)利要求25至28任一所述的服務(wù)器，其特征在于，所述中央處理單元具體用于使用隨機(jī)函數(shù)判斷所述窗口 Wiz [k1-Az，k.+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
30.根據(jù)權(quán)利要求29所述的服務(wù)器，其特征在于，所述中央處理單元具體用于使用hash函數(shù)判斷所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
31.根據(jù)權(quán)利要求25至30任一所述的服務(wù)器，其特征在于，當(dāng)所述窗口WiJk1-Az, ki+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)1^沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 WiJk1-LVBJ的左邊界與所述窗口 WiJk1-Az^fBJ的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口WiJk1-Ac, ^+BJ的左邊界位于所述窗口 WiJk1-Az, I^+BJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-Ac^ k^Bj是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
32.根據(jù)權(quán)利要求29所述的服務(wù)器，其特征在于，所述中央處理單元使用隨機(jī)函數(shù)判斷所述窗口 Wiz[k1-Az，h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 WiJk1-AzAfBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成，記為amyam，8,表示所述F*H個字節(jié)中第m個


aU a\,2."氣8字節(jié)的第I到第8位，所述f*h個字節(jié)對應(yīng)的位可以表示為:y iiV2y ，aF1^H2 …J當(dāng) an，n = I 時，Vamjn = 1，當(dāng) Bni,n = O 時，Vam；n = -1，其中 a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:"Ku Val2 …Valf1、
K:'2 7 Κ:'8 ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
^aF*H,I." KiFiHS y
I^1,2 …陣R，所述矩陣R表示為:丨' T'1 ，將所述矩陣Va的第m行與所述矩陣

J1FtlHΛ ^F*H,2...jR的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
33.一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，其特征在于，在所述服務(wù)器上預(yù)設(shè)有規(guī)貝U，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)px、點(diǎn)Px對應(yīng)的窗口 WX[PX-AX，PX+BJ和窗口Wx[px-Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 所述服務(wù)器包括:確定單元，用于執(zhí)行步驟a):a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)Iii確定點(diǎn)Piz及所述點(diǎn)Piz對應(yīng)的窗口 Wiz [piz-Az，piz+Bz]，i和z為整數(shù)，并且I彡z彡M ; 判斷處理單元，用于判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ； 當(dāng)所述窗口 Wiz[Piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax Il + Il (Ic1-Pix) Il )，獲得新的潛在分割點(diǎn)，則所述確定單元為所述新的潛在分割點(diǎn)執(zhí)行步驟a)； 當(dāng)所述當(dāng)前潛在分割點(diǎn)K的M個窗口中的每一個窗口 Wix[pix-Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件cx，則所述當(dāng)前潛在分割點(diǎn)ki為數(shù)據(jù)流分割點(diǎn)。
34.根據(jù)權(quán)利要求33所述的服務(wù)器，其特征在于，所述規(guī)則還包括:至少兩個點(diǎn)Pe和Pf,滿足條件 Ae = Af, Be = Bf, Ce = Cf。
35.根據(jù)權(quán)利要求34所述的服務(wù)器，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)ρε和Pf，相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
36.根據(jù)權(quán)利要求34或35所述的服務(wù)器，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
37.根據(jù)權(quán)利要求33至36任一所述的服務(wù)器，其特征在于，所述判斷處理單元具體用于使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
38.根據(jù)權(quán)利要求37所述的服務(wù)器，其特征在于，所述判斷處理單元具體用于使用hash函數(shù)判斷所述窗口 Wiz [piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
39.根據(jù)權(quán)利要求33至38任一所述的服務(wù)器，其特征在于，所述判斷處理單元用于當(dāng)所述窗口 Wiz [piz-Az，piz+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，所述確定單元為所述新的潛在分割點(diǎn)執(zhí)行步驟a)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pie對應(yīng)的窗口 Wic;[pic;-A。，pic+Bc]的左邊界與所述窗口 Wiz [piz-Az，piz+Bz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口 UPk-AyPk+B。]的左邊界位于所述窗口 Wiz [piz-Az，piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口WiJpic-Ac, pic+Bc]是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
40.根據(jù)權(quán)利要求37所述的服務(wù)器，其特征在于，所述判斷處理單元具體用于使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 Wiz[piz-Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為amyam，8,表示所述F*H個字節(jié)中第m個

Ia\,2 …8字節(jié)的第I到第8位，所述f*h個字節(jié)對應(yīng)的位可以表示為:、丨y 7 y ，Ut H …aF^H^ j當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:f Ku Ku …匕8 nIY γγT ?: T8 ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩VV...V\ν α?*ΗA v aF*H2v aF*HJ

hi,I,21,2...,iI'8 陣R，所述矩陣R表示為:卜' Η]2 ":' Y ，將所述矩陣Va的第m行與所述矩陣

khf*H2...,iF*//'8 jR的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
41.一種用于查找數(shù)據(jù)流分割點(diǎn)的服務(wù)器，其特征在于，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口 Wx[k-Ax，k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 所述服務(wù)器包括:確定單元，用于執(zhí)行步驟a): a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)h確定對應(yīng)的窗口 WiJk1-Az, k^Bj，i和z為整數(shù)，并且I彡z彡M ; 判斷處理單元，用于判斷所述窗口 WJk1-Az, kjBj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ； 當(dāng)所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N*U不大于Il Bz Il +maxx( Il Ax Il )，獲得新的潛在分割點(diǎn)，則所述確定單元為所述新的潛在分割點(diǎn)執(zhí)行步驟a)； 當(dāng)所述當(dāng)前潛在分割點(diǎn)K的M個窗口中的每一個窗口 WiJk1-Ax, k^Bj中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
42.根據(jù)權(quán)利要求41所述的服務(wù)器，其特征在于，所述規(guī)則還包括:至少兩個窗口Wie Lk1-Ae, VBe]與 WifLk1-Af, VBf]，滿足條件:I Ae+Be | = | Af+Bf |, Ce = Cfo
43.根據(jù)權(quán)利要求42所述的服務(wù)器，其特征在于，所述規(guī)則還包括-Ae和Af為正整數(shù)。
44.根據(jù)權(quán)利要求42或43所述的服務(wù)器，其特征在于，所述規(guī)則還包括:Ae-1=Af，Be+1 = Bf。
45.根據(jù)權(quán)利要求41至44任一所述的服務(wù)器，其特征在于，所述判斷處理單元具體用于 使用隨機(jī)函數(shù)判斷所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
46.根據(jù)權(quán)利要求45所述的服務(wù)器，其特征在于，所述判斷處理單元具體使用hash函數(shù)判斷所述窗口 WJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
47.根據(jù)權(quán)利要求41至46任一所述的服務(wù)器，其特征在于，所述判斷處理單元用于當(dāng)所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，所述確定單元為所述新的潛在分割點(diǎn)執(zhí)行步驟a)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 WiJH ki+B。]的左邊界與所述窗口 WiJk1-Az, I^+BJ的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-Ac^kfBJ的左邊界位于所述窗口WiJk1-Az, ^+BJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 WJk1-AdVBJ是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
48.根據(jù)權(quán)利要求46所述的服務(wù)器，其特征在于，所述判斷處理單元使用隨機(jī)函數(shù)判斷所述窗口 WiJk1-AukfBJ中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 WiJk1-AzAfBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成，記為amyam，8,表示所述F*H個字節(jié)中第m個
f \
氣I aX^l … 氣8字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:aV2，，Vi2F*//,! aFm'2 … aF--1iHS J當(dāng) an，n = I 時，Vamjn = 1，當(dāng) Bni,n = O 時，Vam；n = -1，其中 a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:
I ^/1,2..‘ 廠al,8rT1 Vu:'2: vT ,從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩VV...V\ν α￥^ΗΛ v uF*H,2v aF*HS J
(h h h λ
11U "1,2 … "L8陣R，所述矩陣R表示為:? kTlhf ，將所述矩陣Va的第m行與所述矩陣
l...ht jR的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
49.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)用于存儲可執(zhí)行指令，服務(wù)器執(zhí)行所述可執(zhí)行指令以查找數(shù)據(jù)流分割點(diǎn)，在所述服務(wù)器上預(yù)設(shè)有規(guī)貝U，所述規(guī)則為:為潛在分割點(diǎn)k確定M個點(diǎn)px、點(diǎn)px對應(yīng)的窗口 Wx[px-Ax，px+Bx]和窗口Wx[px-Ax，px+Bx]對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 當(dāng)所述服務(wù)器執(zhí)行所述可執(zhí)行指令，以執(zhí)行以下步驟: a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)h確定piz及piz對應(yīng)的窗口Wiz[piz-Az，piz+Bj，i和z為整數(shù)，并且I彡z彡Μ; b)判斷所述窗口Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz; 當(dāng)所述窗口 Wiz[Piz_Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)P i z沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N* U不大于Il Bz Il +maxx( Il Ax || + || (Ic1-Pix) || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)； c)當(dāng)所述當(dāng)前潛在分割點(diǎn)1^的M個窗口中的每一個窗口Wix [pix-Ax，pix+Bx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
50.根據(jù)權(quán)利要求49所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述規(guī)則還包括:至少兩個點(diǎn)Pe和Pf，滿足條件Ae = Af, Be = Bf, Ce = Cf。
51.根據(jù)權(quán)利要求50所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf，相對于所述潛在分割點(diǎn)k，在所述數(shù)據(jù)流分割點(diǎn)查找反方向上。
52.根據(jù)權(quán)利要求50或51所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述規(guī)則還包括:所述至少兩個點(diǎn)Pe和Pf之間的距離為I個U。
53.根據(jù)權(quán)利要求49至52任一所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述服務(wù)器判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 所述服務(wù)器使用隨機(jī)函數(shù)判斷所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
54.根據(jù)權(quán)利要求53所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述服務(wù)器使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 所述服務(wù)器使用hash函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
55.根據(jù)權(quán)利要求49至54任一所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，當(dāng)所述窗口WiJpiz-Az, piz+Bz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述點(diǎn)piz沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)貝U，為所述新的潛在分割點(diǎn)確定的點(diǎn)Pi。對應(yīng)的窗口 Wic;[pic;-A。，pic+Bc]的左邊界與所述窗口Wiz[piz-Az，piz+Bz]的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。對應(yīng)的所述窗口 WiJpicH^piJBJ的左邊界位于所述窗口 Wiz[piz-Az，piz+Bz]范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述點(diǎn)Pi。是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個點(diǎn)按照數(shù)據(jù)流查找方向獲得的序列中排序第一的點(diǎn)。
56.根據(jù)權(quán)利要求53所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，使用隨機(jī)函數(shù)判斷所述窗口 Wiz[piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 Wiz[piz-Az，piz+Bz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成,記為amyam，8,表示所述F*H個字節(jié)中第m個


aUaU2 …^1,8字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:,1 αΓ，a Fm'2 …J當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:f Ku Ku …Kls、vTl vT.vT ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩
KtF*//,2...^aF*H,S j
hi,i ,2U …Ks 陣R，所述矩陣R表示為:h:；2 ": k',，將所述矩陣Va的第m行與所述矩陣
JtF-H.1 h1...jR的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 Wiz [piz-Az，piz+Bz]中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
57.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)用于存儲可執(zhí)行指令，服務(wù)器執(zhí)行所述可執(zhí)行指令以查找數(shù)據(jù)流分割點(diǎn)，在所述服務(wù)器上預(yù)設(shè)有規(guī)則，所述規(guī)則為:為潛在分割點(diǎn)k確定M個窗口 Wx[k-Ax，k+Bj和窗口 Wx[k-Ax，k+Bj對應(yīng)的預(yù)定條件Cx，其中，X為I到M連續(xù)的自然數(shù)，M彡2，Ax和Bx為整數(shù)； 當(dāng)所述服務(wù)器執(zhí)行所述可執(zhí)行指令，以執(zhí)行以下步驟: a)依據(jù)所述規(guī)則為當(dāng)前潛在分割點(diǎn)h確定對應(yīng)的窗口WiJk1-Az, k^Bj，i和z為整數(shù)，并且I彡z彡M ; b)判斷所述窗口WiJk1-Az, ki+Bj中至少部分?jǐn)?shù)據(jù)是否滿足預(yù)定條件Cz ； 當(dāng)所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)h沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，N*U不大于Il Bz Il +maxx( Il Ax || )，獲得新的潛在分割點(diǎn)，執(zhí)行步驟a)； c)當(dāng)所述當(dāng)前潛在分割點(diǎn)h的M個窗口中的每一個窗口WiJk1-AykfBx]中至少部分?jǐn)?shù)據(jù)滿足預(yù)定條件Cx，則所述當(dāng)前潛在分割點(diǎn)Ici為數(shù)據(jù)流分割點(diǎn)。
58.根據(jù)權(quán)利要求57所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述規(guī)則還包括:至少兩個窗口 WJk1-Ae, VBJ 與 WifLk1-Af, kjBj，滿足條件:|Ae+Be = Af+Bf |，Ce = Cf。
59.根據(jù)權(quán)利要求58所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述規(guī)則還包括:Ae和Af為正整數(shù)。
60.根據(jù)權(quán)利要求58或59所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述規(guī)則還包括:Ae-1 = Af, Be+1 = Bf。
61.根據(jù)權(quán)利要求57至60任一所述的計算機(jī)可讀存儲介質(zhì)，其特征在于， 所述服務(wù)器判斷所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 使用隨機(jī)函數(shù)判斷所述窗口 WiJk1-AzAfBz]中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
62.根據(jù)權(quán)利要求61所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，所述服務(wù)器使用隨機(jī)函數(shù)判斷所述窗口 WiJk1-Az, h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體為所述服務(wù)器使用hash函數(shù)判斷所述窗口 Wiz[k1-Az，h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz。
63.根據(jù)權(quán)利要求57至62任一所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，當(dāng)所述窗口 Wiz[H h+Bj中至少部分?jǐn)?shù)據(jù)不滿足所述預(yù)定條件Cz，從所述當(dāng)前潛在分割點(diǎn)Ici沿所述數(shù)據(jù)流分割點(diǎn)查找方向跳躍N個數(shù)據(jù)流分割點(diǎn)最小查找單位U，獲得所述新的潛在分割點(diǎn)，根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的窗口 WiJk1-Ac^VBJ的左邊界與所述窗口 WiJk1-Az, ki+Bj的右邊界重合或者為所述新的潛在分割點(diǎn)確定的所述窗口WiJk1-Ac, ^+BJ的左邊界位于所述窗口 WiJk1-Az, I^+BJ范圍之內(nèi)；其中，為所述新的潛在分割點(diǎn)確定的所述窗口 WiJk1-Ac^ k^Bj是根據(jù)所述規(guī)則，為所述新的潛在分割點(diǎn)確定的M個窗口按照數(shù)據(jù)流查找方向獲得的序列中排序第一的窗口。
64.根據(jù)權(quán)利要求61所述的計算機(jī)可讀存儲介質(zhì)，其特征在于，使用隨機(jī)函數(shù)判斷所述窗口 Wiz[k1-Az，h+Bj中至少部分?jǐn)?shù)據(jù)是否滿足所述預(yù)定條件Cz，具體包括: 在所述窗口 WiJk1-AzAfBz]中選擇F個字節(jié)，將所述F個字節(jié)反復(fù)利用H次，共獲得F*H個字節(jié),其中每個字節(jié)由8位組成，記為amyam，8,表示所述F*H個字節(jié)中第m個



aI1IflI,2...fll,8字節(jié)的第I到第8位，所述F*H個字節(jié)對應(yīng)的位可以表示為:aT ": α；'8 ,aFVi'2 …j當(dāng)an，n = I時，Vamjn = 1，當(dāng)= O時，Vam；n = _1，其中a"表示中的任一個，所述F*H個字節(jié)對應(yīng)的位按照am，n與Vam，n的轉(zhuǎn)換關(guān)系得到矩陣所述矩陣Va表示為:(Ku Ku …。、Ff' Va!'2Va^ ，從服務(wù)正態(tài)分布的隨機(jī)數(shù)中選擇F*H*8個隨機(jī)數(shù)組成矩、I l.H,l ^aF*H,2...^aF*H,& y
f T1 hh Λ
11U n\y2 … 氣8
/iIi陣R，所述矩陣R表示為:卞 )2 "；' ?.*8 ，將所述矩陣Va的第m行與所述矩陣
h1...jR的第m行的隨機(jī)數(shù)相乘,然后求和得到一個值,具體表示為Sam =…+Vamj8^hnij8,同理，獲得Sal、Sa2…到SaFW，統(tǒng)計Sal、Sa2…到SaM中滿足大于O的值的個數(shù)K，當(dāng)K為偶數(shù)，則所述窗口 WiJk1-Az, k.+Bj中至少部分?jǐn)?shù)據(jù)滿足所述預(yù)定條件Cz。
【文檔編號】G06F17/30GK104169917SQ201480000347
【公開日】2014年11月26日 申請日期:2014年2月27日 優(yōu)先權(quán)日:2014年2月14日
【發(fā)明者】于傳帥, 張程偉, 徐林波 申請人:華為技術(shù)有限公司