專利名稱：遠程復(fù)制方法及存儲系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及遠程復(fù)制方法及存儲系統(tǒng)，更具體地涉及用于進行具有順序保證的異步復(fù)制的遠程復(fù)制方法，以及采用這種遠程復(fù)制方法的存儲系統(tǒng)。
背景技術(shù)：
通常，在存儲系統(tǒng)中設(shè)置高速緩沖存儲器，實現(xiàn)高速緩沖存儲器的方法大致分為兩種方法。根據(jù)一種方法，所有控制器模塊共享高速緩沖存儲器。另一方面，根據(jù)另一種方法，高速緩沖存儲器被分配給各個控制器模塊，并為各個控制器模塊所保留。本發(fā)明涉及采用后一種結(jié)構(gòu)的存儲系統(tǒng)。
在分布式高速緩沖存儲器類型的存儲系統(tǒng)中，可以對各個控制器模塊分布式地執(zhí)行對于邏輯卷的數(shù)據(jù)的讀寫處理，由此可以分散硬件的負荷，并且可以提高可擴展性。然而，在需要存儲器模塊之間進行連接的處理中，控制器模塊必須互相通信，結(jié)果，控制變得復(fù)雜。
1.1遠程復(fù)制的順序保證在諸如數(shù)據(jù)庫系統(tǒng)的存儲系統(tǒng)中，即使對于諸如盤驅(qū)動器的記錄介質(zhì)的寫入由于服務(wù)器的操作系統(tǒng)(OS)的崩潰而突然停止，也能通過例如自控制對于盤的寫入順序來提供恢復(fù)功能以恢復(fù)數(shù)據(jù)庫內(nèi)的文件。在利用遠程復(fù)制的數(shù)據(jù)庫的鏡像(mirroring)中，即使復(fù)制操作由于某種原因突然停止，復(fù)制目的地處的盤的狀態(tài)變?yōu)榕c數(shù)據(jù)庫突然停止寫入時的狀態(tài)相同，由此，利用存儲系統(tǒng)的恢復(fù)功能，可以在復(fù)制目的地處恢復(fù)數(shù)據(jù)庫的文件。
在通常的存儲系統(tǒng)中，數(shù)據(jù)庫的文件在很多情況下記錄在多個盤中，以提高存儲系統(tǒng)的性能和可靠性，在數(shù)據(jù)庫鏡像的情況下也一樣。因此，在存儲系統(tǒng)中的存儲復(fù)制功能中，要求按照與寫入順序相同的順序來執(zhí)行所有數(shù)據(jù)庫的文件的復(fù)制。
在同步復(fù)制模式的情況下，復(fù)制與寫入同步進行，并且上述要求得以滿足。然而，在遠程位置之間進行鏡像的情況下，采用同步復(fù)制模式導(dǎo)致的問題是，同步復(fù)制模式受傳輸路徑引起的延遲的影響，因而必需采用較少受到傳輸路徑引起的延遲的影響的異步復(fù)制模式。
但是在常規(guī)存儲系統(tǒng)的異步復(fù)制模式中，僅對于單個復(fù)制會話提供順序保證。為此，為了進行數(shù)據(jù)的鏡像，存在以下問題，需要傳送的數(shù)據(jù)庫的所有文件必須強制性地存儲在單個盤中。因此，需要通過在多個盤(復(fù)制會話)之間提供順序保證來使得能夠進行復(fù)制。
1.2復(fù)制源的順序?qū)懭胄阅芰硪环矫?，在常?guī)存儲系統(tǒng)中，以執(zhí)行從主機單元的寫入所使用的單位為單位來執(zhí)行到復(fù)制目的地的數(shù)據(jù)傳輸。但是由于從主機單元的寫入操作和復(fù)制操作必須排他地進行，因此產(chǎn)生了與同步模式的情況下類似的狀況。圖1是用于總體說明這種情況下的存儲系統(tǒng)的寫入操作和復(fù)制操作的圖。在圖1中，外側(cè)的粗實線表示由高速緩沖存儲器管理的最小單位(例如，64KB)的存儲器，而內(nèi)側(cè)的細實線表示以64KB或通過分割64KB的區(qū)域得到的更小尺寸進行寫入訪問。垂直箭頭代表寫入操作，而水平箭頭代表復(fù)制操作。
如圖1中所示，在順序?qū)懭胄阅苤袥]有引入問題的情況下，可以立刻完成寫入處理[(1)，(2)]的寫入(1)和響應(yīng)(2)。復(fù)制處理[(3)，(5)]的復(fù)制(3)在寫入處理[(1)，(2)]完成之后進行。如果在復(fù)制處理[(3)，(5)]的復(fù)制(3)之后立刻發(fā)生寫入處理[(4)，(6)]的寫入(4)，則由于在執(zhí)行與前一個寫入處理[(1)，(2)]相關(guān)的復(fù)制處理[(3)，(5)]，因此該寫入處理[(4)，(6)]的響應(yīng)(6)就處于排他等待。從而，寫入處理[(4)，(6)]的響應(yīng)(6)處于排他等待直到接收到復(fù)制處理[(3)，(5)]的響應(yīng)(5)。結(jié)果，在寫入處理期間加入了復(fù)制處理的時間，并且在最差的情況下的順序?qū)懭胄阅茏兊门c同步復(fù)制一樣。
如果只有順序?qū)懭胄阅苁莻€問題，則可以考慮采取措施故意延遲復(fù)制處理，例如在寫入處理[(4)，(6)]之后執(zhí)行復(fù)制處理[(3)，(5)]的復(fù)制(3)。但是，如果試圖解決訪問區(qū)域與寫入處理[(1)，(2)]的寫入(1)訪問的區(qū)域相同的寫入處理，則除非將寫入數(shù)據(jù)保存到另一位置，否則基本上不可能消除對排他控制的需要。
1.3傳送效率在常規(guī)的存儲系統(tǒng)中，以執(zhí)行寫入處理所使用的單位為單位執(zhí)行復(fù)制處理。因此，例如在以8KB為單位進行寫入處理的情況下，以8KB為單位執(zhí)行復(fù)制處理。當(dāng)傳輸路徑的等待時間少時，這種復(fù)制處理不產(chǎn)生問題，但是當(dāng)使用具有大約300毫秒單程延遲(例如為日本和英國之間的情況)的傳輸路徑時，傳送8KB數(shù)據(jù)需要大約1.2秒。以吞吐量而言，這相當(dāng)于大約6.5KB/秒。因此，在以執(zhí)行寫入處理所使用的單位為單位執(zhí)行復(fù)制處理的存儲系統(tǒng)中，如果要實現(xiàn)100MB/秒的傳送量，必需管理大約16,000個復(fù)制處理，由此從管理存儲系統(tǒng)內(nèi)的資源的角度看這將導(dǎo)致崩潰。這在目前的存儲系統(tǒng)的使用環(huán)境中尚不是問題，但預(yù)計將來將變得難于支持兩個遠距離的位置之間的聯(lián)系。
申請人注意到日本特開2003-167684號公報。
如上所述，存在這樣的需求，即在常規(guī)存儲系統(tǒng)中提供順序保證，使得當(dāng)順序得到保證時可以在多個盤之間(復(fù)制會話之間)執(zhí)行復(fù)制。
然而，如果試圖在分布式高速緩沖存儲器類型的存儲系統(tǒng)中滿足這樣的需求，則為了提供順序保證，需要在用于各個寫入處理的控制模塊之間進行通信。結(jié)果，存在管理開支變大的問題。此外，因為該順序是在特定的控制器模塊中管理的，所以存在負荷集中在該特定控制器模塊中的問題。
此外，在常規(guī)的存儲系統(tǒng)中，由于到復(fù)制目的地的數(shù)據(jù)傳送是以執(zhí)行從主機單元的寫入所使用的單位為單位來執(zhí)行的，因此在寫入處理期間加入了復(fù)制處理的時間。結(jié)果，存在如下問題(即，與復(fù)制源的順序?qū)懭胄阅芟嚓P(guān)的問題)在最差的情況下復(fù)制源的順序?qū)懭胄阅茏兂膳c同步復(fù)制一樣。
此外，在其中以執(zhí)行寫入處理所使用的單位為單位來執(zhí)行復(fù)制處理的存儲系統(tǒng)中，如果要實現(xiàn)100MB/秒的傳送吞吐量，則必須管理大約16,000個復(fù)制處理，由此，從管理存儲系統(tǒng)內(nèi)的資源的角度來看引起了崩潰。于是，存在如下問題(即，與傳送效率相關(guān)的問題)將來將難于支持兩個遠距離的位置之間的聯(lián)系。

發(fā)明內(nèi)容
因此，本發(fā)明的總體目的是提供一種解決了上述問題的、新的并且有用的遠程復(fù)制方法以及存儲系統(tǒng)。
本發(fā)明的另一個更具體的目的是提供一種遠程復(fù)制方法與存儲系統(tǒng)，其可以實現(xiàn)對于順序保證(即，在執(zhí)行被保證順序的遠程復(fù)制的同時保持分布式高速緩沖存儲器類型的存儲系統(tǒng)的可擴展性的優(yōu)勢)的需求和/或消除與復(fù)制源的順序?qū)懭胄阅芟嚓P(guān)的問題以及與傳送效率相關(guān)的問題中的至少一個。
本發(fā)明的又一個目的是提供一種經(jīng)由網(wǎng)絡(luò)將第一存儲裝置內(nèi)的數(shù)據(jù)復(fù)制到第二存儲裝置的遠程復(fù)制方法，該方法包括以下步驟(a)在第一存儲裝置內(nèi)，將復(fù)制源的至少一個第一記錄介質(zhì)的數(shù)據(jù)存儲到至少一個第一記錄專用緩沖區(qū)；(b)在第一存儲裝置內(nèi)，當(dāng)所述至少一個第一記錄專用緩沖區(qū)變滿或者從將數(shù)據(jù)存儲到所述至少一個第一記錄專用緩沖區(qū)起經(jīng)過了預(yù)定時間時，將所述至少一個第一記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式發(fā)送到第二存儲裝置；(c)在第二存儲裝置內(nèi)，將所接收的數(shù)據(jù)存儲到至少一個第二記錄專用緩沖區(qū)；以及(d)在第二存儲裝置內(nèi)，當(dāng)數(shù)據(jù)接收完成時，將所述至少一個第二記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式展開(develop)到復(fù)制目的地的至少一個第二記錄介質(zhì)。根據(jù)本發(fā)明的遠程復(fù)制方法，可以實現(xiàn)對于順序保證的需求(即，在執(zhí)行被保證順序的遠程復(fù)制的同時保持分布式高速緩沖存儲器類型的存儲系統(tǒng)的可擴展性的優(yōu)勢)和/或消除與復(fù)制源的順序?qū)懭胄阅芟嚓P(guān)的問題以及與傳送效率相關(guān)的問題中的至少一個。
本發(fā)明的又一個目的是提供一種存儲系統(tǒng)，該存儲系統(tǒng)包括第一存儲裝置，其包括至少一個控制模塊、至少一個第一記錄介質(zhì)和至少一個第一記錄專用緩沖區(qū)；以及第二存儲裝置，其可以經(jīng)由網(wǎng)絡(luò)與第一存儲裝置連接，并且包括至少一個第二控制模塊、至少一個第二記錄介質(zhì)和至少一個第二記錄專用緩沖區(qū)，其中第一存儲裝置內(nèi)的數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)被復(fù)制到第二存儲裝置，第一控制模塊將復(fù)制源的所述至少一個第一記錄介質(zhì)的數(shù)據(jù)存儲到所述至少一個第一記錄專用緩沖區(qū)，并且當(dāng)所述至少一個第一記錄專用緩沖區(qū)變滿或者從將數(shù)據(jù)存儲到至少一個第一記錄專用緩沖區(qū)起經(jīng)過了預(yù)定的時間時，將所述至少一個第一記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式發(fā)送到第二存儲裝置，并且第二控制模塊將接收的數(shù)據(jù)存儲到至少一個第二記錄專用緩沖區(qū)，以及當(dāng)數(shù)據(jù)接收完成時，將所述至少一個第二記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式展開到復(fù)制目的地的至少一個第二記錄介質(zhì)。根據(jù)本發(fā)明的存儲系統(tǒng)，可以實現(xiàn)對于順序保證的需求(即，在執(zhí)行被保證順序的遠程復(fù)制的同時保持分布式高速緩沖存儲器類型的存儲系統(tǒng)的可擴展性的優(yōu)勢)和/或消除與復(fù)制源的順序?qū)懭胄阅芟嚓P(guān)的問題和與傳送效率相關(guān)的問題中的至少一個。
本發(fā)明的又一個目的是提供一種經(jīng)由網(wǎng)絡(luò)將第一存儲裝置內(nèi)的數(shù)據(jù)復(fù)制到第二存儲裝置的遠程復(fù)制方法，該方法包括以下步驟(a)以第一緩沖區(qū)組為單位從第一存儲裝置發(fā)送數(shù)據(jù)，每個第一緩沖區(qū)組由第一存儲裝置內(nèi)的多個第一記錄專用緩沖區(qū)形成；(b)由第二存儲裝置以第二緩沖區(qū)組(每個第二緩沖區(qū)組由第二存儲裝置內(nèi)的多個第二記錄專用緩沖區(qū)形成)為單位接收數(shù)據(jù)，以保持對于被復(fù)制數(shù)據(jù)的順序保證。根據(jù)本發(fā)明的遠程復(fù)制方法，可以實現(xiàn)對于順序保證的需求(即，在執(zhí)行被保證順序的遠程復(fù)制的同時保持分布式高速緩沖存儲器類型的存儲系統(tǒng)的可擴展性的優(yōu)勢)和/或消除與復(fù)制源的順序?qū)懭胄阅芟嚓P(guān)的問題和與傳送效率相關(guān)的問題中的至少一個。
本發(fā)明的又一個目的是提供一種存儲系統(tǒng)，該存儲系統(tǒng)包括第一存儲裝置，其包括至少一個控制模塊、至少一個第一記錄介質(zhì)和至少一個第一記錄專用緩沖區(qū)；以及第二存儲裝置，其可以經(jīng)由網(wǎng)絡(luò)與第一存儲裝置連接，并且包括至少一個第二控制模塊、至少一個第二記錄介質(zhì)和至少一個第二記錄專用緩沖區(qū)，其中第一存儲裝置內(nèi)的數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)被復(fù)制到第二存儲裝置，第一控制模塊以第一緩沖區(qū)組(每個第一緩沖區(qū)組由第一存儲裝置內(nèi)的多個第一記錄專用緩沖區(qū)形成)為單位從第一存儲裝置發(fā)送數(shù)據(jù)；并且第二控制模塊以第二緩沖區(qū)組(每個第二緩沖區(qū)組由第二存儲裝置內(nèi)的多個第二記錄專用緩沖區(qū)形成)為單位通過第二存儲裝置接收數(shù)據(jù)，以保持對于被復(fù)制數(shù)據(jù)的順序保證。根據(jù)本發(fā)明的存儲系統(tǒng)，可以實現(xiàn)對于順序保證的需求(即，在執(zhí)行被保證順序的遠程復(fù)制的同時保持分布式高速緩沖存儲器類型的存儲系統(tǒng)的可擴展性的優(yōu)勢)和/或消除與復(fù)制源的順序?qū)懭胄阅芟嚓P(guān)的問題和與發(fā)送效率相關(guān)的問題中的至少一個。
當(dāng)結(jié)合附圖閱讀下面的詳細說明，本發(fā)明的其它目的和進一步的特征將明了。


圖1是用于總體說明數(shù)據(jù)庫系統(tǒng)的寫入處理和復(fù)制處理的圖。
圖2是用于說明集成發(fā)送系統(tǒng)的圖；圖3是用于說明緩沖區(qū)組控制的圖；圖4是用于說明緩沖區(qū)組的狀態(tài)的表；圖5是用于說明緩沖區(qū)組交疊處理的圖；圖6是用于說明遠程位置調(diào)整順序的圖；圖7是用于說明記錄專用緩沖區(qū)的圖；圖8是用于說明記錄專用緩沖區(qū)的圖；圖9是用于說明寫入處理、存儲處理和提取處理的圖；圖10是用于說明寫入處理、存儲處理和提取處理的圖；圖11是用于說明緩沖區(qū)切換處理的圖；圖12是示出根據(jù)本發(fā)明的存儲系統(tǒng)的實施例的重要部分的系統(tǒng)框圖；圖13是示出遠程復(fù)制時的數(shù)據(jù)流的系統(tǒng)框圖；圖14是用于說明遠程復(fù)制的過程的流程圖；圖15是用于說明遠程復(fù)制的過程的流程圖；
圖16是用于說明緩沖區(qū)切換處理的圖；圖17是用于說明緩沖區(qū)切換處理的過程的圖；圖18是用于說明緩沖區(qū)組控制的圖；圖19是用于說明緩沖區(qū)組控制的過程的圖；圖20是用于說明傳送多路性的優(yōu)化的圖。
具體實施例方式
在本發(fā)明中，為了在保持分布式高速緩沖存儲器類型的存儲系統(tǒng)的可擴展性的優(yōu)勢的同時保證遠程復(fù)制的順序，通過以下方式執(zhí)行遠程復(fù)制。
首先，在各個控制器模塊中設(shè)置用于存儲待復(fù)制數(shù)據(jù)的緩沖區(qū)。所寫入的數(shù)據(jù)不是直接存儲在緩沖區(qū)中，而是只保存表明數(shù)據(jù)所寫入的區(qū)域的信息。寫入完成之后，在任意的定時從諸如盤的記錄介質(zhì)中讀取數(shù)據(jù)并將其存儲到緩沖區(qū)中。當(dāng)一個控制器模塊中的緩沖區(qū)變滿，或者從第一次存儲起經(jīng)過了預(yù)定的時間時，與所有控制器模塊相關(guān)的存儲同時暫時停止，以確定待復(fù)制的一組數(shù)據(jù)。當(dāng)該組數(shù)據(jù)確定后，對全部控制器模塊中的緩沖區(qū)進行切換，以繼續(xù)進行對于新的緩沖區(qū)的存儲處理。將所確定的一組數(shù)據(jù)傳送到復(fù)制目的地。在復(fù)制目的地處，在完全接收了復(fù)制源處生成的前一組數(shù)據(jù)之后，展開本組數(shù)據(jù)。采取措施以使得除了致命異常(如復(fù)制處理無法繼續(xù)的情形)的情況外，該處理不被打斷。通過執(zhí)行該處理，可以在同時停止了對所有控制器模塊的存儲的時候?qū)崿F(xiàn)數(shù)據(jù)的順序保證。此外，可以實現(xiàn)具有保證順序的遠程復(fù)制，而無需對于每一個寫入都在控制模塊之間進行通信。
接下來，將參考圖2和隨后的圖，描述根據(jù)本發(fā)明的遠程復(fù)制方法和存儲系統(tǒng)的實施例。
首先，將描述根據(jù)本發(fā)明的遠程復(fù)制方法和存儲系統(tǒng)的實施例中采用的(2.1)集成的發(fā)送系統(tǒng)，(2.2)緩沖區(qū)組控制，(2.3)緩沖區(qū)組交疊處理，(2.4)與遠程地點配合的順序，(2.5)記錄專用緩沖區(qū)，(2.6)寫入、存儲和提取處理，以及(2.7)緩沖區(qū)切換。
2.1集成的發(fā)送系統(tǒng)圖2是用于說明集成的發(fā)送系統(tǒng)的圖。在本發(fā)明的存儲系統(tǒng)10中，在保證數(shù)據(jù)連貫性的連貫?zāi)Ｊ较拢?dāng)將復(fù)制數(shù)據(jù)從圖2中所示的復(fù)制源處的第一存儲裝置1-1傳送到復(fù)制目的地的第二存儲裝置1-2時，使用記錄專用緩沖區(qū)(即，專門用于記錄的緩沖區(qū))11。換言之，復(fù)制數(shù)據(jù)不是接連地從復(fù)制源傳送到復(fù)制目的地，而是將復(fù)制數(shù)據(jù)臨時從復(fù)制源的諸如盤的記錄介質(zhì)12存儲到記錄專用緩沖區(qū)11中。
在復(fù)制源處，當(dāng)復(fù)制源的記錄專用緩沖區(qū)11變滿時或者從復(fù)制數(shù)據(jù)的存儲起經(jīng)過了預(yù)定時間以后，復(fù)制數(shù)據(jù)被整合(或集合)并被傳送到復(fù)制目的地的記錄專用緩沖區(qū)11。在復(fù)制目的地，所接收的復(fù)制數(shù)據(jù)并不是立即反映到存儲介質(zhì)12的區(qū)域，而是在復(fù)制目的地的記錄專用緩沖區(qū)11處等待復(fù)制數(shù)據(jù)的接收完成。因此，在復(fù)制目的地，在全部復(fù)制數(shù)據(jù)都存儲在復(fù)制目的地的記錄專用緩沖區(qū)11中之后，在復(fù)制目的地處的記錄介質(zhì)12中展開該復(fù)制數(shù)據(jù)。當(dāng)在復(fù)制目的地處完成了復(fù)制數(shù)據(jù)的展開后，通知復(fù)制源展開完成，并釋放復(fù)制目的地處的復(fù)制數(shù)據(jù)。為了能夠不中斷地執(zhí)行一系列處理，提供多個記錄專用緩沖區(qū)11，并執(zhí)行流水線操作(pipeline operation)。
如果對于記錄專用緩沖區(qū)11所寫入的復(fù)制數(shù)據(jù)被立即實際存儲到記錄專用緩沖區(qū)11中，則由于存儲處理和下一個寫入處理之間的互相干擾，寫入處理的性能將變差。因此，在本發(fā)明中，將寫入處理和存儲處理完全分開，以使得不產(chǎn)生存儲處理和下一個寫入處理之間的干擾。
在寫入處理中，只將與要存儲的復(fù)制數(shù)據(jù)相關(guān)的信息存儲在記錄專用緩沖區(qū)11內(nèi)的緩沖區(qū)索引表中，而不執(zhí)行復(fù)制處理。在存儲處理中，參考該緩沖區(qū)索引表，并且將復(fù)制數(shù)據(jù)實際存儲在記錄專用緩沖區(qū)11中。
2.2緩沖區(qū)組控制圖3是用于說明緩沖區(qū)組控制的圖。
可以將存儲裝置1-1和1-2內(nèi)提供的一部分高速緩沖存儲器用作圖3中所示的記錄專用緩沖區(qū)11。后面將說明，在可應(yīng)用本發(fā)明的存儲裝置1-1和1-2中設(shè)置多個控制模塊，并且具有使高速緩沖存儲器位于各個控制模塊內(nèi)的結(jié)構(gòu)。如果記錄專用緩沖區(qū)11僅由一個控制模塊獲得，則可用于這一個控制模塊的正常輸入和輸出(I/O)處理的高速緩沖存儲器的存儲容量將變小。因此，為了有效利用硬件，分布式地設(shè)置記錄專用緩沖區(qū)11，即，在各個控制模塊中設(shè)置記錄專用緩沖區(qū)11。
為了通過使用分布式記錄專用緩沖區(qū)11進行順序保證來執(zhí)行根據(jù)集成發(fā)送系統(tǒng)的復(fù)制，采用以下機制，將對于各個控制模塊CM1、CM2、……分配的單個記錄專用緩沖區(qū)作為緩沖區(qū)組B1、B2、……成批地進行控制。通過以緩沖區(qū)組B1、B2、……為單位成批地執(zhí)行將復(fù)制數(shù)據(jù)存儲到記錄專用緩沖區(qū)11，以及從記錄專用緩沖區(qū)11展開該復(fù)制數(shù)據(jù)的處理，保證整個存儲系統(tǒng)的順序。
圖4是用于說明緩沖區(qū)組B1、B2、……的狀態(tài)的表。如圖4中所示，緩沖區(qū)組B1、B2、……具有圖4的表中所示的狀態(tài)。
首先在復(fù)制源處定義各個緩沖區(qū)組B1、B2、……，并且各個緩沖區(qū)組B1、B2、……呈現(xiàn)為組存儲狀態(tài)。各個緩沖區(qū)組B1、B2、……具有在各個控制模塊CM1、CM2、……中的處于存儲狀態(tài)的記錄專用緩沖區(qū)11。當(dāng)控制模塊CM1、CM2、……之一中的記錄專用緩沖區(qū)11變滿，或者從復(fù)制數(shù)據(jù)的存儲起經(jīng)過了預(yù)定的時間時，通過緩沖區(qū)組控制創(chuàng)建新的緩沖區(qū)組，并且緩沖區(qū)組被切換到處于組存儲狀態(tài)的緩沖區(qū)組。由于所述緩沖區(qū)組的切換與順序保證密切相關(guān)，因此當(dāng)執(zhí)行緩沖區(qū)切換時需要停止輸入和輸出處理。當(dāng)在緩沖區(qū)切換時尚未存儲的復(fù)制數(shù)據(jù)全部變?yōu)橐汛鎯r，處于組提取狀態(tài)的緩沖區(qū)組轉(zhuǎn)變到組傳送狀態(tài)。處于組傳送狀態(tài)的緩沖區(qū)組指示從緩沖區(qū)組的各個記錄專用緩沖區(qū)11傳送復(fù)制數(shù)據(jù)，并且還將復(fù)制目的地通知給緩沖區(qū)組。
在復(fù)制目的地，當(dāng)接收到緩沖區(qū)組通知時緩沖區(qū)組轉(zhuǎn)變到組接收狀態(tài)。當(dāng)在各個控制模塊CM1、CM2、……的記錄專用緩沖區(qū)中完成了復(fù)制數(shù)據(jù)的接收時，緩沖區(qū)組轉(zhuǎn)變到組接收完成狀態(tài)。在組接收完成狀態(tài)，指示對于各個記錄專用緩沖區(qū)11的復(fù)制數(shù)據(jù)的展開。當(dāng)完成了來自所有記錄專用緩沖區(qū)11的復(fù)制數(shù)據(jù)的展開時，緩沖區(qū)組轉(zhuǎn)變到組鏡像完成狀態(tài)。當(dāng)復(fù)制源處的緩沖區(qū)組呈現(xiàn)組完成狀態(tài)時，所有緩沖區(qū)組的處理完成。
2.3緩沖區(qū)組交疊處理圖5是用于說明緩沖區(qū)組交疊處理的圖。在圖5中，存儲處理表示將復(fù)制數(shù)據(jù)存儲到復(fù)制源處的記錄專用緩沖區(qū)11的處理。提取處理表示提取復(fù)制源處的記錄專用緩沖區(qū)11中存儲的復(fù)制數(shù)據(jù)的處理。發(fā)送與接收處理表示發(fā)送從復(fù)制源處的記錄專用緩沖區(qū)11中提取的復(fù)制數(shù)據(jù)的處理，以及通過復(fù)制目的地處的記錄專用緩沖區(qū)11接收從復(fù)制源發(fā)送的復(fù)制數(shù)據(jù)的處理。展開處理表示在記錄目的地處將通過復(fù)制目的地的記錄專用緩沖區(qū)11所接收的復(fù)制數(shù)據(jù)展開到記錄介質(zhì)12中的處理。
對于緩沖區(qū)組B1、B2、……的處理可以交疊以有效地傳送復(fù)制數(shù)據(jù)。具體地，在經(jīng)由網(wǎng)絡(luò)進行的發(fā)送和接收的情況下，如圖5中的虛線I所示，可以進行交疊處理。如圖5中的點劃線II所示，在存儲處理和提取處理的情況下，當(dāng)切換緩沖區(qū)組時需要兩個緩沖區(qū)組互相協(xié)作。此外，如圖5中的雙點劃線III所示，在展開處理的情況下，為了獲得順序保證，不能進行交疊。
對于兩個緩沖區(qū)組可以同時進行發(fā)送處理。因此，通過無中斷地執(zhí)行發(fā)送處理，同時保持較早的緩沖區(qū)組的復(fù)制數(shù)據(jù)被更快發(fā)送的狀態(tài)，可以有效地利用網(wǎng)絡(luò)頻段。
2.4與遠程地點配合的順序圖6是用于說明與遠程地點配合的順序的圖。
在復(fù)制源和復(fù)制目的地之間的路徑延時很長的情況下，如果在復(fù)制源和復(fù)制目的地之間出現(xiàn)多次握手，則上下行通信耗費時間，這會導(dǎo)致對于存儲系統(tǒng)性能的不利影響。因此，對順序進行設(shè)計以使等待次數(shù)最少。
如圖6中所示，在步驟ST1中，在開通路徑的時候，首先將要求所需的記錄專用緩沖區(qū)11的數(shù)量以及希望的緩沖區(qū)大小的緩沖區(qū)請求從復(fù)制源發(fā)送到復(fù)制目的地。在步驟ST2中，在復(fù)制目的地，準(zhǔn)備緩沖區(qū)請求所要求數(shù)量的記錄專用緩沖區(qū)11，并將各個準(zhǔn)備的記錄專用緩沖區(qū)的緩沖區(qū)ID和緩沖區(qū)大小通過空緩沖區(qū)通知給復(fù)制源。由此，基于空緩沖區(qū)通知，將記錄專用緩沖區(qū)11分配給復(fù)制源。在步驟ST2中，在復(fù)制目的地處，如果無法準(zhǔn)備緩沖區(qū)請求所要求數(shù)量的記錄專用緩沖區(qū)11，則代替空緩沖區(qū)通知，將錯誤通知發(fā)送給復(fù)制源。至于緩沖區(qū)的大小，通過空緩沖區(qū)通知可以準(zhǔn)備的記錄專用緩沖區(qū)11的數(shù)量即可。在復(fù)制目的地可以準(zhǔn)備緩沖區(qū)請求所要求數(shù)量的記錄專用緩沖區(qū)11的情況下，在步驟ST3中，隨后在任意定時從復(fù)制源發(fā)送復(fù)制數(shù)據(jù)，并且在步驟ST4-1、ST4-2、……中，當(dāng)記錄專用緩沖區(qū)11已準(zhǔn)備好并且可接收時，復(fù)制目的地通知復(fù)制源記錄專用緩沖區(qū)11已準(zhǔn)備好并且可接收。記錄專用緩沖區(qū)11可通過緩沖區(qū)ID而被其它裝置識別。當(dāng)由于控制模塊的劣化等使得記錄專用模塊變得不可用時，可以重構(gòu)記錄專用緩沖區(qū)11并通知復(fù)制源。這樣，復(fù)制源無需保存以前被通知的記錄專用緩沖區(qū)11的信息。
在圖6中示出的情況下，復(fù)制源不等待來自復(fù)制目的地的響應(yīng)即執(zhí)行最多8次數(shù)據(jù)發(fā)送處理DPT1、DPT2、……(直到數(shù)據(jù)發(fā)送處理DPT8)。復(fù)制目的地進行等待，直到對于各個數(shù)據(jù)發(fā)送處理DPT1、DPT2、……，全部復(fù)制數(shù)據(jù)都存儲在記錄專用緩沖區(qū)11中，并且其后執(zhí)行相應(yīng)的數(shù)據(jù)的展開處理DDP1、DDP2、……，并在步驟ST4-1、ST4-2、……對于復(fù)制源進行空緩沖區(qū)通知。
2.5記錄專用緩沖區(qū)圖7和8是用于說明記錄專用緩沖區(qū)11的圖。
如圖7中所示，記錄專用緩沖區(qū)11由存儲復(fù)制數(shù)據(jù)的緩沖區(qū)主體111，以及存儲對于各個復(fù)制數(shù)據(jù)的復(fù)制源和復(fù)制目的地的信息的緩沖區(qū)表112構(gòu)成。緩沖區(qū)主體111例如可以以固定單位8KB存儲復(fù)制數(shù)據(jù)。緩沖區(qū)索引表112存儲邏輯地址信息和復(fù)制控制信息。邏輯地址信息包括對于8KB復(fù)制數(shù)據(jù)的復(fù)制源和復(fù)制目的地的邏輯單元(LU)和/或邏輯塊地址(LBA)、大小、復(fù)制會話數(shù)量等。
當(dāng)從記錄專用緩沖區(qū)11進行發(fā)送時，同時發(fā)送緩沖區(qū)主體111和緩沖區(qū)索引表112的信息，從而可在復(fù)制目的地處展開復(fù)制數(shù)據(jù)。
如圖8所示，緩沖區(qū)索引表112并不單獨保存相同區(qū)域的邏輯地址信息。此外，當(dāng)在緩沖區(qū)索引表112中存儲邏輯地址信息時，利用哈希表等進行判斷以確定邏輯地址是否已經(jīng)存儲，如果尚未存儲則在新的區(qū)域中存儲邏輯地址信息。在邏輯地址信息已經(jīng)存儲的情況下，如MS1和MS2所示，再次在已存儲的區(qū)域中存儲邏輯地址信息。在將要把邏輯地址信息存儲在與已存儲了邏輯地址的區(qū)域交疊的區(qū)域中的情況下，如MS3所示，以8KB為單位對邏輯地址進行分段，并且分別存儲這些段。因此，當(dāng)在復(fù)制目的地處展開復(fù)制數(shù)據(jù)時可以不必知道順序即可展開復(fù)制數(shù)據(jù)。
2.6寫入/存儲和提取處理圖9和圖10是用于說明寫入處理、存儲處理和提取處理的圖。
如圖9中的實線箭頭所指示，通常，對于來自服務(wù)器的復(fù)制請求，僅通過將復(fù)制處理所需的邏輯地址信息和復(fù)制控制信息存儲在緩沖區(qū)索引表112中，將響應(yīng)返回到服務(wù)器。為此，可以使由于需要復(fù)制數(shù)據(jù)而引起的復(fù)制源處的存儲裝置1-1的負荷很小。然而，如果對于前一緩沖區(qū)組的未存儲區(qū)域執(zhí)行寫入處理，則會破壞復(fù)制數(shù)據(jù)。因此，當(dāng)執(zhí)行提取處理時，進行判斷以確定在前一緩沖區(qū)的未存儲區(qū)域與寫入處理的區(qū)域之間是否存在重疊。如果確定存在重疊，存儲處理進行等待。
如圖9中的點劃線所示，存儲處理通過參照緩沖區(qū)索引表112與寫入處理異步地存儲復(fù)制數(shù)據(jù)。存儲處理不是在寫入處理之后立即執(zhí)行，從而不干擾順序?qū)懭胩幚怼?br> 當(dāng)檢測到用于連續(xù)存儲還未被存儲的復(fù)制數(shù)據(jù)的寫入處理處于等待時，提取處理優(yōu)先地存儲復(fù)制數(shù)據(jù)。
當(dāng)在緩沖區(qū)切換之后更新前一緩沖區(qū)的未存儲區(qū)域時，存儲處理所需的邏輯地址信息和復(fù)制控制信息被存儲在切換之后的緩沖區(qū)組的緩沖區(qū)索引表112中，如圖10中的實線箭頭所示，然后對于前一緩沖區(qū)組執(zhí)行寫入操作，如圖10中的點劃線所示。對于其它已存儲的區(qū)域，對于切換之后的緩沖區(qū)組執(zhí)行處理。
2.7緩沖區(qū)切換圖11是用于說明緩沖區(qū)切換處理的圖。
需要在保持寫入處理的順序的同時，執(zhí)行記錄專用緩沖區(qū)11的切換，于是，必須暫時停止輸入和輸出操作。但是在可以應(yīng)用本發(fā)明的存儲裝置中，通過多個控制模塊執(zhí)行輸入和輸出處理，因而通過對于全部控制模塊以同步的方式停止輸入和輸出處理，來切換記錄專用緩沖區(qū)11。
如圖11中所示，在步驟ST11中，首先從主控制模塊向全部控制模塊(所管理的全部控制模塊)做出寫入處理停止請求。在步驟ST12中，接收到寫入處理停止請求的所管理的控制模塊進行寫入停止(或?qū)懭腴]鎖)，以使得不能通過存儲處理對記錄專用緩沖區(qū)11進行新的存儲，并且將響應(yīng)返回到主控制模塊。接下來，在步驟ST13中，主控制模塊等待來自所管理的全部控制模塊對寫入操作停止請求的響應(yīng)。在步驟ST14中，接收到緩沖區(qū)切換請求的所管理的各個控制模塊取消寫入停止(或?qū)懭腴]鎖)，切換記錄專用緩沖區(qū)11，并且通知主控制模塊可以繼續(xù)寫入入處理。
可以在復(fù)制源處的記錄專用緩沖區(qū)11之一變滿的定時，或者在對于預(yù)定時間沒有切換記錄專用緩沖區(qū)11的定時，切換記錄專用緩沖區(qū)11。
在不存在要切換到的記錄專用緩沖區(qū)11的情況下，切換處理可進行重試處理。在這種情況下，在重試處理期間復(fù)制源處的寫入操作必須等待，但是可以認(rèn)為這與負荷調(diào)整一致，因為重試操作是由于缺少記錄專用緩沖區(qū)11而引起的。當(dāng)從復(fù)制目的地接收到與記錄專用緩沖區(qū)11相關(guān)的空緩沖區(qū)通知時，在復(fù)制源處立即切換記錄專用緩沖區(qū)11。結(jié)果，可以執(zhí)行處于等待的輸入和輸出處理。例如，在從對于記錄專用緩沖區(qū)的切換處理失敗起經(jīng)過一段預(yù)定的時間(例如，10秒)之后再次嘗試切換處理的情況下，可能由于記錄缺少專用緩沖區(qū)11而激活自動中斷功能。
2.8存儲系統(tǒng)的結(jié)構(gòu)圖12是示出根據(jù)本發(fā)明的存儲系統(tǒng)的一個實施例的重要部分的系統(tǒng)框圖。圖12中所示的存儲系統(tǒng)包括互相連接的服務(wù)器21-1和存儲裝置1-1、互相連接的服務(wù)器21-2和存儲裝置1-2、以及連接存儲裝置1-1和1-2的網(wǎng)絡(luò)23(如存儲區(qū)域網(wǎng)(SAN))。為了方便起見，假設(shè)服務(wù)器21-1和21-2由具有相同結(jié)構(gòu)的通用計算機構(gòu)成，并且存儲裝置1-1和1-2具有相同的獨立盤冗余陣列(RAID)結(jié)構(gòu)。
各個存儲裝置1-1和1-2包括多個通信適配器(CA)13，其用于與服務(wù)器21-1和21-2中的相應(yīng)的一個通信；多個遠程適配器(RA)14，其用于經(jīng)由網(wǎng)絡(luò)23進行遠程復(fù)制；主控制器模塊(CM-M)16-1，其控制各個存儲裝置1-1和1-2的整個操作；從屬控制器模塊(CM-S)16-2，其在相對于主控制模塊的從屬關(guān)系下控制各個存儲裝置1-1和1-2的整個操作；路由器(RT)17；多個設(shè)備適配器(DA)18，其控制與記錄介質(zhì)12的通信；以及多個記錄介質(zhì)12。在本實施例中，記錄介質(zhì)12由磁盤驅(qū)動器構(gòu)成。各個控制模塊16-1和16-2包括高速緩沖存儲器160。當(dāng)然，各個存儲裝置1-1和1-2內(nèi)的控制模塊的數(shù)量不限于2。
為了方便起見，在遠程復(fù)制中，假設(shè)從服務(wù)器21-1向復(fù)制源處的存儲裝置1-1寫入的數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)23寫入復(fù)制目的地處的并在服務(wù)器21-2控制下的存儲裝置1-2。
2.9存儲系統(tǒng)的操作圖13是示出遠程復(fù)制時的數(shù)據(jù)流的系統(tǒng)框圖。在圖13中，對那些與圖12中對應(yīng)的部件指定了相同的標(biāo)號，并且省略其說明。圖14和圖15是用于說明遠程復(fù)制的過程的流程圖。
如圖13中所示，各個控制模塊16-1和16-2內(nèi)的高速緩沖存儲器160包括由主緩沖區(qū)部(BUF)111和緩沖區(qū)索引表(BIT)112構(gòu)成的記錄專用緩沖區(qū)11。此外，各個控制模塊16-1和16-2內(nèi)的高速緩沖存儲器160還包括緩沖區(qū)組控制表(BSCT)161。緩沖區(qū)組控制表161將復(fù)制源處和復(fù)制目的地處的多個記錄專用緩沖區(qū)11(用于復(fù)制)的組合作為緩沖區(qū)組進行存儲和管理。在圖13中所示的具體情況下，復(fù)制源(SRC)的緩沖區(qū)ID“400，600”與復(fù)制目的地(DST)的緩沖區(qū)ID“500，700”相關(guān)，并且將相關(guān)的緩沖區(qū)ID在緩沖區(qū)組控制表161中作為緩沖區(qū)組來存儲和管理。記錄專用緩沖區(qū)11的主緩沖區(qū)部111存儲要復(fù)制的數(shù)據(jù)，即復(fù)制數(shù)據(jù)。記錄專用緩沖區(qū)11的緩沖區(qū)索引表112存儲主緩沖區(qū)部111中的復(fù)制數(shù)據(jù)的索引信息，即，如LUN和LBA的邏輯地址信息，以及復(fù)制控制信息。
在圖14和15中，復(fù)制源處的存儲裝置1-1的處理由步驟SS1至SS13表示，復(fù)制目的地處的存儲裝置1-2的處理由步驟SD1至SD11表示。在步驟SS1和SD1中，在復(fù)制源和復(fù)制目的地處執(zhí)行確定記錄專用緩沖區(qū)11的緩沖區(qū)組的初始結(jié)構(gòu)的處理。在步驟SS2中，在復(fù)制源處進行請求記錄專用緩沖區(qū)11的緩沖區(qū)請求，在步驟SD2中，在復(fù)制目的地處進行判斷以確定是否收到緩沖區(qū)請求。當(dāng)在復(fù)制目的地處收到緩沖區(qū)請求并且在SD2步驟中的判斷結(jié)果為是時，在步驟SD3中進行空緩沖區(qū)通知。
在步驟SS3中，在復(fù)制源處，當(dāng)接收到空緩沖區(qū)通知時，進行判斷以確定是否可以進行緩沖區(qū)組的初始創(chuàng)建。如果在步驟SS3中的判斷結(jié)果為是，則在步驟SS4中進行緩沖區(qū)組的初始生成，并且在步驟SS5中對于緩沖區(qū)組進行存儲處理。在步驟SS6中，在復(fù)制源處進行判斷以確定是否請求了緩沖區(qū)組的切換。如果在步驟SS6中的判斷結(jié)果為否，則處理返回到步驟SS5。在復(fù)制源處，如果步驟SS6中的判斷結(jié)果為是，則在步驟SS7中進行判斷以確定是否可以進行對于緩沖區(qū)組的緩沖區(qū)切換處理。如果步驟SS7中的判斷結(jié)果為是，則在步驟SS8中執(zhí)行對于緩沖區(qū)組的緩沖區(qū)切換處理。圖13中的點劃線示出了對于所切換到的緩沖區(qū)組的處理的流程。此外，在步驟SS9中，在復(fù)制源處，進行判斷以確定是否完成了對于緩沖區(qū)組的所有存儲處理。如果步驟SS9中的判斷結(jié)果為是，則在步驟SS10中對于發(fā)送緩沖區(qū)組執(zhí)行復(fù)制數(shù)據(jù)的發(fā)送處理。
在步驟SD4中，在復(fù)制目的地處，對于從復(fù)制源發(fā)送的緩沖區(qū)組的復(fù)制數(shù)據(jù)執(zhí)行接收處理。此外，在步驟SD5中，在復(fù)制目的地處，進行判斷以確定是否接收到緩沖區(qū)組的全部復(fù)制數(shù)據(jù)。在復(fù)制目的地處，如果步驟SD5中的判斷結(jié)果為是，則如圖15中所示，在步驟SD6中進行判斷以確定是否可以對于緩沖區(qū)組的復(fù)制數(shù)據(jù)進行展開處理。在復(fù)制目的地處，如果步驟SD6中的判斷結(jié)果為是，則在步驟SD7中對于緩沖區(qū)組的復(fù)制數(shù)據(jù)執(zhí)行展開處理，并且在步驟SD8中，向復(fù)制源進行完成通知，該完成通知表明完成了對于緩沖區(qū)組的復(fù)制數(shù)據(jù)的展開。
在步驟SS11中，在復(fù)制源處，進行判斷以確定是否從復(fù)制目的地接收到完成通知。如果步驟SS11中的判斷結(jié)果為是，則在步驟SS12中執(zhí)行釋放處理以釋放緩沖區(qū)組。此外，在步驟SS13中執(zhí)行重構(gòu)處理以重構(gòu)緩沖區(qū)組，并且處理返回圖14中所示的步驟SS7以等待緩沖區(qū)組的切換。
另一方面，在復(fù)制目的地處，在進行了完成通知之后，在步驟SD9中執(zhí)行釋放處理以釋放緩沖區(qū)組。此外，在步驟SD10中執(zhí)行重構(gòu)處理以重構(gòu)緩沖區(qū)組。此外，在步驟SD11中，在復(fù)制目的地處向復(fù)制源進行空緩沖區(qū)通知，并且處理返回到圖14中示出的步驟SD4以等待接收緩沖區(qū)組的復(fù)制數(shù)據(jù)。
相應(yīng)地，如圖13中的點化線箭頭所示，將復(fù)制源處的存儲裝置1-1的主控制模塊16-1內(nèi)的緩沖區(qū)組控制表161中的緩沖區(qū)ID“500，700”復(fù)制到復(fù)制目的地處的存儲裝置1-2的主控制模塊16-1內(nèi)的緩沖區(qū)組控制表161。如點劃線箭頭所示，將復(fù)制源處的存儲裝置1-1的主控制模塊16-1內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112的內(nèi)容，以及從屬控制模塊16-2內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112的內(nèi)容，分別復(fù)制到復(fù)制目的地處的存儲裝置1-2的主控制模塊16-1內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112，以及從屬控制模塊16-2內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112。
圖16是用于說明緩沖區(qū)切換處理的圖，并且圖17是用于說明緩沖區(qū)切換處理的過程的流程圖。
為了方便起見，如圖16中所示，假設(shè)在復(fù)制源處的存儲裝置1-1的主控制模塊16-1中執(zhí)行到緩沖區(qū)ID“400”的存儲處理，并且在復(fù)制源處的存儲裝置1-1的從屬控制模塊16-2中執(zhí)行到緩沖區(qū)ID“600”的存儲處理。在這種情況下，如果對于主控制模塊16-1接收到了對緩沖區(qū)ID“400”的存儲停止指令(或停止請求)，并且對于從屬控制模塊16-2接收到了對緩沖區(qū)ID“600”的存儲停止指令(或停止請求)，則等待到緩沖區(qū)ID“400”的存儲處理的停止的完成，以及到緩沖區(qū)ID“600”的存儲處理的停止的完成，以確定存儲處理的順序得到保證的點(如圖16中的粗虛線所示)。在主控制模塊16-1中，響應(yīng)于從緩沖區(qū)ID“400”切換到緩沖區(qū)ID“401”的緩沖區(qū)切換指令(或緩沖區(qū)切換請求)，執(zhí)行到緩沖區(qū)ID“401”的存儲處理。另一方面，在從屬控制模塊16-2中，響應(yīng)于從緩沖區(qū)ID“600”切換到緩沖區(qū)ID“601”的緩沖區(qū)切換指令(或緩沖區(qū)切換請求)，執(zhí)行到緩沖區(qū)ID“601”的存儲處理。
在圖17中，復(fù)制源處的存儲裝置1-1內(nèi)的主控制模塊16-1的處理由步驟S101至S111表示，并且復(fù)制源處的存儲裝置1-1內(nèi)的從屬控制模塊16-2的處理由步驟S201至S206表示。
在圖17中，在步驟S101中，在主控制模塊16-1中執(zhí)行到緩沖區(qū)ID“400”的存儲處理，并且在步驟S201中，在從屬控制模塊16-2中執(zhí)行到緩沖區(qū)ID“600”的存儲處理。在步驟S102中，主控制模塊16-1判斷是否執(zhí)行了緩沖區(qū)切換操作，并且如果步驟S102中的判斷結(jié)果為是，則在步驟S103中發(fā)出存儲停止指令并將存儲停止指令提供給從屬控制模塊1602。
在步驟S104中，主控制模塊16-1判斷是否接收到存儲停止指令。如果步驟S104中的判斷結(jié)果為是，則在步驟S105中，主控制模塊16-1判斷是否存在正在進行的存儲處理。如果步驟S105中的判斷結(jié)果為否，則在步驟S106中主控制模塊16-1執(zhí)行存儲停止處理。類似地，在步驟S202中，從屬控制模塊判斷是否接收到存儲停止指令。如果步驟S202中的判斷結(jié)果為是，則在步驟S203中從屬控制模塊16-2判斷是否存在正在進行的存儲處理。如果步驟S203中的判斷結(jié)果為否，則在步驟S204中從屬控制模塊16-2進行存儲停止處理。
在步驟S107中，在主控制模塊16-1中，進行判斷以確定是否全部存儲處理都處于存儲停止?fàn)顟B(tài)。如果步驟S107中的判斷結(jié)果為是，則在步驟S108中，主控制模塊16-1發(fā)出緩沖區(qū)切換指令，并將該緩沖區(qū)切換指令提供給從屬控制模塊16-2。
在步驟S109中，在主控制模塊16-1中，響應(yīng)于緩沖區(qū)切換指令執(zhí)行緩沖區(qū)切換處理，并且通知對緩沖區(qū)切換指令的響應(yīng)。此外，在步驟S110中，執(zhí)行到緩沖區(qū)ID“401”的存儲處理。另一方面，在步驟S205中，在從屬控制模塊16-2中，響應(yīng)于緩沖區(qū)切換指令執(zhí)行緩沖區(qū)切換處理，并且將對于緩沖區(qū)切換指令的響應(yīng)通知給主控制模塊16-1。此外，在步驟S206中，執(zhí)行到緩沖區(qū)“601”的存儲處理，并且從屬控制模塊16-1的處理結(jié)束。在步驟S111中，在主控制模塊16-1中，進行判斷以確定是否從主控制模塊16-1和從屬控制模塊16-2接收到對緩沖區(qū)切換指令的響應(yīng)。如果步驟S111中的判斷結(jié)果為是，則主控制模塊16-1的處理結(jié)束。
圖18是用于說明緩沖區(qū)組控制的圖，并且圖19是用于說明緩沖區(qū)組控制的處理的流程圖。
如圖18中所示，將復(fù)制源處的存儲裝置1-1的主控制模塊16-1內(nèi)的緩沖區(qū)組控制表161中的緩沖區(qū)ID“500，700”等復(fù)制到復(fù)制目的地處的存儲裝置1-2的主控制模塊16-1內(nèi)的緩沖區(qū)組控制表161。將復(fù)制源處的存儲裝置1-1的主控制模塊16-1內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112的內(nèi)容，以及復(fù)制源處的存儲裝置1-1的從屬控制模塊16-2內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112的內(nèi)容，分別復(fù)制到復(fù)制目的地處的存儲裝置1-2的主控制模塊16-1內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112，以及復(fù)制目的地處的存儲裝置1-2的從屬控制模塊16-2內(nèi)的主緩沖區(qū)部111和緩沖區(qū)索引表112。對于復(fù)制到緩沖區(qū)組控制表161的邏輯地址進行順序保證，但是對于復(fù)制到主緩沖區(qū)部111和緩沖區(qū)索引表112的內(nèi)容沒有順序保證，并且在準(zhǔn)備緩沖區(qū)組的時候執(zhí)行復(fù)制處理。
在圖19中，復(fù)制源處的存儲裝置1-1內(nèi)的控制模塊16-1和16-2執(zhí)行的緩沖區(qū)組發(fā)送處理由步驟SS21至SS27表示，并且復(fù)制目的地處的存儲裝置1-2內(nèi)的控制模塊16-1和16-2執(zhí)行的緩沖區(qū)組接收處理由步驟SD21至SD25表示。
在圖19中，在復(fù)制源處的存儲裝置1-1內(nèi)的控制模塊16-1和16-2中，當(dāng)在步驟SS21中完成緩沖區(qū)切換處理時，在步驟SS22中進行判斷以確定是否完成了所有存儲操作。如果在步驟SS22中的判斷結(jié)果為是，則在步驟SS23中，對于復(fù)制源和復(fù)制目的地處的存儲裝置1-1和1-2內(nèi)的控制模塊16-1和16-2開始對緩沖區(qū)索引表112和主緩沖區(qū)部111的內(nèi)容進行發(fā)送處理。
在步驟SS24中，在復(fù)制源處的存儲裝置1-1內(nèi)的控制模塊16-1和16-2中，進行判斷以確定是否完成了對于前一緩沖區(qū)組的復(fù)制數(shù)據(jù)的發(fā)送處理。如果步驟SS24中的判斷結(jié)果為是，則在步驟SS25中，對于復(fù)制目的地處的存儲裝置1-2內(nèi)的控制模塊16-1和16-2執(zhí)行對于緩沖區(qū)組控制表161內(nèi)的信息的發(fā)送處理。
在步驟SD21中，在復(fù)制目的地處的存儲裝置1-2內(nèi)的控制模塊16-1和16-2中，進行判斷以確定是否接收到緩沖區(qū)組的全部復(fù)制數(shù)據(jù)。如果步驟SD21中的判斷結(jié)果為是，則在步驟SD22中進行判斷以確定是否完成了對于前一緩沖區(qū)組的復(fù)制數(shù)據(jù)的展開操作。如果步驟SD22中的判斷結(jié)果為是，則在步驟SD23中執(zhí)行對于當(dāng)前緩沖區(qū)組的復(fù)制數(shù)據(jù)的展開處理。此外，在步驟SD24中，對復(fù)制源處的存儲裝置1-1內(nèi)的控制模塊16-1和16-2進行緩沖區(qū)組釋放通知。此外，在步驟SD25中對于緩沖區(qū)組的復(fù)制數(shù)據(jù)執(zhí)行釋放操作，并且處理結(jié)束。
在步驟SS26中，在復(fù)制源處的存儲裝置1-1內(nèi)的控制模塊16-1和16-2中，進行判斷以確定是否從復(fù)制目的地接收到緩沖區(qū)組釋放通知。如果步驟SS26中的判斷結(jié)果為是，則在步驟SS27中對于緩沖區(qū)執(zhí)行復(fù)制數(shù)據(jù)的釋放操作，并且處理結(jié)束。
如以上結(jié)合圖5所述的，可通過緩沖區(qū)組處理的交疊有效地傳送復(fù)制數(shù)據(jù)。具體地，在經(jīng)由網(wǎng)絡(luò)執(zhí)行發(fā)送和接收處理的情況下，如圖5中的虛線I所示，能夠進行交疊處理。
圖20是用于說明傳送多路性的優(yōu)化的圖。如圖20中所示，在進行單個多路傳輸?shù)那闆rC1下，在復(fù)制數(shù)據(jù)的傳送中產(chǎn)生間隔G1和G2。在進行三個多路傳輸?shù)那闆rC3下，即使快速傳送也不能展開的復(fù)制數(shù)據(jù)阻止了可以快速傳送和展開的復(fù)制數(shù)據(jù)的傳送，因此這種C3的情況是不理想的。因此，在對應(yīng)于情況C2的本實施例中，進行兩個多路傳輸，實現(xiàn)了傳送多路性的優(yōu)化。
因此，本發(fā)明可用于要求順序保證、順序?qū)懭雸?zhí)行以及傳送效率的存儲系統(tǒng)。
本申請要求2005年3月17日在日本專利局提交的日本特開2005-078014號公報的優(yōu)先權(quán)，在此通過引用并入其公開。
此外，本發(fā)明不局限于這些實施例，而是可以在不偏離本發(fā)明的范圍的情況下進行各種變型和修改。
權(quán)利要求
1.一種用于經(jīng)由網(wǎng)絡(luò)將第一存儲裝置內(nèi)的數(shù)據(jù)復(fù)制到第二存儲裝置的遠程復(fù)制方法，包括以下步驟(a)在第一存儲裝置內(nèi)，將復(fù)制源的至少一個第一記錄介質(zhì)的數(shù)據(jù)存儲到至少一個第一記錄專用緩沖區(qū)；(b)在第一存儲裝置內(nèi)，當(dāng)所述至少一個第一記錄專用緩沖區(qū)變滿或者從將數(shù)據(jù)存儲到所述至少一個第一記錄專用緩沖區(qū)起經(jīng)過了預(yù)定時間時，將所述至少一個第一記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式發(fā)送到第二存儲裝置；(c)在第二存儲裝置內(nèi)，將所接收的數(shù)據(jù)存儲到至少一個第二記錄專用緩沖區(qū)；以及(d)在第二存儲裝置內(nèi)，當(dāng)數(shù)據(jù)接收完成時，將所述至少一個第二記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式展開到復(fù)制目的地的至少一個第二記錄介質(zhì)。
2.如權(quán)利要求1所述的遠程復(fù)制方法，其中步驟(b)以第一緩沖區(qū)組為單位發(fā)送數(shù)據(jù)，各個第一緩沖區(qū)組由多個第一記錄專用緩沖區(qū)構(gòu)成，并且步驟(c)以第二緩沖區(qū)組為單位接收數(shù)據(jù)，各個第二緩沖區(qū)組由多個第二記錄專用緩沖區(qū)構(gòu)成，以保持對于被復(fù)制數(shù)據(jù)的順序保證。
3.如權(quán)利要求2所述的遠程復(fù)制方法，其中第一緩沖區(qū)組和第二緩沖區(qū)組中的每一個包括多個緩沖區(qū)組，以使得能夠不中斷地執(zhí)行數(shù)據(jù)的發(fā)送和接收，并執(zhí)行流水線操作。
4.如權(quán)利要求3所述的遠程復(fù)制方法，還包括以下步驟(e)執(zhí)行對于任意一個第一緩沖區(qū)組的數(shù)據(jù)發(fā)送和對于另一任意一個第二緩沖區(qū)組的數(shù)據(jù)接收的交疊處理。
5.如權(quán)利要求2所述的遠程復(fù)制方法，還包括以下步驟(f)在第一存儲裝置內(nèi)，向第二存儲裝置發(fā)送緩沖區(qū)請求，請求所需數(shù)量的第二記錄專用緩沖區(qū)以及希望的緩沖區(qū)大??；以及(g)在第二存儲裝置內(nèi)，準(zhǔn)備該緩沖區(qū)請求所請求的所述數(shù)量的第二記錄專用緩沖區(qū)，并通過空緩沖區(qū)通知將準(zhǔn)備的各個第二記錄專用緩沖區(qū)的緩沖區(qū)ID和緩沖區(qū)大小通知給第一存儲裝置，其中步驟(b)不等待來自第二存儲裝置的響應(yīng)而以預(yù)定次數(shù)向第二存儲裝置發(fā)送數(shù)據(jù)。
6.如權(quán)利要求2所述的遠程復(fù)制方法，其中步驟(a)通過將數(shù)據(jù)的復(fù)制處理所需的復(fù)制源和復(fù)制目的地的信息存儲在第一記錄專用緩沖區(qū)內(nèi)的緩沖區(qū)索引表中，并將由該信息指定的第一記錄介質(zhì)的數(shù)據(jù)存儲到第一記錄專用緩沖區(qū)內(nèi)的主緩沖區(qū)部分中，來將第一記錄介質(zhì)的數(shù)據(jù)存儲到第一存儲專用緩沖區(qū)。
7.如權(quán)利要求6所述的遠程復(fù)制方法，其中通過參考緩沖區(qū)索引表，與將所述信息存儲在緩沖區(qū)索引表中異步地執(zhí)行將數(shù)據(jù)存儲到主緩沖區(qū)部分中。
8.如權(quán)利要求2所述的遠程復(fù)制方法，還包括以下步驟(h)當(dāng)?shù)谝挥涗泴Ｓ镁彌_區(qū)中的一個變滿，或者對于預(yù)定時間第一記錄專用緩沖區(qū)未切換時，切換第一記錄專用緩沖區(qū)。
9.一種存儲系統(tǒng)，包括第一存儲裝置，其包括至少一個控制模塊、至少一個第一記錄介質(zhì)和至少一個第一記錄專用緩沖區(qū)；以及第二存儲裝置，其可以經(jīng)由網(wǎng)絡(luò)連接到第一存儲裝置，并且包括至少一個第二控制模塊、至少一個第二記錄介質(zhì)和至少一個第二記錄專用緩沖區(qū)，其中第一存儲裝置內(nèi)的數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)被復(fù)制到第二存儲裝置，第一控制模塊將復(fù)制源的所述至少一個第一記錄介質(zhì)的數(shù)據(jù)存儲到所述至少一個第一記錄專用緩沖區(qū)，而且當(dāng)所述至少一個第一記錄專用緩沖區(qū)變滿或者從將數(shù)據(jù)存儲到所述至少一個第一記錄專用緩沖區(qū)起經(jīng)過了預(yù)定時間時，將所述至少一個第一記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式發(fā)送到第二存儲裝置，并且第二控制模塊將所接收的數(shù)據(jù)存儲到所述至少一個第二記錄專用緩沖區(qū)，并且當(dāng)數(shù)據(jù)接收完成時，將所述至少一個第二記錄專用緩沖區(qū)內(nèi)的數(shù)據(jù)以整體的方式展開到復(fù)制目的地的至少一個第二記錄介質(zhì)。
10.如權(quán)利要求9所述的存儲系統(tǒng)，其中第一控制模塊以第一緩沖區(qū)組為單位發(fā)送數(shù)據(jù)，各個第一緩沖區(qū)組由多個第一記錄專用緩沖區(qū)構(gòu)成，并且第二控制模塊以第二緩沖區(qū)組為單位接收數(shù)據(jù)，各個第二緩沖區(qū)組由多個第二記錄專用緩沖區(qū)構(gòu)成，以保持對于被復(fù)制數(shù)據(jù)的順序保證。
11.如權(quán)利要求10所述的存儲系統(tǒng)，其中第一緩沖區(qū)組和第二緩沖區(qū)組中的每一個包括多個緩沖區(qū)組，以使得能夠不中斷地執(zhí)行數(shù)據(jù)的發(fā)送和接收，并執(zhí)行流水線操作。
12.如權(quán)利要求11所述的存儲系統(tǒng)，其中執(zhí)行對于任意一個第一緩沖區(qū)組的數(shù)據(jù)發(fā)送以及對于另一任意一個第二緩沖區(qū)組的數(shù)據(jù)接收的交疊處理。
13.如權(quán)利要求10所述的存儲系統(tǒng)，其中在第一存儲裝置內(nèi)，第一控制模塊向第二存儲裝置發(fā)送緩沖區(qū)請求，請求所需數(shù)量的第二記錄專用緩沖區(qū)以及希望的緩沖區(qū)大??；以及在第二存儲裝置內(nèi)，第二控制模塊準(zhǔn)備緩沖區(qū)請求所請求的所述數(shù)量的第二記錄專用緩沖區(qū)，并通過空緩沖區(qū)通知將所準(zhǔn)備的各個第二記錄專用緩沖區(qū)的緩沖區(qū)ID和緩沖區(qū)大小通知給第一存儲裝置，其中第一控制模塊不等待來自第二存儲裝置的響應(yīng)而以預(yù)定次數(shù)向第二存儲裝置發(fā)送數(shù)據(jù)。
14.如權(quán)利要求10所述的存儲系統(tǒng)，其中第一控制模塊通過將數(shù)據(jù)復(fù)制處理所需的復(fù)制源和復(fù)制目的地的信息存儲在第一記錄專用緩沖區(qū)內(nèi)的緩沖區(qū)索引表中，并將該信息所指定的第一記錄介質(zhì)的數(shù)據(jù)存儲到第一記錄專用緩沖區(qū)內(nèi)的主緩沖區(qū)部中，來將第一記錄介質(zhì)的數(shù)據(jù)存儲到第一存儲專用緩沖區(qū)。
15.如權(quán)利要求14所述的存儲系統(tǒng)，其中第一控制模塊通過參考緩沖區(qū)索引表，與將所述信息存儲到緩沖區(qū)索引表中異步地執(zhí)行將數(shù)據(jù)存儲到主緩沖區(qū)部分。
16.如權(quán)利要求10所述的存儲系統(tǒng)，其中當(dāng)?shù)谝挥涗泴Ｓ镁彌_區(qū)中的一個變滿，或者對于預(yù)定時間第一記錄專用緩沖區(qū)未切換時，第一控制模塊切換第一記錄專用緩沖區(qū)。
17.如權(quán)利要求9所述的存儲系統(tǒng)，其中設(shè)置多個第一控制模塊和多個第二控制模塊，在各個第一控制模塊中設(shè)置所述至少一個第一記錄專用緩沖區(qū)，并且在各個第二控制模塊中設(shè)置所述至少一個第二記錄專用緩沖區(qū)。
18.一種用于經(jīng)由網(wǎng)絡(luò)將第一存儲裝置內(nèi)的數(shù)據(jù)復(fù)制到第二存儲裝置的遠程復(fù)制方法，包括以下步驟(a)以第一緩沖區(qū)組為單位發(fā)送來自第一存儲裝置的數(shù)據(jù)，各個第一緩沖區(qū)組由第一存儲裝置內(nèi)的多個第一記錄專用緩沖區(qū)形成；以及(b)由第二存儲裝置以第二緩沖區(qū)組為單位接收數(shù)據(jù)，各個第二緩沖區(qū)組由第二存儲裝置內(nèi)的多個第二記錄專用緩沖區(qū)形成，以保持對于被復(fù)制數(shù)據(jù)的順序保證。
19.如權(quán)利要求18所述的遠程復(fù)制方法，其中第一緩沖區(qū)組和第二緩沖區(qū)組中的每一個包括多個緩沖區(qū)組，以使得能夠不中斷地執(zhí)行數(shù)據(jù)的發(fā)送和接收，并執(zhí)行流水線操作。
20.一種存儲系統(tǒng)，包括第一存儲裝置，其包括至少一個控制模塊、至少一個第一記錄介質(zhì)和至少一個第一記錄專用緩沖區(qū)；以及第二存儲裝置，其可以經(jīng)由網(wǎng)絡(luò)連接到第一存儲裝置，并且包括至少一個第二控制模塊、至少一個第二記錄介質(zhì)和至少一個第二記錄專用緩沖區(qū)，其中第一存儲裝置內(nèi)的數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)被復(fù)制到第二存儲裝置，第一控制模塊以第一緩沖區(qū)組為單位發(fā)送來自第一存儲裝置的數(shù)據(jù)，各個第一緩沖區(qū)組由第一存儲裝置內(nèi)的多個第一記錄專用緩沖區(qū)形成；并且第二控制模塊通過第二存儲裝置以第二緩沖區(qū)組為單位接收數(shù)據(jù)，各個第二緩沖區(qū)組由第二存儲裝置內(nèi)的多個第二記錄專用緩沖區(qū)形成，以保持對于被復(fù)制數(shù)據(jù)的順序保證。
21.如權(quán)利要求20所述的存儲系統(tǒng)，其中第一和第二緩沖區(qū)組中的每一個包括多個緩沖區(qū)組，以使得能夠不中斷地執(zhí)行數(shù)據(jù)的發(fā)送和接收，并執(zhí)行流水線操作。
全文摘要
一種經(jīng)由網(wǎng)絡(luò)將第一存儲裝置內(nèi)的數(shù)據(jù)復(fù)制到第二存儲裝置的遠程復(fù)制方法，包括對來自第一存儲裝置的數(shù)據(jù)以第一緩沖區(qū)組為單位進行發(fā)送，各個第一緩沖區(qū)組由第一存儲裝置內(nèi)的多個第一記錄專用緩沖區(qū)形成；以及由第二存儲裝置以第二緩沖區(qū)組為單位接收數(shù)據(jù)，各個第二緩沖區(qū)組由第二存儲裝置內(nèi)的多個第二記錄專用緩沖區(qū)形成，以保持對于被復(fù)制數(shù)據(jù)的順序保證。
文檔編號G06F11/14GK1834933SQ200510091918
公開日2006年9月20日 申請日期2005年8月12日 優(yōu)先權(quán)日2005年3月17日
發(fā)明者古川博司, 岡本博 申請人:富士通株式會社