數(shù)據(jù)冗余容錯的適配管理設(shè)備、服務(wù)設(shè)備、系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)冗余容錯的存儲適配管理設(shè)備，包括：管理服務(wù)模塊，用于配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略。本發(fā)明還公開了一種數(shù)據(jù)冗余容錯的存儲適配服務(wù)設(shè)備，包括：元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊。本發(fā)明還公開了一種數(shù)據(jù)冗余容錯的存儲適配系統(tǒng)及方法，其中的方法包括：配置數(shù)據(jù)冗余容錯方式及其適配策略，元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整。采用本發(fā)明，能兼顧多種數(shù)據(jù)冗余容錯方式，對數(shù)據(jù)冗余容錯方式進行靈活地適配調(diào)整。
【專利說明】數(shù)據(jù)冗余容錯的適配管理設(shè)備、服務(wù)設(shè)備、系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云計算應(yīng)用的云存儲技術(shù)，尤其涉及一種數(shù)據(jù)冗余容錯的存儲適配管理設(shè)備、服務(wù)設(shè)備、系統(tǒng)及方法。
【背景技術(shù)】
[0002]全球數(shù)據(jù)量的猛增，帶動著整個存儲市場的快速發(fā)展，使得云存儲技術(shù)得到大規(guī)模應(yīng)用。
[0003]云存儲作為一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)，通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能。通常云存儲系統(tǒng)設(shè)備采用通用的服務(wù)器，例如X86架構(gòu)服務(wù)器。這里，所謂x86為intel通用計算機系列的標準編號縮寫，是特定微處理器執(zhí)行的一些計算機語言指令集，定義了芯片的基本使用規(guī)則。
[0004]數(shù)據(jù)存儲服務(wù)是云存儲服務(wù)商向用戶提供的重要服務(wù)內(nèi)容，因此數(shù)據(jù)的可靠性是用戶非常關(guān)心的一個性能，為了保證云存儲中數(shù)據(jù)的可靠性，需要采用數(shù)據(jù)冗余技術(shù)，即依靠云存儲軟件提供數(shù)據(jù)冗余容錯的冗余存儲方式，現(xiàn)有的云存儲軟件層次的冗余存儲方式包括糾刪碼(EC, Erasure Code)方式、畐U本方式等。
[0005]針對EC方式而言，所謂EC方式是將原始數(shù)據(jù)分為N+M塊，M塊為校驗數(shù)據(jù)，只要任意N塊數(shù)據(jù)可用，即可恢復(fù)原始數(shù)據(jù)。可配置支持9+3，10+2，10+6等多種EC方式，滿足不同可靠性和磁盤利用率的需要，例如，9+3指N = 9，M = 3時的EC方式。EC方式區(qū)別于完全副本備份的冗余存儲方式，不是直接存儲原始數(shù)據(jù)自身，而是將原始數(shù)據(jù)分割成多個數(shù)據(jù)塊，通過編碼算法先計算出校驗數(shù)據(jù)，然后將原始數(shù)據(jù)和校驗數(shù)據(jù)分布存儲在整個廣域網(wǎng)中不同的存儲服務(wù)器上，提供給用戶訪問(通過校驗數(shù)據(jù)塊對從不同存儲服務(wù)器上獲取的原始數(shù)據(jù)塊進行重組校驗)。雖然，節(jié)約了存儲空間，但是，該編碼計算和重組校驗會影響到訪問效率和數(shù)據(jù)可靠性。
[0006]針對副本方式而言，所謂副本方式是為原始數(shù)據(jù)簡單復(fù)制一份或多份數(shù)據(jù)，并同時存儲和提供訪問。副本方式是一種完全副本備份的冗余存儲方式，通過生成多個原始數(shù)據(jù)的副本，并將這些原始數(shù)據(jù)的副本分別存儲在廣域網(wǎng)中不同的存儲服務(wù)器上，以達到備份的目的，只要有一個副本保持完整，原始數(shù)據(jù)就可以正常獲取并提供給用戶訪問，也就是說，只要有一個副本可以訪問，數(shù)據(jù)就不會丟失，數(shù)據(jù)可靠性高，但是會過多地占用存儲空間。
[0007]對比以上EC方式和副本方式的不同實現(xiàn)方式可知:EC方式在與副本方式得到相同可靠性的條件下，能節(jié)約存儲空間，但是，編碼和重組校驗會較多地開銷計算處理能力，導(dǎo)致訪問效率低；而副本方式訪問效率高，但是存儲空間利用率不高。
[0008]目前，采用現(xiàn)有技術(shù)，只能采用以上任一種、單一的冗余存儲方式，各有優(yōu)劣，沒法對存儲方式進行靈活地適配調(diào)整。
【發(fā)明內(nèi)容】

[0009]有鑒于此，本發(fā)明的主要目的在于提供一種數(shù)據(jù)冗余容錯的存儲適配管理設(shè)備、服務(wù)設(shè)備、系統(tǒng)及方法，能實現(xiàn)云存儲中對存儲方式進行靈活地適配調(diào)整。
[0010]為達到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0011]一種數(shù)據(jù)冗余容錯的存儲適配管理設(shè)備，該設(shè)備包括:管理服務(wù)模塊，用于配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略，將所述數(shù)據(jù)冗余容錯方式及其適配策略提供給服務(wù)側(cè)訪問并指示服務(wù)側(cè)選擇相適配的數(shù)據(jù)冗余容錯方式。
[0012]其中，所述管理服務(wù)模塊，進一步用于根據(jù)存儲域、和/或應(yīng)用、和/或用戶、和/或數(shù)據(jù)對象配置所述數(shù)據(jù)冗余容錯方式及其適配策略。
[0013]其中，所述管理服務(wù)模塊，進一步用于在視頻點播類服務(wù)的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，對熱點視頻文件，需配置選用副本方式；對非熱點視頻文件，需配置選用糾刪碼EC方式。
[0014]其中，所述管理服務(wù)模塊，進一步用于在設(shè)備故障維護管理的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留多個富余安全數(shù)據(jù)塊，并配置副本方式和EC方式都適用。
[0015]其中，所述管理服務(wù)模塊，進一步用于在剩余物理存儲空間不夠?qū)е孪到y(tǒng)告警的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留的多個富余安全數(shù)據(jù)塊的數(shù)量需要降低，并配置副本方式和EC方式都適用；當檢測到以副本方式存儲的數(shù)據(jù)塊其對應(yīng)熱度降低時，改為選用EC方式。
[0016]一種數(shù)據(jù)冗余容錯的存儲適配服務(wù)設(shè)備，該設(shè)備包括:元數(shù)據(jù)服務(wù)模塊、數(shù)據(jù)服務(wù)模塊；其中，
[0017]所述元數(shù)據(jù)服務(wù)模塊，用于訪問管理側(cè)并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整；將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給所述數(shù)據(jù)服務(wù)模塊；
[0018]所述數(shù)據(jù)服務(wù)模塊，用于根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。
[0019]其中，所述數(shù)據(jù)服務(wù)模塊，進一步用于調(diào)整自身的數(shù)據(jù)冗余容錯方式后，返回響應(yīng)給所述元數(shù)據(jù)服務(wù)模塊；
[0020]所述元數(shù)據(jù)服務(wù)模塊，進一步用于接收到所述響應(yīng)后，更新對應(yīng)的元數(shù)據(jù)。
[0021]一種數(shù)據(jù)冗余容錯的存儲適配系統(tǒng)，該系統(tǒng)包括:管理側(cè)的管理服務(wù)模塊，服務(wù)側(cè)的元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊；其中，
[0022]所述管理服務(wù)模塊，用于配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略，將所述數(shù)據(jù)冗余容錯方式及其適配策略提供給服務(wù)側(cè)訪問并指示服務(wù)側(cè)選擇相適配的數(shù)據(jù)冗余容錯方式；
[0023]所述元數(shù)據(jù)服務(wù)模塊，用于訪問管理側(cè)并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整；將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給所述數(shù)據(jù)服務(wù)模塊；
[0024]所述數(shù)據(jù)服務(wù)模塊，用于根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。[0025]其中，所述管理服務(wù)模塊，進一步用于根據(jù)存儲域、和/或應(yīng)用、和/或用戶、和/或數(shù)據(jù)對象配置所述數(shù)據(jù)冗余容錯方式及其適配策略。
[0026]其中，所述管理服務(wù)模塊，進一步用于在視頻點播類服務(wù)的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，對熱點視頻文件，需配置選用副本方式；對非熱點視頻文件，需配置選用EC方式。
[0027]其中，所述管理服務(wù)模塊，進一步用于在設(shè)備故障維護管理的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留多個富余安全數(shù)據(jù)塊，并配置副本方式和EC方式都適用。
[0028]其中，所述管理服務(wù)模塊，進一步用于在剩余物理存儲空間不夠?qū)е孪到y(tǒng)告警的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留的多個富余安全數(shù)據(jù)塊的數(shù)量需要降低，并配置副本方式和EC方式都適用；當檢測到以副本方式存儲的數(shù)據(jù)塊其對應(yīng)熱度降低時，改為選用EC方式。
[0029]一種數(shù)據(jù)冗余容錯的存儲適配方法，該方法包括:管理服務(wù)模塊配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略；
[0030]元數(shù)據(jù)服務(wù)模塊訪問管理服務(wù)模塊并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整；
[0031]將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給數(shù)據(jù)服務(wù)模塊；數(shù)據(jù)服務(wù)模塊根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。
[0032]其中，所述配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略具體包括:根據(jù)存儲域、和/或應(yīng)用、和/或用戶、和/或數(shù)據(jù)對象配置所述數(shù)據(jù)冗余容錯方式及其適配策略。
[0033]其中，該方法還包括:數(shù)據(jù)服務(wù)模塊調(diào)整自身的數(shù)據(jù)冗余容錯方式后，返回響應(yīng)給所述元數(shù)據(jù)服務(wù)模塊；元數(shù)據(jù)服務(wù)模塊接收到所述響應(yīng)后，更新對應(yīng)的元數(shù)據(jù)。
[0034]本發(fā)明管理服務(wù)模塊配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略；元數(shù)據(jù)服務(wù)模塊訪問管理服務(wù)模塊并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整；將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給數(shù)據(jù)服務(wù)模塊；數(shù)據(jù)服務(wù)模塊根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。
[0035]采用本發(fā)明，由于能可選地選擇相適配的數(shù)據(jù)冗余容錯方式，實現(xiàn)云存儲中對存儲方式進行靈活地適配調(diào)整，而不是采用單一的、一個固定的數(shù)據(jù)冗余容錯方式，因此，能兼顧各種數(shù)據(jù)冗余容錯方式的優(yōu)越性。
【專利附圖】

【附圖說明】
[0036]圖1為本發(fā)明系統(tǒng)的組成結(jié)構(gòu)示意圖；
[0037]圖2為本發(fā)明方法的實現(xiàn)流程圖。
【具體實施方式】
[0038]本發(fā)明的基本思想是:管理服務(wù)模塊配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略；元數(shù)據(jù)服務(wù)模塊訪問管理服務(wù)模塊并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整；將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給數(shù)據(jù)服務(wù)模塊；數(shù)據(jù)服務(wù)模塊根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。
[0039]本發(fā)明主要包括以下內(nèi)容:
[0040]本發(fā)明的系統(tǒng)包括:云存儲中的管理服務(wù)模塊、云存儲中的元數(shù)據(jù)服務(wù)模塊和云存儲中的數(shù)據(jù)服務(wù)模塊。其中，元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊位于同側(cè)，并通過以太網(wǎng)與管理服務(wù)模塊互聯(lián)。
[0041]云存儲中的管理服務(wù)模塊，用于配置云存儲中數(shù)據(jù)冗余容錯方式及其適配策略，以實現(xiàn)根據(jù)實際存儲空間容量、和/或訪問效率、和/或網(wǎng)絡(luò)帶寬等參數(shù)及其組合選擇適合的數(shù)據(jù)冗余容錯方式進行數(shù)據(jù)存儲，從而達到兼顧數(shù)據(jù)可靠性和數(shù)據(jù)可用性兩方面性能需求的效果。
[0042]這里，所述適配策略的配置可以按照存儲域、應(yīng)用、用戶、數(shù)據(jù)對象進行配置。其中，針對存儲域而言，存儲域指云存儲系統(tǒng)邏輯劃分，一個存儲域包含多個存儲服務(wù)器節(jié)點，一般存儲域不共用存儲節(jié)點。針對應(yīng)用而言，應(yīng)用指郵箱、視頻、圖片、辦公等，不同應(yīng)用包含數(shù)據(jù)存儲要求一般也不相同。針對用戶而言，用戶指注冊登錄云存儲系統(tǒng)的用戶帳號，根據(jù)其服務(wù)協(xié)議具備使用指定權(quán)限的云存儲的容量、時間段和存儲策略。針對數(shù)據(jù)對象而言，數(shù)據(jù)對象指數(shù)據(jù)存放目錄或數(shù)據(jù)文件類型等。
[0043]這里，具體來說，I)針對視頻點播類的服務(wù)應(yīng)用場景，管理服務(wù)模塊按該服務(wù)應(yīng)用場景的具體應(yīng)用來設(shè)置數(shù)據(jù)冗余容錯方式的適配策略時，以應(yīng)用為視頻文件是否為熱點視頻文件為例，如果一個視頻文件被多次點播，也可以稱為該視頻為熱點視頻文件(是否為熱點視頻文件，可以用針對該視頻每天的訪問次數(shù)來衡量)，對于熱點視頻文件，則采用副本方式；對于非熱點視頻文件，則采用EC方式。而且，該視頻文件越是熱點，設(shè)置適配策略時，采用副本方式時，對應(yīng)的副本數(shù)量可以越多。
[0044]2)針對云存儲設(shè)備故障維護管理的應(yīng)用場景，管理服務(wù)模塊，按該存儲域來設(shè)置數(shù)據(jù)冗余容錯方式的適配策略時，設(shè)置一個存儲域預(yù)留多個富余安全數(shù)據(jù)塊。副本方式和EC方式都適用，只不過，針對副本方式，該富余安全數(shù)據(jù)塊指副本拷貝數(shù)據(jù)庫，而針對EC方式，則是指校驗數(shù)據(jù)塊。
[0045]3)針對剩余物理存儲空間不多，系統(tǒng)會告警，而由于某些原因不能及時實施擴容的應(yīng)用場景，管理服務(wù)模塊，按該存儲域來設(shè)置數(shù)據(jù)冗余容錯方式的適配策略時，降低富余安全數(shù)據(jù)塊的數(shù)量，其他沒有富余安全數(shù)據(jù)塊的數(shù)據(jù)維持不變，對于熱度較低的、原先采用副本方式存儲的數(shù)據(jù)，改為采用存儲空間利用率更高的EC方式。
[0046]云存儲中的元數(shù)據(jù)服務(wù)模塊，用于讀取管理服務(wù)模塊中所配置的數(shù)據(jù)。
[0047]這里，該所配置的數(shù)據(jù)包括數(shù)據(jù)冗余容錯方式，及如何選擇不同數(shù)據(jù)冗余容錯方式的適配策略。
[0048]云存儲中的元數(shù)據(jù)服務(wù)模塊，還用于讀取所配置的數(shù)據(jù)后，按所述適配策略對數(shù)據(jù)冗余容錯方式進行掃描，并選擇一個適合的數(shù)據(jù)冗余容錯方式。
[0049]云存儲中的數(shù)據(jù)服務(wù)模塊，用于根據(jù)所述元數(shù)據(jù)服務(wù)模塊的指示，調(diào)整自身的數(shù)據(jù)冗余容錯方式，可以與元數(shù)據(jù)服務(wù)模塊所選擇的數(shù)據(jù)冗余容錯方式一致，并返回響應(yīng)給元數(shù)據(jù)服務(wù)模塊。其中，所返回的響應(yīng)具體為:已經(jīng)調(diào)整為一致的數(shù)據(jù)冗余容錯方式的響應(yīng)。[0050]下面結(jié)合附圖對技術(shù)方案的實施作進一步的詳細描述。
[0051]如圖1所示，圖1為本發(fā)明基于云存儲的數(shù)據(jù)冗余容錯的存儲適配系統(tǒng)的組成結(jié)構(gòu)示意圖，以云存儲中任一個存儲域為例，該系統(tǒng)包括:數(shù)據(jù)冗余容錯的存儲管理設(shè)備和服務(wù)設(shè)備，其中，該管理設(shè)備包括管理服務(wù)模塊；該服務(wù)設(shè)備包括元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊。
[0052]管理服務(wù)模塊用于配置云存儲中數(shù)據(jù)冗余容錯方式的適配策略，該適配策略可以按照存儲域、應(yīng)用、用戶、數(shù)據(jù)對象進行設(shè)置。管理服務(wù)模塊還用于云存儲拓撲管理，即:管理服務(wù)模塊可以管理一個或多個存儲域。存儲域?qū)?yīng)了一個存儲邏輯空間定義，包含一個或多個云存儲服務(wù)器。調(diào)整數(shù)據(jù)冗余容錯方式以存儲域為基本單位執(zhí)行。管理服務(wù)模塊還用于其他包括性能監(jiān)控、故障告警管理、系統(tǒng)日志、統(tǒng)計分析、對象冗余列表等管理。
[0053]云存儲中任一個存儲域在邏輯上分為元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊。這里，就元數(shù)據(jù)和數(shù)據(jù)的關(guān)系而言，元數(shù)據(jù)可以理解為關(guān)于“數(shù)據(jù)”的數(shù)據(jù)，即元數(shù)據(jù)為用于描述其它數(shù)據(jù)的一種數(shù)據(jù)。而數(shù)據(jù)可以理解為物理實體，元數(shù)據(jù)則是提供了對數(shù)據(jù)相關(guān)的各種屬性的記錄，比如記錄用戶數(shù)據(jù)的物理分布，為用戶數(shù)據(jù)讀寫提供數(shù)據(jù)物理分布信息等，元數(shù)據(jù)，其本身也可以作為被描述的數(shù)據(jù)對象。
[0054]正因為有了“元數(shù)據(jù)”和“數(shù)據(jù)”之間的上述關(guān)系，因此，在“元數(shù)據(jù)服務(wù)模塊”和“數(shù)據(jù)服務(wù)模塊”之間，在元數(shù)據(jù)服務(wù)模塊根據(jù)配置的適配策略選擇好一個數(shù)據(jù)冗余容錯方式后，會指示數(shù)據(jù)服務(wù)模塊也調(diào)整自身的數(shù)據(jù)冗余容錯方式。而且，由于數(shù)據(jù)存在不同的服務(wù)器上，每個服務(wù)器要對同一數(shù)據(jù)采用至少相同的冗余容錯方式才行，所以，元數(shù)據(jù)服務(wù)模塊調(diào)整了自身的數(shù)據(jù)冗余容錯方式后，數(shù)據(jù)服務(wù)模塊也會調(diào)整自身的數(shù)據(jù)冗余容錯方式，并將響應(yīng)返回元數(shù)據(jù)服務(wù)模塊，同時元數(shù)據(jù)服務(wù)模塊修改其對應(yīng)的元數(shù)據(jù)。
[0055]元數(shù)據(jù)服務(wù)模塊用于讀取管理服務(wù)模塊的配置數(shù)據(jù)，包括數(shù)據(jù)冗余容錯方式及其適配策略，并按適配策略掃描所配置的數(shù)據(jù)冗余容錯方式，選定了數(shù)據(jù)冗余容錯方式后，指示數(shù)據(jù)服務(wù)模塊執(zhí)行數(shù)據(jù)冗余容錯方式的對應(yīng)適配調(diào)整。元數(shù)據(jù)服務(wù)模塊還用于記錄用戶數(shù)據(jù)的物理分布；為用戶數(shù)據(jù)讀寫提供數(shù)據(jù)物理分布信息。
[0056]數(shù)據(jù)服務(wù)模塊用于根據(jù)元數(shù)據(jù)服務(wù)模塊的指示，調(diào)整自身的數(shù)據(jù)冗余容錯方式并響應(yīng)。數(shù)據(jù)服務(wù)模塊用于分布式地物理存儲用戶的數(shù)據(jù)；為用戶讀寫數(shù)據(jù)提供分布式服務(wù)；記錄系統(tǒng)日志，包括物理設(shè)備告警、系統(tǒng)操作記錄等。
[0057]如圖1所示，圖1中的數(shù)據(jù)冗余容錯的存儲管理設(shè)備包括:管理服務(wù)模塊。如圖1所示，圖1中的數(shù)據(jù)冗余容錯的存儲服務(wù)設(shè)備包括:元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊，至于，該管理服務(wù)模塊、該元數(shù)據(jù)服務(wù)模塊和該數(shù)據(jù)服務(wù)模塊的描述如上述系統(tǒng)中所描述的內(nèi)容，在次不做贅述。
[0058]如圖2所示，圖2為本發(fā)明基于云存儲的數(shù)據(jù)冗余容錯的存儲適配方法的實現(xiàn)方法流程圖，該方法包括以下步驟:
[0059]步驟101、管理服務(wù)模塊設(shè)置數(shù)據(jù)冗余容錯方式及其適配策略。
[0060]步驟102、元數(shù)據(jù)服務(wù)模塊讀取上述預(yù)設(shè)策略，并進行掃描檢測。
[0061]步驟103、元數(shù)據(jù)服務(wù)模塊判斷是否需要調(diào)整數(shù)據(jù)冗余容錯方式，如果是，則執(zhí)行步驟104，否則，執(zhí)行步驟102。
[0062]步驟104、數(shù)據(jù)服務(wù)模塊接受元數(shù)據(jù)服務(wù)模塊的指令，執(zhí)行數(shù)據(jù)冗余容錯方式的適配，并返回執(zhí)行結(jié)果，元數(shù)據(jù)服務(wù)模塊更新對應(yīng)的元數(shù)據(jù)。
[0063]以下，以三種具體應(yīng)用場景對冗余容錯方式的適配進行描述。
[0064]應(yīng)用場景一、針對視頻點播類服務(wù)的訪問熱度進行數(shù)據(jù)冗余容錯方式的適配
[0065]在視頻點播類的服務(wù)中，各個視頻文件的訪問熱度差異較大。所謂熱度為評價一個被多次點播的視頻文件的訪問量的指標，該視頻文件就是用戶普遍關(guān)注的熱點網(wǎng)絡(luò)視頻片段。
[0066]管理服務(wù)模塊按該應(yīng)用設(shè)置數(shù)據(jù)冗余容錯方式的適配策略。
[0067]例如，一方面，設(shè)置視頻文件的訪問熱度，以每天的訪問次數(shù)衡量，超過設(shè)置的訪問次數(shù)閥值(例如10次)，使用的數(shù)據(jù)冗余容錯方式為副本方式；越是熱點，采用的副本數(shù)量可以越多，例如2副本調(diào)整為3副本。對低于該冗余容錯規(guī)格(指前述將2副本調(diào)整為3副本的這個規(guī)格)的數(shù)據(jù)，數(shù)據(jù)服務(wù)模塊會接受元數(shù)據(jù)服務(wù)模塊的指令，執(zhí)行數(shù)據(jù)冗余容錯方式的適配調(diào)整，并返回執(zhí)行結(jié)果，元數(shù)據(jù)服務(wù)模塊更新對應(yīng)的元數(shù)據(jù)，因為數(shù)據(jù)適配調(diào)整后，元數(shù)據(jù)是記錄數(shù)據(jù)改變的描述數(shù)據(jù)，因此，元數(shù)據(jù)也需要更新，更新的是針對數(shù)據(jù)改變的描述。
[0068]另一方面，不屬于熱點的視頻文件(評價是否為熱點的視頻文件或不屬于熱點的視頻文件，可以采用的指標為:例如每天的訪問次數(shù)小于2次的可稱為不屬于熱點的視頻文件，除此之外的，就是熱點的視頻文件)，如比較冷僻的視頻文件，使用EC方式，越冷僻視頻文件，所采用的校驗數(shù)據(jù)塊的比例越低，例如，將EC方式的參數(shù)配置由9+3調(diào)整為10+2。對高于該冗余容錯規(guī)格(指前述將EC方式的參數(shù)配置由9+3調(diào)整為10+2的規(guī)格)的數(shù)據(jù)，數(shù)據(jù)服務(wù)模塊會接受元數(shù)據(jù)服務(wù)模塊的指令，執(zhí)行數(shù)據(jù)冗余容錯方式的適配調(diào)整，并返回執(zhí)行結(jié)果，元數(shù)據(jù)服務(wù)模塊更新對應(yīng)的元數(shù)據(jù)。
[0069]應(yīng)用場景二、針對云存儲設(shè)備故障維護管理的數(shù)據(jù)冗余容錯方式的適配
[0070]云存儲采用通用的服務(wù)器設(shè)備，在日常工程維護中，會遇到硬盤損壞、存儲節(jié)點不可用等異常情況，隨著時間推移，設(shè)備老化情況也在變化，物理存儲環(huán)境對數(shù)據(jù)冗余容錯的要求因此也在變化。特別是備份數(shù)據(jù)往往疏于管理，配置數(shù)據(jù)冗余容錯方式的適配策略，適時自動調(diào)整數(shù)據(jù)冗余容錯方式就非常有價值。
[0071]管理服務(wù)模塊按該存儲域設(shè)置數(shù)據(jù)冗余容錯方式的適配策略。
[0072]例如，設(shè)置一個存儲域預(yù)留2個富余安全數(shù)據(jù)塊(指扣減可能損壞的冗余數(shù)據(jù)塊后，還可以抵抗損壞的數(shù)據(jù)塊數(shù)量)，則根據(jù)設(shè)備故障統(tǒng)計，一段時間(例如24小時)內(nèi)，該存儲域同時損壞的硬盤數(shù)量為2個，則需要為該數(shù)據(jù)存放4份數(shù)據(jù)。如果采用副本方式，就提供4個副本；如果采用EC方式，就提供校驗塊4塊以上。對低于該冗余容錯規(guī)格(指前述采用副本方式，就提供4個副本；如果采用EC方式，就提供校驗塊4塊以上的規(guī)格)的數(shù)據(jù)，云存儲數(shù)據(jù)服務(wù)模塊會接受元數(shù)據(jù)服務(wù)模塊的指令，執(zhí)行數(shù)據(jù)冗余容錯方式的適配調(diào)整，并返回執(zhí)行結(jié)果，元數(shù)據(jù)服務(wù)模塊更新對應(yīng)的元數(shù)據(jù)。
[0073]應(yīng)用場景三、針對剩余物理存儲空間不多的數(shù)據(jù)冗余容錯方式的適配
[0074]云存儲系統(tǒng)雖然可以根據(jù)容量需求量增加，進行彈性在線擴容，但是在某個時刻(指云存儲某個工程實施結(jié)束后，有一個確定的軟硬件配置時刻)，其本身還是有一個容量上限。當容量需求量增加，剩余物理存儲空間不多，系統(tǒng)會告警，而由于某些原因不能及時在線實時擴容，就可以利用云存儲冗余容錯方式的適配調(diào)整贏得在線實時擴容的時間。[0075]管理服務(wù)模塊按該存儲域設(shè)置數(shù)據(jù)冗余容錯方式的適配策略。
[0076]例如，設(shè)置一個存儲域剩余存儲空間不足10%時，對于富余安全數(shù)據(jù)塊大于3的數(shù)據(jù)，富余安全數(shù)據(jù)塊數(shù)量降低到2，其他維持不變；對于熱度較低的、采用副本方式存儲的數(shù)據(jù)，使用存儲空間利用率更高的EC方式。
[0077]在管理服務(wù)模塊，可以查看數(shù)據(jù)對象的冗余列表，還可以對指定的數(shù)據(jù)對象，配置數(shù)據(jù)冗余容錯方式的適配策略。例如，數(shù)據(jù)對象指數(shù)據(jù)存放目錄或數(shù)據(jù)文件類型等，可以按照文件目錄和/或類型指定適配策略。
[0078]管理服務(wù)模塊還可以對重疊的數(shù)據(jù)冗余容錯方式的適配策略進行裁決，可以自動、或提示手動選擇數(shù)據(jù)冗余容錯方式的適配策略。例如，按照用戶設(shè)置的富余安全數(shù)據(jù)塊數(shù)量為2，但是該用戶某數(shù)據(jù)對象又設(shè)置了富余安全數(shù)據(jù)塊數(shù)量為3，則可設(shè)置系統(tǒng)自動裁決，按更安全方式、范圍更小的策略進行處理，即對所述用戶的所述數(shù)據(jù)對象按照富余安全數(shù)據(jù)塊數(shù)量為3處理。再例如，當系統(tǒng)判斷需要進行適配策略調(diào)整，但涉及數(shù)據(jù)對象較多(例如，多余100個數(shù)據(jù)文件)，可能影響在線服務(wù)性能時，會提醒管理員介入控制，系統(tǒng)和管理員會話包括交互是否需要現(xiàn)在調(diào)整或者設(shè)置調(diào)整時間；是否對目錄下所有文件執(zhí)行調(diào)整或者只是調(diào)整該文件冗余策略，諸如此類等等。
[0079]綜上所述，本發(fā)明提供了在使用云存儲時，靈活調(diào)整數(shù)據(jù)冗余容錯方式的系統(tǒng)與方法。采用本發(fā)明能兼顧多種數(shù)據(jù)冗余容錯方式，對比EC方式和副本方式的不同實現(xiàn)方式可知:EC方式具備靈活的參數(shù)配置(如可配置支持9+3，10+2，10+6等多種EC方式，滿足不同可靠性和磁盤利用率的需要)，根據(jù)不同參數(shù)配置支持不同的存儲空間利用率和不同的數(shù)據(jù)可靠性需求。EC方式在提高數(shù)據(jù)可用性，節(jié)約存儲空間方面有明顯優(yōu)勢，但是在數(shù)據(jù)可靠性方面、數(shù)據(jù)讀取效率和節(jié)約計算處理開銷方面還是副本方式有明顯優(yōu)勢。而副本方式可以具備較高讀取效率，節(jié)約計算處理開銷，但存儲空間利用率不高。而本發(fā)明由于能兼顧多種數(shù)據(jù)冗余容錯方式，在云存儲系統(tǒng)的性能和存儲利用率不均衡時，可以適應(yīng)應(yīng)用場景的需要而及時在線適配調(diào)整，從而選定一個最佳的數(shù)據(jù)冗余容錯方式。比采用現(xiàn)有技術(shù)，單一的數(shù)據(jù)冗余容錯方式?jīng)]有可選性，具有明顯優(yōu)勢。
[0080]以上所述，僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范圍。
【權(quán)利要求】
1.一種數(shù)據(jù)冗余容錯的存儲適配管理設(shè)備，其特征在于，該設(shè)備包括:管理服務(wù)模塊，用于配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略，將所述數(shù)據(jù)冗余容錯方式及其適配策略提供給服務(wù)側(cè)訪問并指示服務(wù)側(cè)選擇相適配的數(shù)據(jù)冗余容錯方式。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其特征在于，所述管理服務(wù)模塊，進一步用于根據(jù)存儲域、和/或應(yīng)用、和/或用戶、和/或數(shù)據(jù)對象配置所述數(shù)據(jù)冗余容錯方式及其適配策略。
3.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于，所述管理服務(wù)模塊，進一步用于在視頻點播類服務(wù)的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，對熱點視頻文件，需配置選用副本方式；對非熱點視頻文件，需配置選用糾刪碼EC方式。
4.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于，所述管理服務(wù)模塊，進一步用于在設(shè)備故障維護管理的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留多個富余安全數(shù)據(jù)塊，并配置副本方式和EC方式都適用。
5.根據(jù)權(quán)利要求1或2所述的設(shè)備，其特征在于，所述管理服務(wù)模塊，進一步用于在剩余物理存儲空間不夠?qū)е孪到y(tǒng)告警的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留的多個富余安全數(shù)據(jù)塊的數(shù)量需要降低，并配置副本方式和EC方式都適用；當檢測到以副本方式存儲的數(shù)據(jù)塊其對應(yīng)熱度降低時，改為選用EC方式。
6.一種數(shù)據(jù)冗余容錯的存儲適配服務(wù)設(shè)備，其特征在于，該設(shè)備包括:元數(shù)據(jù)服務(wù)模塊、數(shù)據(jù)服務(wù)模塊；其中， 所述元數(shù)據(jù)服務(wù)模塊，用于訪問管理側(cè)并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整；將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給所述數(shù)據(jù)服務(wù)模塊； 所述數(shù)據(jù)服務(wù)模塊，用于根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。
7.根據(jù)權(quán)利要求6所述的設(shè)備，其特征在于，所述數(shù)據(jù)服務(wù)模塊，進一步用于調(diào)整自身的數(shù)據(jù)冗余容錯方式后，返回響應(yīng)給所述元數(shù)據(jù)服務(wù)模塊； 所述元數(shù)據(jù)服務(wù)模塊，進一步用于接收到所述響應(yīng)后，更新對應(yīng)的元數(shù)據(jù)。
8.一種數(shù)據(jù)冗余容錯的存儲適配系統(tǒng)，其特征在于，該系統(tǒng)包括:管理側(cè)的管理服務(wù)模塊，服務(wù)側(cè)的元數(shù)據(jù)服務(wù)模塊和數(shù)據(jù)服務(wù)模塊；其中， 所述管理服務(wù)模塊，用于配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略，將所述數(shù)據(jù)冗余容錯方式及其適配策略提供給服務(wù)側(cè)訪問并指示服務(wù)側(cè)選擇相適配的數(shù)據(jù)冗余容錯方式； 所述元數(shù)據(jù)服務(wù)模塊，用于訪問管理側(cè)并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整；將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給所述數(shù)據(jù)服務(wù)模塊； 所述數(shù)據(jù)服務(wù)模塊，用于根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于，所述管理服務(wù)模塊，進一步用于根據(jù)存儲域、和/或應(yīng)用、和/或用戶、和/或數(shù)據(jù)對象配置所述數(shù)據(jù)冗余容錯方式及其適配策略。
10.根據(jù)權(quán)利要求8或9所述的系統(tǒng)，其特征在于，所述管理服務(wù)模塊，進一步用于在視頻點播類服務(wù)的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，對熱點視頻文件，需配置選用副本方式；對非熱點視頻文件，需配置選用EC方式。
11.根據(jù)權(quán)利要求8或9所述的系統(tǒng)，其特征在于，所述管理服務(wù)模塊，進一步用于在設(shè)備故障維護管理的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留多個富余安全數(shù)據(jù)塊，并配置副本方式和EC方式都適用。
12.根據(jù)權(quán)利要求8或9所述的系統(tǒng)，其特征在于，所述管理服務(wù)模塊，進一步用于在剩余物理存儲空間不夠?qū)е孪到y(tǒng)告警的應(yīng)用場景下配置所述數(shù)據(jù)冗余容錯方式及其適配策略時，配置一個存儲域?qū)?yīng)預(yù)留的多個富余安全數(shù)據(jù)塊的數(shù)量需要降低，并配置副本方式和EC方式都適用；當檢測到以副本方式存儲的數(shù)據(jù)塊其對應(yīng)熱度降低時，改為選用EC方式。
13.一種數(shù)據(jù)冗余容錯的存儲適配方法，其特征在于，該方法包括:管理服務(wù)模塊配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略； 元數(shù)據(jù)服務(wù)模塊訪問管理服務(wù)模塊并讀取配置的所述數(shù)據(jù)冗余容錯方式及其適配策略，選擇相適配的數(shù)據(jù)冗余容錯方式并對自身的數(shù)據(jù)冗余容錯方式進行適配調(diào)整； 將已適配調(diào)整自身數(shù)據(jù)冗余容錯方式的指示發(fā)送給數(shù)據(jù)服務(wù)模塊；數(shù)據(jù)服務(wù)模塊根據(jù)接收的所述指示，相應(yīng)地調(diào)整自身的數(shù)據(jù)冗余容錯方式。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述配置云存儲中的數(shù)據(jù)冗余容錯方式及其適配策略具體包括:根據(jù)存儲域、和/或應(yīng)用、和/或用戶、和/或數(shù)據(jù)對象配置所述數(shù)據(jù)冗余容錯方式及其適配策略。
15.根據(jù)權(quán)利要求13或14所述的方法，其特征在于，該方法還包括:數(shù)據(jù)服務(wù)模塊調(diào)整自身的數(shù)據(jù)冗余容錯方式后，返回響應(yīng)給所述元數(shù)據(jù)服務(wù)模塊；元數(shù)據(jù)服務(wù)模塊接收到所述響應(yīng)后，更新對應(yīng)的元 數(shù)據(jù)。
【文檔編號】G06F11/00GK103631666SQ201210305197
【公開日】2014年3月12日 申請日期:2012年8月24日 優(yōu)先權(quán)日:2012年8月24日
【發(fā)明者】柯尊友, 王偉, 葉郁文 申請人:中興通訊股份有限公司