專利名稱：實現(xiàn)負載均衡的云存儲系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機技術(shù)領(lǐng)域，更具體地，涉及實現(xiàn)負載均衡的云存儲系統(tǒng)以及用于云存儲系統(tǒng)的負載均衡方法。
背景技術(shù)：
云存儲系統(tǒng)面對的是海量用戶操作海量數(shù)據(jù)的應(yīng)用場景，在生產(chǎn)環(huán)境中，可能會出現(xiàn)各個層級上的性能瓶頸。這些性能瓶頸可包括例如站點級別的性能瓶頸、站點內(nèi)部元數(shù)據(jù)訪問瓶頸、站點內(nèi)部負載數(shù)據(jù)訪問瓶頸以及站點內(nèi)部數(shù)據(jù)存儲不均衡。例如，云存儲站點通常部署在某個區(qū)域，通過互聯(lián)網(wǎng)對外提供云存儲服務(wù)。在云存儲站點提供云存儲服務(wù)過程中，可能出現(xiàn)該地區(qū)的訪問量超過該站點服務(wù)能力的現(xiàn)象或者其他原因?qū)е戮W(wǎng)絡(luò)擁堵，因而影響業(yè)務(wù)響應(yīng)。然而，現(xiàn)有存在的云存儲產(chǎn)品或解決方案中，只是對各個層級上的某一層級的不均衡情況或者部分不均衡情況進行了處理。由于性能瓶頸可能發(fā)生在各個層級上，對某一個層級的不均衡情況進行處理只能部分地改善云存儲系統(tǒng)的性能，不能夠從整體上改善云存儲系統(tǒng)的性能。

發(fā)明內(nèi)容
為解決現(xiàn)有技術(shù)存在的問題，本發(fā)明提供了一種實現(xiàn)負載均衡的云存儲系統(tǒng)以及用于云存儲系統(tǒng)的負載均衡方法，使得能夠較好地改善云存儲的系統(tǒng)的性能。根據(jù)本發(fā)明的一個方面，提供了一種實現(xiàn)負載均衡的云存儲系統(tǒng)，包括負載監(jiān)控服務(wù)單元、多個云存儲站點，所述多個云存儲站點包括第一云存儲站點和第二云存儲站點，其中所述負載監(jiān)控服務(wù)單元用于在檢測出所述第一云存儲站點的負載超過負載閾值時，將應(yīng)用請求轉(zhuǎn)發(fā)給所述第二云存儲站點；所述第二云存儲站點包括多個服務(wù)接入點、多個元數(shù)據(jù)位置管理服務(wù)單元、至少一個元數(shù)據(jù)服務(wù)器和數(shù)據(jù)文件管理子系統(tǒng)，其中從多個服務(wù)接入點中選擇的一個服務(wù)接入點用于將接收到的所述應(yīng)用請求發(fā)送給所述多個元數(shù)據(jù)位置管理服務(wù)單元中負載較輕的元數(shù)據(jù)位置管理服務(wù)單元；所述負載較輕的元數(shù)據(jù)位置管理服務(wù)單元用于根據(jù)所述應(yīng)用請求確定出與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，以及根據(jù)所確定出的元數(shù)據(jù)位置信息從相應(yīng)的元數(shù)據(jù)服務(wù)器獲取相應(yīng)的元數(shù)據(jù)；所選擇的服務(wù)接入點用于將所獲取的元數(shù)據(jù)以及所述應(yīng)用請求發(fā)送給所述數(shù)據(jù)文件管理子系統(tǒng)以便所述數(shù)據(jù)文件管理子系統(tǒng)根據(jù)所述應(yīng)用請求執(zhí)行相應(yīng)的操作。在可選實施例中，所述應(yīng)用請求包括應(yīng)用的讀請求或者寫請求，所述數(shù)據(jù)文件管理子系統(tǒng)，包括多個存儲服務(wù)器，用于存儲數(shù)據(jù)文件，其中數(shù)據(jù)文件以對象存儲的方式管理并且一份數(shù)據(jù)文件具有至少一個對象；負載均衡管理單元，用于監(jiān)測所述多個存儲服務(wù)器中每一個的負載情況，以及在監(jiān)測到多個存儲服務(wù)器中的第一存儲服務(wù)器的寫負載較重時，發(fā)送對象遷移指示，或者，在監(jiān)測到所述第一存儲服務(wù)器的讀負載較重時，發(fā)送副本建立指示；以及，數(shù)據(jù)遷移單元，用于根據(jù)所述對象遷移指示將第一存儲服務(wù)器中的數(shù)據(jù)文件的部分對象遷移到負載較輕的存儲服務(wù)器中；或者，根據(jù)所述副本建立指示為所述第一存儲服務(wù)器中讀訪問頻繁的數(shù)據(jù)文件在負載較輕的存儲服務(wù)器中建立多個只讀副本。在可選實施例中，所述數(shù)據(jù)文件管理子系統(tǒng)還包括存儲均衡管理單元，用于監(jiān)測所述多個存儲服務(wù)器中每一個的空間使用率，當(dāng)監(jiān)測到第二存儲服務(wù)器的空間使用率超過空間使用率閾值時，選擇所述第二存儲服務(wù)器服務(wù)負載較輕的時間段，指示所述數(shù)據(jù)遷移單元將所述二存儲服務(wù)器的數(shù)據(jù)文件的部分對象遷移到空間使用率較小的存儲服務(wù)器。在可選實施例中，所述數(shù)據(jù)文件管理子系統(tǒng)的存儲服務(wù)器包括緩存單元、SSD/SAS磁盤和SATA磁盤，其中高熱點數(shù)據(jù)文件存儲在所述緩存單元中；以及普通熱點數(shù)據(jù)文件存儲在所述SSD或SAS磁盤中；以及非熱點數(shù)據(jù)文件存儲在所述SATA磁盤中。根據(jù)本發(fā)明的另一個方面，還提供了一種用于云存儲系統(tǒng)的負載均衡方法，所述云存儲系統(tǒng)包括負載監(jiān)控服務(wù)單元和多個云存儲站點，其中，所述多個云存儲站點包括第一云存儲站點和第二云存儲站點，所述第二云存儲站點包括多個服務(wù)接入點、多個元數(shù)據(jù)位置管理服務(wù)單元、至少一個元數(shù)據(jù)服務(wù)器和數(shù)據(jù)文件管理子系統(tǒng)，所述負載均衡方法包括所述負載監(jiān)控服務(wù)單元在檢測出所述第一云存儲站點的負載超過負載閾值時，將應(yīng)用請求轉(zhuǎn)發(fā)給所述第二云存儲站點；所述第二云存儲站點從多個服務(wù)接入點中選擇一個服務(wù)接入點，并將接收到的所述應(yīng)用請求發(fā)送給所選擇的服務(wù)接入點；所選擇的服務(wù)接入點將應(yīng)用請求發(fā)送給多個元數(shù)據(jù)位置管理服務(wù)單元中負載較輕的元數(shù)據(jù)位置管理服務(wù)單元；所述負載較輕的元數(shù)據(jù)位置管理服務(wù)單元根據(jù)所述應(yīng)用請求確定出與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，然后根據(jù)所確定出的元數(shù)據(jù)位置信息從相應(yīng)的元數(shù)據(jù)服務(wù)器獲取相應(yīng)的元數(shù)據(jù)；所選擇的服務(wù)接入點將所獲取的元數(shù)據(jù)以及所述應(yīng)用請求發(fā)送給所述數(shù)據(jù)文件管理子系統(tǒng)以便所述數(shù)據(jù)文件管理子系統(tǒng)根據(jù)所述應(yīng)用請求執(zhí)行相應(yīng)的操作。在可選實施例中，所述應(yīng)用請求包括應(yīng)用的讀請求或者寫請求，所述數(shù)據(jù)文件管理子系統(tǒng)包括多個存儲有數(shù)據(jù)文件的存儲服務(wù)器，其中數(shù)據(jù)文件以對象存儲的方式管理并且一份數(shù)據(jù)文件具有至少一個對象。所述負載均衡方法還包括所述數(shù)據(jù)文件管理子系統(tǒng)監(jiān)測所述多個存儲服務(wù)器中每一個的負載情況，當(dāng)監(jiān)測到第一存儲服務(wù)器的寫負載較重時，將所述第一存儲服務(wù)器中的部分數(shù)據(jù)文件的部分對象遷移到負載較輕的存儲服務(wù)器中；和/或，當(dāng)監(jiān)測到所述第一存儲服務(wù)器的讀負載較重時，為所述第一存儲服務(wù)器中讀訪問頻繁的數(shù)據(jù)文件在負載較輕的存儲服務(wù)器中建立多個只讀副本以響應(yīng)應(yīng)用的讀請求。在可選實施例中，所述負載均衡方法還包括所述數(shù)據(jù)文件管理子系統(tǒng)監(jiān)測到所述多個存儲服務(wù)器中每一個的空間使用率，當(dāng)監(jiān)測到第二存儲服務(wù)器的空間使用率超過空間使用率閾值時，選擇所述第二存儲服務(wù)器服務(wù)負載較輕的時間段，將所述第二存儲器的部分數(shù)據(jù)文件的部分對象遷移到空間使用率較小的存儲服務(wù)器。在可選實施例中，所述云存儲系統(tǒng)對數(shù)據(jù)文件采取全局命名空間管理，所述元數(shù)據(jù)存儲位置管理服務(wù)單元在每個文件創(chuàng)建時，為每個數(shù)據(jù)文件分配一個全局空間命名標(biāo)識ID0在可選實施例中，所述第二云存儲站點是所述多個云存儲站點中負載較輕的云存儲站點。在可選實施例中，所述數(shù)據(jù)文件管理子系統(tǒng)將高熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的緩存單元中；將普通熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的SSD或SAS磁盤中；以及將非熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的SATA磁盤中。本發(fā)明通過在至少兩個層級上對云存儲系統(tǒng)的負載進行均衡處理，使得可以較好地改善云存儲系統(tǒng)的性能。


·
圖1是根據(jù)本發(fā)明一實施例的實現(xiàn)負載均衡的云存儲系統(tǒng)的結(jié)構(gòu)示意圖。圖2是圖1示出的云存儲系統(tǒng)中的云存儲站點的結(jié)構(gòu)示意圖。圖3是圖2示出的云存儲站點的數(shù)據(jù)文件管理子系統(tǒng)的結(jié)構(gòu)示意圖。圖4是根據(jù)本發(fā)明一實施例的用于云存儲系統(tǒng)的負載均衡方法的流程示意圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明進行進一步地詳細說明。圖1是根據(jù)本發(fā)明一實施例的實現(xiàn)負載均衡的云存儲系統(tǒng)的結(jié)構(gòu)示意圖。如圖1所示，本發(fā)明實施例的實現(xiàn)負載均衡的云存儲系統(tǒng)，包括負載監(jiān)控服務(wù)單元10和多個云存儲站點。為了本發(fā)明描述清楚的目的，圖1中示意性地示出了第一云存儲站點22和第二云存儲站點24以及其他的云存儲站點。負載監(jiān)控服務(wù)單元10用于在檢測出所述第一云存儲站點22的負載超過負載閾值時，將應(yīng)用請求轉(zhuǎn)發(fā)給所述第二云存儲站點24。需要說明的是，在本發(fā)明實施例中，多個云存儲站點中的任意的云存儲站點可以是第一云存儲站點和第二云存儲站點。在可選實施例中，第二云存儲站點可以是多個云存儲站點中負載較輕的云存儲站點，例如負載最輕的云存儲站點。在可選實施例中，負載監(jiān)控服務(wù)單元10可以是云存儲系統(tǒng)中的獨立的負載監(jiān)控服務(wù)器，或者，可以是設(shè)置在云存儲站點22中的一個單元。第二云存儲站點在收到應(yīng)用請求后，通過本地的數(shù)據(jù)文件副本對用戶的應(yīng)用請求提供服務(wù)；或者，通過專有網(wǎng)絡(luò)將數(shù)據(jù)文件從第一云存儲站點復(fù)制到第二云存儲站點后提供服務(wù)。在本發(fā)明可選實施例中，云存儲系統(tǒng)可以采用對數(shù)據(jù)文件進行全局命名空間的方式進行管理，這樣多個云存儲站點可以方便地識別出同一個數(shù)據(jù)文件。例如，云存儲站點在每個數(shù)據(jù)文件創(chuàng)建時，為每個數(shù)據(jù)文件分配一個全局空間命名標(biāo)識ID，通常由云存儲站點中的元數(shù)據(jù)存儲位置管理服務(wù)單元來執(zhí)行。圖2是圖1示出的云存儲系統(tǒng)中的云存儲站點的結(jié)構(gòu)示意圖。圖2示出的云存儲站點的實施例可以是多個云存儲站點中的任意的云存儲站點。為了便于說明，以第二云存儲站點為例進行描述。如圖2所示，第二云存儲站點配置有多個服務(wù)接入點241。在可選實施例中，云存儲站點可以是根據(jù)應(yīng)用服務(wù)的類型來配置不同的服務(wù)接入點。第二云存儲站點24還包括多個元數(shù)據(jù)位置管理服務(wù)單元243、至少一個元數(shù)據(jù)服務(wù)器245和數(shù)據(jù)文件管理子系統(tǒng)247。第二云存儲站點在接收到應(yīng)用請求后從多個服務(wù)接入點241 (如241A和241B)中選擇出一個服務(wù)接入點，例如服務(wù)接入點241A。然后，服務(wù)接入點A用于將接收到的應(yīng)用請求發(fā)送給多個元數(shù)據(jù)位置管理服務(wù)單元243 (如243A、243B、. . . 243N)中負載較輕的元數(shù)據(jù)位置管理服務(wù)單元，例如元數(shù)據(jù)位置管理服務(wù)單元243A。在可選實施例中，服務(wù)接入點241A可以是通過負載均衡模塊選擇負載較輕的元數(shù)據(jù)位置管理服務(wù)單元。負載較輕的元數(shù)據(jù)位置管理服務(wù)單元243A用于根據(jù)所述應(yīng)用請求確定出與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，以及根據(jù)所確定出的元數(shù)據(jù)位置信息從相應(yīng)的元數(shù)據(jù)服務(wù)器獲取相應(yīng)的元數(shù)據(jù)。本發(fā)明實施例的第二云存儲站點通過多個服務(wù)接入點來訪問與應(yīng)用請求對應(yīng)的元數(shù)據(jù)，可以使得對元數(shù)據(jù)的訪問分散在不同的接入點，從而可以提高整體元數(shù)據(jù)的服務(wù)能力。然后，選擇負載較輕的元數(shù)據(jù)位置管理服務(wù)單元來得到與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，這樣進一步提高了云存儲站點的元數(shù)據(jù)訪問能力。通過元數(shù)據(jù)位置管理服務(wù)單元和元數(shù)據(jù)服務(wù)器二級方式，可以處理億級別元數(shù)據(jù)的請求。然后，所選擇的`服務(wù)接入點用于將所獲取的元數(shù)據(jù)以及所述應(yīng)用請求發(fā)送給所述數(shù)據(jù)文件管理子系統(tǒng)以便所述數(shù)據(jù)文件管理子系統(tǒng)根據(jù)所述應(yīng)用請求執(zhí)行相應(yīng)的操作。例如，服務(wù)接入點在接收到應(yīng)用請求后，會根據(jù)應(yīng)用請求的類型，將應(yīng)用請求轉(zhuǎn)發(fā)給相應(yīng)的元數(shù)據(jù)或數(shù)據(jù)管理單元，由元數(shù)據(jù)或數(shù)據(jù)處理單元執(zhí)行相應(yīng)的操作，完成后返回給發(fā)送應(yīng)用請求的裝置。在本發(fā)明可選實施例中，應(yīng)用請求可以包括應(yīng)用的讀請求或者寫請求。圖3是圖2示出的云存儲站點中的數(shù)據(jù)文件管理子系統(tǒng)的結(jié)構(gòu)示意圖。如圖3所
示，數(shù)據(jù)文件管理子系統(tǒng)包括多個存儲服務(wù)器302 (如302A、302B.....302N)，用于存儲數(shù)
據(jù)文件，其中數(shù)據(jù)文件以對象存儲的方式管理并且一份數(shù)據(jù)文件具有至少一個對象。在一實施例中，對象在數(shù)據(jù)文件創(chuàng)建或?qū)懖僮鲿r生成，大小古董。對于單個數(shù)據(jù)文件，可能有多個對象組成。在可選實施例中，組成該數(shù)據(jù)文件的所有對象可以集中分布在由多個存儲服務(wù)器構(gòu)成的存儲集群的某個存儲分區(qū)中如圖3所示，數(shù)據(jù)文件管理子系統(tǒng)還包括負載均衡管理單元304，用于監(jiān)測所述多個存儲服務(wù)器中每一個的負載情況。負載均衡管理單元304進一步用于例如在監(jiān)測到多個存儲服務(wù)器中的第一存儲服務(wù)器302A的寫負載較重時，發(fā)送對象遷移指示。負載均衡管理單元304還用于例如在監(jiān)測到所述第一存儲服務(wù)器302A的讀負載較重時，發(fā)送副本建立指示。數(shù)據(jù)文件管理子系統(tǒng)還包括數(shù)據(jù)遷移單元306，用于根據(jù)對象遷移指示將第一存儲服務(wù)器302A中的數(shù)據(jù)文件的部分對象遷移到負載較輕的存儲服務(wù)器中；或者，根據(jù)所述副本建立指示為第一存儲服務(wù)器302A中讀訪問頻繁的數(shù)據(jù)文件在負載較輕的存儲服務(wù)器中建立多個只讀副本，以便于響應(yīng)應(yīng)用的讀請求。在本發(fā)明進一步的可選實施例中，所述數(shù)據(jù)文件管理子系統(tǒng)可以采用分級存儲的方式來提高對數(shù)據(jù)文件的調(diào)用。例如，存儲服務(wù)器可以采用系統(tǒng)緩存——SSD磁盤(Solid
State Disk,固態(tài)硬盤)/SAS 磁盤(Serial AttachedSCSI Disk,串行連接 SCSI 磁盤)-
SATA磁盤(Serial ATA Disk，串口 ATA磁盤)三級混合存儲的方式來提高數(shù)據(jù)文件管理子系統(tǒng)的性能。例如，主要存儲容量由SATA磁盤提供，并且每個存儲服務(wù)器配置少量的SSD磁盤或SAS磁盤，以及極少量的系統(tǒng)緩存。存儲時，高熱點數(shù)據(jù)文件可以存儲在系統(tǒng)緩存(即存儲服務(wù)器中的緩存單元)；普通熱點數(shù)據(jù)文件可以存儲在所述SSD或SAS磁盤中；以及非熱點數(shù)據(jù)文件可以存儲在所述SATA磁盤中。高熱點數(shù)據(jù)文件、普通熱點數(shù)據(jù)文件和非熱點數(shù)據(jù)文件可以根據(jù)預(yù)設(shè)定的熱點判斷規(guī)則(例如用戶的訪問量閾值)而確定。數(shù)據(jù)文件管理子系統(tǒng)可以根據(jù)數(shù)據(jù)文件的熱點統(tǒng)計隨時調(diào)整數(shù)據(jù)文件的存儲位置。在本發(fā)明實施例中，系統(tǒng)緩存可以作為磁盤系統(tǒng)的緩存使用。在本發(fā)明的可選實施例中，所述數(shù)據(jù)文件管理子系統(tǒng)還可以包括存儲均衡管理單元。由于應(yīng)用產(chǎn)生的文件大小不均勻，因此各存儲服務(wù)器的空間使用率可能存在較大差異，為了解決這種存儲空間利用率上的差異，存儲均衡管理單元可以定期監(jiān)測各個存儲服務(wù)器的空間使用率。存儲均衡管理單元308，用于監(jiān)測所述多個存儲服務(wù)器中每一個的空間使用率。例如，當(dāng)監(jiān)測到第二存儲服務(wù)器302B的空間使用率超過空間使用率閾值時，選擇第二存儲服務(wù)器302B服務(wù)負載較輕的時間段， 指示數(shù)據(jù)遷移單元將第二存儲服務(wù)器302B的數(shù)據(jù)文件的部分對象遷移到空間使用率較小的存儲服務(wù)器。本發(fā)明實施例的云存儲系統(tǒng)通過多級均衡技術(shù)相結(jié)合的方案，在站點之間、服務(wù)接入節(jié)點、元數(shù)據(jù)服務(wù)和存儲、數(shù)據(jù)文件服務(wù)和存儲等方面的均衡設(shè)計，使得不僅可以處理單個區(qū)域的站點內(nèi)部的各種訪問負載和存儲負載的不均衡，而且還可以進行跨地域的訪問負載均衡。通過本發(fā)明實施例的實現(xiàn)負載均衡的云存儲系統(tǒng)，可以使得整個云存儲系統(tǒng)中分布在各個地域站點的資源能夠被合理利用。圖4是根據(jù)本發(fā)明一實施例的用于云存儲系統(tǒng)的負載均衡方法的流程示意圖。根據(jù)本發(fā)明實施例的云存儲系統(tǒng)包括負載監(jiān)控服務(wù)單元和多個云存儲站點。所述多個云存儲站點包括第一云存儲站點和第二云存儲站點，所述第二云存儲站點包括多個服務(wù)接入點、多個元數(shù)據(jù)位置管理服務(wù)單元、至少一個元數(shù)據(jù)服務(wù)器和數(shù)據(jù)文件管理子系統(tǒng)。如圖4所示，本發(fā)明實施例的負載均衡方法包括S401，負載監(jiān)控服務(wù)單元在檢測出第一云存儲站點的負載超過負載閾值時，將應(yīng)用請求轉(zhuǎn)發(fā)給第二云存儲站點；S402，第二云存儲站點從多個服務(wù)接入點中選擇一個服務(wù)接入點，并將接收到的應(yīng)用請求發(fā)送給所選擇的服務(wù)接入點；S403，所選擇的服務(wù)接入點將應(yīng)用請求發(fā)送給多個元數(shù)據(jù)位置管理服務(wù)單元中負載較輕的元數(shù)據(jù)位置管理服務(wù)單元；S404，所述負載較輕的元數(shù)據(jù)位置管理服務(wù)單元根據(jù)應(yīng)用請求確定出與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，然后根據(jù)所確定出的元數(shù)據(jù)位置信息從相應(yīng)的元數(shù)據(jù)服務(wù)器獲取相應(yīng)的元數(shù)據(jù)；S405，所選擇的服務(wù)接入點將所獲取的元數(shù)據(jù)以及所述應(yīng)用請求發(fā)送給所述數(shù)據(jù)文件管理子系統(tǒng)以便所述數(shù)據(jù)文件管理子系統(tǒng)根據(jù)所述應(yīng)用請求執(zhí)行相應(yīng)的操作。
在可選實施例中，所述應(yīng)用請求包括應(yīng)用的讀請求或者寫請求。在可選實施例中，云存儲系統(tǒng)對數(shù)據(jù)文件采取全局命名空間管理，所述元數(shù)據(jù)存儲位置管理服務(wù)單元在數(shù)據(jù)文件創(chuàng)建時，為每個數(shù)據(jù)文件分配一個全局空間命名標(biāo)識ID。在可選實施例中，所述第二云存儲站點是所述多個云存儲站點中負載較輕的云存儲站點。在可選實施例中，所述文件管理子系統(tǒng)包括多個存儲有數(shù)據(jù)文件的存儲服務(wù)器，其中數(shù)據(jù)文件以對象存儲的方式管理并且一份數(shù)據(jù)文件具有至少一個對象。所述負載均衡方法還可以包括所述數(shù)據(jù)文件管理子系統(tǒng)監(jiān)測所述多個存儲服務(wù)器中每一個的負載情況，當(dāng)監(jiān)測到第一存儲服務(wù)器的寫負載較重時，將所述第一存儲服務(wù)器中的部分數(shù)據(jù)文件的部分對象遷移到負載較輕的存儲服務(wù)器中；和/或，當(dāng)監(jiān)測到所述第一存儲服務(wù)器的讀負載較重時，為所述第一存儲服務(wù)器中讀訪問頻繁的數(shù)據(jù)文件在負載較輕的存儲服務(wù)器中建立多個只讀副本以響應(yīng)應(yīng)用的讀請求。 在可選實施例中，所述負載均衡方法還可以包括所述數(shù)據(jù)文件管理子系統(tǒng)監(jiān)測到所述多個存儲服務(wù)器中每一個的空間使用率，當(dāng)監(jiān)測到第二存儲服務(wù)器的空間使用率超過空間使用率閾值時，選擇所述第二存儲服務(wù)器服務(wù)負載較輕的時間段，將所述第二存儲器的部分數(shù)據(jù)文件的部分對象遷移到空間使用率較小的存儲服務(wù)器。在可選實施例中，所述數(shù)據(jù)文件管理子系統(tǒng)將高熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的緩存單元中；將普通熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的SSD或SAS磁盤中；以及將非熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的SATA磁盤中。關(guān)于用于云存儲系統(tǒng)的負載均衡方法的具體描述可進一步參見本發(fā)明實施例的實現(xiàn)負載均衡的云存儲系統(tǒng)的部分描述，在此不再贅述。在此提供的算法和實現(xiàn)不限于任何特定的計算機、虛擬系統(tǒng)或者其它設(shè)備。根據(jù)上面的描述，構(gòu)造這類系統(tǒng)所要求的結(jié)構(gòu)是顯而易見的。此外，本發(fā)明也不針對任何特定編程語言。應(yīng)當(dāng)明白，可以利用各種編程語言實現(xiàn)在此描述的本發(fā)明的內(nèi)容，并且上面對特定語言所做的描述是為了披露本發(fā)明的最佳實施方式。本領(lǐng)域那些技術(shù)人員可以理解，可以對實施例中的設(shè)備中的模塊進行自適應(yīng)性地改變并且把它們設(shè)置在與該實施例不同的一個或多個設(shè)備中?？梢园褜嵤├械哪K或單元或組件組合成一個模塊或單元或部件，以及此外可以把它們分成多個子模塊或子單元或子部件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外，可以采用任何組合對本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代替。此外，本申請的說明書中雖然描述了本發(fā)明實施例的大量具體細節(jié)，然而，能夠理解，本發(fā)明實施例并不是必須在所有的具體細節(jié)情況下才能實施。在一些實例中，并未詳細示出公知的方法、結(jié)構(gòu)和技術(shù)，以便于清楚地理解本發(fā)明的發(fā)明主旨。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種實現(xiàn)負載均衡的云存儲系統(tǒng)，包括負載監(jiān)控服務(wù)單元、多個云存儲站點，所述多個云存儲站點包括第一云存儲站點和第二云存儲站點，其中 所述負載監(jiān)控服務(wù)單元用于在檢測出所述第一云存儲站點的負載超過負載閾值時，將應(yīng)用請求轉(zhuǎn)發(fā)給所述第二云存儲站點； 所述第二云存儲站點包括多個服務(wù)接入點、多個元數(shù)據(jù)位置管理服務(wù)單元、至少一個元數(shù)據(jù)服務(wù)器和數(shù)據(jù)文件管理子系統(tǒng)，其中 從多個服務(wù)接入點中選擇的一個服務(wù)接入點用于將接收到的所述應(yīng)用請求發(fā)送給所述多個元數(shù)據(jù)位置管理服務(wù)單元中負載較輕的元數(shù)據(jù)位置管理服務(wù)單元； 所述負載較輕的元數(shù)據(jù)位置管理服務(wù)單元用于根據(jù)所述應(yīng)用請求確定出與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，以及根據(jù)所確定出的元數(shù)據(jù)位置信息從相應(yīng)的元數(shù)據(jù)服務(wù)器獲取相應(yīng)的元數(shù)據(jù)； 所選擇的服務(wù)接入點還用于將所獲取的元數(shù)據(jù)以及所述應(yīng)用請求發(fā)送給所述數(shù)據(jù)文件管理子系統(tǒng)以便所述數(shù)據(jù)文件管理子系統(tǒng)根據(jù)所述應(yīng)用請求執(zhí)行相應(yīng)的操作。
2.根據(jù)權(quán)利要求1的云存儲系統(tǒng)，其特征在于，所述應(yīng)用請求包括應(yīng)用的讀請求或者寫請求，所述數(shù)據(jù)文件管理子系統(tǒng)，包括 多個存儲服務(wù)器，用于存儲數(shù)據(jù)文件，其中數(shù)據(jù)文件以對象存儲的方式管理并且一份數(shù)據(jù)文件具有至少一個對象； 負載均衡管理單元，用于監(jiān)測所述多個存儲服務(wù)器中每一個的負載情況，以及在監(jiān)測到多個存儲服務(wù)器中的第一存儲服務(wù)器的寫負載較重時，發(fā)送對象遷移指示，或者，在監(jiān)測到所述第一存儲服務(wù)器的讀負載較重時，發(fā)送副本建立指示； 數(shù)據(jù)遷移單元，用于根據(jù)所述對象遷移指示將第一存儲服務(wù)器中的數(shù)據(jù)文件的部分對象遷移到負載較輕的存儲服務(wù)器中；或者， 根據(jù)所述副本建立指示為所述第一存儲服務(wù)器中讀訪問頻繁的數(shù)據(jù)文件在負載較輕的存儲服務(wù)器中建立多個只讀副本。
3.根據(jù)權(quán)利要求2所述的云存儲系統(tǒng)，其特征在于，所述數(shù)據(jù)文件管理子系統(tǒng)還包括 存儲均衡管理單元，用于監(jiān)測所述多個存儲服務(wù)器中每一個的空間使用率，當(dāng)監(jiān)測到第二存儲服務(wù)器的空間使用率超過空間使用率閾值時，選擇所述第二存儲服務(wù)器服務(wù)負載較輕的時間段，指示所述數(shù)據(jù)遷移單元將所述第二存儲服務(wù)器的數(shù)據(jù)文件的部分對象遷移到空間使用率較小的存儲服務(wù)器。
4.根據(jù)權(quán)利要求2所述的云存儲系統(tǒng)，其特征在于，所述數(shù)據(jù)文件管理子系統(tǒng)的存儲服務(wù)器包括緩存單元、SSD/SAS磁盤和SATA磁盤，其中高熱點數(shù)據(jù)文件存儲在所述緩存單元中；以及普通熱點數(shù)據(jù)文件存儲在所述SSD或SAS磁盤中；以及非熱點數(shù)據(jù)文件存儲在所述SATA磁盤中。
5.根據(jù)權(quán)利要求1所述的云存儲系統(tǒng)，其特征在于 所述云存儲系統(tǒng)對數(shù)據(jù)文件采取全局命名空間管理，所述元數(shù)據(jù)存儲位置管理服務(wù)單元在每個文件創(chuàng)建時，為每個數(shù)據(jù)文件分配一個全局空間命名標(biāo)識ID ;或者， 所述第二云存儲站點是所述多個云存儲站點中負載較輕的云存儲站點。
6.一種用于云存儲系統(tǒng)的負載均衡方法，所述云存儲系統(tǒng)包括負載監(jiān)控服務(wù)單兀和多個云存儲站點，其中，所述多個云存儲站點包括第一云存儲站點和第二云存儲站點，所述第二云存儲站點包括多個服務(wù)接入點、多個元數(shù)據(jù)位置管理服務(wù)單元、至少一個元數(shù)據(jù)服務(wù)器和數(shù)據(jù)文件管理子系統(tǒng)，所述負載均衡方法包括 所述負載監(jiān)控服務(wù)單元在檢測出所述第一云存儲站點的負載超過負載閾值時，將應(yīng)用請求轉(zhuǎn)發(fā)給所述第二云存儲站點； 所述第二云存儲站點從多個服務(wù)接入點中選擇一個服務(wù)接入點，并將接收到的所述應(yīng)用請求發(fā)送給所選擇的服務(wù)接入點； 所選擇的服務(wù)接入點將所述應(yīng)用請求發(fā)送給多個元數(shù)據(jù)位置管理服務(wù)單元中負載較輕的元數(shù)據(jù)位置管理服務(wù)單元； 所述負載較輕的元數(shù)據(jù)位置管理服務(wù)單元根據(jù)所述應(yīng)用請求確定出與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，然后根據(jù)所確定出的元數(shù)據(jù)位置信息從相應(yīng)的元數(shù)據(jù)服務(wù)器獲取相應(yīng)的元數(shù)據(jù)； 所選擇的服務(wù)接入點將所獲取的元數(shù)據(jù)以及所述應(yīng)用請求發(fā)送給所述數(shù)據(jù)文件管理子系統(tǒng)以便所述數(shù)據(jù)文件管理子系統(tǒng)根據(jù)所述應(yīng)用請求執(zhí)行相應(yīng)的操作。
7.根據(jù)權(quán)利要求6的負載均衡方法，其特征在于，所述應(yīng)用請求包括應(yīng)用的讀請求或者寫請求，所述數(shù)據(jù)文件管理子系統(tǒng)包括多個存儲有數(shù)據(jù)文件的存儲服務(wù)器，其中數(shù)據(jù)文件以對象存儲的方式管理并且一份數(shù)據(jù)文件具有至少一個對象，所述負載均衡方法還包括 所述數(shù)據(jù)文件管理子系統(tǒng)監(jiān)測所述多個存儲服務(wù)器中每一個的負載情況， 當(dāng)監(jiān)測到第一存儲服務(wù)器的寫負載較重時，將所述第一存儲服務(wù)器中的部分數(shù)據(jù)文件的部分對象遷移到負載較輕的存儲服務(wù)器中；和/或， 當(dāng)監(jiān)測到所述第一存儲服務(wù)器的讀負載較重時，為所述第一存儲服務(wù)器中讀訪問頻繁的數(shù)據(jù)文件在負載較輕的存儲服務(wù)器中建立多個只讀副本以響應(yīng)應(yīng)用的讀請求。
8.根據(jù)權(quán)利要求7的負載均衡方法，其特征在于，所述負載均衡方法還包括 所述數(shù)據(jù)文件管理子系統(tǒng)監(jiān)測到所述多個存儲服務(wù)器中每一個的空間使用率， 當(dāng)監(jiān)測到第二存儲服務(wù)器的空間使用率超過空間使用率閾值時，選擇所述第二存儲服務(wù)器服務(wù)負載較輕的時間段，將所述第二存儲器的部分數(shù)據(jù)文件的部分對象遷移到空間使用率較小的存儲服務(wù)器。
9.根據(jù)權(quán)利要求6所述的負載均衡方法，其特征在于 所述云存儲系統(tǒng)對數(shù)據(jù)文件采取全局命名空間管理，所述元數(shù)據(jù)存儲位置管理服務(wù)單元在每個文件創(chuàng)建時，為每個數(shù)據(jù)文件分配一個全局空間命名標(biāo)識ID ;或者， 所述第二云存儲站點是所述多個云存儲站點中負載較輕的云存儲站點。
10.根據(jù)權(quán)利要求7所述的負載均衡方法，其特征在于所述數(shù)據(jù)文件管理子系統(tǒng)將高熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的緩存單元中；將普通熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的SSD或SAS磁盤中；以及將非熱點數(shù)據(jù)文件存儲在存儲服務(wù)器的SATA磁盤中。
全文摘要
本發(fā)明公開了一種實現(xiàn)負載均衡的云存儲系統(tǒng)，包括負載監(jiān)控服務(wù)單元用于在檢測出第一云存儲站點的負載超過負載閾值時，將應(yīng)用請求轉(zhuǎn)發(fā)給第二云存儲站點；第二云存儲站點的多個服務(wù)接入點中的一個用于將應(yīng)用請求發(fā)送給多個元數(shù)據(jù)位置管理服務(wù)單元中負載較輕的元數(shù)據(jù)位置管理服務(wù)單元；該元數(shù)據(jù)位置管理服務(wù)單元用于根據(jù)應(yīng)用請求確定出與應(yīng)用相對應(yīng)的元數(shù)據(jù)位置信息，以及根據(jù)所確定出的元數(shù)據(jù)位置信息從相應(yīng)的元數(shù)據(jù)服務(wù)器獲取相應(yīng)的元數(shù)據(jù)；服務(wù)接入點還用于將所獲取的元數(shù)據(jù)以及應(yīng)用請求發(fā)送給數(shù)據(jù)文件管理子系統(tǒng)以便數(shù)據(jù)文件管理子系統(tǒng)根據(jù)應(yīng)用請求執(zhí)行相應(yīng)的操作。本發(fā)明還公開了用于云存儲系統(tǒng)的負載均衡方法。本發(fā)明可改善云存儲系統(tǒng)的性能。
文檔編號H04L29/08GK103036994SQ20121055373
公開日2013年4月10日 申請日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者楊浩, 馬照云, 馬振杰, 苗艷超, 劉新春, 邵宗有 申請人:曙光信息產(chǎn)業(yè)(北京)有限公司