專利名稱：一種文件的元數(shù)據(jù)管理系統(tǒng)以及元數(shù)據(jù)管理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域，更具體地，涉及云計(jì)算環(huán)境下的文件的元數(shù)據(jù)管理方法和系統(tǒng)。
背景技術(shù)：
云存儲(chǔ)系統(tǒng)通常由多個(gè)分布在多個(gè)地方的站點(diǎn)共同構(gòu)成，通過(guò)互聯(lián)網(wǎng)面向世界各地的用戶提供服務(wù)。要使得應(yīng)用能夠使用云存儲(chǔ)系統(tǒng)的全部數(shù)據(jù)，而無(wú)須關(guān)心文件具體位置信息，從而有效地管理存儲(chǔ)系統(tǒng)內(nèi)的數(shù)據(jù)，必須實(shí)現(xiàn)全局命名空間的管理。全局命名空間技術(shù)是指在任一訪問(wèn)入口均可看到并操作全部數(shù)據(jù)。通過(guò)全局命名空間管理，可以實(shí)現(xiàn)真正意義上的存儲(chǔ)跨地域無(wú)縫管理，使得存儲(chǔ)于不同地域的資源能夠?qū)崿F(xiàn)最大程度的共享。在全局命名空間的支持下，存儲(chǔ)系統(tǒng)可以根據(jù)各種不同的智能策略，實(shí)現(xiàn)對(duì)數(shù)據(jù)存儲(chǔ)不同級(jí)別的保護(hù)，保證在發(fā)生意外狀況時(shí)，數(shù)據(jù)總是可以恢復(fù)。同時(shí)，通過(guò)全局命名空間的管理，可以實(shí)現(xiàn)在不同地域?qū)τ脩魯?shù)據(jù)訪問(wèn)上的優(yōu)化。一個(gè)文件系統(tǒng)的命名空間是指它所能管理的文件名字集合和邏輯關(guān)系。全局命名空間技術(shù)整合多個(gè)文件系統(tǒng)的命名空間，可以提供更大范圍的統(tǒng)一視圖。業(yè)界流行的文件系統(tǒng)，如Ext3/4，ReiserFs文件系統(tǒng)在一臺(tái)服務(wù)器上同時(shí)管理文件的數(shù)據(jù)和元數(shù)據(jù)，這種集中管理負(fù)載限制了單個(gè)文件系統(tǒng)可以管理的空間、文件個(gè)數(shù)的能力。一些網(wǎng)絡(luò)附加存儲(chǔ)(Network Attachment Storage, NAS)系統(tǒng),仍然需要海量存儲(chǔ)空間被劃分成不同的單元，分別由不同的文件系統(tǒng)來(lái)管理，這些文件系統(tǒng)相互之間沒(méi)有邏輯關(guān)系，無(wú)法實(shí)現(xiàn)數(shù)據(jù)共享和統(tǒng)一管理。EMC的Celerra，以及華賽的N8000都屬于此類。具體地，此類產(chǎn)品通過(guò)將多個(gè)獨(dú)立命名空間進(jìn)行整合，形成單一命名空間。該類全局命名空間的缺陷在于多個(gè)子命名空間相互之間沒(méi)有邏輯關(guān)系，無(wú)法實(shí)現(xiàn)數(shù)據(jù)共享和統(tǒng)一管理。

此外，基于目錄和索引節(jié)點(diǎn)inode結(jié)構(gòu)的傳統(tǒng)文件系統(tǒng)，實(shí)現(xiàn)跨地域的全局命名空間會(huì)面臨異地頻繁訪問(wèn)高層目錄導(dǎo)致成本過(guò)高的問(wèn)題，因而需要采用分片的方案來(lái)實(shí)現(xiàn)。但傳統(tǒng)文件系統(tǒng)的樹形結(jié)構(gòu)切分要考慮到多地保存的容量和性能的平衡性，而再平衡的代價(jià)很聞。而在對(duì)象模型存儲(chǔ)系統(tǒng)中，由于所有用戶的對(duì)象位于同一個(gè)線性空間中，因此可以很容易地建立和維護(hù)對(duì)象范圍和站點(diǎn)的映射關(guān)系。目前實(shí)現(xiàn)全局命名空間的系統(tǒng)多數(shù)是此類系統(tǒng)，如Data Direct Networks公司的W0S、EMC公司的Atmos等。該類全局命名空間的缺陷在于與傳統(tǒng)文件系統(tǒng)的樹狀拓?fù)溥M(jìn)行兼容比較困難，Atmos通過(guò)在元數(shù)據(jù)節(jié)點(diǎn)上存儲(chǔ)文件的路徑信息，并且需要在客戶端上進(jìn)行復(fù)雜的重建得到文件系統(tǒng)的目錄樹結(jié)構(gòu)，而WOS則沒(méi)有提供對(duì)于傳統(tǒng)文件系統(tǒng)目錄樹的支持。

發(fā)明內(nèi)容
為解決現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供了一種文件的元數(shù)據(jù)管理系統(tǒng)以及管理方法。
根據(jù)本發(fā)明的實(shí)施例中，一種文件的元數(shù)據(jù)管理系統(tǒng)，包括元數(shù)據(jù)管理子系統(tǒng)，用于存儲(chǔ)并管理文件的元數(shù)據(jù)；元數(shù)據(jù)位置管理子系統(tǒng)，用于存儲(chǔ)并管理所述元數(shù)據(jù)的存儲(chǔ)位置信息；服務(wù)接入節(jié)點(diǎn)，用于在接收到所述文件的應(yīng)用請(qǐng)求時(shí)，從所述元數(shù)據(jù)位置管理子系統(tǒng)獲取所述文件的元數(shù)據(jù)的存儲(chǔ)位置信息，并根據(jù)所述元數(shù)據(jù)的存儲(chǔ)位置信息從所述元數(shù)據(jù)管理子系統(tǒng)獲取所述元數(shù)據(jù)。在可選實(shí)施例中，所述元數(shù)據(jù)位置管理子系統(tǒng)包括一個(gè)或多個(gè)第一存儲(chǔ)節(jié)點(diǎn)，用于存儲(chǔ)文件的元數(shù)據(jù)的存儲(chǔ)位置信息；元數(shù)據(jù)存儲(chǔ)位置管理模塊，用于接收到所述服務(wù)接入節(jié)點(diǎn)發(fā)送的文件的元數(shù)據(jù)的存儲(chǔ)位置信息的查詢時(shí)，從一個(gè)或多個(gè)第一存儲(chǔ)節(jié)點(diǎn)中查詢所述文件的元數(shù)據(jù)存儲(chǔ)位置信息，并將查詢到的文件的元數(shù)據(jù)存儲(chǔ)位置信息返回給所述服務(wù)接入節(jié)點(diǎn)。在可選實(shí)施例中，所述元數(shù)據(jù)管理子系統(tǒng)包括一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)和元數(shù)據(jù)管理模塊，其中所述一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)，用于存儲(chǔ)所述文件的元數(shù)據(jù)和所述元數(shù)據(jù)的副本。在可選實(shí)施例中，所述元數(shù)據(jù)管理子系統(tǒng)具有一個(gè)存儲(chǔ)節(jié)點(diǎn)時(shí)，所述元數(shù)據(jù)管理模塊還用于將文件的元數(shù)據(jù)復(fù)制到一個(gè)存儲(chǔ)節(jié)點(diǎn)的磁盤陣列中的不同磁盤。在可選實(shí)施例中，所述元數(shù)據(jù)管理子系統(tǒng)具有多個(gè)第二存儲(chǔ)節(jié)點(diǎn)時(shí)，所述元數(shù)據(jù)管理模塊，還用于將文件的元數(shù)據(jù)復(fù)制到多個(gè)第二存儲(chǔ)節(jié)點(diǎn)中，和/或?qū)⑽募脑獢?shù)據(jù)復(fù)制到一個(gè)第二存儲(chǔ)節(jié)點(diǎn)的磁盤 陣列中的不同磁盤。在可選實(shí)施例中，每個(gè)文件具有一個(gè)全局存儲(chǔ)空間標(biāo)識(shí)ID，所述元數(shù)據(jù)管理模塊，用于基于文件的全局存儲(chǔ)空間標(biāo)識(shí)ID劃分若干區(qū)間，以及將每個(gè)區(qū)間內(nèi)的文件的元數(shù)據(jù)存儲(chǔ)在一組第二存儲(chǔ)節(jié)點(diǎn)中。在可選實(shí)施例中，所述元數(shù)據(jù)位置管理子系統(tǒng)，包括元數(shù)據(jù)存儲(chǔ)位置管理模塊，用于在每個(gè)文件創(chuàng)建時(shí)為每個(gè)文件分配一個(gè)全局存儲(chǔ)空間標(biāo)識(shí)ID。 在可選實(shí)施例中，所述元數(shù)據(jù)存儲(chǔ)位置管理模塊設(shè)置在一個(gè)第一存儲(chǔ)節(jié)點(diǎn)中。在可選實(shí)施例中，所述元數(shù)據(jù)存儲(chǔ)位置管理模塊是與所述存儲(chǔ)節(jié)點(diǎn)不同的服務(wù)器節(jié)點(diǎn)。在可選實(shí)施例中，所述元數(shù)據(jù)存儲(chǔ)位置管理模塊，還用于將文件的元數(shù)據(jù)的存儲(chǔ)位置信息復(fù)制到多個(gè)第一存儲(chǔ)節(jié)點(diǎn)中；和/或?qū)⑽募脑獢?shù)據(jù)存儲(chǔ)位置信息復(fù)制到一個(gè)第一存儲(chǔ)節(jié)點(diǎn)的磁盤陣列中的不同磁盤。在可選實(shí)施例中，所述元數(shù)據(jù)管理子系統(tǒng)，還用于在接收到所述服務(wù)接入節(jié)點(diǎn)發(fā)送的文件的元數(shù)據(jù)管理請(qǐng)求時(shí)，根據(jù)所述元數(shù)據(jù)管理請(qǐng)求中的服務(wù)質(zhì)量QoS要求確定是否需要在異地服務(wù)站點(diǎn)建立所述文件的元數(shù)據(jù)副本，如果確定為是，則選擇合適的異地服務(wù)站點(diǎn)，并將所述文件的元數(shù)據(jù)信息以及元數(shù)據(jù)創(chuàng)建任務(wù)發(fā)送給所述異地服務(wù)站點(diǎn)；所述元數(shù)據(jù)位置管理子系統(tǒng)，用于在接收到所述元數(shù)據(jù)管理子系統(tǒng)發(fā)送的元數(shù)據(jù)副本異地創(chuàng)建的消息時(shí)，將所述文件的元數(shù)據(jù)存儲(chǔ)位置信息復(fù)制給所述異地服務(wù)站點(diǎn)。根據(jù)本發(fā)明的另一方面，還提供了一種文件的元數(shù)據(jù)管理方法，包括元數(shù)據(jù)存儲(chǔ)位置管理模塊將所述元數(shù)據(jù)的存儲(chǔ)位置信息存儲(chǔ)在一個(gè)或多個(gè)第一存儲(chǔ)節(jié)點(diǎn)；
元數(shù)據(jù)管理模塊將文件的元數(shù)據(jù)存儲(chǔ)在一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)中；服務(wù)接入節(jié)點(diǎn)在接收到所述文件的應(yīng)用請(qǐng)求時(shí)，獲取所述文件的元數(shù)據(jù)的存儲(chǔ)位置信息，并根據(jù)所述元數(shù)據(jù)的存儲(chǔ)位置信息通過(guò)所述元數(shù)據(jù)管理模塊從所述第二存儲(chǔ)節(jié)點(diǎn)獲取所述元數(shù)據(jù)。在可選實(shí)施例中，所述元數(shù)據(jù)管理方法還包括所述元數(shù)據(jù)存儲(chǔ)位置管理模塊在每個(gè)文件創(chuàng)建時(shí)，為每個(gè)文件分配一個(gè)全局空間命名標(biāo)識(shí)ID ；所述元數(shù)據(jù)管理模塊基于文件的全局存儲(chǔ)空間標(biāo)識(shí)ID劃分若干區(qū)間，以及將每個(gè)區(qū)間內(nèi)的文件的元數(shù)據(jù)以及元數(shù)據(jù)的副本存儲(chǔ)在一組第二存儲(chǔ)節(jié)點(diǎn)中。在可選實(shí)施例中，所述元數(shù)據(jù)管理方法還包括所述元數(shù)據(jù)管理模塊在接收到所述服務(wù)接入節(jié)點(diǎn)發(fā)送的文件的元數(shù)據(jù)管理請(qǐng)求時(shí)，根據(jù)所述元數(shù)據(jù)管理請(qǐng)求中的服務(wù)質(zhì)量QoS要求確定是否需要在異地服務(wù)站點(diǎn)建立所述文件的元數(shù)據(jù)副本，如果確定為是，則選擇合適的異地服務(wù)站點(diǎn)，并將所述文件的元數(shù)據(jù)信息以及元數(shù)據(jù)創(chuàng)建任務(wù)發(fā)送給所述異地存儲(chǔ)節(jié)點(diǎn)；所述元數(shù)據(jù)存儲(chǔ)位置管理模塊，在所述元數(shù)據(jù)管理模塊發(fā)送的元數(shù)據(jù)副本異地創(chuàng)建的消息時(shí)，將所述文件的元數(shù)據(jù)的存儲(chǔ)位置信息復(fù)制給所述異地服務(wù)站點(diǎn)。在本發(fā)明實(shí)施例的文件的元數(shù)據(jù)管理系統(tǒng)通過(guò)對(duì)文件的元數(shù)據(jù)采用分級(jí)方式進(jìn)行管理，使得對(duì)外提供的元數(shù)據(jù)的并發(fā)訪問(wèn)能力能夠提高。并且，由于對(duì)文件采用了跨地域全局命名空間的管理方法，使得基于元數(shù)據(jù)的管理可以將分布在各個(gè)不同站點(diǎn)的存儲(chǔ)資源進(jìn)行統(tǒng)一管理，并實(shí)行資源的 最優(yōu)化支配。


圖1是根據(jù)本發(fā)明實(shí)施例的一種文件的元數(shù)據(jù)管理系統(tǒng)。圖2是根據(jù)本發(fā)明實(shí)施例的元數(shù)據(jù)存儲(chǔ)位置信息訪問(wèn)的結(jié)構(gòu)框圖。圖3是根據(jù)本發(fā)明實(shí)施例的元數(shù)據(jù)存儲(chǔ)的邏輯結(jié)構(gòu)框圖。圖4是根據(jù)本發(fā)明實(shí)施例的元數(shù)據(jù)管理系統(tǒng)包括在本地服務(wù)站點(diǎn)和異地服務(wù)站點(diǎn)建立元數(shù)據(jù)副本的工作流程圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行進(jìn)一步地詳細(xì)說(shuō)明。在本發(fā)明中，采用元數(shù)據(jù)和數(shù)據(jù)分離存儲(chǔ)的技術(shù)，使得能夠避免因?yàn)閿?shù)據(jù)訪問(wèn)對(duì)磁盤和網(wǎng)絡(luò)的壓力影響到元數(shù)據(jù)訪問(wèn)。為了實(shí)現(xiàn)云存儲(chǔ)系統(tǒng)對(duì)跨地域的全局命名空間進(jìn)行管理，本發(fā)明在邏輯上對(duì)文件系統(tǒng)的元數(shù)據(jù)管理采用分層管理的方式，即第一級(jí)的元數(shù)據(jù)位置管理層和第二級(jí)的元數(shù)據(jù)管理層。圖1是根據(jù)本發(fā)明實(shí)施例的一種文件系統(tǒng)的元數(shù)據(jù)管理系統(tǒng)。所述文件系統(tǒng)的元數(shù)據(jù)管理系統(tǒng)包括服務(wù)接入節(jié)點(diǎn)I和處于元數(shù)據(jù)位置管理層的元數(shù)據(jù)位置管理子系統(tǒng)2以及處于元數(shù)據(jù)管理層的元數(shù)據(jù)管理子系統(tǒng)3。該元數(shù)據(jù)位置管理子系統(tǒng)2用于管理文件的元數(shù)據(jù)所在的服務(wù)器位置信息。此外，元數(shù)據(jù)位置管理子系統(tǒng)還用于存儲(chǔ)構(gòu)成用戶視圖的目錄樹結(jié)構(gòu)。在可選實(shí)施例中，為了實(shí)現(xiàn)全局命名空間，文件的元數(shù)據(jù)位置信息會(huì)在各個(gè)服務(wù)器節(jié)點(diǎn)或服務(wù)站點(diǎn)之間進(jìn)行同步，以便其他的服務(wù)器節(jié)點(diǎn)或服務(wù)站點(diǎn)可以訪問(wèn)到本服務(wù)器節(jié)點(diǎn)的元數(shù)據(jù)信息。在本發(fā)明實(shí)施例中，文件包括普通文件、視頻數(shù)據(jù)文件、音頻數(shù)據(jù)文件等。服務(wù)站點(diǎn)是另一個(gè)提供元數(shù)據(jù)位置管理服務(wù)、元數(shù)據(jù)管理服務(wù)以及數(shù)據(jù)(或文件)服務(wù)的系統(tǒng)。而且，全局命名空間可以向用戶提供全局統(tǒng)一的視圖，包括數(shù)據(jù)視圖和元數(shù)據(jù)視圖。應(yīng)用的最終視圖可以在服務(wù)接入點(diǎn)中體現(xiàn)。在本發(fā)明可選實(shí)施例中，對(duì)于第一級(jí)的元數(shù)據(jù)位置管理層，元數(shù)據(jù)存儲(chǔ)位置管理可以采用樹結(jié)構(gòu)管理，對(duì)應(yīng)于傳統(tǒng)文件系統(tǒng)的目錄項(xiàng)管理。對(duì)于存儲(chǔ)系統(tǒng)中的每一個(gè)文件，采用文件的全局空間標(biāo)識(shí)ID來(lái)標(biāo)識(shí)文件,例如，通用資源標(biāo)志符(Uniform ResourceIdentifier, URI)。該標(biāo)識(shí)ID是在文件生成時(shí)，由元數(shù)據(jù)存儲(chǔ)位置管理模塊負(fù)責(zé)分配。考慮到全局命名空間需要千億的數(shù)量級(jí)，而存儲(chǔ)需求量不超過(guò)數(shù)百TB級(jí)別(磁盤空間單位，ITB = 1024GB)，因此可配置多個(gè)高性能的存儲(chǔ)服務(wù)器，然后配以本地服務(wù)器的磁盤陣列RAID6 (Redundant Arrays of Inexpensive Disks)級(jí)別冗余和服務(wù)節(jié)點(diǎn)級(jí)別副本冗余。圖2是根據(jù)本發(fā)明實(shí)施例的元數(shù)據(jù)存儲(chǔ)位置信息訪問(wèn)的結(jié)構(gòu)框圖。如圖2所示，對(duì)于元數(shù)據(jù)存儲(chǔ)位置信息訪問(wèn)，當(dāng)服務(wù)接入節(jié)點(diǎn)10接收到應(yīng)用請(qǐng)求時(shí)，將文件的元數(shù)據(jù)存儲(chǔ)位置信息的查詢?nèi)蝿?wù)發(fā)送給數(shù)據(jù)位置管理子系統(tǒng)。元數(shù)據(jù)位置管理子系統(tǒng)包括第一存儲(chǔ)節(jié)點(diǎn)30和32，用于存儲(chǔ)文件的元數(shù)據(jù)存儲(chǔ)位置信息和元數(shù)據(jù)存儲(chǔ)位置管理模塊20，用于根據(jù)服務(wù)接入節(jié)點(diǎn)10發(fā)送的元數(shù)據(jù)位置信息的查詢?nèi)蝿?wù)查詢所存儲(chǔ)的文件的元數(shù)據(jù)存儲(chǔ)位置信息，并將查詢到的文件的元數(shù)據(jù)存儲(chǔ)位置信息返回給所述服務(wù)接入節(jié)點(diǎn) 。對(duì)于元數(shù)據(jù)存儲(chǔ)位置信息查詢服務(wù)，通常情況下，元數(shù)據(jù)存儲(chǔ)位置管理模塊內(nèi)設(shè)置有默認(rèn)查找的第一存儲(chǔ)節(jié)點(diǎn)，或者默認(rèn)查找的第一存儲(chǔ)節(jié)點(diǎn)上的某個(gè)磁盤。在通過(guò)該第一存儲(chǔ)節(jié)點(diǎn)或該第一存儲(chǔ)節(jié)點(diǎn)的磁盤上查找不到文件的元數(shù)據(jù)存儲(chǔ)位置信息時(shí)，才查找其他的磁盤或者其他的存儲(chǔ)節(jié)點(diǎn)。在可選實(shí)施例中，元數(shù)據(jù)位置管理子系統(tǒng)可以包括一個(gè)第一存儲(chǔ)節(jié)點(diǎn)30，包括磁盤、緩存等存儲(chǔ)單元。在可選實(shí)施例中，存儲(chǔ)節(jié)點(diǎn)30可以是存儲(chǔ)服務(wù)器，元數(shù)據(jù)存儲(chǔ)位置管理模塊20也可以設(shè)置在該服務(wù)器中。第一存儲(chǔ)節(jié)點(diǎn)30可以以磁盤陣列方式設(shè)置。一份文件的元數(shù)據(jù)存儲(chǔ)位置信息可以分別存儲(chǔ)在磁盤陣列中的一個(gè)或多個(gè)磁盤中，即第一存儲(chǔ)節(jié)點(diǎn)中可包括若干元數(shù)據(jù)存儲(chǔ)位置信息的副本。 在可選實(shí)施例中，元數(shù)據(jù)存儲(chǔ)位置管理模塊20可以是單獨(dú)的一個(gè)服務(wù)器。在進(jìn)一步可選的實(shí)施例中，第一存儲(chǔ)節(jié)點(diǎn)30也可以是存儲(chǔ)服務(wù)器。在本發(fā)明的一實(shí)施例中，元數(shù)據(jù)存儲(chǔ)位置信息可以同時(shí)配以同一存儲(chǔ)節(jié)點(diǎn)的RAID6級(jí)別冗余(即元數(shù)據(jù)存儲(chǔ)位置信息及其副本分別存儲(chǔ)在多個(gè)磁盤中，如圖2中所示的第一存儲(chǔ)節(jié)點(diǎn)30的各磁盤中)和節(jié)點(diǎn)級(jí)別的副本冗余(即元數(shù)據(jù)存儲(chǔ)位置信息的副本還存儲(chǔ)于圖2中所示的第一存儲(chǔ)節(jié)點(diǎn)32中。在進(jìn)一步的可選實(shí)施例中，如果具有文件的元數(shù)據(jù)的副本存儲(chǔ)于異地服務(wù)站點(diǎn)，那么，元數(shù)據(jù)存儲(chǔ)位置信息的副本也會(huì)存儲(chǔ)于異地服務(wù)站點(diǎn)的第一存儲(chǔ)節(jié)點(diǎn)中。在本發(fā)明的可選實(shí)施例中，由于元數(shù)據(jù)存儲(chǔ)位置的訪問(wèn)需求較大，且常規(guī)應(yīng)用模式下，以查詢?cè)L問(wèn)為主，因此在本發(fā)明可選實(shí)施例中，存儲(chǔ)元數(shù)據(jù)存儲(chǔ)位置信息的存儲(chǔ)設(shè)備和訪問(wèn)元數(shù)據(jù)存儲(chǔ)位置信息的訪問(wèn)設(shè)備可以是分離的。例如，服務(wù)接入節(jié)點(diǎn)10中可以設(shè)置有元數(shù)據(jù)存儲(chǔ)位置信息查詢服務(wù)模塊。服務(wù)接入節(jié)點(diǎn)在接收到查詢服務(wù)請(qǐng)求時(shí)，服務(wù)接入節(jié)點(diǎn)10的元數(shù)據(jù)存儲(chǔ)位置信息查詢服務(wù)模塊首先操作內(nèi)存緩存。這是由于之前訪問(wèn)的和/或常用的元數(shù)據(jù)存儲(chǔ)位置信息會(huì)存儲(chǔ)于服務(wù)接入節(jié)點(diǎn)的內(nèi)存緩存中。當(dāng)對(duì)內(nèi)存緩存進(jìn)行操作獲取不到文件的元數(shù)據(jù)存儲(chǔ)位置信息時(shí)，才訪問(wèn)元數(shù)據(jù)存儲(chǔ)位置管理模塊20以進(jìn)行磁盤訪問(wèn)操作。由于提供元數(shù)據(jù)存儲(chǔ)位置信息的服務(wù)節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)不同，因此可以避免提供查詢?cè)獢?shù)據(jù)存儲(chǔ)位置信息的服務(wù)成為存儲(chǔ)設(shè)備的瓶頸。對(duì)于第二級(jí)的元數(shù)據(jù)管理層，在文件系統(tǒng)的元數(shù)據(jù)管理系統(tǒng)中對(duì)應(yīng)于圖1中的元數(shù)據(jù)管理子系統(tǒng)3。元數(shù)據(jù)管理子系統(tǒng)3用于存儲(chǔ)并管理文件的元數(shù)據(jù)信息，其中，元數(shù)據(jù)信息包括文件的基本屬性(例如文件的大小、修改時(shí)間等)、用戶數(shù)據(jù)存儲(chǔ)位置信息、文件擴(kuò)展屬性(如權(quán)限配置)等。在可選實(shí)施例中，所述元數(shù)據(jù)管理子系統(tǒng)包括一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)和元數(shù)據(jù)管理模塊，其中所述一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)，用于存儲(chǔ)所述文件的元數(shù)據(jù)和所述元數(shù)據(jù)的副本；元數(shù)據(jù)管理模塊，用于對(duì)元數(shù)據(jù)的存取進(jìn)行管理。在可選實(shí)施例中，所述元數(shù)據(jù)管理子系統(tǒng)具有一個(gè)第二存儲(chǔ)節(jié)點(diǎn)時(shí)，所述元數(shù)據(jù)管理模塊還用于將文件的元數(shù)據(jù)復(fù)制到一個(gè)第二存儲(chǔ)節(jié)點(diǎn)的磁盤陣列中的不同磁盤。在可選實(shí)施例中，所述元 數(shù)據(jù)管理子系統(tǒng)具有多個(gè)第二存儲(chǔ)節(jié)點(diǎn)時(shí)，所述元數(shù)據(jù)管理模塊，還用于將文件的元數(shù)據(jù)復(fù)制到多個(gè)第二存儲(chǔ)節(jié)點(diǎn)中，和/或?qū)⑽募脑獢?shù)據(jù)復(fù)制到一個(gè)第二存儲(chǔ)節(jié)點(diǎn)的磁盤陣列中的不同磁盤。在云存儲(chǔ)系統(tǒng)中，由于需要管理海量文件，每個(gè)文件的元數(shù)據(jù)量較多，因此該級(jí)的元數(shù)據(jù)信息存儲(chǔ)需求較第一級(jí)的元數(shù)據(jù)存儲(chǔ)位置信息存儲(chǔ)需求大。因此，在本發(fā)明的優(yōu)選實(shí)施例中，設(shè)置多個(gè)存儲(chǔ)節(jié)點(diǎn)共同承擔(dān)元數(shù)據(jù)的存儲(chǔ)，同時(shí)采用服務(wù)節(jié)點(diǎn)內(nèi)部RAID6的元數(shù)據(jù)信息副本和服務(wù)節(jié)點(diǎn)間的元數(shù)據(jù)信息副本技術(shù)，來(lái)實(shí)現(xiàn)數(shù)據(jù)冗余。由于元數(shù)據(jù)存儲(chǔ)位置信息管理模塊在文件生成時(shí)會(huì)為每個(gè)文件分配一個(gè)全局空間ID，因此在文件的元數(shù)據(jù)信息存儲(chǔ)時(shí)，元數(shù)據(jù)管理模塊可以將全局空間ID分成若干區(qū)間部分，然后將每個(gè)區(qū)間的文件的元數(shù)據(jù)信息存儲(chǔ)在一組存儲(chǔ)節(jié)點(diǎn)中，以實(shí)現(xiàn)存儲(chǔ)空間的均衡。圖3示出了根據(jù)本發(fā)明實(shí)施例的元數(shù)據(jù)存儲(chǔ)的邏輯結(jié)構(gòu)框圖。如圖3所示，全局空間標(biāo)識(shí)在區(qū)間[ID1, IDk]的文件的元數(shù)據(jù)信息存儲(chǔ)在一組元數(shù)據(jù)服務(wù)器中，其中該組元數(shù)據(jù)服務(wù)器還存儲(chǔ)有位于該區(qū)間的元數(shù)據(jù)信息的主副本和從副本?？蛇x地或者此外，該組元數(shù)據(jù)服務(wù)器還可以存儲(chǔ)全局空間標(biāo)識(shí)在區(qū)間[IDk+1，ID2k]的文件的元數(shù)據(jù)信息。而全局空間標(biāo)識(shí)在區(qū)間[ID2k+1，ID3k]，[ID3k+1，ID4J的文件的元數(shù)據(jù)信息以及其副本存儲(chǔ)在另一組元數(shù)據(jù)服務(wù)器中。在本發(fā)明的實(shí)施例中，為實(shí)現(xiàn)跨地域的數(shù)據(jù)冗余，同時(shí)提高異地?cái)?shù)據(jù)訪問(wèn)的效率，還可以采用跨地域的服務(wù)站點(diǎn)副本技術(shù)。圖4是根據(jù)本發(fā)明實(shí)施例的元數(shù)據(jù)管理系統(tǒng)包括在本地服務(wù)站點(diǎn)和異地服務(wù)站點(diǎn)建立元數(shù)據(jù)副本的工作流程圖。如圖4所示，該工作流程包括S401，服務(wù)接入節(jié)點(diǎn)接收到文件的應(yīng)用請(qǐng)求(如文件查找、讀寫等)。S402，服務(wù)接入節(jié)點(diǎn)向元數(shù)據(jù)位置管理子系統(tǒng)發(fā)送文件的元數(shù)據(jù)位置管理請(qǐng)求。S403,元數(shù)據(jù)位置管理子系統(tǒng)在接收所述元數(shù)據(jù)位置管理請(qǐng)求后，為文件分配全局空間標(biāo)識(shí)ID，以及獲取與該文件對(duì)應(yīng)的元數(shù)據(jù)管理子系統(tǒng)，然后將所述全局空間標(biāo)識(shí)ID和元數(shù)據(jù)管理子系統(tǒng)的指示返回給服務(wù)接入節(jié)點(diǎn)。在可選實(shí)施例中，元數(shù)據(jù)位置管理子系統(tǒng)還在所述元數(shù)據(jù)位置管理請(qǐng)求后，為文件創(chuàng)建相應(yīng)的目錄項(xiàng)。S404，服務(wù)接入節(jié)點(diǎn)向元數(shù)據(jù)管理子系統(tǒng)發(fā)送文件的元數(shù)據(jù)管理請(qǐng)求。在可選實(shí)施例中，所述元數(shù)據(jù)管理請(qǐng)求中攜帶有該文件的全局空間標(biāo)識(shí)和QoS要求。S405，元數(shù)據(jù)管理子系統(tǒng)根據(jù)所述元數(shù)據(jù)管理請(qǐng)求選擇存儲(chǔ)該文件的元數(shù)據(jù)的本地存儲(chǔ)節(jié)點(diǎn)、元數(shù)據(jù)副本的本地存儲(chǔ)節(jié)點(diǎn)以及元數(shù)據(jù)副本的異地服務(wù)站點(diǎn)。在可選實(shí)施例中，元數(shù)據(jù)管理子系統(tǒng)中的元數(shù)據(jù)管理模塊根據(jù)元數(shù)據(jù)管理請(qǐng)求中的全局空間標(biāo)識(shí)ID確定存儲(chǔ)該文件的元數(shù)據(jù)的存儲(chǔ)服務(wù)器組。在可選實(shí)施例中，元數(shù)據(jù)管理模塊根據(jù)元數(shù)據(jù)管理請(qǐng)求中的QoS要求確定是否需要選擇該元數(shù)據(jù)選擇異地服務(wù)站點(diǎn)在存儲(chǔ)元數(shù)據(jù)副本。例如，QoS要求為O時(shí)，表示不需要選擇元數(shù)據(jù)副本的異地服務(wù)站點(diǎn)，為I時(shí)，表示需要選擇元數(shù)據(jù)副本的異地服務(wù)站點(diǎn)。S406，元數(shù)據(jù)管理子系統(tǒng)在選擇出的本地存儲(chǔ)節(jié)點(diǎn)上創(chuàng)建元數(shù)據(jù)以及元數(shù)據(jù)副本，然后返回創(chuàng)建完成的指示給服務(wù)接入節(jié)點(diǎn)。S407,元數(shù)據(jù)管理子系統(tǒng)將元數(shù)據(jù)信息和元數(shù)據(jù)副本創(chuàng)建任務(wù)發(fā)送給選擇出的異地服務(wù)站點(diǎn)。可選地，元數(shù)據(jù)管理子系統(tǒng)還在接收到元數(shù)據(jù)副本創(chuàng)建成功的指示后更新元數(shù)據(jù)，S408，元數(shù)據(jù)位置管理子系統(tǒng)在接收到元數(shù)據(jù)副本異地創(chuàng)建的消息時(shí)，將元數(shù)據(jù)存儲(chǔ)位置信息復(fù)制給所述異 地服務(wù)站點(diǎn)。在本發(fā)明的一實(shí)施例中，元數(shù)據(jù)管理子系統(tǒng)可以在選擇出異地服務(wù)站點(diǎn)時(shí)，向元數(shù)據(jù)位置管理子系統(tǒng)發(fā)送元數(shù)據(jù)副本異地創(chuàng)建的消息。在該消息中具有指示所選擇的異地服務(wù)站點(diǎn)的信息。在本發(fā)明的另一實(shí)施例中，元數(shù)據(jù)管理子系統(tǒng)可以在接收到異地服務(wù)站發(fā)送的元數(shù)據(jù)副本創(chuàng)建成功的指示后，向元數(shù)據(jù)位置管理子系統(tǒng)發(fā)送文件的元數(shù)據(jù)副本異地創(chuàng)建的消息。在該消息中具有指示所選擇的異地服務(wù)站點(diǎn)的信息，或者該消息中具有指示所選擇的異地服務(wù)站點(diǎn)的信息以及文件的元數(shù)據(jù)副本異地創(chuàng)建成功的信息。通過(guò)上述元數(shù)據(jù)異步副本的方法，使得進(jìn)行異地訪問(wèn)時(shí)，可以方便直接定位文件的元數(shù)據(jù)存儲(chǔ)的位置，而不需要到原始站點(diǎn)去進(jìn)行元數(shù)據(jù)查詢操作可以降低異地元數(shù)據(jù)訪問(wèn)的開銷，從而降低異地?cái)?shù)據(jù)訪問(wèn)的開銷，并且可以降低訪問(wèn)的延遲。在本發(fā)明實(shí)施例中，由于文件的元數(shù)據(jù)采用分級(jí)管理，使得對(duì)外提供的元數(shù)據(jù)的并發(fā)訪問(wèn)能力能夠提高，甚至可以支持千億級(jí)別的元數(shù)據(jù)并發(fā)訪問(wèn)。并且，由于對(duì)文件采用了跨地域全局命名空間的管理方法，使得基于元數(shù)據(jù)的管理可以將分布在各個(gè)不同站點(diǎn)的存儲(chǔ)資源進(jìn)行統(tǒng)一管理，并實(shí)行資源的最優(yōu)化支配。此外，通過(guò)采用對(duì)文件采用全局命名空間的方式，可以實(shí)現(xiàn)數(shù)據(jù)和元數(shù)據(jù)的異地備份，大大降低數(shù)據(jù)丟失的風(fēng)險(xiǎn)，而且能夠使得數(shù)據(jù)跨地域無(wú)縫共享，從而滿足云存儲(chǔ)環(huán)境下對(duì)于數(shù)據(jù)訪存的需求。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種文件的元數(shù)據(jù)管理系統(tǒng)，包括 元數(shù)據(jù)管理子系統(tǒng)，用于存儲(chǔ)并管理文件的元數(shù)據(jù)； 元數(shù)據(jù)位置管理子系統(tǒng)，用于存儲(chǔ)并管理所述元數(shù)據(jù)的存儲(chǔ)位置信息； 服務(wù)接入節(jié)點(diǎn)，用于在接收到文件的應(yīng)用請(qǐng)求時(shí)，從所述元數(shù)據(jù)位置管理子系統(tǒng)獲取所述文件的元數(shù)據(jù)的存儲(chǔ)位置信息，并根據(jù)所述元數(shù)據(jù)的存儲(chǔ)位置信息從所述元數(shù)據(jù)管理子系統(tǒng)獲取所述元數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的元數(shù)據(jù)管理系統(tǒng)，其特征在于，所述元數(shù)據(jù)位置管理子系統(tǒng)包括 一個(gè)或多個(gè)第一存儲(chǔ)節(jié)點(diǎn)，用于存儲(chǔ)文件的元數(shù)據(jù)的存儲(chǔ)位置信息； 元數(shù)據(jù)存儲(chǔ)位置管理模塊，用于接收到所述服務(wù)接入節(jié)點(diǎn)發(fā)送的元數(shù)據(jù)存儲(chǔ)位置信息的查詢消息時(shí)，從一個(gè)或多個(gè)第一存儲(chǔ)節(jié)點(diǎn)中查詢文件的元數(shù)據(jù)的存儲(chǔ)位置信息，并將查詢到的所述文件的元數(shù)據(jù)的存儲(chǔ)位置信息返回給所述服務(wù)接入節(jié)點(diǎn)。
3.根據(jù)權(quán)利要求1所述的元數(shù)據(jù)管理系統(tǒng)，其特征在于，所述元數(shù)據(jù)管理子系統(tǒng)包括一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)和元數(shù)據(jù)管理模塊，其中 所述一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)，用于存儲(chǔ)文件的元數(shù)據(jù)以及該元數(shù)據(jù)的副本 所述元數(shù)據(jù)管理子系統(tǒng)具有一個(gè)第二存儲(chǔ)節(jié)點(diǎn)時(shí)，所述元數(shù)據(jù)管理模塊用于將文件的元數(shù)據(jù)復(fù)制到所述第二存儲(chǔ)節(jié)點(diǎn)的磁盤陣列中的不同磁盤； 所述元數(shù)據(jù)管理子系統(tǒng)具有多個(gè)第二存儲(chǔ)節(jié)點(diǎn)時(shí)，所述元數(shù)據(jù)管理模塊用于將文件的元數(shù)據(jù)復(fù)制到多個(gè)第二存儲(chǔ)節(jié)點(diǎn)中，和/或?qū)⑽募脑獢?shù)據(jù)復(fù)制到一個(gè)第二存儲(chǔ)節(jié)點(diǎn)的磁盤陣列中的不同磁盤。
4.根據(jù)權(quán)利要求3所述的元數(shù)據(jù)管理系統(tǒng)，其特征在于，每個(gè)文件具有一個(gè)全局存儲(chǔ)空間標(biāo)識(shí)ID， 所述元數(shù)據(jù)管理模塊，用于基于文件的全局存儲(chǔ)空間標(biāo)識(shí)ID劃分若干區(qū)間，以及將每個(gè)區(qū)間內(nèi)的文件的元數(shù)據(jù)存儲(chǔ)在一組第二存儲(chǔ)節(jié)點(diǎn)中。
5.根據(jù)權(quán)利要求4所述的元數(shù)據(jù)管理系統(tǒng)，其特征在于，所述元數(shù)據(jù)位置管理子系統(tǒng)包括元數(shù)據(jù)存儲(chǔ)位置管理模塊，用于在每個(gè)文件創(chuàng)建時(shí)為每個(gè)文件分配一個(gè)全局存儲(chǔ)空間標(biāo)識(shí)ID ;或者， 所述元數(shù)據(jù)位置管理子系統(tǒng)還用于存儲(chǔ)構(gòu)成用戶視圖的目錄樹結(jié)構(gòu)。
6.根據(jù)權(quán)利要求2所述的元數(shù)據(jù)管理系統(tǒng)，其特征在于，所述元數(shù)據(jù)存儲(chǔ)位置管理模塊設(shè)置在一個(gè)第一存儲(chǔ)節(jié)點(diǎn)中；或者， 所述元數(shù)據(jù)存儲(chǔ)位置管理模塊是與所述一個(gè)或多個(gè)第一存儲(chǔ)節(jié)點(diǎn)不同的服務(wù)器節(jié)點(diǎn)。
7.根據(jù)權(quán)利要求2所述的元數(shù)據(jù)管理系統(tǒng)，其特征在于，所述元數(shù)據(jù)存儲(chǔ)位置管理模塊，還用于將文件的元數(shù)據(jù)的存儲(chǔ)位置信息復(fù)制到多個(gè)第一存儲(chǔ)節(jié)點(diǎn)中；和/或 將文件的元數(shù)據(jù)存儲(chǔ)位置信息復(fù)制到一個(gè)第一存儲(chǔ)節(jié)點(diǎn)的磁盤陣列中的不同磁盤。
8.根據(jù)權(quán)利要求1所述的元數(shù)據(jù)管理系統(tǒng)，其特征在于 所述元數(shù)據(jù)管理子系統(tǒng)，還用于在接收到所述服務(wù)接入節(jié)點(diǎn)發(fā)送的文件的元數(shù)據(jù)管理請(qǐng)求時(shí)，根據(jù)所述元數(shù)據(jù)管理請(qǐng)求中的服務(wù)質(zhì)量QoS要求確定是否需要在異地服務(wù)站點(diǎn)建立該文件的元數(shù)據(jù)副本， 如果確定為是，則選擇合適的異地服務(wù)站點(diǎn)，并將該文件的元數(shù)據(jù)信息以及元數(shù)據(jù)創(chuàng)建任務(wù)發(fā)送給所述異地存儲(chǔ)節(jié)點(diǎn)； 所述元數(shù)據(jù)位置管理子系統(tǒng)，用于在接收到所述元數(shù)據(jù)管理子系統(tǒng)發(fā)送的元數(shù)據(jù)副本異地創(chuàng)建的消息時(shí)，將所述文件的元數(shù)據(jù)存儲(chǔ)位置信息復(fù)制給所述異地存儲(chǔ)節(jié)點(diǎn)。
9.一種文件的元數(shù)據(jù)管理方法，包括 元數(shù)據(jù)存儲(chǔ)位置管理模塊將文件的元數(shù)據(jù)的存儲(chǔ)位置信息存儲(chǔ)在一個(gè)或多個(gè)第一存儲(chǔ)節(jié)點(diǎn)； 元數(shù)據(jù)管理模塊將文件的元數(shù)據(jù)存儲(chǔ)在一個(gè)或多個(gè)第二存儲(chǔ)節(jié)點(diǎn)中； 服務(wù)接入節(jié)點(diǎn)在接收到文件的應(yīng)用請(qǐng)求時(shí)，獲取該文件的元數(shù)據(jù)的存儲(chǔ)位置信息，并根據(jù)所述元數(shù)據(jù)的存儲(chǔ)位置信息通過(guò)所述元數(shù)據(jù)管理模塊從所述第二存儲(chǔ)節(jié)點(diǎn)獲取該文件的元數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的元數(shù)據(jù)管理方法，其特征在于，所述元數(shù)據(jù)管理方法還包括 所述元數(shù)據(jù)存儲(chǔ)位置管理模塊在每個(gè)文件創(chuàng)建時(shí)，為每個(gè)文件分配一個(gè)全局空間命名標(biāo)識(shí)ID ； 所述元數(shù)據(jù)管理模塊基于文件的全局存儲(chǔ)空間標(biāo)識(shí)ID劃分若干區(qū)間，以及將每個(gè)區(qū)間內(nèi)的文件的元數(shù)據(jù)以及元數(shù)據(jù)的副本存儲(chǔ)在一組第二存儲(chǔ)節(jié)點(diǎn)中。
11.根據(jù)權(quán)利要求9所述的元數(shù)據(jù)管理方法，其特征在于，所述元數(shù)據(jù)管理方法還包括 所述元數(shù)據(jù)管理模塊在接收到所述服務(wù)接入節(jié)點(diǎn)發(fā)送的文件的元數(shù)據(jù)管理請(qǐng)求時(shí)，根據(jù)所述元數(shù)據(jù)管理請(qǐng)求中的服務(wù)質(zhì)量QoS要求確定是否需要在異地服務(wù)站點(diǎn)建立該文件的元數(shù)據(jù)副本， 如果確定為是，則選擇合適的異地服務(wù)站點(diǎn)，并將該文件的元數(shù)據(jù)信息以及元數(shù)據(jù)創(chuàng)建任務(wù)發(fā)送給所述異地服務(wù)站點(diǎn)； 所述元數(shù)據(jù)存儲(chǔ)位置管理模塊，在所述元數(shù)據(jù)管理模塊發(fā)送的元數(shù)據(jù)副本異地創(chuàng)建的消息時(shí)，將該文件的元數(shù)據(jù)的存儲(chǔ)位置信息復(fù)制給所述異地服務(wù)站點(diǎn)。
全文摘要
本發(fā)明公開了一種文件的元數(shù)據(jù)管理系統(tǒng)，包括元數(shù)據(jù)管理子系統(tǒng)，用于存儲(chǔ)并管理文件的元數(shù)據(jù)；元數(shù)據(jù)位置管理子系統(tǒng)，用于存儲(chǔ)并管理所述元數(shù)據(jù)的存儲(chǔ)位置信息；以及服務(wù)接入節(jié)點(diǎn)，用于在接收到文件的應(yīng)用請(qǐng)求時(shí)，從所述元數(shù)據(jù)位置管理子系統(tǒng)獲取所述文件的元數(shù)據(jù)的存儲(chǔ)位置信息，并根據(jù)所述元數(shù)據(jù)的存儲(chǔ)位置信息從所述元數(shù)據(jù)管理子系統(tǒng)獲取所述元數(shù)據(jù)。相應(yīng)地，本發(fā)明還公開了一種文件的元數(shù)據(jù)管理方法。采用本發(fā)明，可以使對(duì)外提供的元數(shù)據(jù)的并發(fā)訪問(wèn)能力提高。
文檔編號(hào)H04L29/08GK103067461SQ20121055374
公開日2013年4月24日 申請(qǐng)日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者楊浩, 馬照云, 馬振杰, 苗艷超, 劉新春, 邵宗有 申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司