專(zhuān)利名稱：一種云存儲(chǔ)的數(shù)據(jù)處理方法、設(shè)備及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種云存儲(chǔ)的數(shù)據(jù)處理方法、設(shè)備及系統(tǒng)。
背景技術(shù)：
云存儲(chǔ)系統(tǒng)指通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的系統(tǒng)。云存儲(chǔ)系統(tǒng)的架構(gòu)如圖I所示，包括客戶端10、元數(shù)據(jù)服務(wù)器集群11和存儲(chǔ)設(shè)備集群12，其中，元數(shù)據(jù)服務(wù)器集群11包括至少ー個(gè)元數(shù)據(jù)服務(wù)器，存儲(chǔ)設(shè)備集群12包括至少ー個(gè)存儲(chǔ)設(shè)備?，F(xiàn)有的云存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫(xiě)入過(guò)程為客戶端10與元數(shù)據(jù)服務(wù)器集群11中的任意一個(gè)元數(shù)據(jù)服務(wù)器(如元數(shù)據(jù)服務(wù)器SI)建立連接，向元數(shù)據(jù)服務(wù)器SI發(fā)送寫(xiě)入請(qǐng)求，并將待寫(xiě)入數(shù)據(jù)的參數(shù)信息(如該待寫(xiě)入數(shù)據(jù)的名稱、大小、格式等相關(guān)信息)發(fā)送給元數(shù)據(jù)服務(wù)器SI，如圖2所示；元數(shù)據(jù)服務(wù)器SI根據(jù)收到的來(lái)自客戶端10的寫(xiě)入請(qǐng)求，為該待寫(xiě)入數(shù)據(jù)分配存儲(chǔ)設(shè)備及存儲(chǔ)位置；根據(jù)該存儲(chǔ)設(shè)備的標(biāo)識(shí)、存儲(chǔ)位置及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成該待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)，并存儲(chǔ)該待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)；將生成的元數(shù)據(jù)以冗余方式存儲(chǔ)于元數(shù)據(jù)服務(wù)器集群11中的其他所有元數(shù)據(jù)服務(wù)器(S2 Sn)，以保證元數(shù)據(jù)的一致性；并在所有元數(shù)據(jù)服務(wù)器(Sf Sn)都完成更新后，由元數(shù)據(jù)服務(wù)器SI向客戶端10返回成功響應(yīng)，并將分配的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置發(fā)送給客戶端10 ；客戶端10根據(jù)收到的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置，將待寫(xiě)入數(shù)據(jù)及其參數(shù)信息存儲(chǔ)于該存儲(chǔ)設(shè)備的相應(yīng)位置。在云存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫(xiě)入過(guò)程中，若元數(shù)據(jù)服務(wù)器集群中有一個(gè)元數(shù)據(jù)服務(wù)器出現(xiàn)故障而無(wú)法進(jìn)行同步更新自身存儲(chǔ)的元數(shù)據(jù)，則該寫(xiě)入請(qǐng)求失敗。綜上所述，現(xiàn)有的云存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫(xiě)入過(guò)程中需要元數(shù)據(jù)服務(wù)器集群中的每個(gè)元數(shù)據(jù)服務(wù)器同步更新自身存儲(chǔ)的元數(shù)據(jù)，使得數(shù)據(jù)寫(xiě)入的處理時(shí)間長(zhǎng)、處理效率低；而且在數(shù)據(jù)寫(xiě)入過(guò)程中，只要有一個(gè)元數(shù)據(jù)服務(wù)器出現(xiàn)故障無(wú)法同步更新元數(shù)據(jù)就會(huì)造成該寫(xiě)入請(qǐng)求失敗，就會(huì)造成寫(xiě)入處理失敗。

發(fā)明內(nèi)容
本發(fā)明實(shí)施例提供了一種云存儲(chǔ)的數(shù)據(jù)處理方法、設(shè)備及系統(tǒng)，用于解決現(xiàn)有技術(shù)中存在的數(shù)據(jù)寫(xiě)入的處理時(shí)間長(zhǎng)、處理效率低且在有元數(shù)據(jù)服務(wù)器出現(xiàn)故障時(shí)造成寫(xiě)入處理失敗的問(wèn)題。本發(fā)明實(shí)施例提供了一種云存儲(chǔ)的數(shù)據(jù)處理方法，包括元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及接收到的待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，所述存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置；所述元數(shù)據(jù)服務(wù)器向所述寫(xiě)客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息，指示所述寫(xiě)客戶端根據(jù)所述存儲(chǔ)信息將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。本發(fā)明實(shí)施例提供了一種元數(shù)據(jù)服務(wù)器，包括 處理模塊，用于在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及接收到的待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，所述存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置；響應(yīng)反饋模塊，用于向所述寫(xiě)客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息，指示所述寫(xiě)客戶端根據(jù)所述存儲(chǔ)信息將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。本發(fā)明實(shí)施例提供了ー種寫(xiě)客戶端，包括選擇模塊，用于從所述元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，井向選定的元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求及所述待寫(xiě)入數(shù)據(jù)的參數(shù)信息；及寫(xiě)入模塊，用于根據(jù)收到的來(lái)自元數(shù)據(jù)服務(wù)器發(fā)送的存儲(chǔ)信息，將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。本發(fā)明實(shí)施例提供了一種云存儲(chǔ)系統(tǒng)，包括寫(xiě)客戶端，用于從元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，井向選定的元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求及待寫(xiě)入數(shù)據(jù)的參數(shù)信息；以及根據(jù)收到的來(lái)自所述元數(shù)據(jù)服務(wù)器發(fā)送的存儲(chǔ)信息，將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置；讀客戶端，用于向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求，以及接收所述存儲(chǔ)設(shè)備返回的查詢請(qǐng)求響應(yīng)，并在查詢成功時(shí)，接收來(lái)自所述存儲(chǔ)設(shè)備發(fā)送的數(shù)據(jù)；元數(shù)據(jù)服務(wù)器集群，包括至少兩個(gè)元數(shù)據(jù)服務(wù)器，用于在接收到來(lái)自所述寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及接收到的待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，所述存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置；及向所述寫(xiě)客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息，指示所述寫(xiě)客戶端根據(jù)所述存儲(chǔ)信息將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置；存儲(chǔ)設(shè)備集群，包括至少ー個(gè)存儲(chǔ)設(shè)備，用于存儲(chǔ)所述寫(xiě)客戶端寫(xiě)入的所述待寫(xiě)入數(shù)據(jù)；及在接收到讀客戶端的查詢請(qǐng)求后，將所述讀客戶端發(fā)送的待查詢數(shù)據(jù)的索引信息與本地存儲(chǔ)的元數(shù)據(jù)進(jìn)行匹配，并在匹配成功后將該索引信息對(duì)應(yīng)的數(shù)據(jù)發(fā)送給所述讀客戶端。本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；以及向客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，以指示客戶端根據(jù)存儲(chǔ)信息將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。由于本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器在本地寫(xiě)入待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)后立即向客戶端返回請(qǐng)求成功響應(yīng)，而不需要將該元數(shù)據(jù)同步到其他元數(shù)據(jù)服務(wù)器之后再返回請(qǐng)求成功響應(yīng)，從而避免由于網(wǎng)絡(luò)、硬件故障等原因造成某個(gè)元數(shù)據(jù)服務(wù)器不能正常存儲(chǔ)元數(shù)據(jù)而無(wú)法向客戶端返回成功響應(yīng)時(shí)，造成寫(xiě)入處理失敗，同時(shí)也提高了整個(gè)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫(xiě)入處理效率，縮短了數(shù)據(jù)寫(xiě)入處理的時(shí)間。


圖I為背景技術(shù)中云存儲(chǔ)系統(tǒng)的架構(gòu)示意圖；圖2為背景技術(shù)中客戶端與元數(shù)據(jù)服務(wù)器集群之間的交互示意圖；圖3為本發(fā)明實(shí)施例云存儲(chǔ)的數(shù)據(jù)處理系統(tǒng)的結(jié)構(gòu)示意圖；圖4為本發(fā)明實(shí)施例寫(xiě)客戶端的結(jié)構(gòu)示意圖；圖5為本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器的結(jié)構(gòu)示意圖；圖6為本發(fā)明實(shí)施例讀客戶端的結(jié)構(gòu)示意圖；圖7為本發(fā)明實(shí)施例云存儲(chǔ)的數(shù)據(jù)寫(xiě)入的處理方法的流程圖；圖8為本發(fā)明實(shí)施例云存儲(chǔ)的數(shù)據(jù)讀取的處理方法的流程圖；圖9為本發(fā)明實(shí)施例云存儲(chǔ)系統(tǒng)中數(shù)據(jù)寫(xiě)入的處理過(guò)程的流程圖；圖10為本發(fā)明實(shí)施例云存儲(chǔ)系統(tǒng)中數(shù)據(jù)讀取的處理過(guò)程的流程圖。
具體實(shí)施例方式本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器集群中的某元數(shù)據(jù)服務(wù)器在接收到來(lái)自客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；以及向客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，以指示客戶端根據(jù)存儲(chǔ)信息將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置；從而避免由于網(wǎng)絡(luò)、硬件故障等原因造成某個(gè)元數(shù)據(jù)服務(wù)器不能正常存儲(chǔ)元數(shù)據(jù)而無(wú)法向客戶端返回成功響應(yīng)時(shí)，造成寫(xiě)入處理失敗，同時(shí)也提高了整個(gè)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫(xiě)入處理效率，縮短了數(shù)據(jù)寫(xiě)入處理的時(shí)間。本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器集群中的每ー個(gè)元數(shù)據(jù)服務(wù)器響應(yīng)客戶端的訪問(wèn)(包括寫(xiě)入訪問(wèn)及讀取訪問(wèn))，在收到寫(xiě)客戶端的寫(xiě)入請(qǐng)求后為其分配存儲(chǔ)空間，在接收到讀客戶端查詢請(qǐng)求后，返回待讀取文件對(duì)應(yīng)的存儲(chǔ)信息；元數(shù)據(jù)服務(wù)器存儲(chǔ)有所有存儲(chǔ)設(shè)備存儲(chǔ)的數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)等。本發(fā)明實(shí)施例存儲(chǔ)設(shè)備集群中的存儲(chǔ)設(shè)備存儲(chǔ)每個(gè)數(shù)據(jù)及其對(duì)應(yīng)的元數(shù)據(jù)，負(fù)責(zé)文件的創(chuàng)建、刪除等。本發(fā)明實(shí)施例客戶端包括寫(xiě)客戶端及讀客戶端，客戶端通過(guò)調(diào)用封裝好的客戶端應(yīng)用接ロ，如應(yīng)用程序編程接ロ API (Application Programming Interface),訪問(wèn)元數(shù)據(jù)服務(wù)器和存儲(chǔ)設(shè)備，其中，寫(xiě)客戶端可以通過(guò)該接ロ進(jìn)行寫(xiě)入數(shù)據(jù)等操作，讀客戶端可以通過(guò)該接ロ進(jìn)行查詢數(shù)據(jù)、讀取數(shù)據(jù)等操作。需要說(shuō)明的是，本發(fā)明實(shí)施例寫(xiě)客戶端的功能模塊與讀客戶端的功能模塊可以分別置于相互獨(dú)立的兩個(gè)客戶端中，也可以是同一個(gè)客戶端的功能模塊，分別用以實(shí)現(xiàn)該客戶端的寫(xiě)入與讀取。下面結(jié)合說(shuō)明書(shū)附圖對(duì)本發(fā)明實(shí)施例作進(jìn)ー步詳細(xì)描述。如圖3所示,本發(fā)明實(shí)施例云存儲(chǔ)系統(tǒng),包括寫(xiě)客戶端20A，用于從元數(shù)據(jù)服務(wù)器集群30中選擇ー個(gè)元數(shù)據(jù)服務(wù)器300，并向選定的元數(shù)據(jù)服務(wù)器300發(fā)送寫(xiě)入請(qǐng)求及待寫(xiě)入數(shù)據(jù)的參數(shù)信息；以及根據(jù)收到的來(lái)自元數(shù)據(jù)服務(wù)器300發(fā)送的存儲(chǔ)信息，將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備400對(duì)應(yīng)的存儲(chǔ)位置；讀客戶端20B，用于向存儲(chǔ)設(shè)備集群40中的所有存儲(chǔ)設(shè)備400發(fā)送查詢請(qǐng)求，以及接收存儲(chǔ)設(shè)備400返回的查詢請(qǐng)求響應(yīng)，并在查詢請(qǐng)求成功時(shí)，接收來(lái)自存儲(chǔ)設(shè)備400發(fā)送的數(shù)據(jù)； 元數(shù)據(jù)服務(wù)器集群30，包括至少兩個(gè)元數(shù)據(jù)服務(wù)器300，用于在接收到來(lái)自寫(xiě)客戶端20A的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群40中選擇ー個(gè)存儲(chǔ)設(shè)備400，井根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；及向?qū)懣蛻舳?0A發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，指示寫(xiě)客戶端20A根據(jù)存儲(chǔ)信息將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備400對(duì)應(yīng)的存儲(chǔ)位置；存儲(chǔ)設(shè)備集群40，包括至少ー個(gè)存儲(chǔ)設(shè)備400，用于存儲(chǔ)寫(xiě)客戶端20A寫(xiě)入的待寫(xiě)入數(shù)據(jù)；及在接收到讀客戶端20B的查詢請(qǐng)求后，將讀客戶端20B發(fā)送的待查詢數(shù)據(jù)的索引信息與本地存儲(chǔ)的元數(shù)據(jù)進(jìn)行匹配，并在匹配成功后將該索引信息對(duì)應(yīng)的數(shù)據(jù)發(fā)送給讀客戶端20B。其中，本發(fā)明實(shí)施例待寫(xiě)入數(shù)據(jù)可以是視頻文件、音頻文件、圖像文件、程序文件、文本文件等類(lèi)型的文件。本發(fā)明實(shí)施例參數(shù)信息用于表征該寫(xiě)入數(shù)據(jù)屬性的相關(guān)信息，包括但不限于下列信息中的ー種或多種待寫(xiě)入數(shù)據(jù)的名稱、大小、類(lèi)型、格式、關(guān)鍵字、版本、安全權(quán)限、屬性、說(shuō)明等。本發(fā)明實(shí)施例存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置。本發(fā)明實(shí)施例待查詢數(shù)據(jù)的索引信息為參數(shù)信息中的ー種或多種信息；其中，參數(shù)信息包括數(shù)據(jù)的名稱、大小、格式等表征該數(shù)據(jù)的相關(guān)信息。如圖4所示，本發(fā)明實(shí)施例的寫(xiě)客戶端20A，包括選擇模塊200，用于從元數(shù)據(jù)服務(wù)器集群30中選擇ー個(gè)元數(shù)據(jù)服務(wù)器300，并向選定的元數(shù)據(jù)服務(wù)器300發(fā)送寫(xiě)入請(qǐng)求及待寫(xiě)入數(shù)據(jù)的參數(shù)信息；寫(xiě)入模塊210，用于根據(jù)收到的來(lái)自元數(shù)據(jù)服務(wù)器300發(fā)送的存儲(chǔ)信息，將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備400對(duì)應(yīng)的存儲(chǔ)位置。在具體實(shí)施過(guò)程中，選擇模塊200在確定寫(xiě)客戶端20A需要寫(xiě)入數(shù)據(jù)時(shí)，從元數(shù)據(jù)服務(wù)器集群30中選擇ー個(gè)元數(shù)據(jù)服務(wù)器300，具體選擇方式包括但不限于下列方式中的一種或多種根據(jù)元數(shù)據(jù)服務(wù)器集群30中各個(gè)元數(shù)據(jù)服務(wù)器的負(fù)載情況，選擇負(fù)載最小的元數(shù)據(jù)服務(wù)器；根據(jù)設(shè)定的算法(如hash算法)從元數(shù)據(jù)服務(wù)器集群30中選擇元一個(gè)元數(shù)據(jù)服務(wù)器；根據(jù)元數(shù)據(jù)服務(wù)器集群30中各元數(shù)據(jù)服務(wù)器與自己的物理連接距離，選擇離該寫(xiě)客戶端物理連接距離最近的元數(shù)據(jù)服務(wù)器；隨機(jī)從元數(shù)據(jù)服務(wù)器集群30中選擇ー個(gè)元數(shù)據(jù)服務(wù)器。當(dāng)然，選擇模塊200也可以采用其他的策略從數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，此處不再一一列挙。優(yōu)選的，處理模塊310可根據(jù)以下步驟獲取存儲(chǔ)設(shè)備集群的各存儲(chǔ)設(shè)備的剩余容量:存儲(chǔ)設(shè)備集群40中的各存儲(chǔ)設(shè)備定期(如每隔IOs上報(bào)一次)上報(bào)自身的剩余容
量信息；或
處理模塊310在收到寫(xiě)入請(qǐng)求后，向存儲(chǔ)設(shè)備集群40中所有的存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求，并接收每個(gè)存儲(chǔ)設(shè)備返回的剰余容量信息。如圖5所示，本發(fā)明實(shí)施例的元數(shù)據(jù)服務(wù)器300，包括處理模塊310，用于在接收到來(lái)自寫(xiě)客戶端20A的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備400，井根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置；響應(yīng)反饋模塊320，用于向?qū)懣蛻舳?0A發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，指示寫(xiě)客戶端20A根據(jù)存儲(chǔ)信息將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備400對(duì)應(yīng)的存儲(chǔ)位置。在具體實(shí)施過(guò)程中，處理模塊310采用以下方式為寫(xiě)客戶端20A分配存儲(chǔ)設(shè)備從存儲(chǔ)設(shè)備集群40中的剰余容量大于該待寫(xiě)入數(shù)據(jù)的容量的存儲(chǔ)設(shè)備中隨機(jī)選擇ー個(gè)存儲(chǔ)設(shè)備；或從存儲(chǔ)設(shè)備集群40中剰余容量大于該待寫(xiě)入數(shù)據(jù)的容量的存儲(chǔ)設(shè)備中選擇ー個(gè)剰余容量最大的存儲(chǔ)設(shè)備。當(dāng)然，處理模塊310還可以采用其他方式從存儲(chǔ)設(shè)備集群40中選擇ー個(gè)存儲(chǔ)設(shè)備存儲(chǔ)該待寫(xiě)入數(shù)據(jù)，只要保證該待存儲(chǔ)設(shè)備的容量大于該待寫(xiě)入數(shù)據(jù)的容量即可。優(yōu)選的，本發(fā)明實(shí)施例的元數(shù)據(jù)服務(wù)器300，還包括更新模塊330，用于在確定自身處于空閑狀態(tài)時(shí)，將本地存儲(chǔ)的寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)發(fā)送給元數(shù)據(jù)服務(wù)器集群30中除自身之外的其他元數(shù)據(jù)服務(wù)器，指示其他元數(shù)據(jù)服務(wù)器存儲(chǔ)該元數(shù)據(jù)，以更新其他元數(shù)據(jù)服務(wù)器中存儲(chǔ)的元數(shù)據(jù)。在具體實(shí)施過(guò)程中，元數(shù)據(jù)服務(wù)器集群30中其他元數(shù)據(jù)服務(wù)器在更新完自身存儲(chǔ)的元數(shù)據(jù)之后，向發(fā)起更新的元數(shù)據(jù)服務(wù)器發(fā)送更新完成響應(yīng)。由于本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器集群中某一元數(shù)據(jù)服務(wù)器在根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)后，立即向?qū)懣蛻舳税l(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，縮短了寫(xiě)客戶端的等待時(shí)間，提高了數(shù)據(jù)寫(xiě)入處理的效率；該元數(shù)據(jù)服務(wù)器在自身處于空閑狀態(tài)時(shí)，更新其他元數(shù)據(jù)服務(wù)器中存儲(chǔ)的元數(shù)據(jù)，采用異步更新方式，以保證元數(shù)據(jù)的一致性。在具體實(shí)施過(guò)程中，本發(fā)明實(shí)施例的存儲(chǔ)設(shè)備集群40中選定的存儲(chǔ)設(shè)備400在存儲(chǔ)寫(xiě)客戶端20A寫(xiě)入的待寫(xiě)入數(shù)據(jù)之后，分別向元數(shù)據(jù)服務(wù)器及寫(xiě)客戶端返回寫(xiě)入成功響應(yīng)。需要說(shuō)明的是，存儲(chǔ)設(shè)備400不僅存儲(chǔ)待寫(xiě)入數(shù)據(jù)，還存儲(chǔ)該寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)，以便于進(jìn)行查詢；其中，存儲(chǔ)設(shè)備400的存儲(chǔ)的元數(shù)據(jù)可以是由元數(shù)據(jù)服務(wù)器300提供，也可以由寫(xiě)客戶端20A提供。如圖6所示，本發(fā)明實(shí)施例的讀客戶端20B，包括請(qǐng)求發(fā)送模塊220，用于向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求；其中，該查詢請(qǐng)求中包括待查詢數(shù)據(jù)對(duì)應(yīng)的索引信息，該索引信息包括但不限于下列參數(shù)中ー種或多種
待查詢數(shù)據(jù)的名稱、大小、類(lèi)型、格式、關(guān)鍵字、版本、安全權(quán)限、屬性、說(shuō)明等。本發(fā)明實(shí)施例待查詢數(shù)據(jù)可以是視頻文件、音頻文件、圖像文件、程序文件、文本文件等類(lèi)型的文件。
接收模塊230，用于接收存儲(chǔ)設(shè)備返回的查詢請(qǐng)求響應(yīng)，并在查詢請(qǐng)求成功時(shí)，接收來(lái)自存儲(chǔ)設(shè)備發(fā)送的待查詢數(shù)據(jù)。在具體實(shí)施過(guò)程中，請(qǐng)求發(fā)送模塊220采用以下兩種方式進(jìn)行處理方式一、在收到來(lái)自元數(shù)據(jù)服務(wù)器集群30中的元數(shù)據(jù)服務(wù)器300返回的查詢失敗響應(yīng)后，向存儲(chǔ)設(shè)備集群40中的所有存儲(chǔ)設(shè)備400發(fā)送查詢請(qǐng)求；方式ニ、在向元數(shù)據(jù)服務(wù)器集群30中的至少ー個(gè)元數(shù)據(jù)服務(wù)器300發(fā)送查詢請(qǐng)求的同吋，向存儲(chǔ)設(shè)備集群40中的所有存儲(chǔ)設(shè)備400發(fā)送查詢請(qǐng)求。其中，方式ー采用分級(jí)查詢模式，在收到來(lái)自元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器返回的查詢失敗響應(yīng)后，向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求。當(dāng)然，讀客戶端20B在需要讀取數(shù)據(jù)時(shí)，也可以僅向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求。針對(duì)方式一，元數(shù)據(jù)服務(wù)器300在接收到來(lái)自讀客戶端20B的查詢請(qǐng)求吋，將待查詢數(shù)據(jù)的索引信息與本地存儲(chǔ)的元數(shù)據(jù)中的信息進(jìn)行匹配，若匹配成功，則確定該待查詢數(shù)據(jù)的存儲(chǔ)信息，存儲(chǔ)信息包括存儲(chǔ)設(shè)備及存儲(chǔ)位置，并將確定的存儲(chǔ)信息發(fā)送給讀客戶端20B，指示讀客戶端20B根據(jù)存儲(chǔ)信息向相應(yīng)的存儲(chǔ)設(shè)備發(fā)送讀取請(qǐng)求，以讀取待查詢數(shù)據(jù)；進(jìn)一歩，存儲(chǔ)設(shè)備在收到來(lái)自讀客戶端20B的讀取請(qǐng)求時(shí)，根據(jù)讀取請(qǐng)求查找相應(yīng)位置存儲(chǔ)的數(shù)據(jù)，并將該數(shù)據(jù)發(fā)送給讀客戶端20B ；若匹配失敗，則向讀客戶端20B返回查詢失敗響應(yīng)；進(jìn)一歩，讀客戶端20B在收到查詢失敗響應(yīng)后，向存儲(chǔ)設(shè)備集群40中的所有存儲(chǔ)設(shè)備400發(fā)送查詢請(qǐng)求；進(jìn)ー步，存儲(chǔ)設(shè)備400在收到來(lái)自讀客戶端20B的查詢請(qǐng)求后，將待查詢數(shù)據(jù)的索引信息與本地存儲(chǔ)的元數(shù)據(jù)中的信息進(jìn)行匹配，若匹配成功，則將索引信息對(duì)應(yīng)的數(shù)據(jù)發(fā)送給讀客戶端20B ;若匹配失敗，則向讀客戶端20B返回查詢失敗響應(yīng)?；谕话l(fā)明構(gòu)思，本發(fā)明實(shí)施例中還提供了一種云存儲(chǔ)的數(shù)據(jù)寫(xiě)入的處理方法，由于該方法解決問(wèn)題的原理與元數(shù)據(jù)服務(wù)器及寫(xiě)客戶端相似，因此該方法的實(shí)施可以參見(jiàn)元數(shù)據(jù)服務(wù)器及寫(xiě)客戶端的實(shí)施，重復(fù)之處不再贅述。如圖7所示，本發(fā)明實(shí)施例云存儲(chǔ)的數(shù)據(jù)寫(xiě)入的處理方法，包括以下步驟步驟701、元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置；步驟702、元數(shù)據(jù)服務(wù)器向?qū)懣蛻舳税l(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，指示寫(xiě)客戶端根據(jù)存儲(chǔ)信息將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。優(yōu)選的，元數(shù)據(jù)服務(wù)器向?qū)懣蛻舳税l(fā)送請(qǐng)求成功響應(yīng)及存儲(chǔ)信息之后，還包括元數(shù)據(jù)服務(wù)器確定自身處于空閑狀態(tài)時(shí)，將本地存儲(chǔ)的待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)發(fā)送給元數(shù)據(jù)服務(wù)器集群中除自身之外的其他元數(shù)據(jù)服務(wù)器，指示其他元數(shù)據(jù)服務(wù)器存儲(chǔ)元數(shù)據(jù)。優(yōu)選的，元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求之前，還包括
寫(xiě)客戶端從元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，井向選定的元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求及待寫(xiě)入數(shù)據(jù)的參數(shù)信息；元數(shù)據(jù)服務(wù)器向?qū)懣蛻舳税l(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息之后，還包括寫(xiě)客戶端根據(jù)收到的來(lái)自元數(shù)據(jù)服務(wù)器發(fā)送的存儲(chǔ)信息，將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。優(yōu)選的，寫(xiě)客戶端根據(jù)下列步驟從元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器寫(xiě)客戶端根據(jù)元數(shù)據(jù)服務(wù)器集群中各個(gè)元數(shù)據(jù)服務(wù)器的負(fù)載情況，選擇負(fù)載最小的元數(shù)據(jù)服務(wù)器；或?qū)懣蛻舳烁鶕?jù)設(shè)定的算法從元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器；或?qū)懣蛻舳烁鶕?jù)元數(shù)據(jù)服務(wù)器集群中各元數(shù)據(jù)服務(wù)器與自己的物理連接距離，選擇離寫(xiě)客戶端物理連接距離最近的元數(shù)據(jù)服務(wù)器；或?qū)懣蛻舳穗S機(jī)從元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器。優(yōu)選的，選定的存儲(chǔ)設(shè)備在存儲(chǔ)待寫(xiě)入數(shù)據(jù)時(shí)，存儲(chǔ)待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)?；谕话l(fā)明構(gòu)思，本發(fā)明實(shí)施例中還提供了一種云存儲(chǔ)的數(shù)據(jù)讀取的處理方法，由于該方法解決問(wèn)題的原理與讀客戶端相似，因此該方法的實(shí)施可以參見(jiàn)讀客戶端的實(shí)施，重復(fù)之處不再贅述。如圖8所示，本發(fā)明實(shí)施例云存儲(chǔ)的數(shù)據(jù)讀取的處理方法，包括以下步驟步驟801、讀客戶端向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求；步驟802、讀客戶端接收存儲(chǔ)設(shè)備返回的查詢請(qǐng)求響應(yīng)，并在查詢成功時(shí)，接收來(lái)自存儲(chǔ)設(shè)備發(fā)送的待查詢數(shù)據(jù)。優(yōu)選的，步驟801具體包括以下兩種實(shí)施方式讀客戶端在收到來(lái)自元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器返回的查詢請(qǐng)求失敗響應(yīng)后，向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求；或者讀客戶端在向元數(shù)據(jù)服務(wù)器集群中的至少ー個(gè)元數(shù)據(jù)服務(wù)器發(fā)送查詢請(qǐng)求的同吋，向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求。下面詳細(xì)介紹本發(fā)明實(shí)施例云存儲(chǔ)系統(tǒng)中數(shù)據(jù)寫(xiě)入的處理過(guò)程，如圖9所示，包括以下步驟步驟901、寫(xiě)客戶端根據(jù)設(shè)定的策略從元數(shù)據(jù)服務(wù)器集群中選定ー個(gè)元數(shù)據(jù)服務(wù)器；具體的，設(shè)定的策略包括但不限于下列方式中的ー種或多種寫(xiě)客戶端根據(jù)元數(shù)據(jù)服務(wù)器集群中各個(gè)元數(shù)據(jù)服務(wù)器的負(fù)載情況，選擇負(fù)載最小的元數(shù)據(jù)服務(wù)器；寫(xiě)客戶端根據(jù)設(shè)定的算法(如hash算法)從元數(shù)據(jù)服務(wù)器集群中選擇元一個(gè)元數(shù)據(jù)服務(wù)器；寫(xiě)客戶端根據(jù)元數(shù)據(jù)服務(wù)器集群中各元數(shù)據(jù)服務(wù)器與自己的物理連接距離，選擇離該寫(xiě)客戶端物理連接距離最近的元數(shù)據(jù)服務(wù)器；
寫(xiě)客戶端隨機(jī)從元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器。當(dāng)然，寫(xiě)客戶端也可以采用其他的策略從數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，此處不再一一列挙。步驟902、寫(xiě)客戶端向選定的元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求，并將待寫(xiě)入數(shù)據(jù)的參數(shù)信息發(fā)送給該元數(shù)據(jù)服務(wù)器 ；具體的，寫(xiě)客戶端可以通過(guò)調(diào)用封裝好的客戶端應(yīng)用接ロ(如API)訪問(wèn)元數(shù)據(jù)服務(wù)器和存儲(chǔ)設(shè)備，寫(xiě)客戶端可以通過(guò)該接ロ進(jìn)行寫(xiě)入數(shù)據(jù)等操作。待寫(xiě)入數(shù)據(jù)的參數(shù)信息用于表征該寫(xiě)入數(shù)據(jù)屬性的相關(guān)信息，該參數(shù)信息包括但不限于下列信息中的ー種或多種待寫(xiě)入數(shù)據(jù)的名稱、大小、類(lèi)型、格式、關(guān)鍵字、版本、安全權(quán)限、屬性、說(shuō)明等。優(yōu)選的，寫(xiě)客戶端可以將待寫(xiě)入數(shù)據(jù)的參數(shù)信息置于寫(xiě)入請(qǐng)求中，井向選定的元數(shù)據(jù)服務(wù)器發(fā)送該寫(xiě)入請(qǐng)求。步驟903、元數(shù)據(jù)服務(wù)器在收到寫(xiě)客戶端發(fā)送的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備用于存儲(chǔ)該待寫(xiě)入數(shù)據(jù)；本步驟中元數(shù)據(jù)服務(wù)器可以從存儲(chǔ)設(shè)備集群的剰余容量大于該待寫(xiě)入數(shù)據(jù)的容量的存儲(chǔ)設(shè)備中隨機(jī)選擇ー個(gè)存儲(chǔ)設(shè)備；也可以從存儲(chǔ)設(shè)備集群的剰余容量大于該待寫(xiě)入數(shù)據(jù)的容量的存儲(chǔ)設(shè)備中選擇ー個(gè)剰余容量最大的存儲(chǔ)設(shè)備。當(dāng)然，元數(shù)據(jù)服務(wù)器還可以采用其他方式從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備存儲(chǔ)該待寫(xiě)入數(shù)據(jù)，只要保證該待存儲(chǔ)設(shè)備的容量大于該待寫(xiě)入數(shù)據(jù)的容量即可。本步驟中元數(shù)據(jù)服務(wù)器可根據(jù)以下步驟獲取存儲(chǔ)設(shè)備集群的各存儲(chǔ)設(shè)備的剩余容量存儲(chǔ)設(shè)備集群中的各存儲(chǔ)設(shè)備定期(如每隔IOs上報(bào)一次)上報(bào)自身的剰余容量信息；或元數(shù)據(jù)服務(wù)器在收到寫(xiě)入請(qǐng)求后，向存儲(chǔ)設(shè)備集群中所有的存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求，并接收每個(gè)存儲(chǔ)設(shè)備返回的剰余容量信息。步驟904、元數(shù)據(jù)服務(wù)器根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成該待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置；步驟905、元數(shù)據(jù)服務(wù)器向?qū)懣蛻舳税l(fā)送請(qǐng)求成功響應(yīng)，井向?qū)懣蛻舳税l(fā)送該存儲(chǔ)信息；該元數(shù)據(jù)服務(wù)器處于空閑狀態(tài)時(shí)，將本次存儲(chǔ)的待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)異步更新到元數(shù)據(jù)服務(wù)器集群中的其他元數(shù)據(jù)服務(wù)器中。具體的，該元數(shù)據(jù)服務(wù)器可以通過(guò)懶更新(lazy update)方式，進(jìn)行異步更新。步驟906、寫(xiě)客戶端在收到請(qǐng)求成功響應(yīng)后，根據(jù)返回的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置，將該待寫(xiě)入數(shù)據(jù)寫(xiě)入相應(yīng)存儲(chǔ)設(shè)備的對(duì)應(yīng)存儲(chǔ)位置，已完成本次寫(xiě)入處理。由于本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器在本地寫(xiě)入待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)后立即向?qū)懣蛻舳朔祷卣?qǐng)求成功響應(yīng)，而不需要將該元數(shù)據(jù)同步到其他元數(shù)據(jù)服務(wù)器之后再返回請(qǐng)求成功響應(yīng)，從而避免由于網(wǎng)絡(luò)、硬件故障等原因造成某個(gè)元數(shù)據(jù)服務(wù)器不能正常存儲(chǔ)元數(shù)據(jù)而無(wú)法向客戶端返回成功響應(yīng)時(shí)，造成寫(xiě)入處理失敗，同時(shí)也提高了整個(gè)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫(xiě)入處理效率，縮短了數(shù)據(jù)寫(xiě)入處理的時(shí)間。本發(fā)明實(shí)施例云存儲(chǔ)系統(tǒng)中數(shù)據(jù)讀取的處理過(guò)程，如圖10所示，包括以下步驟步驟1001、讀客戶端根據(jù)設(shè)定的策略從元數(shù)據(jù)服務(wù)器集群中選定ー個(gè)元數(shù)據(jù)服務(wù)器；具體策略請(qǐng)參見(jiàn)寫(xiě)入處理過(guò)程中對(duì)策略的說(shuō)明，此處不再贅述。步驟1002、讀客戶端向選定的元數(shù)據(jù)服務(wù)器發(fā)起查詢請(qǐng)求，并將待查詢數(shù)據(jù)的索引信息發(fā)送給該元數(shù)據(jù)服務(wù)器，以獲取待查詢數(shù)據(jù)的存儲(chǔ)信息；
具體的，讀客戶端可以通過(guò)調(diào)用封裝好的客戶端應(yīng)用接ロ(如API)訪問(wèn)元數(shù)據(jù)服務(wù)器和存儲(chǔ)設(shè)備，讀客戶可以通過(guò)該接ロ進(jìn)行讀取數(shù)據(jù)、查詢數(shù)據(jù)等操作。待查詢數(shù)據(jù)的索引信息為參數(shù)信息中的ー種或多種信息；其中，參數(shù)信息包括數(shù)據(jù)的名稱、大小、格式等表征該數(shù)據(jù)的相關(guān)信息。步驟1003、元數(shù)據(jù)服務(wù)器在收到來(lái)自讀客戶端的查詢請(qǐng)求后，將索引信息與本地存儲(chǔ)的各數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行匹配；若匹配成功，則執(zhí)行步驟1004 ；若匹配失敗，則執(zhí)行步驟1005 ；步驟1004、元數(shù)據(jù)服務(wù)器向讀客戶端發(fā)送待查詢數(shù)據(jù)的存儲(chǔ)信息，該存儲(chǔ)信息包括存儲(chǔ)該待查詢數(shù)據(jù)的存儲(chǔ)設(shè)備的標(biāo)識(shí)及該待查詢數(shù)據(jù)的存儲(chǔ)位置；執(zhí)行步驟1006 ；步驟1005、元數(shù)據(jù)服務(wù)器向讀客戶端返回查詢失敗響應(yīng)；執(zhí)行步驟1008 ；步驟1006、讀客戶端在收到該待查詢數(shù)據(jù)對(duì)應(yīng)的存儲(chǔ)信息后，向相應(yīng)存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求，井向該存儲(chǔ)設(shè)備發(fā)送該待查詢數(shù)據(jù)的索引信息；執(zhí)行步驟1007 ；步驟1007、存儲(chǔ)設(shè)備在收到讀客戶端的查詢請(qǐng)求后，根據(jù)索引信息確定待查詢數(shù)據(jù)，并將該待查詢數(shù)據(jù)發(fā)送給讀客戶端，結(jié)束本流程；步驟1008、讀客戶端在收到元數(shù)據(jù)服務(wù)器的請(qǐng)求失敗響應(yīng)后，向存儲(chǔ)設(shè)備集群中所有的存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求，井向所有存儲(chǔ)設(shè)備發(fā)送該待查詢數(shù)據(jù)的索引信息；執(zhí)行步驟 1009 ；步驟1009、存儲(chǔ)設(shè)備在收到讀客戶端的查詢請(qǐng)求后，將索引信息與本地存儲(chǔ)的所有數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)進(jìn)行匹配；若匹配成功，則執(zhí)行步驟1010 ；若匹配失敗，則執(zhí)行步驟1011 ；步驟1010、存儲(chǔ)設(shè)備將確定的待查詢數(shù)據(jù)發(fā)送給讀客戶端；步驟1011、存儲(chǔ)設(shè)備向讀客戶端返回查詢失敗響應(yīng)。本發(fā)明實(shí)施例的讀客戶端在數(shù)據(jù)讀取的處理過(guò)程中采用分級(jí)搜索的方式，即先采用第一級(jí)的搜索，向元數(shù)據(jù)服務(wù)器發(fā)起查詢請(qǐng)求，以獲取文件的存儲(chǔ)信息；若失敗，則采用第二級(jí)的搜索，向存儲(chǔ)有元數(shù)據(jù)冗余信息的每個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備發(fā)起查詢請(qǐng)求，由于數(shù)據(jù)及其對(duì)應(yīng)的元數(shù)據(jù)是一起存儲(chǔ)在存儲(chǔ)設(shè)備中的，此時(shí)查詢結(jié)果是精確的，從而避免了由于寫(xiě)入過(guò)程采用異步更新帶來(lái)的各個(gè)元數(shù)據(jù)服務(wù)器中存儲(chǔ)的元數(shù)據(jù)有可能存在不一致的情況。這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖ー個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。盡管已描述了本發(fā)明的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對(duì)這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；以及向客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，以指示客戶端根據(jù)存儲(chǔ)信息將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。由于本發(fā)明實(shí)施例元數(shù)據(jù)服務(wù)器在本地寫(xiě)入待寫(xiě) 入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)后立即向客戶端返回請(qǐng)求成功響應(yīng)，而不需要將該元數(shù)據(jù)同步到其他元數(shù)據(jù)服務(wù)器之后再返回請(qǐng)求成功響應(yīng)，由于本發(fā)明實(shí)施例采用異步更新，從而避免由于網(wǎng)絡(luò)、硬件故障等原因造成某個(gè)元數(shù)據(jù)不能正常存儲(chǔ)而無(wú)法返回客戶端存儲(chǔ)成功的響應(yīng)時(shí)，造成寫(xiě)入處理失敗，同時(shí)也提高了整個(gè)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)寫(xiě)入處理效率，縮短了數(shù)據(jù)寫(xiě)入處理的時(shí)間。顯然，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動(dòng)和變型在內(nèi)。
權(quán)利要求
1.一種云存儲(chǔ)的數(shù)據(jù)處理方法，其特征在于，所述方法包括 元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及接收到的待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，所述存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置； 所述元數(shù)據(jù)服務(wù)器向所述寫(xiě)客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息，指示所述寫(xiě)客戶端根據(jù)所述存儲(chǔ)信息將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。
2.如權(quán)利要求I所述的方法，其特征在于，所述元數(shù)據(jù)服務(wù)器向所述寫(xiě)客戶端發(fā)送請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息之后，還包括 所述元數(shù)據(jù)服務(wù)器確定自身處于空閑狀態(tài)時(shí)，將本地存儲(chǔ)的所述待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)發(fā)送給所述元數(shù)據(jù)服務(wù)器集群中除自身之外的其他元數(shù)據(jù)服務(wù)器，指示所述其他元數(shù)據(jù)服務(wù)器存儲(chǔ)所述元數(shù)據(jù)。
3.如權(quán)利要求I或2所述的方法，其特征在于，所述元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求之前，還包括 寫(xiě)客戶端從所述元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，井向選定的元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求及所述待寫(xiě)入數(shù)據(jù)的參數(shù)信息； 所述元數(shù)據(jù)服務(wù)器向所述寫(xiě)客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息之后，還包括 所述寫(xiě)客戶端根據(jù)收到的來(lái)自元數(shù)據(jù)服務(wù)器發(fā)送的存儲(chǔ)信息，將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。
4.如權(quán)利要求3所述的方法，其特征在于，所述寫(xiě)客戶端根據(jù)下列步驟從所述元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器 所述寫(xiě)客戶端根據(jù)所述元數(shù)據(jù)服務(wù)器集群中各個(gè)元數(shù)據(jù)服務(wù)器的負(fù)載情況，選擇負(fù)載最小的元數(shù)據(jù)服務(wù)器；或 所述寫(xiě)客戶端根據(jù)設(shè)定的算法從所述元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器；或 所述寫(xiě)客戶端根據(jù)所述元數(shù)據(jù)服務(wù)器集群中各元數(shù)據(jù)服務(wù)器與自己的物理連接距離，選擇離所述寫(xiě)客戶端物理連接距離最近的元數(shù)據(jù)服務(wù)器；或 所述寫(xiě)客戶端隨機(jī)從所述元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器。
5.如權(quán)利要求I所述的方法，其特征在于，該方法還包括 讀客戶端向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求； 所述讀客戶端接收所述存儲(chǔ)設(shè)備返回的查詢請(qǐng)求響應(yīng)，并在查詢成功時(shí)，接收來(lái)自所述存儲(chǔ)設(shè)備發(fā)送的待查詢數(shù)據(jù)。
6.如權(quán)利要求5所述的方法，其特征在于，所述讀客戶端向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求，包括 所述讀客戶端在收到來(lái)自元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器返回的查詢請(qǐng)求失敗響應(yīng)后，向所述存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求；或者 所述讀客戶端在向所述元數(shù)據(jù)服務(wù)器集群中的至少ー個(gè)元數(shù)據(jù)服務(wù)器發(fā)送查詢請(qǐng)求的同時(shí)，向所述存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求。
7.—種元數(shù)據(jù)服務(wù)器，其特征在于，所述元數(shù)據(jù)服務(wù)器包括處理模塊，用于在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及接收到的待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，所述存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置； 響應(yīng)反饋模塊，用于向所述寫(xiě)客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息，指示所述寫(xiě)客戶端根據(jù)所述存儲(chǔ)信息將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。
8.如權(quán)利要求7所述的元數(shù)據(jù)服務(wù)器，其特征在于，所述元數(shù)據(jù)服務(wù)器還包括 更新模塊，用于在確定自身處于空閑狀態(tài)時(shí)，將本地存儲(chǔ)的所述待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)發(fā)送給所述元數(shù)據(jù)服務(wù)器集群中除自身之外的其他元數(shù)據(jù)服務(wù)器，指示所述其他元數(shù)據(jù)服務(wù)器存儲(chǔ)所述元數(shù)據(jù)。
9.ー種寫(xiě)客戶端，其特征在于，所述寫(xiě)客戶端包括 選擇模塊，用于從所述元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，井向選定的元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求及所述待寫(xiě)入數(shù)據(jù)的參數(shù)信息；及 寫(xiě)入模塊，用于根據(jù)收到的來(lái)自元數(shù)據(jù)服務(wù)器發(fā)送的存儲(chǔ)信息，將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。
10.一種云存儲(chǔ)系統(tǒng)，其特征在于，所述系統(tǒng)包括 寫(xiě)客戶端，用于從元數(shù)據(jù)服務(wù)器集群中選擇ー個(gè)元數(shù)據(jù)服務(wù)器，井向選定的元數(shù)據(jù)服務(wù)器發(fā)送寫(xiě)入請(qǐng)求及待寫(xiě)入數(shù)據(jù)的參數(shù)信息；以及根據(jù)收到的來(lái)自所述元數(shù)據(jù)服務(wù)器發(fā)送的存儲(chǔ)信息，將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置； 讀客戶端，用于向存儲(chǔ)設(shè)備集群中的所有存儲(chǔ)設(shè)備發(fā)送查詢請(qǐng)求，以及接收所述存儲(chǔ)設(shè)備返回的查詢請(qǐng)求響應(yīng)，并在查詢成功時(shí)，接收來(lái)自所述存儲(chǔ)設(shè)備發(fā)送的數(shù)據(jù)； 元數(shù)據(jù)服務(wù)器集群，包括至少兩個(gè)元數(shù)據(jù)服務(wù)器，用于在接收到來(lái)自所述寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇ー個(gè)存儲(chǔ)設(shè)備，井根據(jù)存儲(chǔ)信息及接收到的待寫(xiě)入數(shù)據(jù)的參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；其中，所述存儲(chǔ)信息包括選定的存儲(chǔ)設(shè)備的標(biāo)識(shí)及存儲(chǔ)位置；及向所述寫(xiě)客戶端發(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及所述存儲(chǔ)信息，指示所述寫(xiě)客戶端根據(jù)所述存儲(chǔ)信息將所述待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置； 存儲(chǔ)設(shè)備集群，包括至少ー個(gè)存儲(chǔ)設(shè)備，用于存儲(chǔ)所述寫(xiě)客戶端寫(xiě)入的所述待寫(xiě)入數(shù)據(jù)；及在接收到讀客戶端的查詢請(qǐng)求后，將所述讀客戶端發(fā)送的待查詢數(shù)據(jù)的索引信息與本地存儲(chǔ)的元數(shù)據(jù)進(jìn)行匹配，并在匹配成功后將該索引信息對(duì)應(yīng)的數(shù)據(jù)發(fā)送給所述讀客戶端。
全文摘要
本發(fā)明涉及云存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種云存儲(chǔ)的數(shù)據(jù)處理方法、設(shè)備及系統(tǒng)，用于解決現(xiàn)有技術(shù)中存在的數(shù)據(jù)寫(xiě)入的處理時(shí)間長(zhǎng)且效率低的問(wèn)題。本發(fā)明實(shí)施例云存儲(chǔ)的數(shù)據(jù)處理方法包括元數(shù)據(jù)服務(wù)器集群中的元數(shù)據(jù)服務(wù)器在接收到來(lái)自寫(xiě)客戶端的寫(xiě)入請(qǐng)求后，從存儲(chǔ)設(shè)備集群中選擇一個(gè)存儲(chǔ)設(shè)備，并根據(jù)存儲(chǔ)信息及參數(shù)信息生成待寫(xiě)入數(shù)據(jù)對(duì)應(yīng)的元數(shù)據(jù)并存儲(chǔ)；及向?qū)懣蛻舳税l(fā)送寫(xiě)入請(qǐng)求成功響應(yīng)及存儲(chǔ)信息，指示寫(xiě)客戶端根據(jù)存儲(chǔ)信息將待寫(xiě)入數(shù)據(jù)寫(xiě)入選定的存儲(chǔ)設(shè)備對(duì)應(yīng)的存儲(chǔ)位置。本發(fā)明實(shí)施例避免了由于網(wǎng)絡(luò)、硬件故障等原因造成某個(gè)元數(shù)據(jù)服務(wù)器不能正常存儲(chǔ)元數(shù)據(jù)而無(wú)法向客戶端返回成功響應(yīng)時(shí)造成寫(xiě)入處理失敗，提高了處理效率，縮短了處理時(shí)間。
文檔編號(hào)H04L29/08GK102694860SQ20121016710
公開(kāi)日2012年9月26日 申請(qǐng)日期2012年5月25日 優(yōu)先權(quán)日2012年5月25日
發(fā)明者嚴(yán)杰, 周娟娟, 熊暉 申請(qǐng)人:北京邦諾存儲(chǔ)科技有限公司