分布式內(nèi)存磁盤群集儲存系統(tǒng)運(yùn)作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種分布式內(nèi)存磁盤群集儲存系統(tǒng)運(yùn)作方法，特指一種具備快速多對多傳輸、高擴(kuò)充性及穩(wěn)定性等多特征的網(wǎng)絡(luò)信息交流儲存系統(tǒng)的分布式內(nèi)存磁盤群集儲存系統(tǒng)運(yùn)作方法。
【背景技術(shù)】
[0002]在近年來中，隨著網(wǎng)絡(luò)應(yīng)用的快速普及與行動裝置的網(wǎng)絡(luò)需求增長，讓企業(yè)訊息系統(tǒng)有了很大的改變。計(jì)算器資源的需求從未達(dá)到如此的高度，在面對同時間暴增的用戶量下，以目前的儲存設(shè)備是無法應(yīng)付這樣龐大數(shù)量用戶的聯(lián)機(jī)與帶寬需求。
[0003]首先，于目前的網(wǎng)絡(luò)處理服務(wù)器硬件系統(tǒng)中，電子信息需透過網(wǎng)絡(luò)橋接做為彼此之間相互對傳的途徑，然而于信息量位于正常水平之時，網(wǎng)絡(luò)傳輸量雖然足以應(yīng)付，但在信息量突增之時，因?yàn)榫W(wǎng)絡(luò)橋接傳輸?shù)膫鬏斅视衅渖舷拗担虼藷o論服務(wù)器計(jì)算器本身硬件等級為何，也無法增加龐大信息的處理速度，而會使大眾使用網(wǎng)絡(luò)系統(tǒng)時面對信息延遲或者中斷等等窘境。
[0004]此外，于現(xiàn)有技術(shù)中，因?yàn)閮?nèi)存的技術(shù)發(fā)展未達(dá)到現(xiàn)在的高度，因此其儲存量受到限制，僅能做為暫存之用，因此傳統(tǒng)服務(wù)器主機(jī)硬件規(guī)格都是以硬盤設(shè)備做為主要儲存以及主運(yùn)作系統(tǒng)的配置空間。
[0005]而于硬件與硬件間的信息傳輸而言，處理單元與內(nèi)存的信息對傳速度遠(yuǎn)遠(yuǎn)高于處理單元與硬盤設(shè)備間的傳輸速度，也就是說，現(xiàn)有技術(shù)中以硬盤設(shè)備為主要儲存空間來做運(yùn)算的支持，是導(dǎo)致處理效能無法達(dá)到最佳的主要原因，尤其于處理信息量大時此問題更是突顯放大，另外，硬盤設(shè)備于使用壽命上更是遠(yuǎn)遠(yuǎn)不能與內(nèi)存相比，透過硬盤設(shè)備做為主要的儲存方式對于整體系統(tǒng)而言，于應(yīng)用上保障有限，因此不是最佳模式。
[0006]綜上可知，于現(xiàn)有技術(shù)中網(wǎng)絡(luò)信息的處理設(shè)備處理龐大的信息時，其效能無法發(fā)揮處理器的真實(shí)處理效率，因此，實(shí)有必要提出一種技術(shù)手段，以解決上述問題。

【發(fā)明內(nèi)容】

[0007]為解決上述現(xiàn)有技術(shù)不足之處，本發(fā)明主要目的在于提供一種分布式內(nèi)存磁盤群集儲存系統(tǒng)運(yùn)作方法，其可以做到滿足跨區(qū)域、數(shù)據(jù)中心、WAN的使用，讓用戶需求可以在當(dāng)?shù)氐娜杭瘍?nèi)存磁盤集中提供服務(wù)、也可以漸進(jìn)式的擴(kuò)充群集內(nèi)存磁盤容量，進(jìn)一步提供跨區(qū)域或跨國的數(shù)據(jù)服務(wù)。
[0008]為達(dá)上述目的，本發(fā)明所采用的技術(shù)手段為設(shè)計(jì)一種分布式內(nèi)存磁盤群集儲存系統(tǒng)運(yùn)作方法，其為:首先建置分散內(nèi)存式儲存設(shè)備，其包含將多臺的計(jì)算機(jī)單元組成群集架構(gòu)而形成群集內(nèi)存磁盤；而后在計(jì)算機(jī)單元安裝系統(tǒng)虛擬機(jī)平臺操作系統(tǒng)，通過此安裝令計(jì)算機(jī)單元形成多個虛擬機(jī)，而該計(jì)算機(jī)單元設(shè)定利用操作系統(tǒng)或程序軟件來設(shè)定內(nèi)存容量占用的方式，將該內(nèi)存規(guī)劃成儲存裝置，做成多個區(qū)塊內(nèi)存磁盤；進(jìn)而將每一個檔案拆成一到多份的數(shù)據(jù)，保持一到多份的復(fù)本復(fù)制平均分散在所有區(qū)塊內(nèi)存磁盤上，并使用多信道的內(nèi)存總線并行存取內(nèi)存模塊，而將內(nèi)存模塊的容量規(guī)劃成磁盤使用，而其中該內(nèi)存模塊的存取支持所有操作系統(tǒng)文件格式，并且采用分布式存放架構(gòu)，將數(shù)據(jù)可以復(fù)制復(fù)本一份以上；當(dāng)虛擬機(jī)的操作系統(tǒng)在內(nèi)存模塊中直接由CPU存取需要的檔案，處理數(shù)據(jù)后存回內(nèi)存模塊中，虛擬機(jī)做計(jì)算使用的內(nèi)存也在內(nèi)存模塊中，計(jì)算完依然直接存回在所存放虛擬機(jī)操作系統(tǒng)的內(nèi)存模塊位置，讓這個儲存系統(tǒng)內(nèi)數(shù)據(jù)可以在計(jì)算機(jī)單元中以平行運(yùn)算的方式在區(qū)塊內(nèi)存磁盤處理數(shù)據(jù)；其他沒有在計(jì)算機(jī)單元的數(shù)據(jù)透過網(wǎng)絡(luò)卡連接一端口群組現(xiàn)用鏈以存取其他計(jì)算機(jī)單元的區(qū)塊內(nèi)存磁盤；而各計(jì)算機(jī)單元進(jìn)一步依功能性區(qū)分為一第一數(shù)據(jù)中心、至少一個第二數(shù)據(jù)中心及一備份中心；其中該第一數(shù)據(jù)備份中心以一虛擬群集資料主控站控管，其中各該第二數(shù)據(jù)中心以一虛擬群集數(shù)據(jù)備份站控管，且其中該備份中心以虛擬群集數(shù)據(jù)備份站控管，而其中該第一數(shù)據(jù)中心與該第二數(shù)據(jù)中心共同形成一分布式內(nèi)存文件系統(tǒng)；此外，更進(jìn)一步為形成堆棧架構(gòu)擴(kuò)展儲存容量架構(gòu)，其使用網(wǎng)絡(luò)層接口的存取方式將一臺計(jì)算機(jī)單元中多個區(qū)塊內(nèi)存磁盤規(guī)劃成一個群集概念的群集內(nèi)存磁盤單元資源池，同步使用所有區(qū)塊內(nèi)存磁盤取得數(shù)據(jù)；當(dāng)群集架構(gòu)產(chǎn)生后，每一個群集架構(gòu)都可以獨(dú)立使用，并且可以將每一個群集架構(gòu)當(dāng)作分散內(nèi)存式儲存設(shè)備單元，同時使用網(wǎng)絡(luò)層接口堆棧，可以將每個分散內(nèi)存式儲存設(shè)備單元仿真成大型的內(nèi)存磁盤，并采用新的群集數(shù)據(jù)主控站與群集數(shù)據(jù)備份站來控制資料的處理量分散在所有大型的內(nèi)存磁盤。
[0009]其中，各該區(qū)塊內(nèi)存磁盤分別電性連接于至少一硬盤儲存裝置，該硬盤儲存裝置可于一間隔時間將該區(qū)塊內(nèi)存磁盤的數(shù)據(jù)做備份。
[0010]其中，所有的計(jì)算機(jī)單元中的區(qū)塊內(nèi)存磁盤，都會使用連續(xù)數(shù)據(jù)保護(hù)方式，無間斷的連續(xù)將數(shù)據(jù)備份到統(tǒng)一的大型物理硬盤群集磁盤陣列中備份。
[0011]其中，該計(jì)算機(jī)單元為俱備了 CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)卡、主板、I/O適配卡、連接線、外殼的計(jì)算器設(shè)備。
[0012]其中，每份復(fù)本都可以采用1-4096位AES與RSA混用加密數(shù)據(jù)存放在內(nèi)存上，每當(dāng)要存取數(shù)據(jù)時，數(shù)據(jù)在內(nèi)存與CPU之間流動，虛擬機(jī)以檔案形式存在于內(nèi)存模塊中，虛擬內(nèi)存所規(guī)劃使用的內(nèi)存容量也在同一區(qū)塊。
[0013]其中，各該區(qū)塊內(nèi)存磁盤透過一監(jiān)控單元來監(jiān)控其運(yùn)作情況，該監(jiān)控單元利用Splunk或者是其他搜索引擎的軟件程序來監(jiān)控，當(dāng)檢測到問題時還可以配置重新啟動應(yīng)用程序服務(wù)，達(dá)到一回復(fù)的功能。
[0014]其中，虛擬機(jī)平臺操作系統(tǒng)采用VMware vSphere ESXi4.1之后的版本、MicrosoftServer2012R2Hyper-V 之后的版本、Citrix XenServer Oracle VM> Oeacle VM> RedHat KVM> Red Hat Control groups (cgroups)、Red Hat Linux Containers (LXC)、KVM、Eucalyptus、OpenStack、User Mode Linux、LXC、OpenVZ、OpenNebula、Enomaly’s ElasticComputing、OpenFlow 或 Linux-Base KVM。其中虛擬機(jī)操作系統(tǒng)米用 Linux、FreeBSD、OpenSolaris 或 MacOS X。
[0015]其中，虛擬機(jī)的內(nèi)存間使用存儲局域網(wǎng)絡(luò)架構(gòu)運(yùn)行，采取軟件虛擬出來的網(wǎng)絡(luò)層接口，將所有的區(qū)塊內(nèi)存磁盤連接在一起協(xié)同運(yùn)作。
[0016]其中，該網(wǎng)絡(luò)層接口，使用SAN、SAN iSCSI,SAN FC,SAN FCoE、NFS、NAS、JBOD、CIFS或FUSE接口進(jìn)行服務(wù)器和磁盤驅(qū)動器設(shè)備之間的通信，并且開發(fā)有RAMST0RAGE?API作為應(yīng)用程序支持用。其中該 RAMST0RAGE?API 系采用 REST、Restful、C++、PHP、Python、Java、Perl或Javascript程序開發(fā)軟件所形成的RAMSTORAGE?API，存取分散內(nèi)存式儲存設(shè)備單元API功能，其包含容錯、備份、移轉(zhuǎn)、快速布署虛擬機(jī)、管理磁盤大小、自動依照實(shí)際需求容量自動增加區(qū)塊內(nèi)存磁盤、區(qū)塊間數(shù)據(jù)負(fù)載平衡移轉(zhuǎn)、備份回復(fù)的功能、連續(xù)數(shù)據(jù)保護(hù)、快照、監(jiān)控資源等。
[0017]其中，未使用的CPU、內(nèi)存、實(shí)際物理硬盤的資源，使用虛擬機(jī)平臺操作系統(tǒng)將所有資源規(guī)劃成統(tǒng)一的資源池，令每一個所需要計(jì)算機(jī)資源，可以調(diào)整移轉(zhuǎn)到其他資源較充裕的計(jì)算機(jī)單元。
[0018]其中，多個分散內(nèi)存式儲存設(shè)備單元的連接方式依照實(shí)體的網(wǎng)絡(luò)協(xié)議傳送，并且采用SSL VPN、VPN或加密演算方式傳送封包，每當(dāng)網(wǎng)絡(luò)聯(lián)機(jī)不通時，每個區(qū)域都可以單獨(dú)運(yùn)作，當(dāng)聯(lián)機(jī)回復(fù)時，資料將完整同步到每個分散內(nèi)存式儲存設(shè)備單元中的每個區(qū)塊內(nèi)存磁盤。
[0019]其中，該CPU 為 x86、x86-64、IA-64、Alpha、ARM、SPARC32and64、PowerPC、MIPS、Tilera其中之一種處理器。
[0020]其中，該計(jì)算機(jī)單元的內(nèi)存使用方式是直接由CPU的內(nèi)存控制器直接以三通多或多通道以800MHz到1333MHz以上的速度直接存取內(nèi)存數(shù)據(jù)。
[0021]其中，內(nèi)存容量為IMB至16ZB。其中所采用的內(nèi)存種類為動態(tài)異步內(nèi)存DRAM、動態(tài)同步內(nèi)存DRAM、動態(tài)移動平臺內(nèi)存、動態(tài)繪圖處理內(nèi)存、動態(tài)Rambus內(nèi)存、靜態(tài)隨機(jī)存取存儲器、只讀存儲器、磁阻式隨機(jī)存取內(nèi)存或閃存。
[0022]其中，動態(tài)異步內(nèi)存DRAM為FPM RAM或EDO RAM。其中動態(tài)同步內(nèi)存DRA為SDRAM、DDR SDRAM, DDR2 SDRAM, DDR3 SDRAM, DDR4 SDRAM 或 DDR5 SDRAM。其中磁阻式隨機(jī)存取內(nèi)存為MRAM或鐵電式內(nèi)存FeRAM ;或相變化內(nèi)存PCRAM ;或可變電阻式內(nèi)存ReRAM。其中動態(tài)移動平臺內(nèi)存為LPDDR、LPDDR2、LPDDR3或LPDDR4。其中動態(tài)繪圖處理內(nèi)存為VRAM、WRAM、MDRAM、SGRAM、SDRAM、a)DR、ffl)DR2、a)DR3、a)DR4、a)DR5、a)DR6 或⑶DR7。其中動態(tài) Rambus內(nèi)存為RDRAM、XDR DRAM或XDR2 DRAM。其中閃存為NOR Flash,NAND Flash,3D NAND Flash、V-Flash、SLC, MLC, eMMC 或