專利名稱：基于改進(jìn)的linux虛擬服務(wù)器架構(gòu)的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于網(wǎng)絡(luò)計(jì)算領(lǐng)域，具體涉及一種基于改進(jìn)的LVS(linuxVirtual Server，即linux虛擬服務(wù)器)架構(gòu)的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)。
背景技術(shù)：
隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，人們開(kāi)始思考如何建立網(wǎng)絡(luò)計(jì)算平臺(tái)，利用Internet上廣泛分布的空閑資源，運(yùn)行計(jì)算量大的、分布式的應(yīng)用程序；提供空閑資源的計(jì)算機(jī)被稱為志愿機(jī)。在過(guò)去的幾年中，國(guó)際上涌現(xiàn)出的著名網(wǎng)絡(luò)計(jì)算項(xiàng)目包括SETI@Home、GIMPS、D20L、XtremWeb等，它們的成功證實(shí)了這種計(jì)算模型的可行性。
在上述項(xiàng)目中，SETI@Home、GIMPS和D20L已經(jīng)被廣泛應(yīng)用，它們具有以下優(yōu)點(diǎn)(1)服務(wù)器系統(tǒng)功能強(qiáng)大，能夠高效、可靠、穩(wěn)定的運(yùn)行，處理大量的、動(dòng)態(tài)變化的志愿機(jī)請(qǐng)求。SETI@Home、GIMPS和D20L項(xiàng)目的志愿機(jī)數(shù)目分別高達(dá)450萬(wàn)、20萬(wàn)和5.5萬(wàn)，這些志愿機(jī)隨時(shí)可能加入或者退出網(wǎng)絡(luò)計(jì)算平臺(tái)，向服務(wù)器發(fā)出各種請(qǐng)求，只有功能非常強(qiáng)大的服務(wù)器系統(tǒng)才能高效、可靠、及時(shí)的處理這些請(qǐng)求。
(2)具有適用于包括Windows在內(nèi)的多種操作系統(tǒng)平臺(tái)的志愿機(jī)系統(tǒng)。Windows是Internet上使用最廣泛的操作系統(tǒng)，具有適用于Windows平臺(tái)的志愿機(jī)系統(tǒng)，意味著Internet上大部分計(jì)算機(jī)成為潛在志愿機(jī)。多種操作系統(tǒng)平臺(tái)的志愿機(jī)系統(tǒng)使得Internet上許多其它計(jì)算機(jī)也可能被網(wǎng)絡(luò)計(jì)算平臺(tái)利用。
但是，上述項(xiàng)目都是針對(duì)特定應(yīng)用設(shè)計(jì)的專用平臺(tái)SETI@Home專用于搜索外星生物，GIMPS專用于尋找梅森素?cái)?shù)，D20L專用于尋求SARS解藥。專用平臺(tái)的結(jié)構(gòu)如圖1所示，它們存在以下不足(1)網(wǎng)絡(luò)計(jì)算平臺(tái)的實(shí)現(xiàn)細(xì)節(jié)對(duì)應(yīng)用科學(xué)家不透明。為了計(jì)算應(yīng)用，應(yīng)用科學(xué)家不得不專門(mén)組建網(wǎng)絡(luò)計(jì)算平臺(tái)。
(2)不同應(yīng)用之間難以共享資源。例如，當(dāng)SARS大規(guī)模爆發(fā)時(shí)，人們可能希望把更多的計(jì)算資源用于尋求SARS解藥。但是D20L項(xiàng)目只有5.5萬(wàn)臺(tái)志愿機(jī)，此時(shí)雖然SETI@Home項(xiàng)目的注冊(cè)志愿機(jī)數(shù)目高達(dá)450萬(wàn)，卻難以為D20L所利用。
(3)應(yīng)用的選擇、升級(jí)及資源分配策略的實(shí)現(xiàn)對(duì)志愿者不透明。如果志愿者希望運(yùn)行多個(gè)應(yīng)用，那么他不得不下載和安裝多個(gè)項(xiàng)目的志愿機(jī)軟件，并且手工協(xié)調(diào)不同應(yīng)用對(duì)計(jì)算資源的占用；當(dāng)應(yīng)用代碼升級(jí)時(shí)，志愿者不得不升級(jí)志愿機(jī)軟件。
2001年，F(xiàn)edak G在Cluster Computing and the Grid會(huì)議上發(fā)表了文章“XtremWeba generic global computing system”，文中首次提出一種開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)——XtremWeb的設(shè)計(jì)，其結(jié)構(gòu)如圖2所示。與專用平臺(tái)不同，XtremWeb并非針對(duì)專門(mén)的應(yīng)用設(shè)計(jì)，而是可以運(yùn)行多個(gè)不同的應(yīng)用。開(kāi)放式的設(shè)計(jì)使XtremWeb較好的克服了專用平臺(tái)的上述不足。但是，由于存在以下問(wèn)題，XtremWeb未能被廣泛應(yīng)用。
(1)服務(wù)器系統(tǒng)建立在單PC機(jī)上，難以處理大量的、動(dòng)態(tài)變化的志愿機(jī)請(qǐng)求，也難以提供每天24小時(shí)每星期7天可用的服務(wù)。
(2)目前XtremWeb項(xiàng)目只開(kāi)發(fā)出基于Linux的志愿機(jī)系統(tǒng)，因此難以利用Internet上其它操作系統(tǒng)平臺(tái)(尤其是Windows平臺(tái))的計(jì)算機(jī)。
(3)缺乏人性化的志愿機(jī)軟件設(shè)計(jì)。志愿機(jī)軟件沒(méi)有提供圖形界面，在運(yùn)行過(guò)程中，志愿者難以與之交互；計(jì)算線程以普通優(yōu)先級(jí)運(yùn)行，一經(jīng)啟動(dòng)，會(huì)立即占用所有CPU資源，使志愿者難以正常工作。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有網(wǎng)絡(luò)計(jì)算平臺(tái)的不足，提供一種基于改進(jìn)的LVS架構(gòu)的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)；本發(fā)明開(kāi)放式的設(shè)計(jì)使網(wǎng)絡(luò)計(jì)算平臺(tái)的實(shí)現(xiàn)細(xì)節(jié)對(duì)應(yīng)用科學(xué)家透明，并且多應(yīng)用共享志愿機(jī)資源；其服務(wù)器系統(tǒng)具有LVS架構(gòu)的一切優(yōu)良特性。
本發(fā)明提供的一種基于改進(jìn)的linux虛擬服務(wù)器架構(gòu)的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)，包括基于改進(jìn)的linux虛擬服務(wù)器架構(gòu)的服務(wù)器系統(tǒng)和貢獻(xiàn)空閑計(jì)算資源的志愿機(jī)系統(tǒng)；
服務(wù)器系統(tǒng)包括前端機(jī)和m臺(tái)昊宇服務(wù)器，m為正整數(shù)；志愿機(jī)系統(tǒng)包括n臺(tái)昊宇志愿機(jī)，n為正整數(shù)；前端機(jī)包括負(fù)載均衡模塊和前端機(jī)備份模塊；昊宇服務(wù)器包括存儲(chǔ)系統(tǒng)、應(yīng)用模塊、監(jiān)控模塊、服務(wù)器備份模塊和調(diào)度模塊，其中，存儲(chǔ)系統(tǒng)包括數(shù)據(jù)庫(kù)系統(tǒng)和文件系統(tǒng)；昊宇志愿機(jī)包括志愿者接口模塊、控制模塊、通信模塊和計(jì)算模塊。
昊宇志愿機(jī)將請(qǐng)求發(fā)送給前端機(jī)，其中的負(fù)載均衡模塊將請(qǐng)求轉(zhuǎn)發(fā)到昊宇服務(wù)器的調(diào)度模塊上；前端機(jī)備份模塊根據(jù)自適應(yīng)策略建立并維護(hù)昊宇服務(wù)器之間的備份關(guān)系向量表，服務(wù)器備份模塊根據(jù)備份關(guān)系向量表，將存儲(chǔ)系統(tǒng)中的數(shù)據(jù)庫(kù)信息和文件信息備份到對(duì)應(yīng)的服務(wù)器上。
應(yīng)用模塊用于接收客戶提交的應(yīng)用，并將應(yīng)用劃分成計(jì)算量小的任務(wù)，再通過(guò)命令將應(yīng)用信息和任務(wù)信息存入數(shù)據(jù)庫(kù)系統(tǒng)，應(yīng)用的二進(jìn)制代碼和任務(wù)的數(shù)據(jù)文件存入文件系統(tǒng)。
當(dāng)昊宇志愿機(jī)中的通信模塊請(qǐng)求計(jì)算任務(wù)時(shí)，調(diào)度模塊根據(jù)應(yīng)用模塊寫(xiě)入數(shù)據(jù)庫(kù)系統(tǒng)中的任務(wù)信息，統(tǒng)一調(diào)度任務(wù)，通過(guò)昊宇志愿機(jī)中的通信模塊分配給志愿機(jī)執(zhí)行；調(diào)度模塊還用于在通信模塊返回計(jì)算結(jié)果以后，將結(jié)果文件存放到文件系統(tǒng)中，并修改數(shù)據(jù)庫(kù)系統(tǒng)中的任務(wù)信息。
監(jiān)控模塊用于讀取數(shù)據(jù)庫(kù)系統(tǒng)中的信息，處理后加以顯示，以監(jiān)控昊宇服務(wù)器的運(yùn)轉(zhuǎn)狀況。
志愿者接口模塊用于實(shí)時(shí)監(jiān)聽(tīng)并執(zhí)行志愿者發(fā)出的命令，根據(jù)命令修改配置文件中相應(yīng)的項(xiàng)；控制模塊循環(huán)根據(jù)配置文件的設(shè)置，當(dāng)啟動(dòng)計(jì)算的條件滿足時(shí)，啟動(dòng)通信模塊，向昊宇服務(wù)器請(qǐng)求計(jì)算任務(wù)，當(dāng)調(diào)度模塊返回計(jì)算任務(wù)后，啟動(dòng)計(jì)算模塊，以最低優(yōu)先級(jí)計(jì)算任務(wù)，在計(jì)算過(guò)程中通信模塊周期性地向調(diào)度模塊發(fā)送“alive”信息，并將計(jì)算結(jié)果通過(guò)通信模塊返回給調(diào)度模塊。
前端機(jī)備份模塊按照下述方式建立和維護(hù)備份關(guān)系向量表從1到j(luò)為每臺(tái)服務(wù)器編號(hào)，設(shè)服務(wù)器編號(hào)為i1，當(dāng)i1＜j時(shí)，i1號(hào)服務(wù)器的信息備份到i1+1號(hào)服務(wù)器上，j號(hào)服務(wù)器的信息備份到1號(hào)服務(wù)器上；當(dāng)新服務(wù)器加入時(shí)，將新服務(wù)器編號(hào)為j+1，然后將j號(hào)服務(wù)器的信息備份到j(luò)+1號(hào)服務(wù)器上，j+1號(hào)服務(wù)器的信息備份到1號(hào)服務(wù)器上，其它服務(wù)器之間的備份關(guān)系不變；當(dāng)編號(hào)為i2的服務(wù)器退出時(shí)，將大于i2的服務(wù)器編號(hào)均減1，新的i2號(hào)服務(wù)器備份到i2-1號(hào)服務(wù)器上，其它服務(wù)器之間的備份關(guān)系不變。
本計(jì)算平臺(tái)的服務(wù)器系統(tǒng)和志愿機(jī)系統(tǒng)分別采用應(yīng)用模塊與核心軟件分離機(jī)制，使應(yīng)用可以方便的利用本平臺(tái)進(jìn)行計(jì)算，克服了專用平臺(tái)的不足?；贚VS架構(gòu)的服務(wù)器系統(tǒng)，自然繼承了LVS的一切優(yōu)良特性，包括高可用性、可伸縮性和高性價(jià)比等；基于LVS開(kāi)發(fā)的備份模塊，大大提高了系統(tǒng)的容錯(cuò)性?；赪indows和Linux平臺(tái)的志愿機(jī)軟件，使Internet上大部分計(jì)算機(jī)成為昊宇的潛在志愿機(jī)?！耙匀藶楸尽钡闹驹刚呓涌谀K設(shè)計(jì)，使志愿者可以方便的控制志愿機(jī)軟件的運(yùn)行，尊重了志愿者對(duì)志愿機(jī)的最終控制權(quán)；計(jì)算模塊在后臺(tái)以最低優(yōu)先級(jí)啟動(dòng)計(jì)算，完全不會(huì)干擾志愿者的工作。具體而言，本發(fā)明具有以下優(yōu)點(diǎn)及效果(1)服務(wù)器系統(tǒng)具有LVS架構(gòu)的一切優(yōu)良特性基于LVS架構(gòu)的服務(wù)器系統(tǒng)自然繼承了LVS的一切特性，包括可伸縮性當(dāng)志愿機(jī)的數(shù)目越來(lái)越多，使服務(wù)器的負(fù)載增加時(shí)，服務(wù)器系統(tǒng)能夠被擴(kuò)展以滿足需求，而且不降低服務(wù)質(zhì)量。
高可用性即使服務(wù)器系統(tǒng)的部分硬件和軟件會(huì)發(fā)生故障，整個(gè)系統(tǒng)的服務(wù)必須是每天24小時(shí)每星期7天可用的。
高性價(jià)比與超級(jí)計(jì)算機(jī)相比，網(wǎng)絡(luò)計(jì)算平臺(tái)應(yīng)該具有更強(qiáng)的計(jì)算能力，而且整個(gè)系統(tǒng)的實(shí)現(xiàn)是經(jīng)濟(jì)的、易支付的。
(2)良好的容錯(cuò)性容錯(cuò)性關(guān)系到系統(tǒng)的可用性和用戶對(duì)系統(tǒng)的信賴程度?；贚VS開(kāi)發(fā)的備份模塊使服務(wù)器系統(tǒng)具有良好的容錯(cuò)性。任何一臺(tái)服務(wù)器的突然失效不會(huì)造成災(zāi)難性的后果，根據(jù)備份信息，服務(wù)器可以迅速恢復(fù)到失效前某一正確狀態(tài)。
(3)人性化的志愿機(jī)軟件有利于吸引更多的志愿者適用于Windows和Linux平臺(tái)的志愿機(jī)軟件的推出使Internet上大部分計(jì)算機(jī)都成為昊宇的潛在志愿機(jī)；人性化的志愿者接口模塊實(shí)現(xiàn)了志愿者對(duì)志愿機(jī)的控制；以最低優(yōu)先級(jí)啟動(dòng)的計(jì)算線程使昊宇真正實(shí)現(xiàn)了利用志愿機(jī)的空閑資源進(jìn)行計(jì)算，完全不干擾志愿者工作；這三項(xiàng)的實(shí)現(xiàn)有利于吸引更多的Internet用戶加入本平臺(tái)。
(4)網(wǎng)絡(luò)計(jì)算平臺(tái)實(shí)現(xiàn)細(xì)節(jié)對(duì)應(yīng)用科學(xué)家透明應(yīng)用科學(xué)家只需將應(yīng)用提交給昊宇，就可以利用已有的網(wǎng)絡(luò)計(jì)算平臺(tái)進(jìn)行計(jì)算，而不用專門(mén)建立自己的網(wǎng)絡(luò)計(jì)算平臺(tái)和搜集志愿者。這樣可以將應(yīng)用科學(xué)家從網(wǎng)絡(luò)計(jì)算平臺(tái)的實(shí)現(xiàn)細(xì)節(jié)中解放出來(lái)，集中精力進(jìn)行自己領(lǐng)域的科學(xué)研究。
(5)多應(yīng)用共享志愿機(jī)資源運(yùn)行在昊宇上的所有應(yīng)用共享志愿機(jī)資源。這樣做的好處是①充分利用志愿機(jī)空閑資源；即使某個(gè)應(yīng)用暫時(shí)沒(méi)有足夠的任務(wù)需要計(jì)算，不會(huì)影響對(duì)志愿機(jī)空閑資源的利用；②當(dāng)某個(gè)應(yīng)用緊急度較高時(shí)，可以迅速、方便的集中大量計(jì)算資源進(jìn)行計(jì)算。
(6)應(yīng)用的選擇和升級(jí)對(duì)志愿者透明通過(guò)志愿者接口模塊，志愿者可以自主選擇一個(gè)或多個(gè)希望計(jì)算的應(yīng)用，以及在這些應(yīng)用之間分配空閑資源的策略；志愿機(jī)軟件根據(jù)志愿者的設(shè)置計(jì)算應(yīng)用。志愿機(jī)軟件還能夠透明的升級(jí)應(yīng)用程序代碼。


圖1為專用網(wǎng)絡(luò)計(jì)算平臺(tái)的結(jié)構(gòu)示意圖，其中，1為服務(wù)器，2.1，……，2.n為志愿機(jī)；圖2為XtremWeb的結(jié)構(gòu)示意圖，其中，3為XtremWeb服務(wù)器，4.1，……，4.n為XtremWeb志愿機(jī)，5.1，……，5.k為客戶；圖3為昊宇網(wǎng)絡(luò)計(jì)算平臺(tái)的結(jié)構(gòu)示意圖，其中，6為前端機(jī)，7.1，……，7.m為昊宇服務(wù)器，8.1，……，8.n為昊宇志愿機(jī)；圖4為昊宇服務(wù)器的結(jié)構(gòu)示意圖；圖5為昊宇志愿機(jī)的結(jié)構(gòu)示意圖；圖6為基于LVS的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)模塊結(jié)構(gòu)示意圖；圖7為新節(jié)點(diǎn)加入時(shí)自適應(yīng)策略調(diào)整方式；圖8為舊節(jié)點(diǎn)退出時(shí)自適應(yīng)策略調(diào)整方式；圖9為昊宇服務(wù)器的工作流程圖；圖10為志愿機(jī)的工作流程圖。
具體實(shí)施例方式
本發(fā)明提供的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)又被稱之為昊宇網(wǎng)絡(luò)計(jì)算平臺(tái)，其結(jié)構(gòu)如圖3所示。從工作原理的角度可以將本平臺(tái)分為兩大部分一是基于改進(jìn)的LVS架構(gòu)的服務(wù)器系統(tǒng)20，包括前端機(jī)6和昊宇服務(wù)器7.1，……，7.m；二是廣泛分布在Internet上，貢獻(xiàn)空閑計(jì)算資源的志愿機(jī)系統(tǒng)21，包括昊宇志愿機(jī)8.1，……，8.n。
昊宇服務(wù)器7的結(jié)構(gòu)如圖4所示，包括存儲(chǔ)系統(tǒng)9、應(yīng)用模塊10、監(jiān)控模塊11、服務(wù)器備份模塊12和調(diào)度模塊13。
昊宇志愿機(jī)8的結(jié)構(gòu)如圖5所示，包括志愿者接口模塊14、控制模塊15、通信模塊16和計(jì)算模塊17。
如圖6所示，服務(wù)器系統(tǒng)20建立在集群上，采用LVS架構(gòu)。其中一個(gè)節(jié)點(diǎn)作為前端機(jī)6，其它節(jié)點(diǎn)作為昊宇服務(wù)器7.1，……，7.m。前端機(jī)上建立了負(fù)載均衡模塊18和前端機(jī)備份模塊19，其中，前端機(jī)備份模塊19由發(fā)明人基于LVS開(kāi)發(fā)。
昊宇服務(wù)器7.1，……，7.m的構(gòu)成相同，昊宇服務(wù)器7.1中的各構(gòu)成部分在圖中標(biāo)記為存儲(chǔ)系統(tǒng)9.1、應(yīng)用模塊10.1、監(jiān)控模塊11.1、服務(wù)器備份模塊12.1和調(diào)度模塊13.1，對(duì)應(yīng)地，昊宇服務(wù)器7.m中的各構(gòu)成部分標(biāo)記為存儲(chǔ)系統(tǒng)9.m、應(yīng)用模塊10.m、監(jiān)控模塊11.m、服務(wù)器備份模塊12.m和調(diào)度模塊13.m。
每次通信，昊宇志愿機(jī)8實(shí)際上是將請(qǐng)求發(fā)送給前端機(jī)6，然后由負(fù)載均衡模塊18無(wú)縫地將志愿機(jī)的請(qǐng)求調(diào)度到適合的昊宇服務(wù)器7上，負(fù)載均衡模塊18是LVS架構(gòu)本身具有的，本發(fā)明利用其原有的功能進(jìn)行工作。該服務(wù)器上的調(diào)度模塊13處理完請(qǐng)求以后，直接將結(jié)果發(fā)送給昊宇志愿機(jī)8。服務(wù)器集群的結(jié)構(gòu)對(duì)志愿機(jī)透明，志愿機(jī)就象訪問(wèn)一臺(tái)高性能、高可用的服務(wù)器一樣。
前端機(jī)備份模塊19根據(jù)自適應(yīng)策略建立并維護(hù)昊宇服務(wù)器之間的備份關(guān)系向量表，服務(wù)器備份模塊12根據(jù)向量表將信息備份到指定的昊宇服務(wù)器中。備份模塊的建立，使失效服務(wù)器可以迅速、方便的從備份服務(wù)器恢復(fù)信息。
自適應(yīng)策略的優(yōu)勢(shì)在于當(dāng)某臺(tái)服務(wù)器加入或退出時(shí)，策略本身能夠進(jìn)行自適應(yīng)調(diào)整，并且對(duì)昊宇服務(wù)器之間原有的備份關(guān)系影響最小。調(diào)整方法如圖7、8所示，說(shuō)明如下從1到j(luò)為每臺(tái)服務(wù)器編號(hào)。假設(shè)服務(wù)器編號(hào)為i，當(dāng)i＜j時(shí)，i號(hào)服務(wù)器的信息備份到i+1號(hào)服務(wù)器上；j號(hào)服務(wù)器的信息備份到1號(hào)服務(wù)器上。當(dāng)新服務(wù)器加入時(shí)，將新服務(wù)器編號(hào)為j+1，然后將j號(hào)服務(wù)器的信息備份到j(luò)+1號(hào)服務(wù)器上，j+1號(hào)服務(wù)器的信息備份到1號(hào)服務(wù)器上，其它服務(wù)器之間的備份關(guān)系不變。當(dāng)編號(hào)為p的服務(wù)器退出時(shí)，將大于p的服務(wù)器編號(hào)均減1，p-1號(hào)服務(wù)器備份到新的p號(hào)服務(wù)器上，其它服務(wù)器之間的備份關(guān)系不變。
每臺(tái)昊宇服務(wù)器7包括存儲(chǔ)系統(tǒng)9、應(yīng)用模塊10、監(jiān)控模塊11、服務(wù)器備份模塊12和調(diào)度模塊13，其中存儲(chǔ)系統(tǒng)是現(xiàn)有服務(wù)器所帶有的，包括數(shù)據(jù)庫(kù)系統(tǒng)和文件系統(tǒng)。
通過(guò)應(yīng)用模塊10提供的界面，客戶可以提交應(yīng)用，提交內(nèi)容包括應(yīng)用的可執(zhí)行文件、數(shù)據(jù)文件、命令行參數(shù)等；應(yīng)用模塊10接收應(yīng)用以后，通過(guò)劃分?jǐn)?shù)據(jù)文件，將應(yīng)用劃分成大量的、計(jì)算量較小的任務(wù)；然后，應(yīng)用模塊10通過(guò)命令安裝應(yīng)用，將應(yīng)用信息寫(xiě)入數(shù)據(jù)庫(kù)，二進(jìn)制代碼和數(shù)據(jù)文件存入指定目錄；最后，應(yīng)用模塊10通過(guò)命令將任務(wù)信息存入數(shù)據(jù)庫(kù)，任務(wù)的數(shù)據(jù)文件存入指定目錄。
調(diào)度模塊13根據(jù)應(yīng)用模塊10寫(xiě)入數(shù)據(jù)庫(kù)的任務(wù)信息，統(tǒng)一調(diào)度等待執(zhí)行的任務(wù)，分配給志愿機(jī)執(zhí)行。當(dāng)志愿機(jī)通信模塊16請(qǐng)求計(jì)算任務(wù)時(shí)，調(diào)度模塊13根據(jù)志愿機(jī)的操作系統(tǒng)和CPU類(lèi)型，以及請(qǐng)求的應(yīng)用，選擇合適的任務(wù)分配給它，如果志愿機(jī)尚未緩存該應(yīng)用的二進(jìn)制代碼，調(diào)度模塊13會(huì)向通信模塊16傳送。分配完任務(wù)以后，如果一段時(shí)間內(nèi)調(diào)度模塊13未能接收到通信模塊16發(fā)送的“alive”信息，它會(huì)再次調(diào)度該任務(wù)，分配給其它志愿機(jī)計(jì)算。當(dāng)通信模塊16返回計(jì)算結(jié)果以后，調(diào)度模塊13會(huì)將結(jié)果文件存放到文件系統(tǒng)中，并修改數(shù)據(jù)庫(kù)系統(tǒng)中的任務(wù)信息。
在服務(wù)器運(yùn)行過(guò)程中，監(jiān)控模塊11實(shí)時(shí)監(jiān)控昊宇服務(wù)器的運(yùn)轉(zhuǎn)狀況?？筛鶕?jù)用戶的要求進(jìn)行設(shè)計(jì)。例如，監(jiān)控模塊通過(guò)讀取數(shù)據(jù)庫(kù)中的應(yīng)用程序信息、志愿者信息、志愿機(jī)信息和任務(wù)信息，經(jīng)過(guò)處理以后，以表格、餅圖、柱圖或/和曲線圖的形式顯示出來(lái)，使管理員能夠遠(yuǎn)程、實(shí)時(shí)、直觀、方便的監(jiān)控昊宇服務(wù)器7當(dāng)前的運(yùn)轉(zhuǎn)狀況。監(jiān)控頁(yè)面的內(nèi)容可包括應(yīng)用程序基本信息、志愿者個(gè)人信息、志愿機(jī)信息、已完成任務(wù)的結(jié)果跟蹤信息、志愿機(jī)完成任務(wù)數(shù)的歷史信息、志愿機(jī)活動(dòng)狀況信息和任務(wù)狀態(tài)信息。
服務(wù)器備份模塊12根據(jù)前端機(jī)備份模塊19制定的備份關(guān)系，采用適當(dāng)?shù)膫浞莶呗?，將存?chǔ)系統(tǒng)9中的重要信息備份到相應(yīng)服務(wù)器的存儲(chǔ)系統(tǒng)9中。備份策略在常規(guī)的完全備份、增量備份基礎(chǔ)上，增加了實(shí)時(shí)備份，以便在數(shù)據(jù)信息改變時(shí)同步進(jìn)行備份。備份的數(shù)據(jù)庫(kù)信息包括應(yīng)用程序信息、任務(wù)信息、志愿者信息和志愿機(jī)統(tǒng)計(jì)信息。備份的文件包括應(yīng)用二進(jìn)制代碼、應(yīng)用的數(shù)據(jù)、任務(wù)的數(shù)據(jù)文件以及計(jì)算結(jié)果。其中應(yīng)用信息、志愿者信息、應(yīng)用二進(jìn)制代碼和應(yīng)用的數(shù)據(jù)采用實(shí)時(shí)備份的方式，其它信息每天進(jìn)行一次增量備份，所有信息每周進(jìn)行一次完全備份。
昊宇服務(wù)器的工作流程如圖9所示。
昊宇志愿機(jī)8包括志愿者接口模塊14、控制模塊15、通信模塊16和計(jì)算模塊17。志愿機(jī)軟件啟動(dòng)以后，志愿者接口模塊14和控制模塊15立即被啟動(dòng)。志愿者接口模塊14實(shí)時(shí)監(jiān)聽(tīng)并執(zhí)行志愿者發(fā)出的命令，包括①查看志愿機(jī)軟件的工作日志；②暫停/繼續(xù)計(jì)算；③修改希望運(yùn)行的應(yīng)用以及空閑資源分配策略信息；④修改志愿者個(gè)人信息；⑤修改志愿機(jī)資源貢獻(xiàn)信息；⑥查看當(dāng)前總的CPU利用率和計(jì)算線程的CPU利用率；⑦查看當(dāng)前總的內(nèi)存利用率和計(jì)算線程的內(nèi)存利用率；⑧查看昊宇網(wǎng)絡(luò)計(jì)算平臺(tái)的動(dòng)畫(huà)介紹；⑨查看統(tǒng)計(jì)信息；⑩退出志愿機(jī)軟件的運(yùn)行。當(dāng)志愿者發(fā)出命令①⑥⑦⑧⑨時(shí)，志愿者接口模塊14調(diào)用相應(yīng)的程序段，按照指定格式顯示信息；當(dāng)志愿者發(fā)出命令②③④⑤⑩時(shí)，志愿者接口模塊14修改配置文件中相應(yīng)的項(xiàng)。
控制模塊15循環(huán)根據(jù)配置文件的設(shè)置，判斷當(dāng)前是否滿足啟動(dòng)計(jì)算的條件，如果不滿足，等待一段時(shí)間；如果滿足，啟動(dòng)通信模塊16，向服務(wù)器請(qǐng)求目前志愿機(jī)適合運(yùn)行的應(yīng)用的計(jì)算任務(wù)，同時(shí)告訴服務(wù)器這些應(yīng)用二進(jìn)制代碼的緩存情況；獲得任務(wù)以后，啟動(dòng)計(jì)算模塊17，以最低優(yōu)先級(jí)計(jì)算任務(wù)；在計(jì)算過(guò)程中，通信模塊16周期性的向調(diào)度模塊13發(fā)送“alive”信息；計(jì)算完畢后，通信模塊16向昊宇服務(wù)器發(fā)送計(jì)算結(jié)果。
昊宇志愿機(jī)8啟動(dòng)以后，控制模塊15根據(jù)志愿者接口模塊14接收的志愿者設(shè)置，了解志愿者希望哪些應(yīng)用，以及空閑資源在這些應(yīng)用之間的分配策略，然后判斷志愿機(jī)是否緩存這些應(yīng)用的二進(jìn)制代碼；當(dāng)計(jì)算條件達(dá)到時(shí)，控制模塊15通過(guò)通信模塊16主動(dòng)向服務(wù)器請(qǐng)求這些應(yīng)用的計(jì)算任務(wù)，并且告訴服務(wù)器每個(gè)應(yīng)用的二進(jìn)制代碼緩存情況；通信模塊16接收服務(wù)器調(diào)度模塊13分配的任務(wù)和尚未緩存的應(yīng)用的二進(jìn)制代碼；控制模塊15啟動(dòng)計(jì)算模塊17，執(zhí)行計(jì)算任務(wù)，計(jì)算完畢后通信模塊16向服務(wù)器調(diào)度模塊13返回結(jié)果，然后請(qǐng)求下一個(gè)任務(wù)，依次循環(huán)。
志愿機(jī)的工作流程如圖10所示。
目前已經(jīng)開(kāi)發(fā)出Windows和Linux平臺(tái)的志愿機(jī)軟件，并為其他操作系統(tǒng)平臺(tái)提供了可擴(kuò)展接口。
實(shí)例昊宇網(wǎng)絡(luò)計(jì)算平臺(tái)服務(wù)器系統(tǒng)構(gòu)建在集群的3個(gè)節(jié)點(diǎn)機(jī)上，其基本配置如表1所示。

表1 各節(jié)點(diǎn)的硬件及網(wǎng)絡(luò)配置其中，一臺(tái)作為前端機(jī)，其余兩臺(tái)作為昊宇服務(wù)器。
具體實(shí)施如下所有節(jié)點(diǎn)均配置LVS；其中節(jié)點(diǎn)3充當(dāng)前端機(jī)，同時(shí)具有真實(shí)IP 211.69.206.236和虛擬IP 192.168.1.203；節(jié)點(diǎn)9和節(jié)點(diǎn)11作為后臺(tái)服務(wù)器，分別具有虛擬IP 192.168.1.220和192.168.1.211。后臺(tái)服務(wù)器安裝昊宇服務(wù)器軟件，前端機(jī)負(fù)責(zé)維護(hù)后臺(tái)服務(wù)器的負(fù)載平衡。
志愿機(jī)系統(tǒng)構(gòu)建在Internet上的PC機(jī)上，其基本配置如表2所示。

表2 志愿機(jī)的硬件及網(wǎng)絡(luò)配置對(duì)整個(gè)系統(tǒng)的實(shí)現(xiàn)說(shuō)明如下(1)基于LVS的自適應(yīng)容錯(cuò)備份系統(tǒng)根據(jù)自適應(yīng)策略，前端機(jī)建立并維護(hù)昊宇服務(wù)器之間的備份關(guān)系向量表，其示例如表3所示。

表3 前端機(jī)維護(hù)的備份關(guān)系向量表各字段解釋如下PeerName昊宇服務(wù)器的名稱；PeerIP昊宇服務(wù)器的IP地址；Status昊宇服務(wù)器當(dāng)前狀態(tài)，true表示正常運(yùn)轉(zhuǎn)，false表示非正常運(yùn)轉(zhuǎn)；Port昊宇服務(wù)器監(jiān)聽(tīng)備份信息的端口；BKPeerIP昊宇服務(wù)器信息備份的服務(wù)器IP；Description昊宇服務(wù)器的描述信息；從表3可以看出，目前前端機(jī)維護(hù)了node9和node11兩臺(tái)昊宇服務(wù)器之間的備份信息。node9的IP地址是192.168.1.220，當(dāng)前處于活動(dòng)狀態(tài)，它在端口8848監(jiān)聽(tīng)前端機(jī)備份系統(tǒng)的命令；根據(jù)自適應(yīng)策略，node9的重要信息備份到服務(wù)器192.168.1.211上。node11的備份信息也可以從向量表中讀出。
Node9和node11將根據(jù)向量表的規(guī)定進(jìn)行數(shù)據(jù)庫(kù)系統(tǒng)和文件系統(tǒng)的備份。數(shù)據(jù)庫(kù)系統(tǒng)備份采用mysqldump+Crontab方式，文件系統(tǒng)備份采用NFS+shellscript+Crontab方式。
(2)采用應(yīng)用系統(tǒng)與核心軟件分離機(jī)制的服務(wù)器系統(tǒng)應(yīng)用系統(tǒng)接收應(yīng)用以后，將應(yīng)用信息寫(xiě)入文件app.conf，主要信息項(xiàng)解釋如下app.os.name應(yīng)用適合運(yùn)行的操作系統(tǒng)平臺(tái)類(lèi)型；app.cpu.type應(yīng)用適合運(yùn)行的CPU類(lèi)型；app.name應(yīng)用名稱；app.bin應(yīng)用的二進(jìn)制代碼存放路徑；app.client_id提交應(yīng)用的客戶ID；app.priority應(yīng)用的優(yōu)先級(jí)；app.conf文件編輯完畢后，執(zhí)行命令make installApp，該命令根據(jù)app.conf中的內(nèi)容，建立應(yīng)用主目錄${HowU主目錄}/db/${應(yīng)用名稱}，然后再建立目錄${應(yīng)用主目錄}/bin，將應(yīng)用的二進(jìn)制代碼從app.bin目錄拷貝到${應(yīng)用主目錄}/bin下，并將應(yīng)用信息寫(xiě)入數(shù)據(jù)庫(kù)apps表，應(yīng)用就被安裝到服務(wù)器系統(tǒng)中了。接下來(lái)，應(yīng)用系統(tǒng)需要分解應(yīng)用并提交任務(wù)。目前昊字主要運(yùn)行SPMD類(lèi)型的應(yīng)用，因此劃分應(yīng)用其實(shí)是劃分?jǐn)?shù)據(jù)文件，劃分后的每個(gè)數(shù)據(jù)文件對(duì)應(yīng)一個(gè)任務(wù)。每個(gè)任務(wù)被分配一個(gè)wid，即任務(wù)的ID，任務(wù)的數(shù)據(jù)文件以任務(wù)ID命名。分解完成以后，執(zhí)行命令javaSubTasks，系統(tǒng)會(huì)為每個(gè)任務(wù)建立目錄${應(yīng)用主目錄}/{任務(wù)ID}，然后任務(wù)的數(shù)據(jù)文件被拷貝到目錄下，任務(wù)信息被寫(xiě)入數(shù)據(jù)庫(kù)的works表中。
works表中的主要信息項(xiàng)如下wid任務(wù)的ID；priority任務(wù)的優(yōu)先級(jí)；os任務(wù)適合運(yùn)行的操作系統(tǒng)平臺(tái)類(lèi)型；nameApp任務(wù)所屬的應(yīng)用程序名稱；status任務(wù)當(dāng)前所處的狀態(tài)；dirInName任務(wù)的數(shù)據(jù)文件所在目錄，即${應(yīng)用主目錄}/{任務(wù)ID}；dirOutName任務(wù)的結(jié)果文件存放目錄；調(diào)度系統(tǒng)周期性的掃描數(shù)據(jù)庫(kù)中的works表，根據(jù)任務(wù)的操作系統(tǒng)類(lèi)型和優(yōu)先級(jí)，選擇status＝“waiting”的任務(wù)，存入任務(wù)池，然后將該任務(wù)的status改為“inqueue”。當(dāng)志愿機(jī)請(qǐng)求計(jì)算任務(wù)時(shí)，調(diào)度系統(tǒng)從任務(wù)池中選擇合適的任務(wù)，然后從該任務(wù)的dirInName目錄讀出數(shù)據(jù)文件，傳送給志愿機(jī)；如果志愿機(jī)需要二進(jìn)制代碼，調(diào)度系統(tǒng)會(huì)根據(jù)works表nameApp項(xiàng)，獲取應(yīng)用名稱信息，然后將${應(yīng)用主目錄}/bin目錄下應(yīng)用的二進(jìn)制代碼傳送給志愿機(jī)。志愿機(jī)接收任務(wù)后啟動(dòng)計(jì)算并返回結(jié)果，調(diào)度系統(tǒng)將結(jié)果文件保存到${應(yīng)用主目錄}/{任務(wù)ID}，并將該任務(wù)的status改為“completed”。
(3)人性化的志愿者接口系統(tǒng)志愿者接口系統(tǒng)包括三個(gè)主菜單“Status”、“Setting”、“Help”和四個(gè)按鈕“Log”、“CPU Utility”、“MEM Utility”、“Introduction”。
“Status”的下拉菜單包括“Statistics…”、“Pause”、“Continue”和“Exit”，選中它們，志愿機(jī)軟件分別執(zhí)行以下操作“顯示志愿機(jī)軟件完成任務(wù)的統(tǒng)計(jì)信息”、“暫停計(jì)算”、“繼續(xù)計(jì)算”和“退出志愿機(jī)軟件的運(yùn)行”。
“Setting”的下拉菜單包括“User Information…”、“CPU andMemory…”和“Distribution Strategy…”。選中“User Information…”，會(huì)彈出對(duì)話框顯示志愿者個(gè)人信息，志愿者可以修改對(duì)話框中的個(gè)人信息；選中“CPU and Memory…”，會(huì)彈出對(duì)話框顯示志愿機(jī)當(dāng)前貢獻(xiàn)的CPU和內(nèi)存資源的數(shù)量，志愿者可以修改對(duì)話框中的資源貢獻(xiàn)信息；選中“Distribution Strategy…”，會(huì)彈出對(duì)話框顯示志愿機(jī)當(dāng)前可以運(yùn)行的應(yīng)用以及資源在這些應(yīng)用之間的分配策略，志愿者可以修改應(yīng)用和資源分配策略。
“Help”的下拉菜單包括“Help Topics”和“About us”。選中它們，志愿機(jī)軟件會(huì)顯示幫助信息。
選中按鈕“Log”，志愿者接口系統(tǒng)界面會(huì)顯示志愿機(jī)軟件運(yùn)行的日志信息；選中“CPU Utility”，會(huì)顯示志愿機(jī)當(dāng)前總的CPU利用率和計(jì)算線程的CPU利用率，選中“MEM Utility”，會(huì)顯示志愿機(jī)當(dāng)前總的內(nèi)存利用率和計(jì)算線程的內(nèi)存利用率，選中“Introduction”，會(huì)顯示昊宇網(wǎng)絡(luò)計(jì)算平臺(tái)的動(dòng)畫(huà)介紹。
(4)方便的平臺(tái)移植，實(shí)現(xiàn)Windows和Linux為了方便的開(kāi)發(fā)出適用于多種操作系統(tǒng)平臺(tái)的志愿機(jī)系統(tǒng)，發(fā)明人采用了移植性非常好的Java語(yǔ)言。發(fā)明人在Linux環(huán)境下開(kāi)發(fā)出的志愿機(jī)軟件經(jīng)過(guò)少量修改就可以在Windows平臺(tái)下運(yùn)行，今后發(fā)明人還會(huì)開(kāi)發(fā)出適用于其它操作系統(tǒng)平臺(tái)的志愿機(jī)軟件。
(5)應(yīng)用系統(tǒng)與核心軟件分離的志愿機(jī)系統(tǒng)志愿機(jī)軟件第一次運(yùn)行時(shí)，會(huì)在${志愿者主目錄}/Temp下面建立目錄howuCache，以后志愿機(jī)從服務(wù)器獲取的應(yīng)用二進(jìn)制代碼都存放在該目錄下。
志愿機(jī)軟件啟動(dòng)以后，等待啟動(dòng)計(jì)算的條件滿足；然后根據(jù)志愿者的設(shè)定，判斷志愿機(jī)當(dāng)前可以運(yùn)行哪些應(yīng)用，查詢目錄${志愿者主目錄}/Temp/howuCache，判斷志愿者是否緩存這些應(yīng)用的二進(jìn)制代碼；志愿機(jī)軟件主動(dòng)向服務(wù)器請(qǐng)求計(jì)算這些應(yīng)用的任務(wù)并告知二進(jìn)制代碼緩存情況；最后從服務(wù)器接收任務(wù)以及首次計(jì)算的應(yīng)用的二進(jìn)制代碼。
權(quán)利要求
1.一種基于改進(jìn)的linux虛擬服務(wù)器架構(gòu)的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)，其特征在于該計(jì)算平臺(tái)包括基于改進(jìn)的linux虛擬服務(wù)器架構(gòu)的服務(wù)器系統(tǒng)(20)和貢獻(xiàn)空閑計(jì)算資源的志愿機(jī)系統(tǒng)(21)；服務(wù)器系統(tǒng)(20)包括前端機(jī)(6)和m臺(tái)昊宇服務(wù)器(7.1，……，7.m)，m為正整數(shù)；志愿機(jī)系統(tǒng)(21)包括n臺(tái)昊宇志愿機(jī)(8.1，……，8.n)，n為正整數(shù)；前端機(jī)(6)包括負(fù)載均衡模塊(18)和前端機(jī)備份模塊(19)；昊宇服務(wù)器(7)包括存儲(chǔ)系統(tǒng)(9)、應(yīng)用模塊(10)、監(jiān)控模塊(11)、服務(wù)器備份模塊(12)和調(diào)度模塊(13)，其中，存儲(chǔ)系統(tǒng)包括數(shù)據(jù)庫(kù)系統(tǒng)和文件系統(tǒng)；昊宇志愿機(jī)(8)包括志愿者接口模塊(14)、控制模塊(15)、通信模塊(16)和計(jì)算模塊(17)；昊宇志愿機(jī)(8)將請(qǐng)求發(fā)送給前端機(jī)(6)，其中的負(fù)載均衡模塊(18)將請(qǐng)求轉(zhuǎn)發(fā)到昊宇服務(wù)器的調(diào)度模塊(13)上；前端機(jī)備份模塊(19)根據(jù)自適應(yīng)策略建立并維護(hù)昊宇服務(wù)器之間的備份關(guān)系向量表，服務(wù)器備份模塊(12)根據(jù)備份關(guān)系向量表，將存儲(chǔ)系統(tǒng)(9)中的數(shù)據(jù)庫(kù)信息和文件信息備份到對(duì)應(yīng)的服務(wù)器上；應(yīng)用模塊(10)用于接收客戶提交的應(yīng)用，并將應(yīng)用劃分成計(jì)算量小的任務(wù)，再通過(guò)命令將應(yīng)用信息和任務(wù)信息存入數(shù)據(jù)庫(kù)系統(tǒng)，應(yīng)用的二進(jìn)制代碼和任務(wù)的數(shù)據(jù)文件存入文件系統(tǒng)；當(dāng)昊宇志愿機(jī)中的通信模塊(16)請(qǐng)求計(jì)算任務(wù)時(shí)，調(diào)度模塊(13)根據(jù)應(yīng)用模塊(10)寫(xiě)入數(shù)據(jù)庫(kù)系統(tǒng)中的任務(wù)信息，統(tǒng)一調(diào)度任務(wù)，通過(guò)昊宇志愿機(jī)中的通信模塊(16)分配給志愿機(jī)執(zhí)行；調(diào)度模塊(13)還用于在通信模塊(16)返回計(jì)算結(jié)果以后，將結(jié)果文件存放到文件系統(tǒng)中，并修改數(shù)據(jù)庫(kù)系統(tǒng)中的任務(wù)信息；監(jiān)控模塊(11)用于讀取數(shù)據(jù)庫(kù)系統(tǒng)中的信息，處理后加以顯示，以監(jiān)控昊宇服務(wù)器的運(yùn)轉(zhuǎn)狀況；志愿者接口模塊(14)用于實(shí)時(shí)監(jiān)聽(tīng)并執(zhí)行志愿者發(fā)出的命令，根據(jù)命令修改配置文件中相應(yīng)的項(xiàng)；控制模塊(15)循環(huán)根據(jù)配置文件的設(shè)置，當(dāng)啟動(dòng)計(jì)算的條件滿足時(shí)，啟動(dòng)通信模塊(16)，向昊宇服務(wù)器請(qǐng)求計(jì)算任務(wù)，當(dāng)調(diào)度模塊(13)返回計(jì)算任務(wù)后，啟動(dòng)計(jì)算模塊(17)，以最低優(yōu)先級(jí)計(jì)算任務(wù)，在計(jì)算過(guò)程中通信模塊(16)周期性地向調(diào)度模塊發(fā)送“alive”信息，并將計(jì)算結(jié)果通過(guò)通信模塊(16)返回給調(diào)度模塊(13)。
2.根據(jù)權(quán)利要求1所述的計(jì)算平臺(tái)，其特征在于前端機(jī)備份模塊(19)按照下述方式建立和維護(hù)備份關(guān)系向量表從1到j(luò)為每臺(tái)服務(wù)器編號(hào)，假設(shè)服務(wù)器編號(hào)為i，當(dāng)i＜j時(shí)，i號(hào)服務(wù)器的信息備份到i+1號(hào)服務(wù)器上；j號(hào)服務(wù)器的信息備份到1號(hào)服務(wù)器上中；當(dāng)新服務(wù)器加入時(shí)，將新服務(wù)器編號(hào)為j+1，然后將j號(hào)服務(wù)器的信息備份到j(luò)+1號(hào)服務(wù)器上，j+1號(hào)服務(wù)器的信息備份到1號(hào)服務(wù)器上，其它服務(wù)器之間的備份關(guān)系不變；當(dāng)編號(hào)為p的服務(wù)器退出時(shí)，將大于p的服務(wù)器編號(hào)均減1，p-1號(hào)服務(wù)器備份到新的p號(hào)服務(wù)器上，其它服務(wù)器之間的備份關(guān)系不變。
全文摘要
本發(fā)明公開(kāi)了一種基于改進(jìn)的linux虛擬服務(wù)器架構(gòu)的開(kāi)放式網(wǎng)絡(luò)計(jì)算平臺(tái)，服務(wù)器系統(tǒng)和志愿機(jī)系統(tǒng)；前者包括前端機(jī)和多臺(tái)昊宇服務(wù)器；后者包括多臺(tái)昊宇志愿機(jī)。前端機(jī)包括負(fù)載均衡模塊和前端機(jī)備份模塊；昊宇服務(wù)器包括存儲(chǔ)系統(tǒng)、應(yīng)用模塊、監(jiān)控模塊、服務(wù)器備份模塊和調(diào)度模塊。昊宇志愿機(jī)包括志愿者接口模塊、控制模塊、通信模塊和計(jì)算模塊。本發(fā)明具有網(wǎng)絡(luò)計(jì)算平臺(tái)實(shí)現(xiàn)細(xì)節(jié)對(duì)應(yīng)用科學(xué)家透明，多應(yīng)用共享志愿機(jī)資源，應(yīng)用的選擇、升級(jí)及資源分配策略實(shí)現(xiàn)對(duì)志愿者透明等優(yōu)點(diǎn)。服務(wù)器系統(tǒng)自然繼承了LVS的一切特性。適用于Windows和Linux的志愿機(jī)軟件、人性化的志愿者接口系統(tǒng)和以最低優(yōu)先級(jí)啟動(dòng)的計(jì)算線程有利于吸引更多的志愿者，使本平臺(tái)具有強(qiáng)大的計(jì)算能力。
文檔編號(hào)G06F9/50GK1560742SQ200410012810
公開(kāi)日2005年1月5日 申請(qǐng)日期2004年3月4日 優(yōu)先權(quán)日2004年3月4日
發(fā)明者金海 , 鄢娟, 章勤, 韓宗芬, 龔文君, 康達(dá)祥, 鐵婧, 王成偉, 張超, 袁泉, 王瑋, 鄒德清, 金 海 申請(qǐng)人:華中科技大學(xué)