在本發(fā)明的保護范圍之內。
【主權項】
1.一種高性能計算與云計算混合計算系統(tǒng)，包括高性能計算資源池和云計算資源池，所述高性能計算資源池包括高性能計算調度系統(tǒng)和由其管理的多個計算節(jié)點，所述云計算資源池包括云計算管理系統(tǒng)和由其管理的多個計算節(jié)點，其特征在于，所述高性能計算資源池中的計算節(jié)點均設有云計算代理服務模塊，所述云計算代理服務模塊同時與高性能計算調度系統(tǒng)和云計算管理系統(tǒng)連接； 所述云計算管理系統(tǒng)在監(jiān)控到資源不足時向高性能計算調度系統(tǒng)發(fā)送節(jié)點資源申請，并根據(jù)高性能計算調度系統(tǒng)通知的空閑的計算節(jié)點信息向該空閑的計算節(jié)點的云計算代理服務模塊發(fā)送第一清理命令以由所述云計算代理服務模塊清理該空閑的計算節(jié)點并將其加入到云計算資源池，以及在監(jiān)控到資源冗余時釋放從高性能計算資源池申請到的一部分計算節(jié)點，并向待釋放的計算節(jié)點的云計算代理服務模塊發(fā)送第二清理命令以由所述云計算代理服務模塊清理待釋放的計算節(jié)點； 所述高性能計算調度系統(tǒng)基于云計算管理系統(tǒng)發(fā)送的節(jié)點資源申請調度空閑的計算節(jié)點并通知給云計算管理系統(tǒng)，以及根據(jù)所述云計算代理服務模塊基于所述第二清理命令清理相應的計算節(jié)點后返回的信息將該清理后的計算節(jié)點回收到高性能計算資源池。2.根據(jù)權利要求1所述的系統(tǒng)，其特征在于，所述高性能計算調度系統(tǒng)基于云計算管理系統(tǒng)發(fā)送的節(jié)點資源申請調度空閑的計算節(jié)點并通知給云計算管理系統(tǒng)，進一步包括:將所述節(jié)點資源申請設置為最高優(yōu)先級，當出現(xiàn)空閑的計算節(jié)點時，鎖定該空閑的計算節(jié)點，并將該空閑的計算節(jié)點信息通知給云計算管理系統(tǒng)。3.根據(jù)權利要求1所述的系統(tǒng)，其特征在于，所述云計算代理服務模塊基于所述第一清理命令清理空閑的計算節(jié)點包括: 結束所有的高性能計算作業(yè)進程； 卸載高性能計算作業(yè)使用的分布式文件系統(tǒng)； 設置防火墻策略，設置cgroup資源策略，以禁止高性能計算用戶訪問該空閑的計算節(jié)占.V， 將該空閑的計算節(jié)點從高性能計算環(huán)境需要的服務切換到云計算環(huán)境需要的服務；從云計算管理系統(tǒng)獲取云計算需要使用的分布式文件系統(tǒng)或存儲資源的連接數(shù)據(jù)，掛載對應的文件系統(tǒng)或存儲資源，并將連接信息反饋給云計算管理系統(tǒng)； 創(chuàng)建虛擬交換機，并將該虛擬交換機信息返回給云計算管理系統(tǒng)。4.根據(jù)權利要求1所述的系統(tǒng)，其特征在于，所述云計算代理服務模塊基于所述第二清理命令清理相應的計算節(jié)點包括: 卸載云計算使用的分布式文件系統(tǒng)或存儲資源； 將該計算節(jié)點從云計算環(huán)境需要的服務切換到高性能計算環(huán)境需要的服務，并在成功后通知云計算管理系統(tǒng)以便云計算管理系統(tǒng)將該計算節(jié)點從云計算資源池中刪除； 掛載高性能計算需要的分布式文件系統(tǒng)； 設置防火墻和cgroup資源策略，以允許高性能計算用戶訪問該計算節(jié)點； 返回相應的信息給高性能計算調度系統(tǒng)以將該計算節(jié)點回收到高性能計算資源池中。5.一種高性能計算與云計算混合計算系統(tǒng)的資源管理方法，其中所述系統(tǒng)包括高性能計算資源池和云計算資源池，所述高性能計算資源池包括高性能計算調度系統(tǒng)和由其管理的多個計算節(jié)點，所述云計算資源池包括云計算管理系統(tǒng)和由其管理的多個計算節(jié)點，其特征在于，所述方法包括如下步驟: 51、在所述高性能計算資源池的每一個計算節(jié)點中設置云計算代理服務模塊，所述云計算代理服務模塊同時與高性能計算調度系統(tǒng)和云計算管理系統(tǒng)連接； 52、在云計算管理系統(tǒng)監(jiān)控到云計算資源池的資源不足時，由所述云計算管理系統(tǒng)向高性能計算調度系統(tǒng)發(fā)送節(jié)點資源申請，并根據(jù)高性能計算調度系統(tǒng)通知的空閑的計算節(jié)點信息向該空閑的計算節(jié)點的云計算代理服務模塊發(fā)送第一清理命令以由所述云計算代理服務模塊清理該空閑的計算節(jié)點并將其加入到云計算資源池； 53、在云計算管理系統(tǒng)監(jiān)控到云計算資源池的資源冗余時，由所述云計算管理系統(tǒng)釋放從高性能計算資源池申請到的一部分計算節(jié)點，并向待釋放的計算節(jié)點的云計算代理服務模塊發(fā)送第二清理命令以由所述云計算代理服務模塊清理待釋放的計算節(jié)點，然后由所述高性能計算調度系統(tǒng)根據(jù)所述云計算代理服務模塊清理相應的計算節(jié)點后返回的信息將該清理后的計算節(jié)點回收到高性能計算資源池。6.根據(jù)權利要求5所述的方法，其特征在于，所述步驟S2進一步包括: 由所述高性能計算調度系統(tǒng)將所述云計算管理系統(tǒng)發(fā)送的節(jié)點資源申請設置為最高優(yōu)先級，當出現(xiàn)空閑的計算節(jié)點時，鎖定該空閑的計算節(jié)點，并將該空閑的計算節(jié)點信息通知給云計算管理系統(tǒng)。7.根據(jù)權利要求5所述的方法，其特征在于，所述步驟S2中由所述云計算代理服務模塊清理該空閑的計算節(jié)點進一步包括: 結束所有的高性能計算作業(yè)進程； 卸載高性能計算作業(yè)使用的分布式文件系統(tǒng)； 設置防火墻策略，設置cgroup資源策略，以禁止高性能計算用戶訪問該空閑的計算節(jié)占.V， 將該空閑的計算節(jié)點從高性能計算環(huán)境需要的服務切換到云計算環(huán)境需要的服務；從云計算管理系統(tǒng)獲取云計算需要使用的分布式文件系統(tǒng)或存儲資源的連接數(shù)據(jù)，掛載對應的文件系統(tǒng)或存儲資源，并將連接信息反饋給云計算管理系統(tǒng)； 創(chuàng)建虛擬交換機，并將該虛擬交換機信息返回給云計算管理系統(tǒng)。8.根據(jù)權利要求5所述的方法，其特征在于，所述步驟S2中通過判斷當前云計算資源池中的剩余資源是否小于預設的資源剩余量閾值或判斷當前云計算資源池中的剩余資源是否滿足資源申請需求來監(jiān)控資源是否不足。9.根據(jù)權利要求5所述的方法，其特征在于，所述步驟S3中由所述云計算代理服務模塊清理待釋放的計算節(jié)點進一步包括: 卸載云計算使用的分布式文件系統(tǒng)或存儲資源； 將該計算節(jié)點從云計算環(huán)境需要的服務切換到高性能計算環(huán)境需要的服務，并在成功后通知云計算管理系統(tǒng)以便云計算管理系統(tǒng)將該計算節(jié)點從云計算資源池中刪除； 掛載高性能計算需要的分布式文件系統(tǒng)； 設置防火墻和cgroup資源策略，以允許高性能計算用戶訪問該計算節(jié)點； 返回相應的信息給高性能計算調度系統(tǒng)以將該計算節(jié)點回收到高性能計算資源池中。10.根據(jù)權利要求5所述的方法，其特征在于，所述步驟S3中由所述云計算管理系統(tǒng)釋放從高性能計算資源池申請到的一部分計算節(jié)點進一步包括: 由所述云計算管理系統(tǒng)通過統(tǒng)計云計算資源池中的剩余資源來確定可以釋放的計算節(jié)點數(shù)量，并在完全空閑的計算節(jié)點的數(shù)量不夠時，將只有少量虛擬機在運行的計算節(jié)點中的虛擬機迀出，直到有足夠數(shù)量的空閑計算節(jié)點。
【專利摘要】本發(fā)明涉及一種高性能計算與云計算混合計算系統(tǒng)及其資源管理方法。該方法在高性能計算資源池的每一個計算節(jié)點中設置云計算代理服務模塊同時與高性能計算調度系統(tǒng)和云計算管理系統(tǒng)連接。云計算資源不足時，由云計算管理系統(tǒng)向高性能計算調度系統(tǒng)發(fā)送節(jié)點資源申請，并根據(jù)高性能計算調度系統(tǒng)通知的空閑計算節(jié)點信息向對應云計算代理服務模塊發(fā)送第一清理命令以清理該空閑計算節(jié)點并將其加入到云計算資源池。云計算資源冗余時，由云計算管理系統(tǒng)釋放一部分計算節(jié)點，并向對應云計算代理服務模塊發(fā)送第二清理命令以清理待釋放的計算節(jié)點，然后由高性能計算調度系統(tǒng)回收到高性能計算資源池。本發(fā)明避免資源閑置，提高資源利用率。
【IPC分類】G06F9/50, G06F9/455
【公開號】CN105183554
【申請?zhí)枴緾N201510466360
【發(fā)明人】胡耀國, 晏望龍, 李鵬, 常藝偉, 張轉轉, 劉孟博, 陳開渠
【申請人】國家超級計算深圳中心(深圳云計算中心)
【公開日】2015年12月23日
【申請日】2015年7月31日