一種基于pxe、shell和expect實(shí)現(xiàn)ib網(wǎng)絡(luò)環(huán)境下linpack集群測試的方法
【專利摘要】本發(fā)明公開了一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法，步驟如下：使用PXE+DHCP+HTTP+Kickstart安裝RHEL6.4x64OS；使用Kickstart+HTTP+DHCP安裝HCA卡的驅(qū)動(dòng)及設(shè)置IP，關(guān)閉SElinux、防火墻和Cpuspeed，開啟opensmd服務(wù)命令；設(shè)置HPL集群mpd測試環(huán)境及Linpack測試工具的下載；實(shí)現(xiàn)集群節(jié)點(diǎn)內(nèi)的無密碼訪問設(shè)置及集群測試工具的安裝；獲取并測試HPL.dat值。本發(fā)明大大簡化了Linpack集群測試的操作流程，特別是對于刀片高密度服務(wù)器，實(shí)現(xiàn)了對大量節(jié)點(diǎn)的Linpack集群測試。
【專利說明】—種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK
集群測試的方法
[0001]
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及IT【技術(shù)領(lǐng)域】，具體地說是一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法。
【背景技術(shù)】
[0003]隨著IT領(lǐng)域技術(shù)的不斷發(fā)展，傳統(tǒng)信息化服務(wù)以及日趨強(qiáng)大的云計(jì)算服務(wù)對服務(wù)器的集群性能要求越來越高。基于計(jì)算機(jī)集群的高性能并行計(jì)算，已成為廣大工程與科學(xué)計(jì)算的有效手段。隨著網(wǎng)絡(luò)設(shè)備的發(fā)展，IB卡也越來越多地應(yīng)用于集群環(huán)境中。云計(jì)算系統(tǒng)的一個(gè)重要作用是向用戶提供計(jì)算力，評價(jià)一個(gè)系統(tǒng)的總體計(jì)算力的方法就是采用一個(gè)統(tǒng)一的測試標(biāo)準(zhǔn)作為評判，現(xiàn)在評判一個(gè)系統(tǒng)計(jì)算力的方法中最為知名的就是Linpack測試，世界最快500臺巨型機(jī)系統(tǒng)的排名采用的就是這一標(biāo)準(zhǔn)。掌握Linpack測試技術(shù)對于在云計(jì)算時(shí)代評判一個(gè)云系統(tǒng)的計(jì)算力也有著重要意義。
[0004]Linpack現(xiàn)在在國際上已經(jīng)成為最流行的用于測試高性能計(jì)算機(jī)系統(tǒng)浮點(diǎn)性能的benchmark。通過利用高性能計(jì)算機(jī)，用高斯消元法求解N元一次稠密線性代數(shù)方程組的測試，評價(jià)高性能計(jì)算機(jī)的浮點(diǎn)性能。Linpack測試包括三類，LinpacklOO、LinpacklOOO和HPL0 HPL即High Per formance Linpack，也叫高度并行計(jì)算基準(zhǔn)測試，它對數(shù)組大小N沒有限制，求解問題的規(guī)?？梢愿淖?，除基本算法(計(jì)算量)不可改變外，可以采用其它任何優(yōu)化方法。前兩種測試運(yùn)行規(guī)模較小，已不是很適合現(xiàn)代計(jì)算機(jī)的發(fā)展，因此現(xiàn)在使用較多的測試標(biāo)準(zhǔn)為HPL，而且階次N也是linpack測試必須指明的參數(shù)。
[0005]PXE (preboot execute environment,預(yù)啟動(dòng)執(zhí)行環(huán)境)是工作于 Client/Server的網(wǎng)絡(luò)模式，支持工作站通過網(wǎng)絡(luò)從遠(yuǎn)端服務(wù)器下載映像，并由此支持通過網(wǎng)絡(luò)啟動(dòng)操作系統(tǒng)，在啟動(dòng)過程中，終端要求服務(wù)器分配IP地址，再用TFTP (trivial file transferprotocol)或 MTFTP (multicast trivial file transfer protocol)協(xié)議下載一個(gè)啟動(dòng)軟件包到本機(jī)內(nèi)存中執(zhí)行，由這個(gè)啟動(dòng)軟件包完成終端基本軟件設(shè)置，從而引導(dǎo)預(yù)先安裝在服務(wù)器中的終端操作系統(tǒng)。
[0006]Shell俗稱殼(用來區(qū)別于核)，是指“提供使用者使用界面”的軟件(命令解析器)。它類似于DOS下的command和后來的cmd.exe。它接收用戶命令,然后調(diào)用相應(yīng)的應(yīng)用程序。同時(shí)它又是一種程序設(shè)計(jì)語言。作為命令語言，它交互式解釋和執(zhí)行用戶輸入的命令或者自動(dòng)地解釋和執(zhí)行預(yù)先設(shè)定好的一連串的命令；作為程序設(shè)計(jì)語言，它定義了各種變量和參數(shù)，并提供了許多在高級語言中才具有的控制結(jié)構(gòu)，包括循環(huán)和分支。
[0007]Expect是一個(gè)用來實(shí)現(xiàn)自動(dòng)交互功能的軟件套件。使用它，系統(tǒng)管理員可以創(chuàng)建腳本來對命令或程序進(jìn)行輸入，而這些命令和程序是期望從終端(terminal)得到輸入，一般來說這些輸入都需要手工輸入進(jìn)行的。Expect則可以根據(jù)程序的提示模擬標(biāo)準(zhǔn)輸入提供給程序需要的輸入來實(shí)現(xiàn)交互程序執(zhí)行。
[0008]SELinux (Security-Enhanced Linux)是 2.6 版本的 Linux 內(nèi)核中提供的強(qiáng)制訪問控制(MAC)系統(tǒng)。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的技術(shù)任務(wù)是提供一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法。
[0010]本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，該方法步驟如下:
1)使用PXE+DHCP+HTTP+Kickstart安裝RHEL6.4x64 OS,并進(jìn)行磁盤分區(qū)和選擇軟件
包；
2)使用Kickstart+HTTP+DHCP安裝HCA卡的驅(qū)動(dòng)及設(shè)置IP，關(guān)閉SElinux功能，關(guān)閉防火墻功能和Cpuspeed服務(wù),開啟opensmd服務(wù)命令；
3)使用HTTP+shell設(shè)置HPL集群mpd測試環(huán)境及Linpack測試工具的下載；
4)使用expect實(shí)現(xiàn)集群節(jié)點(diǎn)內(nèi)的無密碼訪問設(shè)置及集群測試工具的安裝；
5)使用shell語言獲取并測試HPL.dat值。 [0011]所述的步驟2)具體如下:系統(tǒng)安裝完成后通過ftp自動(dòng)獲取驅(qū)動(dòng)文件放置與root目錄，并自動(dòng)mount驅(qū)動(dòng)于/mnt下安裝,安裝完成后自動(dòng)刪除安裝文件及umount /mnt ;在/etc/rc.local下輸入關(guān)閉cpuspeed服務(wù)、防火墻功能及開啟opensmd服務(wù)命令,實(shí)現(xiàn)每次系統(tǒng)重啟后自動(dòng)關(guān)閉和開啟必要服務(wù)。
[0012]所述的步驟3)具體如下:首先獲取每個(gè)節(jié)點(diǎn)的bmc ip,通過bmc ip設(shè)置每個(gè)節(jié)
點(diǎn)的hostname,做到每個(gè)節(jié)點(diǎn)hostname和bmc ip--對應(yīng)；mpd測試環(huán)境包括mpd.conf >
mpd.host配置文件設(shè)置。
[0013]所述的步驟4)具體如下:通過ftp下載intel c編譯工具和mpi工具；通過expect實(shí)現(xiàn)兩個(gè)工具的自動(dòng)安裝及編譯mp_linpack文件得到xhpl工具和hpl.dat配置文件；通過expect實(shí)現(xiàn)每個(gè)節(jié)點(diǎn)的dsa key自動(dòng)上傳于節(jié)點(diǎn)I,節(jié)點(diǎn)I的dsa key自動(dòng)復(fù)制給每個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)節(jié)點(diǎn)I和其它每個(gè)節(jié)點(diǎn)無密碼互相訪問；關(guān)閉所有節(jié)點(diǎn)非IB卡網(wǎng)絡(luò)IP。
[0014]所述的步驟5)具體如下:自動(dòng)獲取節(jié)點(diǎn)I的內(nèi)存容量*對應(yīng)節(jié)點(diǎn)數(shù)及CPU物理核數(shù)*對應(yīng)節(jié)點(diǎn)數(shù)，然后通過數(shù)字運(yùn)算得到N、P、Q、NB各值；通過節(jié)點(diǎn)I開啟所有節(jié)點(diǎn)mpdboot服務(wù)，通過mpiexex設(shè)置總cpu核數(shù),運(yùn)行xhpl,開始Iinpack性能測試,最后結(jié)果輸出與/root/1inpack_cpu型號_節(jié)點(diǎn)數(shù).txt文件夾下。
[0015]本發(fā)明的一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法和現(xiàn)有技術(shù)相比，大大簡化了 Linpack集群測試的操作流程，特別是對于刀片高密度服務(wù)器，輕松實(shí)現(xiàn)了對大量節(jié)點(diǎn)的Linpack集群測試。本方法在研發(fā)階段、測試階段及生產(chǎn)階段的應(yīng)用，模擬用戶真正的大負(fù)載使用，實(shí)現(xiàn)了 Linpack集群測試的自動(dòng)化、便捷化。
【專利附圖】

【附圖說明】
[0016]附圖1為一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法的流程圖?！揪唧w實(shí)施方式】
[0017]實(shí)施例1:
該方法步驟如下:
1)使用PXE+DHCP+HTTP+Kickstart安裝RHEL6.4x64 OS,并進(jìn)行磁盤分區(qū)和選擇軟件
包；
2)使用Kickstart+HTTP+DHCP安裝HCA卡的驅(qū)動(dòng)及設(shè)置IP，關(guān)閉SElinux功能，關(guān)閉防火墻功能和Cpuspeed服務(wù),開啟opensmd服務(wù)命令；
具體如下:系統(tǒng)安裝完成后通過ftp自動(dòng)獲取驅(qū)動(dòng)文件放置與root目錄，并自動(dòng)mount驅(qū)動(dòng)于/mnt下安裝，安裝完成后自動(dòng)刪除安裝文件及umount /mnt ;在/etc/rc.local下輸入關(guān)閉cpuspeed服務(wù)、防火墻功能及開啟opensmd服務(wù)命令,實(shí)現(xiàn)每次系統(tǒng)重啟后自動(dòng)關(guān)閉和開啟必要服務(wù)。
[0018]3)使用HTTP +shell設(shè)置HPL集群mpd測試環(huán)境及Linpack測試工具的下載；
具體如下:首先獲取每個(gè)節(jié)點(diǎn)的bmc ip,通過bmc ip設(shè)置每個(gè)節(jié)點(diǎn)的hostname,做到每
個(gè)節(jié)點(diǎn)hostname和bmc ip--對應(yīng)；mpd測試環(huán)境包括mpd.conf > mpd.host配置文件設(shè)置。
[0019]4)使用expect實(shí)現(xiàn)集群節(jié)點(diǎn)內(nèi)的無密碼訪問設(shè)置及集群測試工具的安裝；
具體如下:通過ftp下載intel c編譯工具和mpi工具；通過expect實(shí)現(xiàn)兩個(gè)工具的自動(dòng)安裝及編譯mp_linpack文件得到xhpl工具和hpl.dat配置文件；通過expect實(shí)現(xiàn)每個(gè)節(jié)點(diǎn)的dsa key自動(dòng)上傳于節(jié)點(diǎn)I,節(jié)點(diǎn)I的dsa key自動(dòng)復(fù)制給每個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)節(jié)點(diǎn)I和其它每個(gè)節(jié)點(diǎn)無密碼互相訪問；關(guān)閉所有節(jié)點(diǎn)非IB卡網(wǎng)絡(luò)IP。
[0020]5)使用shell語言獲取并測試HPL dat值。
[0021]具體如下:自動(dòng)獲取節(jié)點(diǎn)I的內(nèi)存容量*對應(yīng)節(jié)點(diǎn)數(shù)及CPU物理核數(shù)*對應(yīng)節(jié)點(diǎn)數(shù)，然后通過數(shù)字運(yùn)算得到N、P、Q、NB各值；通過節(jié)點(diǎn)I開啟所有節(jié)點(diǎn)mpdboot服務(wù),通過mpiexex設(shè)置總cpu核數(shù),運(yùn)行xhpl,開始Iinpack性能測試,最后結(jié)果輸出與/root/linpack_cpu型號_節(jié)點(diǎn)數(shù).txt文件夾下。
[0022] 通過上面【具體實(shí)施方式】，所述【技術(shù)領(lǐng)域】的技術(shù)人員可容易的實(shí)現(xiàn)本專利。但是應(yīng)當(dāng)理解，本專利并不限于上述的【具體實(shí)施方式】。在公開的實(shí)施方式的基礎(chǔ)上，所述【技術(shù)領(lǐng)域】的技術(shù)人員可任意組合不同的技術(shù)特征，從而實(shí)現(xiàn)不同的技術(shù)方案。
【權(quán)利要求】
1.一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法，其特征在于，方法步驟如下: 1)使用PXE+DHCP+HTTP+Kickstart安裝RHEL6.4x64 OS,并進(jìn)行磁盤分區(qū)和選擇軟件包； 2)使用Kickstart+HTTP+DHCP安裝HCA卡的驅(qū)動(dòng)及設(shè)置IP，關(guān)閉SElinux功能，關(guān)閉防火墻功能和Cpuspeed服務(wù),開啟opensmd服務(wù)命令； 3)使用HTTP+shell設(shè)置HPL集群mpd測試環(huán)境及Linpack測試工具的下載； 4)使用expect實(shí)現(xiàn)集群節(jié)點(diǎn)內(nèi)的無密碼訪問設(shè)置及集群測試工具的安裝； 5)使用shell語言獲取并測試HPL.dat值。
2.根據(jù)權(quán)利要求1所述的一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法，其特征在于，所述的步驟2)具體如下:系統(tǒng)安裝完成后通過ftp自動(dòng)獲取驅(qū)動(dòng)文件放置與root目錄，并自動(dòng)mount驅(qū)動(dòng)于/mnt下安裝，安裝完成后自動(dòng)刪除安裝文件及umount /mnt ;在/^1:(3/1^.local下輸入關(guān)閉cpuspeed服務(wù)、防火墻功能及開啟opensmd服務(wù)命令，實(shí)現(xiàn)每次系統(tǒng)重啟后自動(dòng)關(guān)閉和開啟必要服務(wù)。
3.根據(jù)權(quán)利要求1所述的一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法，其特征在于，所述的步驟3)具體如下:首先獲取每個(gè)節(jié)點(diǎn)的bmc ip，通過bmc ip設(shè)置每個(gè)節(jié)點(diǎn)的hostname,做到每個(gè)節(jié)點(diǎn)hostname和bmc ip--對應(yīng)；mpd測試環(huán)境包括mpd.conf > mpd.host配置文件設(shè)置。
4.根據(jù)權(quán)利要求1所述的一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法，其特征在于，所述的步驟4)具體如下:通過ftp下載intel c編譯工具和mpi工具；通過expect實(shí)現(xiàn)兩個(gè)工具的自動(dòng)安裝及編譯mp_linpack文件得到xhpl工具和hpl.dat配置文件；通過expect實(shí)現(xiàn)每個(gè)節(jié)點(diǎn)的dsa key自動(dòng)上傳于節(jié)點(diǎn)I,節(jié)點(diǎn)I的dsakey自動(dòng)復(fù)制給每個(gè)節(jié)點(diǎn)，實(shí)現(xiàn)節(jié)點(diǎn)I和其它每個(gè)節(jié)點(diǎn)無密碼互相訪問；關(guān)閉所有節(jié)點(diǎn)非IB卡網(wǎng)絡(luò)IP0
5.根據(jù)權(quán)利要求1所述的一種基于PXE、SHELL和EXPECT實(shí)現(xiàn)IB網(wǎng)絡(luò)環(huán)境下LINPACK集群測試的方法，其特征在于，所述的步驟5)具體如下:自動(dòng)獲取節(jié)點(diǎn)I的內(nèi)存容量*對應(yīng)節(jié)點(diǎn)數(shù)及CPU物理核數(shù)*對應(yīng)節(jié)點(diǎn)數(shù)，然后通過數(shù)字運(yùn)算得到N、P、Q、NB各值；通過節(jié)點(diǎn)I開啟所有節(jié)點(diǎn)mpdboot服務(wù),通過mpiexex設(shè)置總cpu核數(shù),運(yùn)行xhpl,開始Iinpack性能測試，最后結(jié)果輸出與/root/linpack_cpu型號_節(jié)點(diǎn)數(shù).txt文件夾下。
【文檔編號】G06F11/36GK104035876SQ201410311678
【公開日】2014年9月10日 申請日期:2014年7月2日 優(yōu)先權(quán)日:2014年7月2日
【發(fā)明者】田紹清 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司