專(zhuān)利名稱(chēng)：移動(dòng)多任務(wù)并行處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)集群技術(shù)領(lǐng)域，尤其涉及一種移動(dòng)多任務(wù)并行處理系統(tǒng)。
背景技術(shù)：
計(jì)算機(jī)集群簡(jiǎn)稱(chēng)集群是一種計(jì)算機(jī)系統(tǒng)，它通過(guò)一組松散集成的計(jì)算機(jī)軟件和/ 或硬件連接起來(lái)高度緊密地協(xié)作完成計(jì)算工作；在某種意義上，他們可以被看作是一臺(tái)計(jì) 算機(jī)，集群系統(tǒng)中的單個(gè)計(jì)算機(jī)稱(chēng)為節(jié)點(diǎn)，通常通過(guò)局域網(wǎng)連接，但也有其它的可能連接方 式。集群計(jì)算機(jī)通常用來(lái)改進(jìn)單個(gè)計(jì)算機(jī)的計(jì)算速度和/或可靠性；一般情況下集群計(jì)算 機(jī)比單個(gè)計(jì)算機(jī)，比如工作站或超級(jí)計(jì)算機(jī)性能價(jià)格比要高得多。集群分為同構(gòu)與異構(gòu)兩種，它們的區(qū)別在于組成集群系統(tǒng)的計(jì)算機(jī)之間的 體系結(jié)構(gòu)是否相同。集群計(jì)算機(jī)按功能和結(jié)構(gòu)可以分成以下幾類(lèi)1)高可用性集群 High-availability (HA) clusters ；2)負(fù)載均衡集群 Load balancing clusters ；3)高性能 計(jì)算集群 High-performance (HPC) clusters ；4)網(wǎng)格計(jì)算 Grid computing。集群技術(shù)是一種并行或分布式處理系統(tǒng)，由很多連接在一起的獨(dú)立計(jì)算機(jī)組成， 像一個(gè)單獨(dú)集成的計(jì)算機(jī)資源一樣協(xié)同工作，通過(guò)多臺(tái)計(jì)算機(jī)完成同一個(gè)工作。計(jì)算機(jī)節(jié) 點(diǎn)可以是一個(gè)單處理器PC，工作站或多處理器的系統(tǒng)(共享存儲(chǔ)的多處理機(jī))，擁有內(nèi)存、 IO設(shè)備和操作系統(tǒng)。一個(gè)集群一般是指連接在一起的兩個(gè)或多個(gè)計(jì)算機(jī)(節(jié)點(diǎn))。節(jié)點(diǎn)可 以是在一起的，也可以是物理上分散而通過(guò)LAN連結(jié)在一起的。一個(gè)連接在一起(LAN基礎(chǔ) 上)的計(jì)算機(jī)集群對(duì)于用戶(hù)和應(yīng)用程序來(lái)說(shuō)像一個(gè)單一的系統(tǒng)，這樣的系統(tǒng)可以提供一種 價(jià)格合理的且可獲得所需性能和快速而可靠的服務(wù)的解決方案，而在以往只能通過(guò)更昂貴 的專(zhuān)用共享內(nèi)存系統(tǒng)來(lái)達(dá)到。而目前的集群計(jì)算系統(tǒng)設(shè)計(jì)都非常龐大，單節(jié)點(diǎn)設(shè)計(jì)復(fù)雜，不易移動(dòng)，對(duì)環(huán)境溫度 等條件要求苛刻，不便于攜帶，本發(fā)明就是為解決集群計(jì)算機(jī)存在的體積、便攜性以及高性 能提出的一種高便攜性、高集成度和高性能的集群計(jì)算解決方案。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種移動(dòng)多任務(wù)并行處理系統(tǒng)，以實(shí)現(xiàn)高便攜性、高集成度、 高性能的集群計(jì)算系統(tǒng)。為達(dá)到上述目的，本發(fā)明采用如下的技術(shù)方案抽拉式緊湊式機(jī)箱，包括電器控制部分、信號(hào)輸出、溫度控制、防震處理以及各種 接口組成；機(jī)箱內(nèi)部布局緊湊，底部為電源控制部分，為整個(gè)系統(tǒng)供電，中部為計(jì)算節(jié)點(diǎn)，排 列方式為豎立式，共有六個(gè)豎立的計(jì)算單元，上部為平放的四個(gè)磁盤(pán)，通過(guò)RAID與控制計(jì) 算單元相連構(gòu)建4TB磁盤(pán)陣列；集成在上述機(jī)箱內(nèi)的六個(gè)具有獨(dú)立運(yùn)行環(huán)境的計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)包括主 板、多核CPU、內(nèi)存、硬盤(pán)、圖形顯示單元以及網(wǎng)絡(luò)接口 ；共享式存儲(chǔ)單元由4個(gè)ITB硬盤(pán)、一個(gè)陣列控制器和一個(gè)具有Linux環(huán)境的運(yùn)算和管理功能的節(jié)點(diǎn)控制組成的磁盤(pán)陣列組；千兆以太網(wǎng)交換機(jī)為16 口的千兆以太網(wǎng)交換機(jī)，每臺(tái)獨(dú)立運(yùn)行的計(jì)算節(jié)點(diǎn)通過(guò) 雙通道網(wǎng)絡(luò)接口與其相連，分別占用兩個(gè)千兆交換口。所述計(jì)算節(jié)點(diǎn)主板采用小型化主板，尺寸為171. 45mmX 171. 45mm，電源采用 MicroATX 電源，體積是 125mmX IOOmmX 63. 51mm ；節(jié)點(diǎn)計(jì)算機(jī)的系統(tǒng)硬盤(pán)采用2. 5寸筆記本硬盤(pán)，并安裝在單元的反面，處理器采 用Intel 二核或四核處理器。所述機(jī)箱長(zhǎng)460mm、寬240mm、高380mm，所述機(jī)箱的兩側(cè)設(shè)計(jì)有風(fēng)孔，并在機(jī)箱一 側(cè)安裝了四個(gè)排風(fēng)扇。所述多任務(wù)并行處理移動(dòng)集群系統(tǒng)還包括基礎(chǔ)服務(wù)模塊，用于實(shí)現(xiàn)計(jì)算機(jī)間的基礎(chǔ)通訊；基礎(chǔ)管理模塊，用于實(shí)現(xiàn)對(duì)參與計(jì)算的網(wǎng)格計(jì)算機(jī)進(jìn)行管理和調(diào)度；網(wǎng)格計(jì)算模塊，用于實(shí)現(xiàn)網(wǎng)格計(jì)算中的數(shù)據(jù)交換和參數(shù)傳遞。所述基礎(chǔ)服務(wù)模塊進(jìn)一步包括啟動(dòng)監(jiān)聽(tīng)網(wǎng)絡(luò)查詢(xún)的子模塊；判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)查詢(xún)的子模塊，如果是，則解析查詢(xún)數(shù)據(jù)，啟動(dòng)對(duì)應(yīng)的處理程 序；如果否，則返回繼續(xù)判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)查詢(xún)。所述基礎(chǔ)管理模塊進(jìn)一步包括啟動(dòng)監(jiān)聽(tīng)網(wǎng)絡(luò)連接的子模塊；判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)連接的子模塊，如果否，則返回繼續(xù)判斷是否監(jiān)聽(tīng)到網(wǎng)路連 接；如果是，則執(zhí)行下述模塊；建立網(wǎng)絡(luò)連接的子模塊；接收網(wǎng)絡(luò)命令的子模塊；解析命令，并執(zhí)行命令的子模塊；發(fā)送命令執(zhí)行結(jié)果，并返回判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)連接的子模塊。所述網(wǎng)格計(jì)算模塊進(jìn)一步包括服務(wù)端模塊、客戶(hù)端模塊，其中服務(wù)端模塊包括判斷是否為服務(wù)端的子模塊，如果否，則進(jìn)入客戶(hù)端模塊；如果是，則繼續(xù)執(zhí)行下 述子模塊；發(fā)出可用網(wǎng)絡(luò)連接查詢(xún)的子模塊；判斷是否有查詢(xún)回應(yīng)的子模塊，如果否，則報(bào)告沒(méi)有發(fā)現(xiàn)其他可用計(jì)算節(jié)點(diǎn)，連接 本計(jì)算機(jī)為唯一可用節(jié)點(diǎn)；如果是，則執(zhí)行下述模塊；打開(kāi)網(wǎng)卡端口啟動(dòng)監(jiān)聽(tīng)線程，發(fā)出啟動(dòng)網(wǎng)絡(luò)計(jì)算節(jié)點(diǎn)命令的子模塊；判斷是否監(jiān)聽(tīng)到有連接的子模塊，如果是，則建立網(wǎng)絡(luò)連接，分配計(jì)算任務(wù)，分發(fā) 子任務(wù)數(shù)據(jù)；報(bào)告各子任務(wù)執(zhí)行狀態(tài)，直到各子任務(wù)完成的子模塊；匯總?cè)蝿?wù)結(jié)果的子模塊；客戶(hù)端?？绨ㄅ袛嗍欠裥枰獑?dòng)節(jié)點(diǎn)的子模塊，如果是，則進(jìn)入服務(wù)端模式，如果否，則執(zhí)行下
5述步驟；發(fā)出網(wǎng)絡(luò)連接，連接服務(wù)端的子模塊；接受分配的子任務(wù)和數(shù)據(jù)的子模塊；執(zhí)行子任務(wù)報(bào)告任務(wù)執(zhí)行狀態(tài)給服務(wù)端的子模塊；完成子任務(wù)的子模塊。本發(fā)明具有以下優(yōu)點(diǎn)和積極效果1)考慮了通風(fēng)、抗震等因素，保障了應(yīng)急條件下計(jì)算機(jī)集成系統(tǒng)可移動(dòng)和便攜性， 以適應(yīng)緊急情況下遙感數(shù)據(jù)的快速處理，為應(yīng)急提高數(shù)據(jù)保障；2)利用局域網(wǎng)建立了多計(jì)算節(jié)點(diǎn)的并行處理系統(tǒng)，實(shí)現(xiàn)集群計(jì)算的高便攜性、高 集成度、高性能。


圖1是本發(fā)明的集成化機(jī)箱外觀尺寸圖。圖2是本發(fā)明的各硬件單元排列關(guān)系圖。圖3是本發(fā)明的計(jì)算單元中主板、電源和硬盤(pán)關(guān)系結(jié)構(gòu)圖。圖4是本發(fā)明的共享式數(shù)據(jù)存儲(chǔ)單元的關(guān)系圖。圖5是本發(fā)明的各硬件數(shù)據(jù)交換與控制關(guān)系圖。圖6是本發(fā)明的并行處理基礎(chǔ)服務(wù)程序框架圖。圖7是本發(fā)明的并行處理基礎(chǔ)管理程序框架圖。圖8是本發(fā)明的并行處理通訊模塊服務(wù)端原理圖。圖9是本發(fā)明的并行處理通訊模塊客戶(hù)端原理圖。圖10是本發(fā)明的并行處理三個(gè)網(wǎng)絡(luò)模塊關(guān)系圖。
具體實(shí)施例方式為了實(shí)現(xiàn)機(jī)箱的小型化，分別對(duì)電源、計(jì)算單元尺寸、排列方式，以及溫度控制等 進(jìn)行了精心設(shè)計(jì)，參見(jiàn)圖1所示的集成機(jī)箱外觀尺寸圖，其中長(zhǎng)460mm，寬240mm，高380mm， 機(jī)箱正面設(shè)有信號(hào)燈，分別顯示六個(gè)單元運(yùn)算狀況，另有六個(gè)暗藏式重啟動(dòng)開(kāi)關(guān)，可分別控 制六個(gè)不同的單元，機(jī)箱與外部接口設(shè)有顯示器、鍵盤(pán)和鼠標(biāo)以及其它USB接口等。圖2給出了機(jī)箱中各硬件節(jié)點(diǎn)和輔助設(shè)備的排列關(guān)系圖，機(jī)箱底部為電源和16 口 千兆網(wǎng)絡(luò)交換機(jī)，中間為垂直排列的計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)包括電源、計(jì)算機(jī)主板、CPU、 內(nèi)存和系統(tǒng)硬盤(pán)；機(jī)箱頂部為平行排列的4塊SATA ITB硬盤(pán)，通過(guò)SATA接口線與控制計(jì) 算節(jié)點(diǎn)相連，并通過(guò)RAID方式構(gòu)建磁盤(pán)陣列。下面對(duì)機(jī)箱中的硬件單元的排列關(guān)系詳細(xì)描 述①該機(jī)箱內(nèi)部包括六個(gè)具有獨(dú)立運(yùn)行環(huán)境的計(jì)算節(jié)點(diǎn)，并集成在一個(gè)機(jī)箱內(nèi)，每 個(gè)計(jì)算節(jié)點(diǎn)包括主板、多核CPU、內(nèi)存、硬盤(pán)、圖形顯示單元以及網(wǎng)絡(luò)接口等，可完成獨(dú)立運(yùn) 行Windows環(huán)境或Linux環(huán)境的程序的計(jì)算節(jié)點(diǎn)，其中五個(gè)為計(jì)算節(jié)點(diǎn)，一個(gè)為數(shù)據(jù)存儲(chǔ)管 理節(jié)點(diǎn)。如圖3所示，計(jì)算單元中31為計(jì)算節(jié)點(diǎn)主板、32為計(jì)算節(jié)點(diǎn)電源、33為計(jì)算節(jié)點(diǎn) 系統(tǒng)硬盤(pán)。②共享式存儲(chǔ)單元由4個(gè)ITB硬盤(pán)、一個(gè)陣列控制器和一個(gè)具有Linux環(huán)境的運(yùn)算和管理功能的節(jié)點(diǎn)控制組成的磁盤(pán)陣列組，以實(shí)現(xiàn)海量數(shù)據(jù)的共享存儲(chǔ)和數(shù)據(jù)交換，是 本系統(tǒng)的核心數(shù)據(jù)控制與管理中心。4塊SATA ITB硬盤(pán)，通過(guò)SATA接口線與控制計(jì)算節(jié)點(diǎn) 的RAID陣列卡相連，通過(guò)RAID方式構(gòu)建磁盤(pán)陣列，并通過(guò)Linux進(jìn)行管理，實(shí)現(xiàn)共享式數(shù) 據(jù)存儲(chǔ)，如圖4所示。③千兆以太網(wǎng)交換機(jī)為16 口的千兆以太網(wǎng)交換機(jī)，每臺(tái)獨(dú)立運(yùn)行的計(jì)算單元通 過(guò)雙通道與其相連，分別占用兩個(gè)千兆交換口，以加速各計(jì)算單元與磁盤(pán)陣列組的數(shù)據(jù)交 換和并行數(shù)據(jù)處理的信息交換。④集成化機(jī)箱為抽拉式緊湊式機(jī)箱，包括電器控制部分、信號(hào)輸出、溫度控制、防 震處理以及各種接口組成；機(jī)箱內(nèi)部布局緊湊，底部為電源控制部分，為整個(gè)系統(tǒng)供電，中 部為計(jì)算節(jié)點(diǎn)，排列方式為豎立式，共有六個(gè)豎立的計(jì)算單元，布局與排列方式如圖2所 示，上部為平放的四個(gè)磁盤(pán)，通過(guò)RAID與控制計(jì)算單元相連構(gòu)建4TB磁盤(pán)陣列，其構(gòu)建關(guān)系 與連接關(guān)系如②所述。計(jì)算節(jié)點(diǎn)、控制節(jié)點(diǎn)和共享式存儲(chǔ)單元均通過(guò)千兆網(wǎng)線與千兆以太 網(wǎng)交換機(jī)相連構(gòu)建局域網(wǎng)絡(luò)，如圖5所示。⑤基于網(wǎng)絡(luò)通訊協(xié)議NetBIOS和多磁盤(pán)RAID的文件10，文件IO的功能利用網(wǎng)絡(luò) 附加存儲(chǔ)設(shè)備(RAID存儲(chǔ))與操作系統(tǒng)的網(wǎng)絡(luò)磁盤(pán)共享和網(wǎng)絡(luò)磁盤(pán)映射功能來(lái)實(shí)現(xiàn)，能夠 實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)與并發(fā)訪問(wèn)。⑥基于網(wǎng)絡(luò)通訊協(xié)議TCP/IP的消息傳遞，通過(guò)UDP和TCP的組合，實(shí)現(xiàn)了系統(tǒng)的 信息同步以及計(jì)算過(guò)程和計(jì)算結(jié)果的同步。⑦任務(wù)分配與負(fù)載均衡是并行處理的核心，本發(fā)明自主開(kāi)發(fā)網(wǎng)絡(luò)擴(kuò)展服務(wù)實(shí)現(xiàn)計(jì) 算并行控制，將處理任務(wù)進(jìn)行并行分解并創(chuàng)建任務(wù)列表，然后連接計(jì)算節(jié)點(diǎn)，從任務(wù)列表中 取出任務(wù)進(jìn)行分配。如果某臺(tái)計(jì)算節(jié)點(diǎn)處理完當(dāng)前分配任務(wù)，則從任務(wù)列表中取出下一個(gè) 任務(wù)給其指派，以此達(dá)到負(fù)載均衡。下面以具體實(shí)施例詳細(xì)描述本發(fā)明(1)緊湊型機(jī)箱設(shè)計(jì)機(jī)箱溫度主要通過(guò)風(fēng)道設(shè)計(jì)，構(gòu)建自然風(fēng)通道，通過(guò)自然風(fēng)的流動(dòng)，使機(jī)箱內(nèi)部散 熱。機(jī)箱內(nèi)外的空氣有序流動(dòng)是機(jī)箱內(nèi)部散熱的主要方式，因此在機(jī)箱的兩側(cè)設(shè)計(jì)了風(fēng)孔， 并在機(jī)箱一側(cè)安裝了四個(gè)排風(fēng)扇，以加速機(jī)箱內(nèi)外的空氣流動(dòng)，達(dá)到控制機(jī)箱的溫度目的。(2)計(jì)算單元的緊湊化設(shè)計(jì)為了減少計(jì)算單元所占用的空間，主板采用小型化主板，尺寸為 171. 45mmX 171. 45mm，電源采用 Micro ATX 電源，體積是 125mmX IOOmmX63. 51mm。硬盤(pán) 采用2. 5寸筆記本硬盤(pán)，并安裝在單元的反面，從而使計(jì)算機(jī)單元為最為緊湊，處理器采用 Intel 二核或四核處理器。下面描述本發(fā)明的并行處理環(huán)境(1)并行處理硬件結(jié)構(gòu)圖磁盤(pán)陣列或TB級(jí)磁盤(pán)組提供海量數(shù)據(jù)的存儲(chǔ)與并發(fā)訪問(wèn)能力，計(jì)算節(jié)點(diǎn)完成大 計(jì)算量的計(jì)算任務(wù)，控制節(jié)點(diǎn)完成并行任務(wù)的分解調(diào)度與人機(jī)交互功能。利用千兆網(wǎng)絡(luò)交 換機(jī)將各終端設(shè)備互聯(lián)，保障各終端設(shè)備間的高速數(shù)據(jù)通訊需求，如圖5所示。(2)并行處理實(shí)現(xiàn)過(guò)程本系統(tǒng)以TCP/IP協(xié)議為基礎(chǔ)，使用Socket阻塞模式開(kāi)發(fā)服務(wù)程序(以下稱(chēng)基礎(chǔ)服務(wù)程序)，基礎(chǔ)服務(wù)程序主要實(shí)現(xiàn)計(jì)算機(jī)間的基礎(chǔ)通訊，基礎(chǔ)服務(wù)程序框架如圖6所示。在每個(gè)參加計(jì)算的節(jié)點(diǎn)計(jì)算機(jī)上都必須安裝基礎(chǔ)服務(wù)程序，基礎(chǔ)服務(wù)程序是一個(gè) 單實(shí)例的程序(網(wǎng)絡(luò)資源是獨(dú)占式的，不支持多實(shí)例訪問(wèn))。安裝了基礎(chǔ)服務(wù)程序后，其他 計(jì)算機(jī)只要在網(wǎng)絡(luò)上使用廣播方式發(fā)出查詢(xún)，就可以發(fā)現(xiàn)本計(jì)算機(jī)，并通過(guò)查詢(xún)結(jié)果與本 計(jì)算機(jī)建立網(wǎng)絡(luò)連接。該基礎(chǔ)服務(wù)程序，具體包括以下步驟，參見(jiàn)圖6所示啟動(dòng)監(jiān)聽(tīng)網(wǎng)絡(luò)查詢(xún)；判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)查詢(xún)，如果是，則解析查詢(xún)數(shù)據(jù)，啟動(dòng)對(duì)應(yīng)的處理程序；如果 否，則返回繼續(xù)判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)查詢(xún)。在本系統(tǒng)中網(wǎng)絡(luò)查詢(xún)偵為定長(zhǎng)偵，大小定義為64字節(jié)，定義如表1 :表1查詢(xún)偵定義 在數(shù)據(jù)段中存放查詢(xún)的內(nèi)容和查詢(xún)結(jié)果，目前用于存放發(fā)出查詢(xún)的計(jì)算機(jī)IP地 址以及回應(yīng)計(jì)算機(jī)的IP地址。在基礎(chǔ)服務(wù)程序基層上，本系統(tǒng)建立了一個(gè)基礎(chǔ)管理程序，基礎(chǔ)管理程序使用以 TCP/IP協(xié)議為基礎(chǔ)，使用Socket阻塞模式，是B/S模式的程序?；A(chǔ)管理程序主要實(shí)現(xiàn)對(duì) 這個(gè)參與計(jì)算的網(wǎng)格計(jì)算機(jī)進(jìn)行管理和調(diào)度，包括計(jì)算機(jī)狀態(tài)的報(bào)告、接受和協(xié)調(diào)各個(gè)具 體計(jì)算的程序、強(qiáng)制結(jié)束或者終止具體計(jì)算的程序、報(bào)告計(jì)算機(jī)整體資源的使用情況、關(guān)閉 計(jì)算機(jī)、重新啟動(dòng)計(jì)算機(jī)等等，基礎(chǔ)管理程序框架如圖7所示，包括以下步驟啟動(dòng)監(jiān)聽(tīng)網(wǎng)絡(luò)連接；判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)連接，如果否，則返回繼續(xù)判斷是否監(jiān)聽(tīng)到網(wǎng)路連接；如果 是，則執(zhí)行下述步驟；建立網(wǎng)絡(luò)連接；接收網(wǎng)絡(luò)命令；解析命令，并執(zhí)行命令；發(fā)送命令執(zhí)行結(jié)果，并返回判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)連接。在每個(gè)參加計(jì)算的節(jié)點(diǎn)計(jì)算機(jī)上都必須安裝基礎(chǔ)管理程序，基礎(chǔ)服務(wù)程序也是一 個(gè)單實(shí)例的程序。在基礎(chǔ)管理程序中網(wǎng)絡(luò)通訊偵為定長(zhǎng)偵，大小定義為512字節(jié)，網(wǎng)絡(luò)通訊偵定義 如表2 表4-3-2基礎(chǔ)管理中通訊偵定義 結(jié)構(gòu)定義為struct CMD_HDR{UINT cmd ；char strParl[252]；
8
char strPar2[256]；}；如圖10所示，除基礎(chǔ)服務(wù)程序、基礎(chǔ)管理程序外，進(jìn)行網(wǎng)格計(jì)算的程序本身也有 一個(gè)網(wǎng)絡(luò)通訊服務(wù)模塊(以下稱(chēng)網(wǎng)絡(luò)通訊模塊)實(shí)行網(wǎng)格計(jì)算中的數(shù)據(jù)交換和參數(shù)傳遞。 網(wǎng)絡(luò)通訊模塊使用以TCP/IP協(xié)議為基礎(chǔ)，使用Socket阻塞模式，是C/S模式的程序，每個(gè) 計(jì)算機(jī)節(jié)點(diǎn)作為客戶(hù)端(Client)，而發(fā)起計(jì)算的計(jì)算機(jī)作為服務(wù)端(Server)，運(yùn)行原理如 圖8和圖9所示，服務(wù)端包括以下步驟判斷是否為服務(wù)端，如果否，則進(jìn)入客戶(hù)端模式；如果是，則繼續(xù)執(zhí)行下述步驟；發(fā)出可用網(wǎng)絡(luò)連接查詢(xún)；判斷是否有查詢(xún)回應(yīng)，如果否，則報(bào)告沒(méi)有發(fā)現(xiàn)其他可用計(jì)算節(jié)點(diǎn)，連接本計(jì)算機(jī) 為唯一可用節(jié)點(diǎn)；如果是，則執(zhí)行下述步驟；打開(kāi)網(wǎng)卡端口啟動(dòng)監(jiān)聽(tīng)線程，發(fā)出啟動(dòng)網(wǎng)絡(luò)計(jì)算節(jié)點(diǎn)命令，并執(zhí)行下述步驟；判斷是否監(jiān)聽(tīng)到有連接，如果是，則建立網(wǎng)絡(luò)連接，分配計(jì)算任務(wù)，分發(fā)子任務(wù)數(shù) 據(jù)；報(bào)告各子任務(wù)執(zhí)行狀態(tài)，直到各子任務(wù)完成；匯總?cè)蝿?wù)結(jié)果。客戶(hù)端包括以下步驟判斷是否需要啟動(dòng)節(jié)點(diǎn)，如果是，則進(jìn)入服務(wù)端模式，如果否，則執(zhí)行下述步驟；發(fā)出網(wǎng)絡(luò)連接，連接服務(wù)端；接受分配的子任務(wù)和數(shù)據(jù)；執(zhí)行子任務(wù)報(bào)告任務(wù)執(zhí)行狀態(tài)給服務(wù)端；完成子任務(wù)。在網(wǎng)絡(luò)通訊模塊中網(wǎng)絡(luò)通訊偵為可變長(zhǎng)偵，每個(gè)網(wǎng)絡(luò)通訊偵有個(gè)定長(zhǎng)的頭，網(wǎng)絡(luò) 通訊偵定義如表3 表3網(wǎng)絡(luò)通訊模塊中通訊偵定義
0118]偵頭定義為
0119]typedef struct tagNETDAT_HDR
0120]{
0121]UINTdatType;
0122]UINT wParam ；
0123]UINT IParam ；
0124]UINTdatSize;
0125]void*pDat ；
0126]UINT resv[3]；
0127]}NETDAT_HDR;
0128]網(wǎng)絡(luò)通訊模塊是被所有支持網(wǎng)格計(jì)算的程序所引用，因此此模塊要嵌入到每個(gè)程序中，為引用方便，我們將此模塊做成模版庫(kù)和動(dòng)態(tài)庫(kù)，在應(yīng)用程序中只需要包含其頭定義 文件，即可使用。網(wǎng)絡(luò)通訊模塊是在具體應(yīng)用程序中使用，是屬于應(yīng)用層，以上三個(gè)網(wǎng)絡(luò)模塊的關(guān) 系如圖10所示。本系統(tǒng)中，計(jì)算過(guò)程中使用的原始海量數(shù)據(jù)，我們采用操作系統(tǒng)提供的網(wǎng)絡(luò)映射 實(shí)現(xiàn)數(shù)據(jù)的相互交換，計(jì)算過(guò)程使用的參數(shù)以及計(jì)算過(guò)程中需要交換的參數(shù)都通過(guò)網(wǎng)絡(luò)通 訊模塊來(lái)完成。本系統(tǒng)在硬件設(shè)計(jì)中考慮到即要使用原始海量數(shù)據(jù)還要進(jìn)行中間數(shù)據(jù)的交 換，采用了雙網(wǎng)卡實(shí)現(xiàn)數(shù)據(jù)交換的負(fù)載均衡，原始海量數(shù)據(jù)單獨(dú)使用一個(gè)網(wǎng)卡，中間數(shù)據(jù)使 用另一個(gè)網(wǎng)卡。上述實(shí)例用來(lái)解釋說(shuō)明本發(fā)明，而不是對(duì)本發(fā)明進(jìn)行限制，在本發(fā)明的精神和權(quán) 利要求的保護(hù)范圍內(nèi)，對(duì)本發(fā)明做出任何的修改和改變，都落入本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種移動(dòng)多任務(wù)并行處理系統(tǒng)，其特征在于，包括抽拉式緊湊式機(jī)箱，包括電器控制部分、信號(hào)輸出、溫度控制、防震處理以及各種接口組成；機(jī)箱底部為電源控制部分，為整個(gè)系統(tǒng)供電，中部為計(jì)算節(jié)點(diǎn)，排列方式為豎立式，共有六個(gè)豎立的計(jì)算單元，上部為平放的四個(gè)磁盤(pán)，通過(guò)RAID與控制計(jì)算單元相連構(gòu)建4TB磁盤(pán)陣列；集成在上述機(jī)箱內(nèi)的六個(gè)具有獨(dú)立運(yùn)行環(huán)境的計(jì)算節(jié)點(diǎn)，每個(gè)計(jì)算節(jié)點(diǎn)包括主板、多核CPU、內(nèi)存、硬盤(pán)、圖形顯示單元以及網(wǎng)絡(luò)接口；共享式存儲(chǔ)單元由4個(gè)1TB硬盤(pán)、一個(gè)陣列控制器和一個(gè)具有Linux環(huán)境的運(yùn)算和管理功能的節(jié)點(diǎn)控制組成的磁盤(pán)陣列組；千兆以太網(wǎng)交換機(jī)為16口的千兆以太網(wǎng)交換機(jī)，每臺(tái)獨(dú)立運(yùn)行的計(jì)算單元通過(guò)雙通道與其相連，分別占用兩個(gè)千兆交換口。
2.根據(jù)權(quán)利要求1所述的多任務(wù)并行處理移動(dòng)集群系統(tǒng)，其特征在于所述主板采用小型化主板，尺寸為171. 45mmX171. 45mm,電源采用Micro ATX電源，體 積是 125mmX IOOmmX 63. 51mm ；硬盤(pán)采用2. 5寸筆記本硬盤(pán)，并安裝在單元的反面，處理器采用Intel 二核或四核處理ο
3.根據(jù)權(quán)利要求1或2所述的移動(dòng)多任務(wù)并行處理系統(tǒng)，其特征在于所述機(jī)箱長(zhǎng)460mm、寬240mm、高380mm，所述機(jī)箱的兩側(cè)設(shè)計(jì)有風(fēng)孔，并在機(jī)箱一側(cè)安 裝了四個(gè)排風(fēng)扇。
4.根據(jù)權(quán)利要求1所述的多任務(wù)并行處理移動(dòng)集群系統(tǒng)，其特征在于 所述多任務(wù)并行處理移動(dòng)集群系統(tǒng)還包括基礎(chǔ)服務(wù)模塊，用于實(shí)現(xiàn)計(jì)算機(jī)間的基礎(chǔ)通訊；基礎(chǔ)管理模塊，用于實(shí)現(xiàn)對(duì)參與計(jì)算的網(wǎng)格計(jì)算機(jī)進(jìn)行管理和調(diào)度；網(wǎng)格計(jì)算模塊，用于實(shí)現(xiàn)網(wǎng)格計(jì)算中的數(shù)據(jù)交換和參數(shù)傳遞。
5.根據(jù)權(quán)利要求4所述的多任務(wù)并行處理移動(dòng)集群系統(tǒng)，其特征在于 所述基礎(chǔ)服務(wù)模塊進(jìn)一步包括啟動(dòng)監(jiān)聽(tīng)網(wǎng)絡(luò)查詢(xún)的子模塊；判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)查詢(xún)的子模塊，如果是，則解析查詢(xún)數(shù)據(jù)，啟動(dòng)對(duì)應(yīng)的處理程序； 如果否，則返回繼續(xù)判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)查詢(xún)。
6.根據(jù)權(quán)利要求4所述的多任務(wù)并行處理移動(dòng)集群系統(tǒng)，其特征在于 所述基礎(chǔ)管理模塊進(jìn)一步包括啟動(dòng)監(jiān)聽(tīng)網(wǎng)絡(luò)連接的子模塊；判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)連接的子模塊，如果否，則返回繼續(xù)判斷是否監(jiān)聽(tīng)到網(wǎng)路連接；如 果是，則執(zhí)行下述模塊；建立網(wǎng)絡(luò)連接的子模塊； 接收網(wǎng)絡(luò)命令的子模塊； 解析命令，并執(zhí)行命令的子模塊；發(fā)送命令執(zhí)行結(jié)果，并返回判斷是否監(jiān)聽(tīng)到網(wǎng)絡(luò)連接的子模塊。
7.根據(jù)權(quán)利要求4所述的多任務(wù)并行處理移動(dòng)集群系統(tǒng)，其特征在于所述網(wǎng)格計(jì)算模塊進(jìn)一步包括服務(wù)端模塊、客戶(hù)端模塊，其中 服務(wù)端模塊包括判斷是否為服務(wù)端的子模塊，如果否，則進(jìn)入客戶(hù)端模塊；如果是，則繼續(xù)執(zhí)行下述子 模塊；發(fā)出可用網(wǎng)絡(luò)連接查詢(xún)的子模塊；判斷是否有查詢(xún)回應(yīng)的子模塊，如果否，則報(bào)告沒(méi)有發(fā)現(xiàn)其他可用計(jì)算節(jié)點(diǎn)，連接本計(jì) 算機(jī)為唯一可用節(jié)點(diǎn)；如果是，則執(zhí)行下述模塊；打開(kāi)網(wǎng)卡端口啟動(dòng)監(jiān)聽(tīng)線程，發(fā)出啟動(dòng)網(wǎng)絡(luò)計(jì)算節(jié)點(diǎn)命令的子模塊； 判斷是否監(jiān)聽(tīng)到有連接的子模塊，如果是，則建立網(wǎng)絡(luò)連接，分配計(jì)算任務(wù)，分發(fā)子任 務(wù)數(shù)據(jù)；報(bào)告各子任務(wù)執(zhí)行狀態(tài)，直到各子任務(wù)完成的子模塊； 匯總?cè)蝿?wù)結(jié)果的子模塊； 客戶(hù)端?？绨ㄅ袛嗍欠裥枰獑?dòng)節(jié)點(diǎn)的子模塊，如果是，則進(jìn)入服務(wù)端模式，如果否，則執(zhí)行下述步驟；發(fā)出網(wǎng)絡(luò)連接，連接服務(wù)端的子模塊； 接受分配的子任務(wù)和數(shù)據(jù)的子模塊； 執(zhí)行子任務(wù)報(bào)告任務(wù)執(zhí)行狀態(tài)給服務(wù)端的子模塊； 完成子任務(wù)的子模塊。
全文摘要
本發(fā)明涉及一種移動(dòng)多任務(wù)并行處理系統(tǒng)，它將六個(gè)具有獨(dú)立運(yùn)行環(huán)境計(jì)算節(jié)點(diǎn)集成在一個(gè)機(jī)箱內(nèi)，考慮了通風(fēng)、抗震等因素，保障了應(yīng)急條件下計(jì)算機(jī)集成系統(tǒng)可移動(dòng)和便攜性，以適應(yīng)緊急情況下遙感數(shù)據(jù)的快速處理，為應(yīng)急提高數(shù)據(jù)保障。移動(dòng)多任務(wù)并行處理系統(tǒng)硬件方面主要包括五節(jié)點(diǎn)多核CPU結(jié)構(gòu)的數(shù)據(jù)處理節(jié)點(diǎn)、一個(gè)共享式數(shù)據(jù)存儲(chǔ)單元和一個(gè)千兆以太網(wǎng)交換機(jī)。共享式數(shù)據(jù)存儲(chǔ)單元由一個(gè)具有獨(dú)立處理能力的數(shù)據(jù)管理節(jié)點(diǎn)和四塊1TB硬盤(pán)通過(guò)RAID磁盤(pán)陣列卡構(gòu)成磁盤(pán)陣列，利用局域網(wǎng)將計(jì)算節(jié)點(diǎn)和共享式數(shù)據(jù)存儲(chǔ)單元建立多計(jì)算節(jié)點(diǎn)的并行處理平臺(tái)。本發(fā)明主要應(yīng)用于攜帶大容量數(shù)據(jù)，進(jìn)行大型任務(wù)并行計(jì)算的遙感數(shù)據(jù)處理，特別適應(yīng)于應(yīng)急響應(yīng)、上門(mén)地理信息數(shù)據(jù)服務(wù)等。
文檔編號(hào)H04L12/04GK101888414SQ20101022147
公開(kāi)日2010年11月17日 申請(qǐng)日期2010年7月2日 優(yōu)先權(quán)日2010年7月2日
發(fā)明者張劍清, 徐軒, 曹輝, 段延松 申請(qǐng)人:武漢大學(xué)