專利名稱：基于自由市場(chǎng)模型的海量空間信息分布式處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種信息處理技術(shù)領(lǐng)域的方法，具體是一種基于自由市場(chǎng)模型的海量空間信息分布式處理方法。
背景技術(shù)：
空間信息處理這類問(wèn)題有以下特征1)處理量大?？臻g信息處理一般都是大規(guī)模圖像處理，處理量非常大。2)數(shù)據(jù)量大?？臻g信息的數(shù)據(jù)量都是TB級(jí)的。3)每個(gè)數(shù)據(jù)點(diǎn)上的處理形式相同(除邊界外)。將區(qū)域分成若干小區(qū)域，則問(wèn)題可以化為若干個(gè)規(guī)模較小、關(guān)于小區(qū)域的子問(wèn)題。4)變量之間的交互作用是局部的。在每一個(gè)數(shù)據(jù)點(diǎn)上的處理中，只需用到較小距離內(nèi)的鄰近點(diǎn)上的值。以上特征中，特征1)、2)促成了遙感圖像處理對(duì)并行處理技術(shù)的客觀需求；特征4)、5)則正是并行處理所要求的，顯然實(shí)現(xiàn)分布式并行處理是可能的；空間信息處理采用分布式集群處理方式是非常適合的。
經(jīng)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，R.Buyya and S.Vazhkudai.在首屆IEEE/ACM集群計(jì)算與網(wǎng)格國(guó)際研討會(huì)上發(fā)表的“計(jì)算力市場(chǎng)面向基于市場(chǎng)的網(wǎng)格”(First IEEE/ACM International Symposium on Cluster Computing andthe Grid(CCGrid 2001)，Brisbane，Australia，May 15-18，2001.-Computepower marketTowards a market-oriented grid)，該文提出了基于市場(chǎng)模型的分布式處理調(diào)度模型，市場(chǎng)模型非常適合解決網(wǎng)絡(luò)資源分配問(wèn)題經(jīng)濟(jì)活動(dòng)中的市場(chǎng)是一種基于分布自主決策的資源分配機(jī)制，而分布式處理的資源分配恰好需要實(shí)現(xiàn)類似的分布自主決策；市場(chǎng)模型通過(guò)價(jià)格浮動(dòng)反映資源供需狀況的動(dòng)態(tài)變化，通過(guò)供需均衡實(shí)現(xiàn)優(yōu)化分配。這種動(dòng)態(tài)協(xié)調(diào)的資源分配機(jī)制恰恰適合分布式處理的動(dòng)態(tài)特性，并且在此基礎(chǔ)上市場(chǎng)模型還能支持資源的聯(lián)合分配。然而，該方法在任務(wù)分配時(shí)對(duì)資源狀態(tài)采用預(yù)測(cè)機(jī)制，預(yù)測(cè)方法缺點(diǎn)比較明顯大多數(shù)預(yù)測(cè)方法的原理基于線性定常系統(tǒng)的理論，而資源的狀態(tài)值只有在某個(gè)一定的時(shí)間范圍內(nèi)才可近似地認(rèn)為是平穩(wěn)隨機(jī)過(guò)程，就全局而言，它毫無(wú)疑問(wèn)是時(shí)變的，因此，預(yù)測(cè)同樣存在檢測(cè)頻率的問(wèn)題，如果檢測(cè)間隔過(guò)短，則對(duì)系統(tǒng)影響太大，反之則很難保證預(yù)測(cè)值的準(zhǔn)確性。而且，所有處理任務(wù)都是在服務(wù)器端進(jìn)行分配，對(duì)于處理海量空間信息，服務(wù)器負(fù)擔(dān)非常重，必須要有一種改進(jìn)方法減輕服務(wù)器負(fù)擔(dān)、補(bǔ)償預(yù)測(cè)機(jī)制的誤差。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有技術(shù)的上述不足，提出一種基于自由市場(chǎng)模型的海量空間信息分布式處理方法，使其一方面繼承了傳統(tǒng)模型的預(yù)測(cè)機(jī)制對(duì)處理任務(wù)進(jìn)行預(yù)處理，另一方面又克服了傳統(tǒng)模型中消息滯后的缺點(diǎn)，自由市場(chǎng)模型增加資源端調(diào)度機(jī)制，執(zhí)行任務(wù)的選取在資源端進(jìn)行，實(shí)現(xiàn)了市場(chǎng)信息的即時(shí)性，減少服務(wù)器端的負(fù)擔(dān)，提高系統(tǒng)性能。
本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明任務(wù)調(diào)度是通過(guò)服務(wù)器任務(wù)分配調(diào)度和執(zhí)行主機(jī)任務(wù)排序調(diào)度兩個(gè)調(diào)度互動(dòng)實(shí)現(xiàn)任務(wù)動(dòng)態(tài)調(diào)度的，方法如下(1)資源(執(zhí)行主機(jī))向服務(wù)器提出加入集群申請(qǐng)，服務(wù)器接收?qǐng)?zhí)行主機(jī)申請(qǐng)，并為該執(zhí)行主機(jī)分配任務(wù)存儲(chǔ)空間，執(zhí)行主機(jī)進(jìn)入待機(jī)狀態(tài)。
(2)接收服務(wù)器收到任務(wù)提交者提交的任務(wù)后，服務(wù)器對(duì)所有任務(wù)進(jìn)行執(zhí)行代價(jià)估算，按執(zhí)行代價(jià)最小原則對(duì)執(zhí)行任務(wù)進(jìn)行調(diào)度分配，然后把分配好的任務(wù)存儲(chǔ)到各個(gè)執(zhí)行主機(jī)相應(yīng)的任務(wù)存儲(chǔ)空間里。
(3)分布式集群里空閑的執(zhí)行主機(jī)檢測(cè)到自己任務(wù)存儲(chǔ)空間里有等待執(zhí)行的任務(wù)，執(zhí)行主機(jī)對(duì)所有候選任務(wù)進(jìn)行執(zhí)行效益的處理，并按照?qǐng)?zhí)行效益對(duì)候選任務(wù)進(jìn)行排序調(diào)度，淘汰若干個(gè)效益最低的任務(wù)，淘汰后的任務(wù)由服務(wù)器重新分配。提取若干個(gè)效益最高的任務(wù)，執(zhí)行主機(jī)將該任務(wù)相關(guān)的記錄從數(shù)據(jù)庫(kù)提取出來(lái)，并準(zhǔn)備執(zhí)行該任務(wù)。
(4)根據(jù)任務(wù)的描述，執(zhí)行主機(jī)向指定的文件服務(wù)器請(qǐng)求程序文件和數(shù)據(jù)文件；文件服務(wù)器將任務(wù)所需文件傳送給執(zhí)行主機(jī)；任務(wù)完成后，執(zhí)行主機(jī)將輸出文件傳送給提交者，然后轉(zhuǎn)下一個(gè)任務(wù)的執(zhí)行。
本發(fā)明方法區(qū)別于現(xiàn)有處理方法的關(guān)鍵環(huán)節(jié)在于流程第二步和第三步，兩個(gè)步驟都含有基于市場(chǎng)模型的調(diào)度，而現(xiàn)有技術(shù)只有一個(gè)調(diào)度過(guò)程。第二步中，服務(wù)器根據(jù)任務(wù)的市場(chǎng)報(bào)價(jià)按最小執(zhí)行代價(jià)原則對(duì)候選任務(wù)集進(jìn)行調(diào)度分配，因?yàn)橘Y源在服務(wù)器端的記錄總是有滯后，服務(wù)器對(duì)資源狀態(tài)認(rèn)識(shí)只能預(yù)測(cè)，所以對(duì)任務(wù)分隔只能是粗略的分隔預(yù)處理；第三步，資源端根據(jù)市場(chǎng)報(bào)價(jià)按最大執(zhí)行效益對(duì)任務(wù)進(jìn)行排序調(diào)度，執(zhí)行前面若干個(gè)執(zhí)行效益最大的任務(wù)，刪除若干個(gè)執(zhí)行效益最小的任務(wù)，補(bǔ)償服務(wù)器對(duì)資源預(yù)測(cè)的誤差，優(yōu)化處理任務(wù)的合理分配。
以下對(duì)本發(fā)明作進(jìn)一步的說(shuō)明(1)服務(wù)器端對(duì)執(zhí)行任務(wù)進(jìn)行調(diào)度分配用啟發(fā)式靜態(tài)調(diào)度預(yù)處理是分布式處理系統(tǒng)服務(wù)器端不停運(yùn)行的一個(gè)進(jìn)程。
①初始化候選任務(wù)集為全體任務(wù)(1，2，...，m)，候選資源集為全體資源(1，2，...，n)，調(diào)度結(jié)果為空，步數(shù)k為0；②判斷候選任務(wù)集是否為空，是則調(diào)度完成退出，否則轉(zhuǎn)下一步；③判斷候選資源集是否只包含最后一個(gè)資源了，是則將剩余任務(wù)分配給它，調(diào)度完成退出，否則轉(zhuǎn)下一步；④步數(shù)k加1，從候選資源集中任意選取一個(gè)資源i作為t(k)，估算執(zhí)行代價(jià)，在候選任務(wù)集中選取子集k，使得執(zhí)行代價(jià)最小，在調(diào)度結(jié)果中記錄k分配給t(k)；⑤從候選資源集中除去t(k)，從候選任務(wù)集中除去k，轉(zhuǎn)②。
其中服務(wù)器端的任務(wù)調(diào)度的執(zhí)行代價(jià)估算一般地，設(shè)資源量x＝(x1，x2，...，xp)為p維歐氏空間中向量，任務(wù)量y＝(y1，y2，...，yq)為q維歐氏空間中向量，z＝(x，y)表示y在x上執(zhí)行，其代價(jià)f(z)≥0，一般有f((x，0))＝0。例如，取執(zhí)行代價(jià)為執(zhí)行時(shí)間。
給定(z1，z2，...，zn)，就給出了一個(gè)集群的各資源狀態(tài)及其任務(wù)分配，其總代價(jià)為g(z1，z2，...，zn)。一般地，g(z1，z2，...，zn)應(yīng)當(dāng)滿足1)g(z，0，...，0)＝f(z)；2)對(duì)t∈T，g(z1，z2，...，zn)＝g(zt(1)，zt(2)，...，zt(n))，其中T為(1，2，...，n)上的置換集；3)對(duì)k，1≤k≤n，若g(z1，z2，...，zk，zk+1，...，zn)≥g(u1，u2，...，uk，zk+1，...，zn)，則對(duì)uk+1，uk+2，...，un，有g(shù)(z1，z2，...，zk，uk+1，...，un)≥g(u1，u2，...，uk，uk+1，...，un)。
1)說(shuō)明全局代價(jià)是基于某個(gè)執(zhí)行代價(jià)的；2)表明全局代價(jià)與資源的順序無(wú)關(guān)；3)是因?yàn)?，子機(jī)群代價(jià)的增大必然會(huì)導(dǎo)致整個(gè)機(jī)群代價(jià)的增大，不論別的主機(jī)出于什么狀態(tài)。
例如g(z1,z2,...,zn)=maxif(zi);]]>g(z1,z2,...,zn)=Σif2(zi).]]>全局代價(jià)函數(shù)滿足如下公式若Σi=1nzi=z,]]>則有g(shù)(z1，z2，...，zn)≥g(z，0，...，0)；由該性質(zhì)，再結(jié)合全局代價(jià)的性質(zhì)3)，可得k，1≤k≤n，若Σi=1kzi=z,]]>則有g(shù)(z1，z2，...，zn)≥g(z，0，...，0，zk+1，...，zn)定義了執(zhí)行代價(jià)，就可以描述調(diào)度目標(biāo)及模型了。
給定任務(wù)集Y＝{y1，y2，...，ym}和資源集X＝{x1，x2，...，xn}，求分配序列ψ＝{ψn}，滿足1)ψiY；2)----∪1≤i≤nψi=Y;]]>3)i≠j→ψi∩ψj＝φ若ψi≠φ，設(shè)zi=(xi,Σy∈ψiy),]]>否則zi＝(xi，0)，則可定義關(guān)于分配序列的代價(jià)函數(shù)對(duì)每個(gè)資源，執(zhí)行代價(jià)F(ψi，xi)＝f(zi)；對(duì)整個(gè)集群，執(zhí)行代價(jià)G(ψ)＝g(z1，z2，...，zn)調(diào)度的目標(biāo)就是最小化全局執(zhí)行代價(jià)G(ψ)＝g(z1，z2，...，zn)，即G*=minψG(ψ)]]>記此時(shí)的任務(wù)分配解為ψ*={ψn*}.]]>調(diào)度可以理解為對(duì)每個(gè)資源i，確定相應(yīng)的任務(wù)分配子集ψi的過(guò)程。每一步都為某個(gè)資源i選擇其ψi，然后分別將i和ψi從候選資源集和候選任務(wù)集中移去。如果對(duì)每個(gè)資源i都已確定了ψi，則調(diào)度完成?？梢钥吹?，在每一步時(shí)遇到的問(wèn)題性質(zhì)上是一樣的，就是在當(dāng)前候選資源集中選擇一個(gè)資源i，并在當(dāng)前候選任務(wù)集中確定其任務(wù)分配子集ψi。
假設(shè)在第k步，任務(wù)子集序列(1，2，...，k)已經(jīng)分配，其中i分配給t(i)，1≤i≤k，t為(1，2，...，n)上的某個(gè)置換，即已為某k個(gè)資源分配了任務(wù)，則可定義 其中Ψ＝{ψ|ψt(i)＝i，1≤i≤k}，即Qk(1，2，...，k，t)表示所有滿足當(dāng)前分配狀況的分配方法中最優(yōu)的分配方法的全局執(zhí)行代價(jià)。因此，在調(diào)度的每一步k，應(yīng)當(dāng)為資源t(k)分配使Qk(1，2，...，k-1，k，t)最小的任務(wù)集k。
很顯然，Qk(1，2，...，k-1，k，t)一般是無(wú)法處理的，因此本發(fā)明用它的估值代替。Qk(1，2，...，k-1，k，t)的估值可定義為 其中， 很顯然，有 該方法還可以進(jìn)一步改進(jìn)。
為每個(gè)資源t(k)選擇k的依據(jù)是，給定(1，2，...，k-1)及t，k最小化泛函Qk(1，2，...，k，t)，然而在實(shí)際中本發(fā)明用 作為Qk(1，2，...，k，t)的估值，最小化泛函 一般 與Qk(1，2，...，k，t)會(huì)有比較大的偏差，如果能夠獲得比 更接近于Qk(1，2，...，k，t)的估值，就可能改善調(diào)度的性能。
對(duì)第k步，可以通過(guò)處理第k+1步來(lái)獲得Qk(1，2，...，k，t)更準(zhǔn)確的估值。
令
T(t，k)＝{s|s(i)＝t(i)，1≤i≤k，s∈T}，T為(1，2，...，n)上的置換集； Y為任務(wù)集； 其中s*∈T(t，k)。
又 ，其中 所以 所以，對(duì)ε≥0，有 也就是說(shuō)， 和 比 更接近Qk。在上述方法中用 代替 就可改進(jìn)調(diào)度的性能。
(2)資源端對(duì)候選任務(wù)執(zhí)行排序調(diào)度資源端每次執(zhí)行完當(dāng)前任務(wù)即向服務(wù)器端請(qǐng)求獲取任務(wù)。
①.初始化候選任務(wù)集為服務(wù)器預(yù)處理分配給該資源端的任務(wù)集(y1，y2，...，ym)，更新本資源端狀態(tài)列表(S1，S2，...，Sn)，調(diào)度結(jié)果為空，步數(shù)k為0；②.判斷候選任務(wù)集是否為空，是則調(diào)度完成退出，否則轉(zhuǎn)下一步；③.判斷候選任務(wù)集任務(wù)數(shù)量是否小于資源端一次接收任務(wù)數(shù)(N)，是則將所有任務(wù)分配給它，調(diào)度完成退出，否則轉(zhuǎn)下一步；④.步數(shù)k加1，處理執(zhí)行效益，依次選取N個(gè)執(zhí)行效益最大的任務(wù)組成子集yN，在調(diào)度結(jié)果中記錄yN分配給該資源節(jié)點(diǎn)，yN中所有任務(wù)標(biāo)志為已選并從候選任務(wù)集中除去yN；⑤.在剩余任務(wù)集中依次刪除M個(gè)效益最小的候選任務(wù)。所刪除子集yM中任務(wù)重新進(jìn)入服務(wù)器任務(wù)預(yù)處理進(jìn)程；⑥.調(diào)度結(jié)束，轉(zhuǎn)任務(wù)執(zhí)行其中資源端排序調(diào)度的執(zhí)行效益的處理給定任務(wù)集Y＝{y1，y2，...，ym}和本地資源狀態(tài)S，定義每個(gè)任務(wù)的執(zhí)行效益Ei＝f(yi，S) 其中yiY；選中候選任務(wù)集中的N個(gè)任務(wù)YN＝{y1，y2，...，yN}，其滿足條件Σi=1NEi=maxC{y1,y2,...,yN}{y1,y2,...,ym}Σi=1NEi;]]>淘汰候選任務(wù)集中的M個(gè)任務(wù)YM＝{y1，y2，...，yM}，其滿足條件Σi=1MEi=minC{y1,y2,...,yM}{y1,y2,...,ym}Σi=1MEi]]>本發(fā)明主要的創(chuàng)新點(diǎn)在于，處理海量空間信息時(shí)候是把服務(wù)器端繁重的調(diào)度負(fù)擔(dān)有效分擔(dān)至各個(gè)資源端，資源端又通過(guò)反饋的形式把不合理(執(zhí)行效益低)的任務(wù)反饋回服務(wù)器端，補(bǔ)償服務(wù)器對(duì)資源預(yù)測(cè)分配任務(wù)的誤差，優(yōu)化了處理任務(wù)的合理分配，均衡負(fù)載。
具體實(shí)施例方式
為更好地理解本發(fā)明的技術(shù)方案，結(jié)合實(shí)施例對(duì)該方法的實(shí)現(xiàn)作進(jìn)一步描述。
對(duì)該分布式處理環(huán)境進(jìn)行了遙感數(shù)據(jù)處理的實(shí)驗(yàn)。用于實(shí)驗(yàn)的遙感圖像處理任務(wù)是圖像無(wú)縫分割處理程序。遙感圖像無(wú)縫分割非常適合在分布式處理環(huán)境中運(yùn)行，因?yàn)檫b感圖像無(wú)縫分隔具有數(shù)據(jù)量大、處理量大的特點(diǎn)。
基于遙感圖像gabor紋理特征的邊界合并算法，主要由以下幾步組成●將一幅遙感圖像分成大小為512×512或1024×1024的塊；●然后對(duì)每一塊進(jìn)行JSEG分割；●利用分割結(jié)果，對(duì)分割的每個(gè)區(qū)域提取的gabor紋理特征。
整個(gè)基于自由市場(chǎng)模型的分布式處理系統(tǒng)實(shí)驗(yàn)平臺(tái)由8臺(tái)普通臺(tái)式機(jī)組成，其中一個(gè)數(shù)據(jù)庫(kù)、一臺(tái)接收服務(wù)器兼監(jiān)控器，一臺(tái)客戶機(jī)兼文件服務(wù)器，剩下五臺(tái)作為執(zhí)行主機(jī)。PC機(jī)之間的局域網(wǎng)采用10/100M交換機(jī)連接保證信息傳遞的暢通。
本實(shí)施例步驟如下(1)對(duì)任務(wù)市場(chǎng)報(bào)價(jià)進(jìn)行建模。對(duì)于圖像大小一致的圖像，分隔處理量由圖像紋理決定，紋理復(fù)雜的圖像處理量大，因此圖像紋理作為市場(chǎng)報(bào)價(jià)的一個(gè)重要依據(jù)。對(duì)集群提交900個(gè)總共675M大小的原始圖像處理任務(wù)。
(2)服務(wù)器根據(jù)任務(wù)的市場(chǎng)報(bào)價(jià)按最小執(zhí)行代價(jià)原則進(jìn)行任務(wù)分配，原則上處理能力強(qiáng)的執(zhí)行主機(jī)分配到的任務(wù)市場(chǎng)報(bào)價(jià)高，任務(wù)量大。
(3)執(zhí)行主機(jī)按執(zhí)行效益大小提取任務(wù)并執(zhí)行，本實(shí)施例中，執(zhí)行代價(jià)高的任務(wù)其執(zhí)行效益大，因此執(zhí)行代價(jià)和執(zhí)行效益的計(jì)算可以用類似方法。
(4)執(zhí)行主機(jī)處理完任務(wù)后把結(jié)果傳會(huì)任務(wù)提交者，900個(gè)任務(wù)處理后返回的結(jié)果文件1800個(gè)總共304M。
表1實(shí)驗(yàn)數(shù)據(jù)

表1為各執(zhí)行主機(jī)指標(biāo)和各執(zhí)行主機(jī)處理任務(wù)個(gè)數(shù)，從表1的實(shí)驗(yàn)數(shù)據(jù)可以看到，每個(gè)節(jié)點(diǎn)接收的任務(wù)量基本與其處理能力(CPU頻率)成正比，處理能力強(qiáng)的接受任務(wù)多，處理能力小的接受任務(wù)少。從實(shí)驗(yàn)結(jié)果來(lái)看，整個(gè)實(shí)驗(yàn)中的負(fù)載都比較均衡，任務(wù)分配合理。
權(quán)利要求
1.一種基于自由市場(chǎng)模型的海量空間信息分布式處理方法，其特征在于，(1)資源即執(zhí)行主機(jī)向服務(wù)器提出加入集群申請(qǐng)，服務(wù)器接收?qǐng)?zhí)行主機(jī)申請(qǐng)，并為該執(zhí)行主機(jī)分配任務(wù)存儲(chǔ)空間，執(zhí)行主機(jī)進(jìn)入待機(jī)狀態(tài)；(2)接收服務(wù)器收到任務(wù)提交者提交的任務(wù)后，服務(wù)器對(duì)所有任務(wù)進(jìn)行執(zhí)行代價(jià)估算，按執(zhí)行代價(jià)最小原則對(duì)執(zhí)行任務(wù)進(jìn)行調(diào)度分配，然后把分配好的任務(wù)存儲(chǔ)到各個(gè)執(zhí)行主機(jī)相應(yīng)的任務(wù)存儲(chǔ)空間里；(3)分布式集群里空閑的執(zhí)行主機(jī)檢測(cè)到自己任務(wù)存儲(chǔ)空間里有等待執(zhí)行的任務(wù)，執(zhí)行主機(jī)對(duì)所有候選任務(wù)進(jìn)行執(zhí)行效益的處理，并按照?qǐng)?zhí)行效益對(duì)候選任務(wù)進(jìn)行排序調(diào)度，淘汰若干個(gè)效益最低的任務(wù)，淘汰后的任務(wù)由服務(wù)器重新分配，提取若干個(gè)效益最高的任務(wù)，執(zhí)行主機(jī)將該任務(wù)相關(guān)的記錄從數(shù)據(jù)庫(kù)提取出來(lái)，并準(zhǔn)備執(zhí)行該任務(wù)；(4)根據(jù)任務(wù)的描述，執(zhí)行主機(jī)向指定的文件服務(wù)器請(qǐng)求程序文件和數(shù)據(jù)文件，文件服務(wù)器將任務(wù)所需文件傳送給執(zhí)行主機(jī)，任務(wù)完成后，執(zhí)行主機(jī)將輸出文件傳送給提交者，然后轉(zhuǎn)下一個(gè)任務(wù)的執(zhí)行。
2.根據(jù)權(quán)利要求1所述的基于自由市場(chǎng)模型的海量空間信息分布式處理方法，其特征是，所述的(2)中，服務(wù)器端對(duì)執(zhí)行任務(wù)進(jìn)行調(diào)度分配，具體實(shí)現(xiàn)如下①初始化候選任務(wù)集為全體任務(wù)(1，2，...，m)，候選資源集為全體資源(1，2，...，n)，調(diào)度結(jié)果為空，步數(shù)k為0；②判斷候選任務(wù)集是否為空，是則調(diào)度完成退出，否則轉(zhuǎn)下一步；③判斷候選資源集是否只包含最后一個(gè)資源了，是則將剩余任務(wù)分配給它，調(diào)度完成退出，否則轉(zhuǎn)下一步；④步數(shù)k加1，從候選資源集中任意選取一個(gè)資源i作為t(k)，估算執(zhí)行代價(jià)，在候選任務(wù)集中選取子集k，使得執(zhí)行代價(jià)最小，在調(diào)度結(jié)果中記錄k分配給t(k)；⑤從候選資源集中除去t(k)，從候選任務(wù)集中除去k，轉(zhuǎn)②。
3.根據(jù)權(quán)利要求2所述的基于自由市場(chǎng)模型的海量空間信息分布式處理方法，其特征是，所述的估算執(zhí)行代價(jià)，具體實(shí)現(xiàn)如下資源量x＝(x1，x2，...，xp)為p維歐氏空間中向量，任務(wù)量y＝(y1，y2，...，yq)為q維歐氏空間中向量，z＝(x，y)表示y在x上執(zhí)行，其代價(jià)f(z)≥0，給定(z1，z2，...，zn)，就給出了一個(gè)集群的各資源狀態(tài)及其任務(wù)分配，其總代價(jià)為G(ψ)＝g(z1，z2，...，zn)，假設(shè)在第k步，任務(wù)子集序列(1，2，...，k)已經(jīng)分配，其中i分配給t(i)，1≤i≤k，t為(1，2，...，n)上的某個(gè)置換，即已為某k個(gè)資源分配了任務(wù)，則定義 Qk(1，2，...，k-1，k，t)用其估值代替，Qk(1，2，...，k-1，k，t)的估值定義為 其中，
4.根據(jù)權(quán)利要求1所述的基于自由市場(chǎng)模型的海量空間信息分布式處理方法，其特征是，所述的(3)中，資源端對(duì)候選任務(wù)執(zhí)行排序調(diào)度，具體為①初始化候選任務(wù)集為服務(wù)器預(yù)處理分配給該資源端的任務(wù)集(y1，y2，...，ym)，更新本資源端狀態(tài)列表(S1，S2，...，Sn)，調(diào)度結(jié)果為空，步數(shù)k為0；②判斷候選任務(wù)集是否為空，是則調(diào)度完成退出，否則轉(zhuǎn)下一步；③判斷候選任務(wù)集任務(wù)數(shù)量是否小于資源端一次接收任務(wù)數(shù)(N)，是則將所有任務(wù)分配給它，調(diào)度完成退出，否則轉(zhuǎn)下一步；④步數(shù)k加1，處理執(zhí)行效益，依次選取N個(gè)執(zhí)行效益最大的任務(wù)組成子集yN，在調(diào)度結(jié)果中記錄yN分配給該資源節(jié)點(diǎn)，yN中所有任務(wù)標(biāo)志為已選并從候選任務(wù)集中除去yN；⑤在剩余任務(wù)集中依次刪除M個(gè)效益最小的候選任務(wù)，所刪除子集yM中任務(wù)重新進(jìn)入服務(wù)器任務(wù)預(yù)處理進(jìn)程；⑥調(diào)度結(jié)束，轉(zhuǎn)任務(wù)執(zhí)行。
5.根據(jù)權(quán)利要求4所述的基于自由市場(chǎng)模型的海量空間信息分布式處理方法，其特征是，所述的處理執(zhí)行效益，具體實(shí)現(xiàn)如下給定任務(wù)集Y＝{y1，y2，...，ym}和本地資源狀態(tài)S，定義每個(gè)任務(wù)的執(zhí)行效益Ei＝f(yi，S) 其中yiY；選中候選任務(wù)集中的N個(gè)任務(wù)YN＝{y1，y2，...，yN}，其滿足條件Σi=1NEi=maxC{y1,y2,..,ym}{y1,y2,..,yN}Σi=1NEi;]]>淘汰候選任務(wù)集中的M個(gè)任務(wù)YM＝{y1，y2，...，yM}，其滿足條件Σi=1NEi=minC{y1,y2,..,ym}{y1,y2,..,yM}Σi=1NEi.]]>
全文摘要
一種信息處理技術(shù)領(lǐng)域的基于自由市場(chǎng)模型的海量空間信息分布式處理方法，具體為資源即執(zhí)行主機(jī)向服務(wù)器提出加入集群申請(qǐng)；接收服務(wù)器收到任務(wù)提交者提交的任務(wù)后，服務(wù)器對(duì)所有任務(wù)進(jìn)行執(zhí)行代價(jià)估算，按執(zhí)行代價(jià)最小原則對(duì)執(zhí)行任務(wù)進(jìn)行調(diào)度分配；分布式集群里空閑的執(zhí)行主機(jī)檢測(cè)到自己任務(wù)存儲(chǔ)空間里有等待執(zhí)行的任務(wù)，執(zhí)行主機(jī)對(duì)所有候選任務(wù)進(jìn)行執(zhí)行效益的處理，并按照?qǐng)?zhí)行效益對(duì)候選任務(wù)進(jìn)行排序調(diào)度；根據(jù)任務(wù)的描述，執(zhí)行主機(jī)向指定的文件服務(wù)器請(qǐng)求程序文件和數(shù)據(jù)文件，文件服務(wù)器將任務(wù)所需文件傳送給執(zhí)行主機(jī)，任務(wù)完成后，執(zhí)行主機(jī)將輸出文件傳送給提交者。本發(fā)明實(shí)現(xiàn)了市場(chǎng)信息的即時(shí)性，減少服務(wù)器端的負(fù)擔(dān)，提高系統(tǒng)性能。
文檔編號(hào)G06F9/46GK1710542SQ20051002732
公開(kāi)日2005年12月21日 申請(qǐng)日期2005年6月30日 優(yōu)先權(quán)日2005年6月30日
發(fā)明者游文建, 霍宏 申請(qǐng)人:上海交通大學(xué)