技術(shù)特征:
技術(shù)總結(jié)
本發(fā)明公開了一種感知網(wǎng)絡(luò)流量的YARN調(diào)度方法及系統(tǒng),包括:節(jié)點(diǎn)檢測(cè)節(jié)點(diǎn)的網(wǎng)絡(luò)流量,周期性地將網(wǎng)絡(luò)流量發(fā)送給資源管理器,由資源管理器記錄每個(gè)節(jié)點(diǎn)當(dāng)前的網(wǎng)絡(luò)流量信息,收到節(jié)點(diǎn)匯報(bào)的網(wǎng)絡(luò)流量信息時(shí),對(duì)這個(gè)值進(jìn)行更新,在節(jié)點(diǎn)移除時(shí),刪掉該節(jié)點(diǎn)的網(wǎng)絡(luò)流量信息;在應(yīng)用向資源管理器申請(qǐng)容器時(shí),為容器設(shè)置類型,以便資源管理器能識(shí)別容器的類型;在調(diào)度方面,根據(jù)當(dāng)前節(jié)點(diǎn)與整個(gè)集群的網(wǎng)絡(luò)流量信息,判斷出當(dāng)前節(jié)點(diǎn)的網(wǎng)絡(luò)流量負(fù)載情況,選擇合適的應(yīng)用程序分配資源。本發(fā)明提供的調(diào)度方法能均衡集群中節(jié)點(diǎn)的網(wǎng)絡(luò)負(fù)載,減少M(fèi)apReduce應(yīng)用的執(zhí)行時(shí)間。
技術(shù)研發(fā)人員:辜希武;李瑞軒;王格;李玉華;楊琪;黃鳳玲
受保護(hù)的技術(shù)使用者:華中科技大學(xué)
技術(shù)研發(fā)日:2017.05.26
技術(shù)公布日:2017.10.10