大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法及裝置。方法包括：將輸入的大規(guī)模社交網(wǎng)絡(luò)建模成圖G=(V,E)；通過并行排序算法將圖G上的所有節(jié)點(diǎn)依節(jié)點(diǎn)度的大小關(guān)系作降序排列，并計(jì)算圖G上所有節(jié)點(diǎn)的有效度之和DSum；以DSum/P為等分基準(zhǔn)參考值，依負(fù)載均衡法將圖G等分為P個(gè)子圖；將P個(gè)子圖通過MapReduce并行計(jì)算模型遍歷尋找圖G上的三角形，基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’；采用基于遺傳學(xué)的社區(qū)發(fā)現(xiàn)算法，對(duì)最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)，生成社區(qū)發(fā)現(xiàn)結(jié)果；將社區(qū)發(fā)現(xiàn)結(jié)果逐層反粗化還原到圖G并伴隨作微調(diào)優(yōu)處理，獲得圖G的社區(qū)結(jié)構(gòu)。本發(fā)明能夠精準(zhǔn)而高效地實(shí)現(xiàn)大規(guī)模社交網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)和數(shù)據(jù)分析。
【專利說明】大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)【技術(shù)領(lǐng)域】，尤其涉及一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法及裝置。
【背景技術(shù)】
[0002]所謂方法論改變世界觀，互聯(lián)網(wǎng)高新技術(shù)的出現(xiàn)已經(jīng)將人們傳統(tǒng)意義上的空間網(wǎng)絡(luò)社交關(guān)系推向以Internet (因特網(wǎng))為基礎(chǔ)的虛擬關(guān)系社交網(wǎng)絡(luò)，像新聞組、BBS(Bulletin Board System,電子公告板)、Blog (Web Log,中文意思是“網(wǎng)絡(luò)日志)、郵件網(wǎng)絡(luò)等都是典型的即時(shí)通信系統(tǒng)。隨著Web2.0技術(shù)的出現(xiàn)，社交網(wǎng)絡(luò)的表現(xiàn)形式開始向多樣化、交互式、開放性模式轉(zhuǎn)變，這種靈活而主動(dòng)的交互平臺(tái)極大地豐富了人們參與Internet的方式，其強(qiáng)大的吸引力促使很多社交網(wǎng)絡(luò)如Facebook、Twitter、Linkedln、人人網(wǎng)、新浪微博等其規(guī)模迅速增長(zhǎng)，呈現(xiàn)出空前大規(guī)模的綜合信息數(shù)據(jù)網(wǎng)。全面的分析這些大規(guī)模社交網(wǎng)絡(luò)數(shù)據(jù)，不僅可以為用戶作個(gè)性化推薦服務(wù)、搜索其感興趣的學(xué)術(shù)研討區(qū)或者娛樂社交圈，而且可以為商戶提取有價(jià)值的數(shù)據(jù)信息并指導(dǎo)創(chuàng)建高經(jīng)濟(jì)效益的商業(yè)網(wǎng)，甚至還可以通過挖掘潛在的安全隱患信息群為網(wǎng)絡(luò)安全分析提供數(shù)據(jù)支持。
[0003]社交網(wǎng)絡(luò)同屬于復(fù)雜網(wǎng)絡(luò)范疇，具有小世界、無(wú)標(biāo)度冪律分布和社區(qū)結(jié)構(gòu)特性，而社區(qū)發(fā)現(xiàn)正是利用社區(qū)結(jié)構(gòu)這一特性從中觀角度全面而有效地分析社交網(wǎng)絡(luò)，其本質(zhì)是聚類算法在社交網(wǎng)絡(luò)上的建設(shè)性應(yīng)用。從經(jīng)典的K-L 二分法、圖二分法、k-means、分層聚類到G-N分割法、模塊度聚類、譜聚類、統(tǒng)計(jì)學(xué)算法及其改良，以及一些其他領(lǐng)域技術(shù)學(xué)科概念如信息論、電導(dǎo)率、隨機(jī)游走等引入使得社區(qū)發(fā)現(xiàn)算法的計(jì)算精度和執(zhí)行效率都取得了很大進(jìn)展。但是，基于上述社區(qū)發(fā)現(xiàn)算法分析大規(guī)模社交網(wǎng)絡(luò)時(shí)又面臨一個(gè)全新的挑戰(zhàn)，即處理器物理內(nèi)存容量的限制。算法都是基于主存的，而海量網(wǎng)絡(luò)圖數(shù)據(jù)卻不能同時(shí)被一個(gè)處理器單元內(nèi)存所接收，如果采用數(shù)據(jù)分塊外存儲(chǔ)的辦法，其執(zhí)行效率會(huì)因頻繁的1/0交互占用大系統(tǒng)資源而增加算法的時(shí)間復(fù)雜度；而如果采取抽樣近似或者并行化算法，其信息的不完整性或者分割、負(fù)載的不均衡性會(huì)導(dǎo)致社區(qū)發(fā)現(xiàn)效果驟然下降，甚至背離了社區(qū)結(jié)構(gòu)存在的本然意義。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法及裝置，能夠精準(zhǔn)而高效地實(shí)現(xiàn)大規(guī)模社交網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)。
[0005]為解決上述技術(shù)問題，本發(fā)明提出了一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法，包括:
[0006]步驟一，將輸入的大規(guī)模社交網(wǎng)絡(luò)建模成圖G= (V，E)，其中，V為節(jié)點(diǎn)集合，E為邊集合；圖G上任一節(jié)點(diǎn)V表示大規(guī)模社交網(wǎng)絡(luò)中的個(gè)人或組織，V e V,度d(v)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)數(shù)目，集合N(V)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)集合，邊e表示節(jié)點(diǎn)之間的特定屬性關(guān)系，e e E ；[0007]步驟二，通過并行排序算法將圖G上的所有節(jié)點(diǎn)依節(jié)點(diǎn)度的大小關(guān)系作降序排列，并計(jì)算圖G上所有節(jié)點(diǎn)的有效度之和DSum，其中，節(jié)點(diǎn)V的有效度是指其相鄰節(jié)點(diǎn)集合N(V)中度大于d(v)的所有節(jié)點(diǎn)數(shù)目；
[0008]步驟三，以DSum/P為等分基準(zhǔn)參考值，將圖G上的所有節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖，P為自然數(shù)；
[0009]步驟四，將所述P個(gè)子圖通過所述MapReduce并行計(jì)算模型遍歷尋找圖G上的三角形，然后基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’ ；
[0010]步驟五，采用基于遺傳學(xué)的社區(qū)發(fā)現(xiàn)算法，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)，生成社區(qū)發(fā)現(xiàn)結(jié)果，其中，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)是指將圖G’上的節(jié)點(diǎn)依鏈接關(guān)系聚合生成一個(gè)個(gè)的簇，使得簇內(nèi)節(jié)點(diǎn)聯(lián)系緊密，簇間節(jié)點(diǎn)聯(lián)系稀疏；
[0011]步驟六，將所述社區(qū)發(fā)現(xiàn)結(jié)果逐層反粗化還原到所述圖G并伴隨作微調(diào)優(yōu)處理，從而獲得圖G的社區(qū)結(jié)構(gòu)，也即所述輸入大規(guī)模社交網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)。
[0012]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法還可具有以下特點(diǎn)，所述步驟四中，基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’包括:
[0013]將所述P個(gè)子圖通過MapReduce并行計(jì)算模型，在每個(gè)子圖部分以節(jié)點(diǎn)度升序的方式遍歷尋找該子圖上的三角形拓?fù)浣Y(jié)構(gòu)，每當(dāng)遇到一個(gè)三角形，將該三角形內(nèi)部三個(gè)頂點(diǎn)向其中度最大的節(jié)點(diǎn)收縮融合形成一個(gè)復(fù)合節(jié)點(diǎn)，連邊融合，而垂懸點(diǎn)向內(nèi)點(diǎn)融合，直至整個(gè)圖G遍歷完成形成第一粗化歸約圖G1，然后在第一粗化歸約圖G1的基礎(chǔ)上繼續(xù)執(zhí)行步驟三和步驟四進(jìn)行下一層粗化歸約，如此循環(huán)迭代直至最終生成的粗化歸約圖規(guī)模小于或等于預(yù)設(shè)的規(guī)模閾值，則終止粗化。
[0014]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法還可具有以下特點(diǎn)，所述步驟二中，所述并行排序算法可以為Shell排序算法、快速排序算法或歸并排序算法。
[0015]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法還可具有以下特點(diǎn)，所述步驟一中，所述圖G采用鄰接表的方式表示，圖G中每個(gè)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包含節(jié)點(diǎn)的標(biāo)號(hào)、節(jié)點(diǎn)的度以及節(jié)點(diǎn)的有效度。
[0016]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法還可具有以下特點(diǎn)，所述步驟三中，在以DSum/P為等分基準(zhǔn)參考值，將圖G上的節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖的過程中，若一個(gè)節(jié)點(diǎn)的鄰接鏈表被子圖Pi和子圖Pj從中間分開，則將該鄰接鏈表完整的歸屬于子圖Pi中，其中，子圖Pi為子圖Pj的相鄰劃分子圖。
[0017]為解決上述技術(shù)問題，本發(fā)明還提出了一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，包括順次相連的建模模塊、排序模塊、分配模塊、粗化模塊、社區(qū)發(fā)現(xiàn)模塊和反粗化模塊，其中:
[0018]建模模塊，用于將輸入的大規(guī)模社交網(wǎng)絡(luò)建模成圖G=(V，E)，其中，V為節(jié)點(diǎn)集合，E為邊集合；圖G上任一節(jié)點(diǎn)V表示大規(guī)模社交網(wǎng)絡(luò)中的個(gè)人或組織，V e V,度d(v)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)數(shù)目，集合N(V)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)集合，邊e表示節(jié)點(diǎn)之間的特定屬性關(guān)系，eeE;
[0019]排序模塊，用于通過并行排序算法將圖G上的所有節(jié)點(diǎn)依節(jié)點(diǎn)度的大小關(guān)系作降序排列，并計(jì)算圖G上所有節(jié)點(diǎn)的有效度之和DSum，其中，節(jié)點(diǎn)V的有效度是指其相鄰節(jié)點(diǎn)集合N(V)中度大于d(v)的所有節(jié)點(diǎn)數(shù)目；
[0020]分配模塊，用于以DSum/P為等分基準(zhǔn)參考值，將圖G上的所有節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖，P為自然數(shù)；
[0021]粗化模塊，用于將所述P個(gè)子圖通過所述MapReduce并行計(jì)算模型遍歷尋找圖G上的三角形，然后基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G，；
[0022]社區(qū)發(fā)現(xiàn)模塊，用于采用基于遺傳學(xué)的社區(qū)發(fā)現(xiàn)算法，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)，生成社區(qū)發(fā)現(xiàn)結(jié)果，其中，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)是指將圖G’上的節(jié)點(diǎn)依鏈接關(guān)系聚合生成一個(gè)個(gè)的簇，使得簇內(nèi)節(jié)點(diǎn)聯(lián)系緊密，簇間節(jié)點(diǎn)聯(lián)系稀疏；
[0023]反粗化模塊，用于將所述社區(qū)發(fā)現(xiàn)結(jié)果逐層反粗化還原到所述圖G并伴隨作微調(diào)優(yōu)處理，從而獲得圖G的社區(qū)結(jié)構(gòu)，也即所述輸入大規(guī)模社交網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)。
[0024]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置還可具有以下特點(diǎn)，所述粗化模塊包括粗化單元，所述粗化單元用于將所述P個(gè)子圖通過MapReduce并行計(jì)算模型，在每個(gè)子圖部分以節(jié)點(diǎn)度升序的方式遍歷尋找該子圖上的三角形拓?fù)浣Y(jié)構(gòu)，每當(dāng)遇到一個(gè)三角形，將該三角形內(nèi)部三個(gè)頂點(diǎn)向其中度最大的節(jié)點(diǎn)收縮融合形成一個(gè)復(fù)合節(jié)點(diǎn)，連邊融合，而垂懸點(diǎn)向內(nèi)點(diǎn)融合，直至整個(gè)圖G遍歷完成形成第一粗化歸約圖G1，然后在第一粗化歸約圖G1的基礎(chǔ)上繼續(xù)調(diào)用上一級(jí)分配模塊和本級(jí)模塊進(jìn)行下一層粗化歸約，如此循環(huán)迭代直至最終生成的粗化歸約圖規(guī)模小于或等于預(yù)設(shè)的規(guī)模閾值，則終止粗化。
[0025]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置還可具有以下特點(diǎn)，所述排序模塊可以為Shell排序單元、快速排序單元或歸并排序單元，其中:
[0026]Shell排序單元,用于通過采用Shell排序算法的MapReduce并行計(jì)算模型,求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum ；
[0027]快速排序單元，用于通過采用快速排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum ；
[0028]歸并排序單元，用于通過采用歸并排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum0
[0029]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置還可具有以下特點(diǎn)，所述圖G采用鄰接表的方式表示，圖G中每個(gè)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包含節(jié)點(diǎn)的標(biāo)號(hào)、節(jié)點(diǎn)的度以及節(jié)點(diǎn)的有效度。
[0030]進(jìn)一步地，上述大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置還可具有以下特點(diǎn)，所述分配模塊在以DSum/P為等分基準(zhǔn)參考值，將圖G上的所有節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖的過程中，若一個(gè)節(jié)點(diǎn)的鄰接鏈表被子圖Pi和子圖Pj從中間分開，則將該鄰接鏈表完整的歸屬于子圖Pi中，其中，子圖Pi為子圖Pj的相鄰劃分子圖。
[0031]本發(fā)明的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法及裝置，充分利用了三角形這一拓?fù)涮卣鲗?duì)大規(guī)模社交網(wǎng)絡(luò)圖進(jìn)行并行化多層粗化處理，不僅以較高的粗化率快速而有效的縮減大規(guī)模社交網(wǎng)絡(luò)圖，而且在粗化過程中充分保留了大規(guī)模社交網(wǎng)絡(luò)圖的自然社區(qū)屬性結(jié)構(gòu)，為后續(xù)最簡(jiǎn)歸約圖上的社區(qū)發(fā)現(xiàn)、反粗化還原和微調(diào)優(yōu)奠定了基礎(chǔ)，能夠精準(zhǔn)而高效地實(shí)現(xiàn)大規(guī)模社交網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)和數(shù)據(jù)分析。
【專利附圖】

【附圖說明】
[0032]圖1為本發(fā)明實(shí)施例中大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法的流程圖；
[0033]圖2為本發(fā)明實(shí)施例中大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0034]以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0035]首先說明一下社區(qū)的概念。社區(qū)是一個(gè)網(wǎng)絡(luò)中的成員(或者個(gè)體)趨于形成緊密聯(lián)系的簇(或者集團(tuán))，即簇內(nèi)(或者集團(tuán)內(nèi))成員(或者個(gè)體)聯(lián)系緊密，簇間(或者集團(tuán)間)成員(或者個(gè)體)聯(lián)系稀疏。社區(qū)發(fā)現(xiàn)就是尋找網(wǎng)絡(luò)中存在的這些內(nèi)聚的簇(或者集團(tuán))。N-Clique (即N階完全子圖)是一個(gè)理想的內(nèi)聚簇,而三角形是N-Clique族中結(jié)構(gòu)最簡(jiǎn)單的完全子圖，因而構(gòu)成一個(gè)最簡(jiǎn)單的社區(qū)結(jié)構(gòu)，本發(fā)明亦將三角形稱為基本社區(qū)單元。
[0036]圖1為本發(fā)明實(shí)施例中大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法的流程圖。如圖1所示，本實(shí)施例中，大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法可以包括如下步驟:
[0037]步驟SlOl，將輸入的大規(guī)模社交網(wǎng)絡(luò)建模成圖G= (V，E)，其中，V為節(jié)點(diǎn)集合，E為邊集合；圖G上任一節(jié)點(diǎn)V表示大規(guī)模社交網(wǎng)絡(luò)中的個(gè)人或組織，V e V,度d(v)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)數(shù)目，集合N(V)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)集合，邊e表示節(jié)點(diǎn)之間的特定屬性關(guān)系，e e E ；
[0038]其中，特定屬性關(guān)系可以是好友關(guān)系、合作關(guān)系等。
[0039]本步驟是對(duì)輸入大規(guī)模社交網(wǎng)絡(luò)數(shù)據(jù)所作的預(yù)處理，并將大規(guī)模社交網(wǎng)絡(luò)圖G以鄰接表的形式存儲(chǔ)于外部文件中。
[0040]本步驟中，大規(guī)模社交網(wǎng)絡(luò)圖G采用鄰接表的形式表示，每個(gè)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)不僅要包含節(jié)點(diǎn)的標(biāo)號(hào)，還要包含節(jié)點(diǎn)的度(節(jié)點(diǎn)的度即該節(jié)點(diǎn)的相鄰節(jié)點(diǎn)的數(shù)目)以及節(jié)點(diǎn)的有效度(節(jié)點(diǎn)的有效度即度大于該節(jié)點(diǎn)度的所有相鄰節(jié)點(diǎn)的數(shù)目)。
[0041]步驟S102，通過并行排序算法將圖G上的所有節(jié)點(diǎn)依節(jié)點(diǎn)度的大小關(guān)系作降序排列，并計(jì)算圖G上所有節(jié)點(diǎn)的有效度之和DSum，其中，節(jié)點(diǎn)V的有效度是指其相鄰節(jié)點(diǎn)集合N(V)中度大于d(v)的所有節(jié)點(diǎn)數(shù)目；
[0042]本步驟中，可以利用MapReduce并行計(jì)算模型實(shí)現(xiàn)節(jié)點(diǎn)度排序算法(指上述的并行排序算法)。利用MapReduce并行計(jì)算模型實(shí)現(xiàn)的節(jié)點(diǎn)度排序算法可以采用任何高效的可并行化的排序算法。本步驟中的并行排序算法可以是Shell排序算法、快速排序算法、歸并排序算法等。
[0043]輸入大規(guī)模社交網(wǎng)絡(luò)的節(jié)點(diǎn)度排序采用MapReduce并行計(jì)算模型實(shí)現(xiàn)，可以有效降低排序?qū)φ麄€(gè)系統(tǒng)性能的影響；在并行排序的同時(shí)遍歷每個(gè)節(jié)點(diǎn)的有效度，并累加求得圖G上所有節(jié)點(diǎn)有效度值之和DSum。
[0044]步驟S103，以DSum/P為等分基準(zhǔn)參考值，將圖G上的所有節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖，P為自然數(shù)；
[0045]MapReduce是一個(gè)并行計(jì)算模型,如果其包含P個(gè)Map任務(wù)單元,那么按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則，以DSum/P為等分基準(zhǔn)參考值，可將圖G劃分形成P個(gè)等分子圖，并且保留每個(gè)子圖上節(jié)點(diǎn)度的排序關(guān)系。
[0046]本步驟中，以DSum/P為等分基準(zhǔn)參考值的P劃分方法是后續(xù)基于MapReduce遍歷全圖G上三角形拓?fù)浣Y(jié)構(gòu)的一種并行化負(fù)載均衡策略；輪轉(zhuǎn)劃分完成后，每個(gè)子圖內(nèi)部各節(jié)點(diǎn)間度的排序關(guān)系仍然保留。
[0047]步驟S104,將P個(gè)子圖通過所述MapReduce并行計(jì)算模型遍歷尋找圖G上的三角形，然后基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’ ；
[0048]P個(gè)劃分經(jīng)過Map處理，將有強(qiáng)關(guān)聯(lián)的節(jié)點(diǎn)映射到同一個(gè)Reduce上，這里同樣需要DSum/P作均衡規(guī)劃，其間如果一個(gè)節(jié)點(diǎn)的鄰接鏈表被子圖Pi和Pj從中間分開，則將該鄰接鏈表完整的歸屬于相鄰劃分子圖Pi中，從而減少計(jì)算任務(wù)單元之間的頻繁通信。
[0049]本步驟中，基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’包括:將所述P個(gè)子圖通過MapReduce并行計(jì)算模型，在每個(gè)子圖部分以節(jié)點(diǎn)度升序的方式遍歷尋找該子圖上的三角形拓?fù)浣Y(jié)構(gòu)，每當(dāng)遇到一個(gè)三角形，將該三角形內(nèi)部三個(gè)頂點(diǎn)向其中度最大的節(jié)點(diǎn)收縮融合形成一個(gè)復(fù)合節(jié)點(diǎn)，連邊融合，而垂懸點(diǎn)向內(nèi)點(diǎn)融合，直至整個(gè)圖G遍歷完成形成第一粗化歸約圖G1，然后在第一粗化歸約圖G1的基礎(chǔ)上繼續(xù)執(zhí)行步驟S103和步驟S104進(jìn)行下一層粗化 歸約，如此循環(huán)迭代直至最終生成的粗化歸約圖規(guī)模小于或等于預(yù)設(shè)的規(guī)模閾值，則終止粗化。
[0050]每當(dāng)一個(gè)三角形聚合形成一個(gè)復(fù)合節(jié)點(diǎn)都會(huì)導(dǎo)致與其相鄰的拓?fù)浣Y(jié)構(gòu)收縮聚合，特別是高階多邊形會(huì)逐漸向低階多邊形甚至三角形演化，使得圖G上的社區(qū)結(jié)構(gòu)在經(jīng)過一步步的粗化向圖匕、^乃至GmR變過程中越來越趨明顯化。例如，假設(shè)在上一層圖Gi中存在一個(gè)局部拓?fù)浣Y(jié)構(gòu)——六邊形，因?yàn)榕c之鄰邊三角形的在圖Gi中的融合粗化，其上的某條邊或者某幾條邊會(huì)收縮為一個(gè)點(diǎn)，在生成的下一層粗化歸約圖Gj上該六邊形逐漸演變成五邊形、四邊形甚至三角形；這些本屬于同一社區(qū)內(nèi)的多邊形拓?fù)浣Y(jié)構(gòu)(高階多邊形的社區(qū)效應(yīng)相對(duì)較弱)在逐層粗化過程逐漸突顯出來的強(qiáng)社區(qū)性是完全符合網(wǎng)絡(luò)的本然結(jié)構(gòu)特征的。當(dāng)粗化過程結(jié)束后，在最簡(jiǎn)粗化歸約圖Gm上做社區(qū)發(fā)現(xiàn)，其結(jié)果的精度不會(huì)受到任何粗化過程的影響，而且會(huì)因這種強(qiáng)社區(qū)結(jié)構(gòu)而有所提高。
[0051]本步驟中，需要預(yù)先設(shè)定一個(gè)規(guī)模閾值，如果當(dāng)前粗化歸約圖Gi的規(guī)模小于或等于閾值，則粗化終止，否則基于當(dāng)前粗化歸約圖Gi迭代繼續(xù)進(jìn)行下一層粗化歸約過程。這里，規(guī)模閾值是一個(gè)處理器單元的物理內(nèi)存可作社區(qū)發(fā)現(xiàn)計(jì)算的最大數(shù)據(jù)容量規(guī)模，在這樣一個(gè)內(nèi)存可容規(guī)模上，任何高質(zhì)量的社區(qū)發(fā)現(xiàn)算法都可以用來挖掘大規(guī)模社交網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)，有效的將經(jīng)典社區(qū)發(fā)現(xiàn)算法拓展到大規(guī)模或者超大規(guī)模社交網(wǎng)絡(luò)的分析和研究中。
[0052]步驟S105，采用基于遺傳學(xué)的社區(qū)發(fā)現(xiàn)算法，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)，生成社區(qū)發(fā)現(xiàn)結(jié)果，其中，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)是指將圖G’上的節(jié)點(diǎn)依鏈接關(guān)系聚合生成一個(gè)個(gè)的簇，使得簇內(nèi)節(jié)點(diǎn)聯(lián)系緊密，簇間節(jié)點(diǎn)聯(lián)系稀疏；
[0053]本步驟中，可以采用基于遺傳學(xué)機(jī)制的社區(qū)發(fā)現(xiàn)算法，該算法的優(yōu)勢(shì)是不受未定社區(qū)結(jié)構(gòu)形狀的限制，通過搜索占優(yōu)解空間而高效的發(fā)現(xiàn)社區(qū)及其自然社區(qū)數(shù)目，并利用遺傳學(xué)中的變異理論拓展解空間搜索范圍，從而有效地解決了由局部最優(yōu)解導(dǎo)致的算法提前終止問題。
[0054]步驟S106，將社區(qū)發(fā)現(xiàn)結(jié)果逐層反粗化還原到所述圖G并伴隨作微調(diào)優(yōu)處理，從而獲得圖G的社區(qū)結(jié)構(gòu)，也即所述輸入的大規(guī)模社交網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)。
[0055]本步驟中，逐層反粗化就是一層接一層的反粗化，是粗化的逆過程。由于復(fù)合節(jié)點(diǎn)是一個(gè)三角形三內(nèi)點(diǎn)的聚合收縮，本屬于一個(gè)基本社區(qū)范疇，因此在反粗化過程中，可以將由該復(fù)合結(jié)點(diǎn)展開的多個(gè)節(jié)點(diǎn)都?xì)w屬到該復(fù)合結(jié)點(diǎn)所屬社區(qū)內(nèi)，而不會(huì)破壞社區(qū)結(jié)構(gòu)特征，既保留了社區(qū)結(jié)構(gòu)拓?fù)湫裕执蟠蠛?jiǎn)化了邊界調(diào)優(yōu)工作。
[0056]與現(xiàn)有技術(shù)相比，本發(fā)明大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法具有如下優(yōu)點(diǎn):
[0057](I)采用基于三角形拓?fù)浣Y(jié)構(gòu)的多層并行化粗化方法，可以快速的將大規(guī)模社交網(wǎng)絡(luò)縮減到內(nèi)存可容納范疇，為大規(guī)模數(shù)據(jù)網(wǎng)絡(luò)的分析和研究找到切實(shí)可行的辦法；對(duì)于經(jīng)典的數(shù)據(jù)挖掘算法，特別是社區(qū)發(fā)現(xiàn)算法，可以完全遷移應(yīng)用于大規(guī)模社交網(wǎng)絡(luò)分析，而不需要另外專門設(shè)計(jì)只針對(duì)于大規(guī)模社交網(wǎng)絡(luò)的分析算法。
[0058](2)本發(fā)明的核心點(diǎn)即聚焦于網(wǎng)絡(luò)中的三角形拓?fù)浣Y(jié)構(gòu)?；谌切瓮?fù)浣Y(jié)構(gòu)的粗化方法，如果被分析網(wǎng)絡(luò)本身社區(qū)結(jié)構(gòu)很強(qiáng)，那么其粗化率可以近乎達(dá)到2/3 (—個(gè)三角形內(nèi)部三個(gè)頂點(diǎn)聚合形成一個(gè)復(fù)合節(jié)點(diǎn))，其高效的歸約速度極大地?cái)U(kuò)展了大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)分析的可行性。
[0059](3)無(wú)論是粗化還是反粗化，都是基于三角形拓?fù)浣Y(jié)構(gòu)(即同一基本社區(qū)單元范疇)，粗化融合本來屬于同一社區(qū)的節(jié)點(diǎn)，反粗化也無(wú)需過多的邊界調(diào)優(yōu)，這些步驟的自然省略進(jìn)一步提升了算法的執(zhí)行效率，加強(qiáng)了粗化方法的可擴(kuò)展性，使其適合于大規(guī)模甚至超大規(guī)模社交網(wǎng)絡(luò)的數(shù)據(jù)分析。
[0060]綜上所述，本發(fā)明的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法，充分利用了三角形這一拓?fù)涮卣鲗?duì)大規(guī)模社交網(wǎng)絡(luò)圖進(jìn)行并行化多層粗化處理，不僅以較高的粗化率快速而有效的縮減大規(guī)模社交網(wǎng)絡(luò)圖，而且在粗化過程中充分保留了大規(guī)模社交網(wǎng)絡(luò)圖的自然社區(qū)屬性結(jié)構(gòu)，為后續(xù)最簡(jiǎn)歸約圖上的社區(qū)發(fā)現(xiàn)、反粗化還原和微調(diào)優(yōu)奠定了基礎(chǔ)，能夠精準(zhǔn)而高效地實(shí)現(xiàn)大規(guī)模社交網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)和數(shù)據(jù)分析。
[0061]本發(fā)明還提出了一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，用以執(zhí)行上述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法。以上對(duì)大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法的說明均適用于本發(fā)明的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置。
[0062]圖2為本發(fā)明實(shí)施例中大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置的結(jié)構(gòu)框圖。如圖2所示，本實(shí)施例中，大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置包括順次相連的建模模塊210、排序模塊220、分配模塊230、粗化模塊240、社區(qū)發(fā)現(xiàn)模塊250和反粗化模塊260。其中，建模模塊210用于將輸入的大規(guī)模社交網(wǎng)絡(luò)建模成圖G=(V，E)，其中，V為節(jié)點(diǎn)集合，E為邊集合；圖G上任一節(jié)點(diǎn)V表示大規(guī)模社交網(wǎng)絡(luò)中的個(gè)人或組織,V e V,度d(v)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)數(shù)目，集合N(V)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)集合，邊e表示節(jié)點(diǎn)之間的特定屬性關(guān)系，e e E ;。排序模塊220用于通過并行排序算法將圖G上的所有節(jié)點(diǎn)依節(jié)點(diǎn)度的大小關(guān)系作降序排列，并計(jì)算圖G上所有節(jié)點(diǎn)的有效度之和DSum，其中，節(jié)點(diǎn)V的有效度是指其相鄰節(jié)點(diǎn)集合N(V)中度大于d(v)的所有節(jié)點(diǎn)數(shù)目。分配模塊230用于以DSum/P為等分基準(zhǔn)參考值，將圖G上的節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖，P為自然數(shù)。粗化模塊240用于將所述P個(gè)子圖通過所述MapReduce并行計(jì)算模型遍歷尋找圖G上的三角形，然后基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’。社區(qū)發(fā)現(xiàn)模塊250用于采用基于遺傳學(xué)的社區(qū)發(fā)現(xiàn)算法，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)，生成社區(qū)發(fā)現(xiàn)結(jié)果，其中，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)是指將圖G’上的節(jié)點(diǎn)依鏈接關(guān)系聚合生成一個(gè)個(gè)的簇，使得簇內(nèi)節(jié)點(diǎn)聯(lián)系緊密，簇間節(jié)點(diǎn)聯(lián)系稀疏。反粗化模塊260用于將所述社區(qū)發(fā)現(xiàn)結(jié)果逐層反粗化還原到所述圖G并伴隨作微調(diào)優(yōu)處理，從而獲得圖G的社區(qū)結(jié)構(gòu)，也即所述輸入的大規(guī)模社交網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)。
[0063]其中，圖G可以采用鄰接表的方式表示，圖G中每個(gè)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包含節(jié)點(diǎn)的標(biāo)號(hào)、節(jié)點(diǎn)的度以及節(jié)點(diǎn)的有效度。
[0064]在本發(fā)明實(shí)施例中，粗化模塊240可以包括粗化單元，該粗化單元用于將所述P個(gè)子圖通過MapReduce并行計(jì)算模型，在每個(gè)子圖部分以節(jié)點(diǎn)度升序的方式遍歷尋找該子圖上的三角形拓?fù)浣Y(jié)構(gòu)，每當(dāng)遇到一個(gè)三角形，將該三角形內(nèi)部三個(gè)頂點(diǎn)向其中度最大的節(jié)點(diǎn)收縮融合形成一個(gè)復(fù)合節(jié)點(diǎn)，連邊融合，而垂懸點(diǎn)向內(nèi)點(diǎn)融合，直至整個(gè)圖G遍歷完成形成第一粗化歸約圖G1，然后在第一粗化歸約圖G1的基礎(chǔ)上繼續(xù)調(diào)用分配模塊230和本模塊進(jìn)行下一層粗化歸約，如此循環(huán)迭代直至最終生成的粗化歸約圖規(guī)模小于或等于預(yù)設(shè)的規(guī)模閾值，則終止粗化。
[0065]在本發(fā)明實(shí)施例中，排序模塊220可以是Shel I排序單元、快速排序單元或歸并排序單元。其中，She 11排序單元用于通過采用Shell排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum?？焖倥判騿卧糜谕ㄟ^采用快速排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum。歸并排序單元用于通過采用歸并排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum0
[0066]在本發(fā)明實(shí)施例中，分配模塊230在以DSum/P為等分基準(zhǔn)參考值，將圖G上的節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖的過程中，若一個(gè)節(jié)點(diǎn)的鄰接鏈表被子圖Pi和子圖Pj從中間分開，則將該鄰接鏈表完整的歸屬于子圖Pi中，其中，子圖Pi為子圖Pj的相鄰劃分子圖。
[0067]本發(fā)明的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，充分利用了三角形這一拓?fù)涮卣鲗?duì)大規(guī)模社交網(wǎng)絡(luò)圖進(jìn)行并行化多層粗化處理，不僅以較高的粗化率快速而有效的縮減大規(guī)模社交網(wǎng)絡(luò)圖，而且在粗化過程中充分保留了大規(guī)模社交網(wǎng)絡(luò)圖的自然社區(qū)屬性結(jié)構(gòu)，為后續(xù)最簡(jiǎn)歸約圖上的社區(qū)發(fā)現(xiàn)、反粗化還原和微調(diào)優(yōu)奠定了基礎(chǔ)，能夠精準(zhǔn)而高效地實(shí)現(xiàn)大規(guī)模社交網(wǎng)絡(luò)的社區(qū)發(fā)現(xiàn)和數(shù)據(jù)分析。[0068]以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法，其特征在于，包括: 步驟一，將輸入的大規(guī)模社交網(wǎng)絡(luò)建模成圖G= (V，E)，其中，V為節(jié)點(diǎn)集合，E為邊集合；圖G上任一節(jié)點(diǎn)V表示大規(guī)模社交網(wǎng)絡(luò)中的個(gè)人或組織,V e V,度d(v)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)數(shù)目，集合N(V)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)集合，邊e表示節(jié)點(diǎn)之間的特定屬性關(guān)系，e e E ； 步驟二，通過并行排序算法將圖G上的所有節(jié)點(diǎn)依節(jié)點(diǎn)度的大小關(guān)系作降序排列，并計(jì)算圖G上所有節(jié)點(diǎn)的有效度之和DSum，其中，節(jié)點(diǎn)V的有效度是指其相鄰節(jié)點(diǎn)集合N(V)中度大于d(v)的所有節(jié)點(diǎn)數(shù)目； 步驟三，以DSum/P為等分基準(zhǔn)參考值，將圖G上的所有節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖，P為自然數(shù)； 步驟四，將所述P個(gè)子圖通過所述MapReduce并行計(jì)算模型遍歷尋找圖G上的三角形，然后基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’ ； 步驟五，采用基于遺傳學(xué)的社區(qū)發(fā)現(xiàn)算法，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)，生成社區(qū)發(fā)現(xiàn)結(jié)果，其中，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)是指將圖G’上的節(jié)點(diǎn)依鏈接關(guān)系聚合生成一個(gè)個(gè)的簇，使得簇內(nèi)節(jié)點(diǎn)聯(lián)系緊密，簇間節(jié)點(diǎn)聯(lián)系稀疏； 步驟六，將所述社區(qū)發(fā)現(xiàn)結(jié)果逐層反粗化還原到所述圖G并伴隨作微調(diào)優(yōu)處理，從而獲得圖G的社區(qū)結(jié)構(gòu)，也即所述輸入大規(guī)模社交網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)。
2.根據(jù)權(quán)利要求1所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法，其特征在于，所述步驟四中，基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’包括: 將所述P個(gè)子圖通過MapReduce并行計(jì)算模型，在每個(gè)子圖部分以節(jié)點(diǎn)度升序的方式遍歷尋找該子圖上的三角形拓?fù)浣Y(jié)構(gòu)，每當(dāng)遇到一個(gè)三角形，將該三角形內(nèi)部三個(gè)頂點(diǎn)向其中度最大的節(jié)點(diǎn)收縮融合形成一個(gè)復(fù)合節(jié)點(diǎn)，連邊融合，而垂懸點(diǎn)向內(nèi)點(diǎn)融合，直至整個(gè)圖G遍歷完成形成第一粗化歸約圖G1，然后在第一粗化歸約圖G1的基礎(chǔ)上繼續(xù)執(zhí)行步驟三和步驟四進(jìn)行下一層粗化歸約，如此循環(huán)迭代直至最終生成的粗化歸約圖規(guī)模小于或等于預(yù)設(shè)的規(guī)模閾值，則終止粗化。
3.根據(jù)權(quán)利要求1所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法，其特征在于，所述步驟二中，所述并行排序算法可以為Shell排序算法、快速排序算法或歸并排序算法。
4.根據(jù)權(quán)利要求1所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法，其特征在于，所述步驟一中，所述圖G采用鄰接表的方式表示，圖G中每個(gè)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包含節(jié)點(diǎn)的標(biāo)號(hào)、節(jié)點(diǎn)的度以及節(jié)點(diǎn)的有效度。
5.根據(jù)權(quán)利要求1所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)方法，其特征在于，所述步驟三中，在以DSum/P為等分基準(zhǔn)參考值，將圖G上的節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖的過程中，若一個(gè)節(jié)點(diǎn)的鄰接鏈表被子圖Pi和子圖Pj從中間分開，則將該鄰接鏈表完整的歸屬于子圖Pi中，其中，子圖Pi為子圖Pj的相鄰劃分子圖。
6.一種大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，其特征在于，包括順次相連的建模模塊、排序模塊、分配模塊、粗化模塊、社區(qū)發(fā)現(xiàn)模塊和反粗化模塊，其中: 建模模塊，用于將輸入的大規(guī)模社交網(wǎng)絡(luò)建模成圖G= (V，E)，其中，V為節(jié)點(diǎn)集合，E為邊集合；圖G上任一節(jié)點(diǎn)V表示大規(guī)模社交網(wǎng)絡(luò)中的個(gè)人或組織，V e V,度d(v)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)數(shù)目，集合N(V)表示與節(jié)點(diǎn)V相鄰的節(jié)點(diǎn)集合，邊e表示節(jié)點(diǎn)之間的特定屬性關(guān)系，e e E ； 排序模塊，用于通過并行排序算法將圖G上的所有節(jié)點(diǎn)依節(jié)點(diǎn)度的大小關(guān)系作降序排列，并計(jì)算圖G上所有節(jié)點(diǎn)的有效度之和DSum，其中，節(jié)點(diǎn)V的有效度是指其相鄰節(jié)點(diǎn)集合N(V)中度大于d(v)的所有節(jié)點(diǎn)數(shù)目； 分配模塊，用于以DSum/P為等分基準(zhǔn)參考值，將圖G上的所有節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖，P為自然數(shù)； 粗化模塊，用于將所述P個(gè)子圖通過所述MapReduce并行計(jì)算模型遍歷尋找圖G上的三角形，然后基于三角形拓?fù)浣Y(jié)構(gòu)對(duì)圖G進(jìn)行并行化多層粗化，獲得最簡(jiǎn)粗化歸約圖G’ ； 社區(qū)發(fā)現(xiàn)模塊，用于采用基于遺傳學(xué)的社區(qū)發(fā)現(xiàn)算法，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)，生成社區(qū)發(fā)現(xiàn)結(jié)果，其中，對(duì)所述最簡(jiǎn)粗化歸約圖G’做初始社區(qū)發(fā)現(xiàn)是指將圖G’上的節(jié)點(diǎn)依鏈接關(guān)系聚合生成一個(gè)個(gè)的簇，使得簇內(nèi)節(jié)點(diǎn)聯(lián)系緊密，簇間節(jié)點(diǎn)聯(lián)系稀疏； 反粗化模塊，用于將所述社區(qū)發(fā)現(xiàn)結(jié)果逐層反粗化還原到所述圖G并伴隨作微調(diào)優(yōu)處理，從而獲得圖G的社區(qū)結(jié)構(gòu)，也即所述輸入大規(guī)模社交網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)。
7.根據(jù)權(quán)利要求權(quán)利要求6所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，其特征在于，所述粗化模塊包括粗化單元，所述粗化單元用于將所述P個(gè)子圖通過MapReduce并行計(jì)算模型，在每個(gè)子圖部分以節(jié)點(diǎn)度升序的方式遍歷尋找該子圖上的三角形拓?fù)浣Y(jié)構(gòu)，每當(dāng)遇到一個(gè)三角形，將該三角形內(nèi)部三個(gè)頂點(diǎn)向其中度最大的節(jié)點(diǎn)收縮融合形成一個(gè)復(fù)合節(jié)點(diǎn)，連邊融合，而垂懸點(diǎn)向內(nèi)點(diǎn)融合，直至整個(gè)圖G遍歷完成形成第一粗化歸約圖G1，然后在第一粗化歸約圖G1的基礎(chǔ)上繼續(xù)調(diào)用上一級(jí)分配模塊和本級(jí)模塊進(jìn)行下一層粗化歸約，如此循環(huán)迭代直至最終生成的粗化歸約圖規(guī)模小于或等于預(yù)設(shè)的規(guī)模閾值，則終止粗化。
8.根據(jù)權(quán)利要求權(quán)利要求6所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，其特征在于，所述排序模塊可以為Shell排序單元、快速排序單元或歸并排序單元，其中: Shell排序單元，用于通過采用Shell排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum ； 快速排序單元，用于通過采用快速排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum ； 歸并排序單元，用于通過采用歸并排序算法的MapReduce并行計(jì)算模型，求得圖G上的所有節(jié)點(diǎn)依照節(jié)點(diǎn)度的大小關(guān)系所作的降序排列，以及圖G上所有節(jié)點(diǎn)的有效度之和DSum0
9.根據(jù)權(quán)利要求權(quán)利要求6所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，其特征在于，所述圖G采用鄰接表的方式表示，圖G中每個(gè)節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)包含節(jié)點(diǎn)的標(biāo)號(hào)、節(jié)點(diǎn)的度以及節(jié)點(diǎn)的有效度。
10.根據(jù)權(quán)利要求權(quán)利要求6所述的大規(guī)模社交網(wǎng)絡(luò)社區(qū)的檢測(cè)裝置，其特征在于，所述分配模塊在以DSum/P為等分基準(zhǔn)參考值，將圖G上的所有節(jié)點(diǎn)按照節(jié)點(diǎn)度降序的輪轉(zhuǎn)分配法則循環(huán)分配到MapReduce并行計(jì)算模型中P個(gè)Map任務(wù)上，即依負(fù)載均衡法將圖G等分為P個(gè)子圖的過程 中，若一個(gè)節(jié)點(diǎn)的鄰接鏈表被子圖Pi和子圖Pj從中間分開，則將該鄰接鏈表完整的歸屬于子圖Pi中，其中，子圖Pi為子圖Pj的相鄰劃分子圖。
【文檔編號(hào)】G06F17/30GK103942308SQ201410158112
【公開日】2014年7月23日 申請(qǐng)日期:2014年4月18日 優(yōu)先權(quán)日:2014年4月18日
【發(fā)明者】康穎, 王偉平, 孟丹, 木偉民 申請(qǐng)人:中國(guó)科學(xué)院信息工程研究所