：
[0080] 在一個(gè)起源信息窗口中，對(duì)于一個(gè)lOProv與其若干個(gè)后驅(qū)lOProv的關(guān)聯(lián)分?jǐn)?shù)，給 定一個(gè)初始關(guān)聯(lián)分?jǐn)?shù)S，經(jīng)過(guò)與后驅(qū)lOProv的時(shí)間差衰減，得到新的關(guān)聯(lián)分?jǐn)?shù)S作為兩個(gè) fid的關(guān)聯(lián)分?jǐn)?shù)，一直與后驅(qū)lOProv的時(shí)間衰減，直至S小于或等于0才停止；
[0081] 在本實(shí)施例中，對(duì)于每一個(gè)lOProv的fi，給定一個(gè)初始關(guān)聯(lián)分?jǐn)?shù)S，隨兩個(gè)lOProv 之間的時(shí)間差的不斷衰減得到S=S-Δt，計(jì)算若干個(gè)后驅(qū)lOProv的fj的關(guān)聯(lián)分?jǐn)?shù)<fi， fj>為S，一直循環(huán)直至S小于或等于0才停止。
[0082] 上述步驟S6中，所述更新元數(shù)據(jù)強(qiáng)關(guān)聯(lián)列表，具體為：
[0083] 采用離線定時(shí)更新的策略，在系統(tǒng)閑時(shí)計(jì)算關(guān)聯(lián)分?jǐn)?shù)，將更新后的強(qiáng)關(guān)聯(lián)列表傳 輸?shù)絻?nèi)核空間，釋放其他的弱關(guān)聯(lián)關(guān)系，將其他的弱關(guān)聯(lián)關(guān)系存儲(chǔ)到關(guān)聯(lián)分?jǐn)?shù)數(shù)據(jù)庫(kù)中；其 中，所述關(guān)聯(lián)分?jǐn)?shù)數(shù)據(jù)庫(kù)為化sh結(jié)構(gòu)的鍵值數(shù)據(jù)庫(kù)，主鍵為<f 化om，fW_to〉，存儲(chǔ)的值 為相應(yīng)的關(guān)聯(lián)分?jǐn)?shù)。
[0084] 本領(lǐng)域普通技術(shù)人員可W理解實(shí)現(xiàn)上述各實(shí)施例方法中的全部或部分步驟是可 W通過(guò)程序來(lái)指令相關(guān)的硬件來(lái)完成，相應(yīng)的程序可W存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì) 中，所述的存儲(chǔ)介質(zhì)，如R0M/RAM、磁盤(pán)或光盤(pán)等。
[00化]綜上所述，本發(fā)明通過(guò)在客戶端收集與進(jìn)程相關(guān)的起源信息（進(jìn)程起源信息和1/ 0請(qǐng)求起源信息）日志記錄，構(gòu)造可W關(guān)聯(lián)強(qiáng)化的相同起源窗口，并且采用了一種隨時(shí)間衰 減的關(guān)聯(lián)性計(jì)算技術(shù)，計(jì)算元數(shù)據(jù)的關(guān)聯(lián)性，當(dāng)客戶端的元數(shù)據(jù)請(qǐng)求發(fā)生本地的元數(shù)據(jù)緩 存不命中的時(shí)候，預(yù)取關(guān)聯(lián)的元數(shù)據(jù)到客戶端本地的元數(shù)據(jù)緩存中，提高了客戶端本地的 元數(shù)據(jù)緩存命中率，減少對(duì)元數(shù)據(jù)服務(wù)器的請(qǐng)求次數(shù)，避免了元數(shù)據(jù)服務(wù)器頻繁的磁盤(pán)1/ 0,有效地降低了元數(shù)據(jù)服務(wù)器的請(qǐng)求響應(yīng)時(shí)間。
[0086] W上所述，僅為本發(fā)明專(zhuān)利較佳的實(shí)施例，但本發(fā)明專(zhuān)利的保護(hù)范圍并不局限于 此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明專(zhuān)利所公開(kāi)的范圍內(nèi)，根據(jù)本發(fā)明專(zhuān)利的技 術(shù)方案及其發(fā)明專(zhuān)利構(gòu)思加W等同替換或改變，都屬于本發(fā)明專(zhuān)利的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于：所述方法包括以下步 驟： 51、 在客戶端的內(nèi)核空間實(shí)時(shí)收集起源信息日志記錄，采用Netlink協(xié)議從內(nèi)核空間 傳輸?shù)接脩艨臻g，并存儲(chǔ)到起源信息數(shù)據(jù)庫(kù)中；其中，所述起源信息包括進(jìn)程開(kāi)始與結(jié)束時(shí) 間的進(jìn)程起源信息和進(jìn)程操作文件的I/O請(qǐng)求起源信息； 52、 在客戶端選取一部分已收集的起源信息日志記錄，作為元數(shù)據(jù)的關(guān)聯(lián)性訓(xùn)練數(shù)據(jù)， 采用隨時(shí)間衰減的關(guān)聯(lián)度計(jì)算技術(shù)計(jì)算元數(shù)據(jù)兩兩之間的關(guān)聯(lián)分?jǐn)?shù)，對(duì)于每個(gè)元數(shù)據(jù)，選 取關(guān)聯(lián)分?jǐn)?shù)較高的關(guān)聯(lián)關(guān)系，得到最初的強(qiáng)關(guān)聯(lián)列表； 53、 當(dāng)客戶端發(fā)生文件訪問(wèn)請(qǐng)求時(shí)，查詢所述文件的元數(shù)據(jù)是否在客戶端本地的元數(shù) 據(jù)緩存中，若是，則執(zhí)行步驟S5,若否，則執(zhí)行步驟S4 ; 54、 在客戶端的強(qiáng)關(guān)聯(lián)列表中，預(yù)取多個(gè)與所述文件的元數(shù)據(jù)強(qiáng)關(guān)聯(lián)的元數(shù)據(jù)，一并打 包向元數(shù)據(jù)服務(wù)器發(fā)送請(qǐng)求，從元數(shù)據(jù)服務(wù)器下載相應(yīng)的元數(shù)據(jù)，更新客戶端本地的元數(shù) 據(jù)緩存； 55、 從客戶端本地的元數(shù)據(jù)緩存中讀取相應(yīng)的元數(shù)據(jù)信息； 56、 根據(jù)新增的起源信息日志記錄，采用隨時(shí)間衰減的關(guān)聯(lián)度計(jì)算技術(shù)定時(shí)計(jì)算元數(shù) 據(jù)兩兩之間的關(guān)聯(lián)分?jǐn)?shù)，對(duì)于每個(gè)元數(shù)據(jù)，按照關(guān)聯(lián)分?jǐn)?shù)排序，選取關(guān)聯(lián)分?jǐn)?shù)最高的幾個(gè)關(guān) 聯(lián)元數(shù)據(jù)，更新元數(shù)據(jù)強(qiáng)關(guān)聯(lián)列表，為以后的元數(shù)據(jù)預(yù)取提供選擇。2. 根據(jù)權(quán)利要求1所述的客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于： 步驟S1中，所述在客戶端的內(nèi)核空間實(shí)時(shí)收集起源信息日志記錄，具體為： 在客戶端的內(nèi)核空間，攔截exit、exit_group系統(tǒng)調(diào)用，收集進(jìn)程開(kāi)始與結(jié)束時(shí)間的 進(jìn)程起源信息日志記錄；攔截〇pen、read、write、stat、lstat、readdir系統(tǒng)調(diào)用，收集進(jìn)程 操作文件的I/O起源信息日志記錄。3. 根據(jù)權(quán)利要求2所述的客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于： 所述進(jìn)程起源信息日志記錄規(guī)范為一個(gè)三元組，如下： ProcProv(processID，start_time，end_time);其中，ProcProv表不進(jìn)程號(hào)為processID的進(jìn)程，其生命周期區(qū)間為[start_time，end_time]; 所述I/O請(qǐng)求起源信息日志記錄規(guī)范為一個(gè)五元組，如下： IOProv(time，processID，userlD，operationID，fid);其中，time表不記錄發(fā)生的時(shí) 間，processID表示進(jìn)程的pid號(hào)，userlD表示操作進(jìn)程的用戶的ID號(hào)，operationID表示 系統(tǒng)調(diào)用的唯一識(shí)別號(hào)，fid表示每個(gè)文件路徑分配該文件的的唯一識(shí)別號(hào)。4. 根據(jù)權(quán)利要求3所述的客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于： 步驟S1中，所述起源信息數(shù)據(jù)庫(kù)為T(mén)okyoCabinet鍵值數(shù)據(jù)庫(kù)；其中，存儲(chǔ)ProcProv記錄 的數(shù)據(jù)為B+樹(shù)形結(jié)構(gòu)的鍵值數(shù)據(jù)，主鍵為<start_time，processID>;存儲(chǔ)IOProv記錄 的數(shù)據(jù)為B+樹(shù)形結(jié)構(gòu)的鍵值數(shù)據(jù)，主鍵為<time，fid>。5. 根據(jù)權(quán)利要求3所述的客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于： 步驟S2和S6中，所述計(jì)算元數(shù)據(jù)兩兩之間的關(guān)聯(lián)分?jǐn)?shù)，具體包括： 1) 根據(jù)ProcProv記錄，提取起源信息窗口列表Plist; 2) 對(duì)于起源信息窗口列表Plist的每個(gè)起源信息窗口，從IOProv記錄中讀取I/O請(qǐng)求 的記錄列表； 3)計(jì)算I/O請(qǐng)求的記錄列表中兩兩fid的關(guān)聯(lián)分?jǐn)?shù)。6. 根據(jù)權(quán)利要求5所述的客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于： 步驟1)中所述根據(jù)ProcProv記錄，提取起源信息窗口列表Plist，具體為： 根據(jù)ProcProv記錄的進(jìn)程開(kāi)始與結(jié)束時(shí)間，每當(dāng)兩個(gè)進(jìn)程的生命周期相交，則合并成 一個(gè)更大的進(jìn)程生命周期，直到?jīng)]有相交的進(jìn)程的生命周期，則這個(gè)進(jìn)程生命周期為一個(gè) 起源信息窗口，最后得到一個(gè)起源信息窗口列表Plist。7. 根據(jù)權(quán)利要求5所述的客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于： 步驟3)中所述計(jì)算I/O請(qǐng)求的記錄列表中兩兩fid的關(guān)聯(lián)分?jǐn)?shù)，具體為： 在一個(gè)起源信息窗口中，對(duì)于一個(gè)IOProv與其若干個(gè)后驅(qū)IOProv的關(guān)聯(lián)分?jǐn)?shù)，給定一 個(gè)初始關(guān)聯(lián)分?jǐn)?shù)S，經(jīng)過(guò)與后驅(qū)IOProv的時(shí)間差衰減，得到新的關(guān)聯(lián)分?jǐn)?shù)S作為兩個(gè)fid的 關(guān)聯(lián)分?jǐn)?shù)，一直與后驅(qū)IOProv的時(shí)間衰減，直至S小于或等于0才停止。8. 根據(jù)權(quán)利要求1所述的客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法，其特征在于： 步驟S6中，所述更新元數(shù)據(jù)強(qiáng)關(guān)聯(lián)列表，具體為： 采用離線定時(shí)更新的策略，在系統(tǒng)閑時(shí)計(jì)算關(guān)聯(lián)分?jǐn)?shù)，將更新后的強(qiáng)關(guān)聯(lián)列表傳輸?shù)?內(nèi)核空間，釋放其他的弱關(guān)聯(lián)關(guān)系，將其他的弱關(guān)聯(lián)關(guān)系存儲(chǔ)到關(guān)聯(lián)分?jǐn)?shù)數(shù)據(jù)庫(kù)中；其中， 所述關(guān)聯(lián)分?jǐn)?shù)數(shù)據(jù)庫(kù)為Hash結(jié)構(gòu)的鍵值數(shù)據(jù)庫(kù)，主鍵為<fid_from，fid_to>，存儲(chǔ)的值 為相應(yīng)的關(guān)聯(lián)分?jǐn)?shù)。9. 客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取系統(tǒng)，其特征在于：所述系統(tǒng)包括： 起源信息收集模塊，用于在客戶端的內(nèi)核空間實(shí)時(shí)收集起源信息日志記錄，采用Netlink協(xié)議從內(nèi)核空間傳輸?shù)接脩艨臻g，并存儲(chǔ)到起源信息數(shù)據(jù)庫(kù)中；其中，所述起源信 息包括進(jìn)程開(kāi)始與結(jié)束時(shí)間的進(jìn)程起源信息和進(jìn)程操作文件的I/O請(qǐng)求起源信息； 關(guān)聯(lián)分?jǐn)?shù)計(jì)算模塊，用于在客戶端選取一部分已收集的起源信息日志記錄，作為元數(shù) 據(jù)的關(guān)聯(lián)性訓(xùn)練數(shù)據(jù)，采用隨時(shí)間衰減的關(guān)聯(lián)度計(jì)算技術(shù)計(jì)算元數(shù)據(jù)兩兩之間的關(guān)聯(lián)分 數(shù)，對(duì)于每個(gè)元數(shù)據(jù)，選取關(guān)聯(lián)分?jǐn)?shù)較高的關(guān)聯(lián)關(guān)系，得到最初的強(qiáng)關(guān)聯(lián)列表；以及用于根 據(jù)新增的起源信息日志記錄，采用隨時(shí)間衰減的關(guān)聯(lián)度計(jì)算技術(shù)定時(shí)計(jì)算元數(shù)據(jù)兩兩之間 的關(guān)聯(lián)分?jǐn)?shù)，對(duì)于每個(gè)元數(shù)據(jù)，按照關(guān)聯(lián)分?jǐn)?shù)排序，選取關(guān)聯(lián)分?jǐn)?shù)最高的幾個(gè)關(guān)聯(lián)元數(shù)據(jù)， 更新元數(shù)據(jù)強(qiáng)關(guān)聯(lián)列表； 元數(shù)據(jù)預(yù)取模塊，用于當(dāng)客戶端發(fā)生文件訪問(wèn)請(qǐng)求時(shí)，查詢所述文件的元數(shù)據(jù)是否在 客戶端本地的元數(shù)據(jù)緩存中，若是，則直接從本地緩存中讀取相應(yīng)元數(shù)據(jù)，若否，在客戶端 的強(qiáng)關(guān)聯(lián)列表中，預(yù)取多個(gè)與所述文件的元數(shù)據(jù)強(qiáng)關(guān)聯(lián)的元數(shù)據(jù)，一并打包向元數(shù)據(jù)服務(wù) 器發(fā)送請(qǐng)求，從元數(shù)據(jù)服務(wù)器下載相應(yīng)的元數(shù)據(jù)，更新客戶端本地的元數(shù)據(jù)緩存。
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種客戶端起源信息關(guān)聯(lián)感知的元數(shù)據(jù)預(yù)取方法及系統(tǒng)，所述方法包括：在客戶端的內(nèi)核空間實(shí)時(shí)收集起源信息日志記錄，從內(nèi)核空間傳輸?shù)接脩艨臻g；在客戶端選取一部分已收集的起源信息日志記錄，作為元數(shù)據(jù)的關(guān)聯(lián)性訓(xùn)練數(shù)據(jù)，計(jì)算元數(shù)據(jù)兩兩之間的關(guān)聯(lián)分?jǐn)?shù)，得到最初的強(qiáng)關(guān)聯(lián)列表；當(dāng)客戶端發(fā)生文件訪問(wèn)請(qǐng)求，且文件的元數(shù)據(jù)不在客戶端本地的元數(shù)據(jù)緩存中時(shí)，在客戶端的強(qiáng)關(guān)聯(lián)列表中，預(yù)取多個(gè)強(qiáng)關(guān)聯(lián)的元數(shù)據(jù)，從元數(shù)據(jù)服務(wù)器下載相應(yīng)的元數(shù)據(jù)，更新客戶端本地的元數(shù)據(jù)緩存；根據(jù)新增的起源信息日志記錄，定時(shí)更新元數(shù)據(jù)強(qiáng)關(guān)聯(lián)列表。本發(fā)明提高了客戶端的元數(shù)據(jù)緩存命中率，減少對(duì)元數(shù)據(jù)服務(wù)器的訪問(wèn)次數(shù)，從而提高元數(shù)據(jù)服務(wù)的性能。
【IPC分類(lèi)】G06F17/30
【公開(kāi)號(hào)】CN105279240
【申請(qǐng)?zhí)枴緾N201510632669
【發(fā)明人】鄧玉輝, 吳國(guó)錦
【申請(qǐng)人】暨南大學(xué)
【公開(kāi)日】2016年1月27日
【申請(qǐng)日】2015年9月28日