在緩存系統(tǒng)的c項的存儲緩存器中管理n項的列表的存儲的方法
【專利摘要】一種用于管理包括N項(I[i])的列表(L)的存儲的方法，在存儲緩存器(M)中有所述列表的C項(I[i])，所述N項在所述列表中根據(jù)級別i被排序，所述級別i取決于項(I[i])最后被用戶請求的時間，C、N與i是嚴格的正整數(shù)，所述方法根據(jù)對項的請求的接收，提供為所述被請求的項計算流行概率f(i)，f為加速函數(shù)，并根據(jù)所述流行概率確定是否將所述被請求的項移動至更高的級別i。
【專利說明】在緩存系統(tǒng)的C項的存儲緩存器中管理N項的列表的存儲 的方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于管理包括N項的列表的存儲的方法，在存儲緩存器存儲所述列表 的C項，例如包括用于存儲項的存儲緩存器和實現(xiàn)這樣的方法的裝置的緩存系統(tǒng)。
[0002] 本發(fā)明尤其應用于包括用于存儲有限數(shù)量的項的有限大小的存儲緩存器的緩存 系統(tǒng)，所述存儲緩存器的內(nèi)容根據(jù)用戶的項請求以及所述高速緩存系統(tǒng)應用的替換準則隨 著時間而變化。
[0003] 特別地，所述替換準則可為最近最少使用（LRU)替換準則，其依賴于例如項的訪 問頻率，以便從存儲緩存器中移除具有最低存取頻率的項，而在所述存儲緩存器第一級別 放置具有最1?訪問頻率的項。

【背景技術(shù)】
[0004] 緩存系統(tǒng)被廣泛地部署在不同的環(huán)境中，例如在存儲器控制器或在網(wǎng)頁緩存域 中，如 M. RABINOVICH 與 0.SPATSCHECK 的文章 "Web Caching and Replication"（Addison Wesley, 2002第一版，ISBN0-201-61570-3)中所闡釋的。這樣的緩存系統(tǒng)目前 也在內(nèi)容分發(fā)網(wǎng)絡（CDN)中部署，如在A.VAKALI與G.PALLIS (IEEE Internet Computing, 2003)的文章"Content Delivery Networks:Status and Trends" 以及 M.PATHAN 與 R.BUYYA(GRIDS-TR-2007-4,Grid Computing and Distributed Systems Laboratory, University of Melbourne, Australia)的技術(shù)報告"A Taxonomy and Survey of Content Delivery Networks" 中進一步詳細闡釋的。
[0005] 事實上，在這些環(huán)境中，通過將頻繁訪問的項存儲在接近請求者的位置，緩存系統(tǒng) 允許將存儲能力分散到網(wǎng)絡。因此，緩存系統(tǒng)允許實現(xiàn)流量本地化，由于增長的帶寬需求以 及對最流行項的請求的冗余，這受到了高度的鼓勵。
[0006] 例如，在包括通用web服務器的web網(wǎng)絡，web緩存可用于在代理服務器存儲網(wǎng) 頁，所述代理服務器較該通用服務器更接近進行請求的用戶，并因此降低了鏈路上以及所 述負擔過重的通用服務器上的流量負載。這樣的web緩存的使用因此為因特網(wǎng)服務提供商 (ISP)、企業(yè)網(wǎng)絡和用戶提供了顯著的益處。
[0007] 特別是，為了限制互聯(lián)網(wǎng)使用的失控增長導致的帶寬需求，存在一些將本地應用 層緩存擴展至網(wǎng)絡的緩存方案。由Telco?.社區(qū)開發(fā)的內(nèi)容分發(fā)網(wǎng)絡或透明緩存方案是這 樣的方案的案例。此外，在這樣的系統(tǒng)中，內(nèi)容緩存允許改善最終用戶的響應時間，并減少 流量和服務器負載，并且因此增加了服務可用性。
[0008] 透明緩存方案是直接嵌入到承載網(wǎng)絡的網(wǎng)絡存儲方案，用于給予所述網(wǎng)絡的運營 商在內(nèi)容緩存上以及內(nèi)容分發(fā)加速上的完全控制。此外，透明緩存方案允許為不同應用的 內(nèi)容使用單一的底層緩存基礎設施。文章"An Overview Of Transparent Caching and Its Role In The⑶N Market"闡釋了在⑶N網(wǎng)絡中透明緩存方案的實施的進一步具體細節(jié)， 其在 http://blog.streamingmedia.com/the business of online vi/2010/10/an_ove rview-〇f-transparent-caching. html#more 上可用。
[0009] 此外，內(nèi)容中心網(wǎng)絡（CCN)架構(gòu)目前正在開發(fā)中，其基于命名的內(nèi)容而不是主機地 址。特別值得注意的是這樣的架構(gòu)允許通過為路由器配備增強的存儲器將存儲能力嵌入至 網(wǎng)絡。CCN 架構(gòu)進一步在文章"恥七￥(^1^1^似1116(1(：〇1^61^"(￥.從0?5(^，0.1(.5]\^11^1?，工 B. THORNTON, M. F. PLASS，N. H. BRIGGS, R. L. BRAYNARD，C〇NEXT2009, Rome, 2009 年 9 月） 以及 "A Survey of Information-Centric Networking"（B.AHLGREN，C.DANNEVITZ，C. IMBRENDA, D. KUTSCHER, B. 0HLMAN, Dagstuhl Seminar Proceedings, Dagstuhl, Germany, 2 011)中進行了描述，這些在致力于美國國家自然基金（NSF)的已命名數(shù)據(jù)網(wǎng)絡項的網(wǎng)站 http: //www. named-data, net 上。
[0010] 內(nèi)容緩存方案因此被大量的部署，尤其是用于存儲來自不同的應用的內(nèi)容，這復 雜了他們的管理。事實上，作為多個應用之間共享的存儲資源，所述資源的動態(tài)管理必須適 于跟蹤每個內(nèi)容的流行變化，所述流行不僅在時間上也從一個應用到另一個應用上變化很 大。
[0011] 為達到這樣的目的，最普遍的使用最近最少使用（LRU)替換策略管理存儲資源， 因為其相對簡單并易于實現(xiàn)，并且在具有偏移流行分布的內(nèi)容流行模式的情況下，即具有 大的目錄并僅有少數(shù)非常流行的項的流行模式，效率低下。
[0012] 內(nèi)容緩存方案中的替換策略已經(jīng)進行了大量的研究，例如在文章"Multimedia Information Storage and Retrieval: Techniques and Technologies，'（P. K. C. TSE, ISBN 10:1599042258/1-59904-225-8, 2008)的第五部分中所總結(jié)的。
[0013] 特別是，大量的該類研究涉及修正LRU類型的策略，特別是對基于內(nèi)容資源預期 負載的預調(diào)的建立，以便動態(tài)地針對特定的在請求模式與負載上的假設調(diào)節(jié)緩存的管理。 然而，這樣的修正不能很好地適于管理存儲來自許多不同應用的內(nèi)容并且所述內(nèi)容受歡迎 的程度和負載隨著時間變化的緩存系統(tǒng)。
[0014] 基于LRU策略的其他研究集中于標準LRU替換策略的修正，其帶來更好的性能， 但對應的產(chǎn)生更高的復雜性?；谶@樣的修正機制的示例被稱為自適應替換緩存（ARC)， 其在文章"Outperforming LRU with an Adaptive Replacement Cache Algorithm"（N. MEGIDD0, D. S. M0DHA，IEEE Computer, Volume 37, pp. 58-65, 2004 年 4 月）中進行了詳細的 描述。所述機制提出了通過連續(xù)監(jiān)測并利用工作負荷的近因（recency)與頻率的特性處理 流行隨時間變化的問題。這樣的機制相較基于標準策略的機制對請求模式顯示出了較高的 適應，并允許消除工作負載特定（workload-specific)預調(diào)的需求。
[0015] 然而，ARC機制使用復雜度為0(C)的算法，C為存儲緩存器的大小，而標準的LRU 替換策略的算法的復雜度為0(1)。此外，在低請求速率下難以實現(xiàn)對請求流量的有效監(jiān)測。
[0016] 在LRU策略的修正上的另一工作提出利用緩存劃分來提供差異化服務，以適應以 不同需求為特征的項，如文章 "Optimal Partitioning of Cache Memory"（H.S. STONE, J. TUREK，J.L. WOLF, IEEE transactions of computer 1992, volume 41，issue 9)中所闡釋 的。


【發(fā)明內(nèi)容】

[0017] 本發(fā)明的目的為通過提出一種方法改進現(xiàn)有技術(shù)，所述方法用于管理緩存系統(tǒng)的 存儲緩存器中存儲的項。所述方法允許基于LRU型策略的緩存動態(tài)至穩(wěn)態(tài)的快速收斂，所 述穩(wěn)態(tài)即為全部的最流行項被存儲于存儲緩存器中的狀態(tài)，即使流行模式由于在移動環(huán)境 中而存在時間上和/或低請求速率上的變化。
[0018] 實際上，收斂至穩(wěn)態(tài)取決于請求速率，因此當所述速率慢時，經(jīng)驗和最優(yōu)的LRU命 中概率之間可能存在顯著的差異，所述LRU命中概率即為在穩(wěn)態(tài)中的存儲緩存器中找到流 行項的概率。
[0019] 為達到此目的，并且根據(jù)第一方面，本發(fā)明涉及一種方法，所述方法用于管理包括 N項的列表的存儲，存儲緩存器中有所述列表的C項，所述N項在所述列表中根據(jù)級別i被 排序，所述級別i取決于所述項最后被用戶請求的時間，C、N與i是嚴格正整數(shù)，根據(jù)對項 的請求的接收，所述方法提供了為所述被請求的項計算的流行概率f(i)，f?為加速函數(shù)，并 用來根據(jù)所述流行概率確定是否將所述被請求的項移動至更高的級別i。
[0020] 根據(jù)第二方面，本發(fā)明涉及一種緩存系統(tǒng)，包括用于存儲N項列表中的C項的存儲 緩存器，所述緩存系統(tǒng)包括用于接收來自用戶的對項的請求的裝置以及根據(jù)級別i排序所 述列表中的項的裝置，所述級別i取決于所述項最后被請求的時間，N、C與i是嚴格的正整 數(shù)，該緩存系統(tǒng)進一步包括根據(jù)對項的請求的接收，為所述項計算流行概率f(i)的裝置，f 為加速函數(shù)，所述用于排序的裝置適于根據(jù)所述流行概率確定是否將所述被請求的項移動 至更高的級別i。

【專利附圖】

【附圖說明】
[0021] 本發(fā)明的其它方面與優(yōu)點參照附圖及下述描述將變得顯而易見，其中：
[0022] -圖1示意性地表示根據(jù)本發(fā)明的方法的不同步驟；
[0023] -圖2示意性地表示根據(jù)圖1中的方法的列表中N項的排序。

【具體實施方式】
[0024] 關(guān)于這些圖，下文描述了一種方法，該方法用于管理包括N項I[i]的列表N的存 儲，在存儲緩存器M中有所述列表的C項，C與N是嚴格正整數(shù)，并且C對應于所述存儲緩 存器的大小，例如包括存儲所述列表的C項I [i]的存儲緩存器M和實現(xiàn)這樣的方法的裝置 的緩存系統(tǒng)。
[0025] 所述方法提供了列表L的N項I [i]在所述列表中根據(jù)級別i被排序，所述級別i 取決于所述項（I[i])最后被用戶請求的時間，i是嚴格正整數(shù)，例如1[1]為級別1的項并 且為最近最多被請求的項，I [i]為級別i的項，1彡i彡N，并且I [N]為級別N的項并且是 最近最少被請求的項。因此，該方法遵循一個最近最少使用型準則。
[0026] 為了這樣做，該緩存系統(tǒng)包括用于接收來自用戶的對項I[i]的請求的裝置，以及 根據(jù)上述定義的級別i對列表L中的項I [i]進行排序的裝置，使得只有具有1 < i < C的 級別i的項I[i]被存儲在存儲緩存器中。
[0027] 在標準LRU替換策略中，根據(jù)對項的請求的接收，被請求的項I [i]被自動地移動 到列表L的第一級別。此外，如果被請求的項I [i]最初不在存儲緩存器M中，即所述項的 級別i大于C，并且如果所述存儲緩存器已滿，從所述存儲緩存器中移除存儲緩存器M中的 最近最少被請求的項I[C]，而將被請求的項I[i]被移至所述存儲緩存器的第一級別。
[0028] 但是，這樣的傳統(tǒng)的準則下，存儲緩存器M到達其穩(wěn)態(tài)之前經(jīng)歷長的過渡階段，在 穩(wěn)態(tài)中所有最流行的項1[1]均被存儲在所述存儲緩存器中，當項請求速率低時，所述過渡 階段就會更長。此外，過渡階段越長，存儲緩存器M的性能退化（degradation)就越大。
[0029] 特別是，允許的仿真結(jié)果確認LRU緩存動態(tài)的收斂，并且因此存儲緩存器M的性能 受到未完成的流行分布模式知識的負面影響，所述模式特別是反映在已經(jīng)歷的流行概率。 例如，命中概率--其反映了項I[i]在存儲緩存器M中被發(fā)現(xiàn)的概率，或錯失概率--其 相反地反映了項I [i]在所述存儲緩存器M中未被發(fā)現(xiàn)的概率，為流行概率。
[0030] 為了克服這些缺點，所述方法提供，根據(jù)對項I[i]的請求的接收，為所述被請求 的項計算流行概率f(i)-f?為加速函數(shù)，并根據(jù)所述流行概率確定是否將所述被請求的 項移動至更高的級別i
[0031] 特別是，選擇加速函數(shù)以使得對于所有級別i，流行概率f(i)的值在時間上快速 地收斂至其穩(wěn)定值，并且顯著快于具有LRU動態(tài)的緩存系統(tǒng)的流行概率。
[0032] 因此，該方法提出了一種機制，其允許加速緩存系統(tǒng)的緩存動態(tài)，所述機制利用對 項I[i]的本地近因的測量來確定所述項移動至列表L前面的概率。
[0033] 為這樣做，緩存系統(tǒng)包括用于根據(jù)對項I [i]的請求的接收，計算所述項的流行概 率f(i)的裝置，用于排序的裝置適于根據(jù)所述流行概率確定是否將所述被請求的項移動 至更高的級別i。
[0034] 關(guān)于圖1，所述方法包括第一步驟A，其中緩存系統(tǒng)接收對項I[i]的請求，所述第 一步驟觸發(fā)步驟B，其中被請求的項I [i]的級別i被校驗，這相當于校驗所述項存在于存儲 緩存器M中（如果級別i滿足1 < i < C)，或者所述項不存在于所述存儲緩存器中（如果 級別i滿足i>C)。
[0035] 因此，該方法觸發(fā)下述步驟K，其中通過緩存系統(tǒng)的用于根據(jù)級別i--并且因 此根據(jù)被請求的項I[i]存在或不存在于存儲緩存器M--進行計算的裝置計算流行概率 f⑴。
[0036] 特別地，對于滿足1彡i彡C的級別i，即當被請求的項I[i]存在于存儲緩存器M 中時，所述方法提供了滿足〇 < f(i) < 1的加速函數(shù)f，并且所述f相對于級別i減小，如 果被請求的項I[i]流行概率f(i)大于預定值，移動該被請求的項I[i]至更高的級別i。 [0037] 此外，所述方法可提供，如果被請求的項I[i]的流行概率f(i)大于預定值，移動 該被請求的項I[i]至列表L的第一級別。
[0038] 關(guān)于圖1和圖2,在計算步驟K后，所述方法提供了步驟D，其中所述緩存系統(tǒng)的 用于排序的裝置將所述流行概率f(i)與預定值進行比較，以確定是否將所述被請求的項 I[i]移動至更高的級別i。如圖2所示，當流行概率f(i)大于該預定值時，所述方法觸發(fā) 移動步驟E，其中所述緩存系統(tǒng)的用于排序的裝置將被請求的項I [i](圖2中的項I [4])移 動至列表L的第一級別。
[0039] 否則，如果流行概率f (i)低于該預定值，所述方法觸發(fā)步驟F，其中，所述緩存系 統(tǒng)的用于排序裝置使被請求的項I[i]仍在其初始級別i。
[0040] 特別地，對于滿足1彡i彡C的級別i，加速函數(shù)f可以是：

【權(quán)利要求】
1. 一種用于在存儲緩存器中管理包括N項（I[i])的列表（L)的存儲的方法，所述存儲 緩存器（M)存儲所述列表的C項，所述N項在所述列表中根據(jù)級別i排序，所述級別i取決 于用戶對所述N項的最后請求時間，C、N和i是嚴格的正整數(shù)，所述方法其特征在于，在接 收到對項（I[i])的請求后，提供對所述被請求的項計算流行概率f(i)，f?為加速函數(shù)，并提 供根據(jù)所述流行概率確定是否將所述被請求的項移動至更高的級別i。
2. 如權(quán)利要求1所述的方法，其特征在于，對于滿足1彡i彡C的級別i，加速函數(shù)f?滿 足0 < f (i) < 1，并且相對于級別i而減小，如果所述被請求的項（I[i])的流行概率f (i) 大于預定值，則所述被請求的項（I[i])被移動至更高的級別i。
3. 如權(quán)利要求2所述的方法，其特征在于，如果所述被請求的項（I[i])的流行概率 f(i)大于所述預定值，則所述被請求的項（I[i])被移動至所述列表（L)的第一級別。
4. 如權(quán)利要求2或3所述的方法，其特征在于，對于滿足1 < i < C的級別i，所述加 速函數(shù)：？為€(：0=61口(-入*(;[-1))，其中入為正參數(shù)。
5. 如權(quán)利要求2或3所述的方法，其特征在于，對于滿足1 < i < C的級別i，所述加 速函數(shù)f為f (i) = i&A)，其中X為正參數(shù)。
6. 如權(quán)利要求1至5中任一項所述的方法，其特征在于，對于滿足i>C的級別i，所述 加速函數(shù)f為f(i) = 1，并且所述被請求的項（I[i])被移動至所述列表（L)的第一級別。
7. -種緩存系統(tǒng)，包括用于存儲包括N項的列表（L)中的C項（I[i])的存儲緩存器 器（M)，所述緩存系統(tǒng)包括用于接收來自用戶的對項（I[i])的請求的裝置以及用于根據(jù)級 別i對所述列表中的項（I[i])排序的裝置，所述級別i取決于所述項（I[i])的最后被請 求時間，N、C和i是嚴格的正整數(shù)，所述緩存系統(tǒng)進一步包括：用于在接收到對項（I[i])的 請求后計算所述項的流行概率f(i)的裝置，f?為加速函數(shù)，所述用于排序的裝置適于根據(jù) 所述流行概率確定是否將所述被請求的項移動至更高的級別i。
8. 如權(quán)利要求7所述的緩存系統(tǒng)，其特征在于，對于滿足1 < i < C的級別i，加速函 數(shù)f?為〇 < f(i) < 1并且相對于級別i而減小，所述用于排序的裝置適于在所述被請求的 項（I[i])的流行概率f(i)大于預定值時，將所述被請求的項（I[i])移動至更高的級別i。
9. 如權(quán)利要求8所述的緩存系統(tǒng)，其特征在于，所述用于排序的裝置適于在所述被請 求的項（I[i])的流行概率f(i)大于所述預定值時，將所述被請求的項I[i]移動至所述列 表（U的第一級別。
10. 如權(quán)利要求8或9所述的緩存系統(tǒng)，其特征在于，對于滿足1 < i < C的級別i，所 述加速函數(shù)：？為€(：0=61口(-入*(;[-1))，其中入為正參數(shù)。
11. 如權(quán)利要求8或9所述的緩存系統(tǒng)，其特征在于，對于滿足1 < i < C的級別i，所 述加速函數(shù)f為f(i) =i(^A)，其中入為正參數(shù)。
12. 如權(quán)利要求7至11中任一項所述的緩存系統(tǒng)，其特征在于，對于滿足i>C的級別 i，所述加速函數(shù)f為f(i) = 1，并且所述用于排序的裝置適于將所述被請求的項（I[i])移 動至所述列表（L)的第一級別。
【文檔編號】G06F12/12GK104395892SQ201380033918
【公開日】2015年3月4日 申請日期:2013年6月4日 優(yōu)先權(quán)日:2012年6月27日
【發(fā)明者】G·卡羅菲利奧, S·博斯特, L·穆斯卡列洛 申請人:阿爾卡特朗訊公司