一種數(shù)據(jù)處理方法及裝置制造方法
【專利摘要】本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法及裝置，涉及數(shù)據(jù)存儲(chǔ)技術(shù)，在提高磁盤并發(fā)度的同時(shí)降低數(shù)據(jù)訪問(wèn)的延時(shí)。一種數(shù)據(jù)處理方法，包括：根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程；獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元；從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程；根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。本發(fā)明實(shí)施例主要用于磁盤管理系統(tǒng)中。
【專利說(shuō)明】一種數(shù)據(jù)處理方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)，尤其涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中采用一個(gè)寫進(jìn)程和多個(gè)讀線程來(lái)提高磁盤的并發(fā)度。但是，考慮到采用多線程對(duì)磁盤進(jìn)行寫操作時(shí)的安全性問(wèn)題，為保證寫數(shù)據(jù)的安全，現(xiàn)有技術(shù)的方案中只創(chuàng)建了一個(gè)寫進(jìn)程來(lái)完成所有的寫磁盤操作，即同一時(shí)刻有且僅有一個(gè)寫進(jìn)程對(duì)磁盤進(jìn)行寫操作。因此，在執(zhí)行寫操作時(shí)，所有的讀線程需要等待寫進(jìn)程完成后才可執(zhí)行讀磁盤操作，從而造成了數(shù)據(jù)訪問(wèn)的延時(shí)。

【發(fā)明內(nèi)容】

[0003]本發(fā)明實(shí)施例提供一種數(shù)據(jù)處理方法及裝置，在提高磁盤并發(fā)度的同時(shí)降低數(shù)據(jù)訪問(wèn)的延時(shí)。
[0004]本發(fā)明實(shí)施例采用如下技術(shù)方案:
[0005]一種數(shù)據(jù)處理方法，包括:
[0006]根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程；
[0007]獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元；
[0008]從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程；
[0009]根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。
[0010]一種數(shù)據(jù)處理裝置，包括:
[0011]第一選擇單元，用于根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程；
[0012]獲取單元，用于獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元;
[0013]第二選擇單元，用于從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程；
[0014]數(shù)據(jù)處理單元，用于根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。
[0015]本發(fā)明實(shí)施例提供的數(shù)據(jù)處理方法和系統(tǒng)，選擇的至少一進(jìn)程中的各個(gè)線程都對(duì)應(yīng)有獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，因此，可利用至少一進(jìn)程的至少一線程，對(duì)至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。由以上可以看出，每個(gè)線程都可獨(dú)立的操作獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，因而，每個(gè)進(jìn)程也都有獨(dú)立的獨(dú)立內(nèi)存和存儲(chǔ)單元。由于各個(gè)進(jìn)程或者各個(gè)線程之間都具有獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，因此，多個(gè)進(jìn)程可并發(fā)的進(jìn)行操作且各個(gè)進(jìn)程或線程之間在處理獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)時(shí)不會(huì)出現(xiàn)競(jìng)爭(zhēng)。因此，利用本發(fā)明實(shí)施例的方法及系統(tǒng)能夠在提高磁盤并發(fā)度的同時(shí)降低數(shù)據(jù)訪問(wèn)的延時(shí)?！緦＠綀D】

【附圖說(shuō)明】
[0016]為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0017]圖1為本發(fā)明實(shí)施例一的數(shù)據(jù)處理方法的流程圖；
[0018]圖2為本發(fā)明實(shí)施例二中服務(wù)器的進(jìn)程組織方式示意圖；
[0019]圖3為本發(fā)明實(shí)施例三的數(shù)據(jù)處理裝置的示意圖；
[0020]圖4為本發(fā)明實(shí)施例三的數(shù)據(jù)處理裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0021]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0022]為在提高磁盤并發(fā)度的同時(shí)降低數(shù)據(jù)訪問(wèn)的延時(shí)，如圖1所示，本發(fā)明實(shí)施例一的數(shù)據(jù)處理方法包括:
[0023]步驟11、根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少
一進(jìn)程。
[0024]其中，所述當(dāng)前操作對(duì)象可以比如是照片，聯(lián)系人的聯(lián)系方式等；所述對(duì)象標(biāo)識(shí)(key)用以唯一標(biāo)識(shí)當(dāng)前操作對(duì)象，例如可以是當(dāng)前操作對(duì)象的名稱等。
[0025]在實(shí)際應(yīng)用中，根據(jù)當(dāng)前操作對(duì)象的數(shù)量，可只有一個(gè)進(jìn)程或者有兩個(gè)以上的進(jìn)程來(lái)執(zhí)行對(duì)當(dāng)前操作對(duì)象的操作。而且，每個(gè)進(jìn)程都可根據(jù)預(yù)先設(shè)置創(chuàng)建有多個(gè)線程。
[0026]具體的，在此步驟中，將所述對(duì)象標(biāo)識(shí)通過(guò)特定的數(shù)學(xué)運(yùn)算(例如取模運(yùn)算)映射為通用磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)。然后再根據(jù)所述映射對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程。
[0027]步驟12、獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元。
[0028]在本發(fā)明實(shí)施例中，可預(yù)先存儲(chǔ)有配置文件，其中，該配置文件為根據(jù)業(yè)務(wù)的平均數(shù)據(jù)塊大小及服務(wù)器硬件情況如內(nèi)存大小，磁盤大小為參考進(jìn)行配置獲得的。在該配置文件中，可記載有每個(gè)進(jìn)程可配置有多少個(gè)線程，每個(gè)進(jìn)程的每個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，以及獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元的大小等。因此，在此實(shí)施一中還可首先根據(jù)預(yù)先存儲(chǔ)的配置文件獲取各個(gè)進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元的步驟。因而，在此步驟中，即可直接獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元。
[0029]此外，根據(jù)該配置文件，所述至少一進(jìn)程中各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存的大小可相同，所述至少一進(jìn)程中各個(gè)線程對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元的大小可相同。當(dāng)然，根據(jù)實(shí)際應(yīng)用的要求，各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存的大小或者各個(gè)線程對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元的大小也可不同。[0030]步驟13、從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程。
[0031]在此，可根據(jù)所述映射對(duì)象標(biāo)識(shí)從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程。具體的，將所述映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算(例如取模運(yùn)算)，并根據(jù)對(duì)映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算的結(jié)果，從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少
一線程。
[0032]步驟14、根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。
[0033]其中對(duì)當(dāng)前操作對(duì)象的操作類型包括讀操作，寫操作，刪除操作等等。
[0034]以寫操作為例，當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為寫操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元，并向所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元寫入數(shù)據(jù)。
[0035]以讀操作為例，當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為讀操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元，并從所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元讀取數(shù)據(jù)。
[0036]其他操作類型的原理相同，在此不再一一描述。
[0037]由以上可以看出，在此實(shí)施例中，選擇的至少一進(jìn)程中的各個(gè)線程都對(duì)應(yīng)有獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，因此，可利用至少一進(jìn)程的至少一線程，對(duì)至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。由以上可以看出，每個(gè)線程都可獨(dú)立的操作獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，因而，每個(gè)進(jìn)程也都有獨(dú)立的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元。由于各個(gè)進(jìn)程或者各個(gè)線程之間都具有獨(dú)立的獨(dú)立內(nèi)存和存儲(chǔ)單元，因此，多個(gè)進(jìn)程可并發(fā)的進(jìn)行操作且各個(gè)進(jìn)程或線程之間在處理獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)時(shí)不會(huì)出現(xiàn)競(jìng)爭(zhēng)。因此，利用本發(fā)明實(shí)施例一的方法能夠在提高磁盤并發(fā)度的同時(shí)降低數(shù)據(jù)訪問(wèn)的延時(shí)。
[0038]其中，圖1所示的實(shí)施例可以應(yīng)用在多種類型的磁盤緩存系統(tǒng)中，如基于TDC系統(tǒng)(Tencent Di sk Cache, TDC)的磁盤緩存系統(tǒng)。
[0039]如圖2所示，為本發(fā)明實(shí)施例二中服務(wù)器的進(jìn)程組織方式示意圖。如前所述，服務(wù)器中預(yù)先會(huì)存儲(chǔ)有配置文件，且該配置文件為根據(jù)業(yè)務(wù)的平均數(shù)據(jù)塊大小及服務(wù)器硬件情況如內(nèi)存大小，磁盤大小為參考進(jìn)行配置獲得的。在該配置文件中，可記載有每個(gè)進(jìn)程可配置有多少個(gè)線程，每個(gè)進(jìn)程的線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，以及獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元的大小等。
[0040]在圖2中，顯示的是當(dāng)前有多個(gè)操作對(duì)象，他們的對(duì)象標(biāo)識(shí)分別為keyO，keyl，
key2，key3.......響應(yīng)于多個(gè)操作對(duì)象，可以有多個(gè)進(jìn)程(圖示為進(jìn)程O-進(jìn)程9)來(lái)響應(yīng)
對(duì)這些操作對(duì)象的處理請(qǐng)求。
[0041]在具體應(yīng)用中，首先將磁盤初始化，也即將各個(gè)磁盤格式化并掛載到各個(gè)磁盤相應(yīng)的目錄。每個(gè)進(jìn)程對(duì)應(yīng)一個(gè)磁盤。以對(duì)象標(biāo)識(shí)為keyO的操作對(duì)象作為當(dāng)前操作對(duì)象并將其進(jìn)行寫操作為例，按照實(shí)施例一中描述的方法，假設(shè)選擇進(jìn)程O用于處理對(duì)象標(biāo)識(shí)為keyO的操作對(duì)象。在每個(gè)進(jìn)程中，根據(jù)配置文件的信息，又可創(chuàng)建有多個(gè)線程(以進(jìn)程O為例，圖示為線程O-線程9)。其中，各個(gè)線程用于完成對(duì)操作對(duì)象的讀，寫，刪除，修改，設(shè)置等處理請(qǐng)求。
[0042]然后，初始化進(jìn)程O的每個(gè)線程。對(duì)于每個(gè)線程，在啟動(dòng)時(shí)，都會(huì)為其分配一個(gè)固定大小的獨(dú)立內(nèi)存，并初始化該獨(dú)立內(nèi)存(即圖中所示的元數(shù)據(jù)管理器)，即初始化Bucket (哈希桶)數(shù)組、Node (節(jié)點(diǎn))數(shù)組、Chunk (數(shù)據(jù)塊)頭部等。同時(shí),在該線程的父進(jìn)程(以進(jìn)程O為例，它是線程0-9的父進(jìn)程)所操作的磁盤上為其分配一塊或多塊固定大小的文件作為其存儲(chǔ)數(shù)據(jù)的容器，也即圖中所示的存儲(chǔ)單元。其中，各個(gè)線程之間的存儲(chǔ)單元是相互獨(dú)立的(以下稱為獨(dú)立存儲(chǔ)單元)。
[0043]其中，各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存的大小或者獨(dú)立存儲(chǔ)單元的大小可相同，也可不同，二者的大小均由上述配置文件指定。在元數(shù)據(jù)管理器即獨(dú)立內(nèi)存中存儲(chǔ)有磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系。該對(duì)應(yīng)關(guān)系，還可進(jìn)行更新。例如，當(dāng)元數(shù)據(jù)中的節(jié)點(diǎn)或是磁盤文件的使用率超過(guò)一定比例時(shí)，可將最近一段時(shí)間內(nèi)使用較少的數(shù)據(jù)的信息(對(duì)象內(nèi)容信息)與映射對(duì)象標(biāo)識(shí)的對(duì)應(yīng)關(guān)系刪除。獨(dú)立存儲(chǔ)單元用于存儲(chǔ)對(duì)象內(nèi)容。其中，對(duì)象內(nèi)容信息可以包括存儲(chǔ)位置，數(shù)據(jù)大小，類型等等。
[0044]對(duì)于對(duì)象標(biāo)識(shí)為keyO的操作對(duì)象，按照實(shí)施例一描述的方式選擇進(jìn)程O中的工作線程O執(zhí)行對(duì)其的寫操作，并且keyO對(duì)應(yīng)的映射對(duì)象標(biāo)識(shí)為keyO’。根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)keyO’查找該對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元0，然后向所述獨(dú)立存儲(chǔ)單元O中寫入數(shù)據(jù)。
[0045]由上可以看出，服務(wù)器的內(nèi)存被分成了若干個(gè)獨(dú)立內(nèi)存，每一個(gè)磁盤也被分成了若干個(gè)獨(dú)立存儲(chǔ)單元。因此，每個(gè)線程都獨(dú)立的操縱對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，從而，各個(gè)獨(dú)立內(nèi)存之間無(wú)需共享，互不干擾。由于啟動(dòng)了多個(gè)進(jìn)程，每個(gè)進(jìn)程都獨(dú)立的操作一個(gè)磁盤，因此各個(gè)進(jìn)程間不需要進(jìn)行同步操作，無(wú)需同步鎖且沒(méi)有磁盤競(jìng)爭(zhēng)；又由于每一個(gè)工作線程都操縱著獨(dú)立的元數(shù)據(jù)管理器和存儲(chǔ)單元，無(wú)論是對(duì)獨(dú)立內(nèi)存還是對(duì)獨(dú)立存儲(chǔ)單元的操作，各線程間都不會(huì)發(fā)生沖突和干擾，線程間無(wú)競(jìng)爭(zhēng)也不需要使用鎖，從而省去了線程間加鎖的開銷。因而，大大地簡(jiǎn)化了系統(tǒng)的復(fù)雜度。
[0046]同時(shí)，多個(gè)進(jìn)程可以并發(fā)地操作對(duì)應(yīng)的磁盤，提高了磁盤的并發(fā)度，進(jìn)而提升了磁盤的I O性能。此外，由于不同的進(jìn)程操作不同的磁盤，當(dāng)某一個(gè)磁盤出現(xiàn)故障時(shí)，只會(huì)影響其對(duì)應(yīng)線程的運(yùn)行，并不會(huì)影響其他的進(jìn)程及其他進(jìn)程對(duì)對(duì)應(yīng)磁盤的操作，從而可將磁盤的故障隔離開來(lái)，降低了風(fēng)險(xiǎn)，也提高了系統(tǒng)的健壯性和可靠性。
[0047]而且，多個(gè)工作線程發(fā)起讀或?qū)懼噶顣r(shí)，此時(shí)多個(gè)指令可以合并成一個(gè)大的指令，從而達(dá)到一次盡可能多的從磁盤中讀數(shù)據(jù)或往磁盤寫數(shù)據(jù)的目的，提高了磁盤并發(fā)度，同時(shí)也使得磁盤盡可能的處于忙碌狀態(tài)而無(wú)空閑。
[0048]如圖3所示，本發(fā)明實(shí)施三的數(shù)據(jù)處理裝置包括:
[0049]第一選擇模塊31，用于根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程；獲取模塊32，用于獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元；第二選擇模塊33，用于從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程；數(shù)據(jù)處理模塊34，用于根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。
[0050]其中，所述第一選擇模塊31包括:映射子模塊，將所述對(duì)象標(biāo)識(shí)映射為磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)；第一選擇子模塊，用于根據(jù)所述映射對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程。
[0051]所述第二選擇模塊33包括:運(yùn)算子模塊，用于將所述映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算;第二選擇子模塊，用于根據(jù)對(duì)映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算的結(jié)果，從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程。
[0052]根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型的不同，所述數(shù)據(jù)處理模塊34可有不同的結(jié)構(gòu)。例如，所述數(shù)據(jù)處理模塊34可包括:第一查找子模塊，用于當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為寫操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元；第一數(shù)據(jù)處理子模塊，用于向所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元寫入數(shù)據(jù)。或者，所述數(shù)據(jù)處理模塊34可包括:第二查找子模塊，用于當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為讀操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元；第二數(shù)據(jù)處理子模塊，用于從所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元讀取數(shù)據(jù)。
[0053]此外，如圖4所示，所述裝置還可包括:配置模塊45，用于根據(jù)預(yù)先存儲(chǔ)的配置文件獲取各個(gè)進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，從而方便獲取模塊直接由配置模塊獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元。此外，所述裝置還可包括更新模塊46，用于更新所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系。
[0054]其中，所述裝置的工作原理可參照前述方法實(shí)施例的描述。
[0055]由以上可以看出，選擇的至少一進(jìn)程中的各個(gè)線程都對(duì)應(yīng)有獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，因此，可利用至少一進(jìn)程的至少一線程，對(duì)至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。由以上可以看出，每個(gè)線程都可獨(dú)立的操作獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元，因而，每個(gè)進(jìn)程也都有獨(dú)立的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元。由于各個(gè)進(jìn)程或者各個(gè)線程之間都具有獨(dú)立的獨(dú)立內(nèi)存和存儲(chǔ)單元，因此，多個(gè)進(jìn)程可并發(fā)的進(jìn)行操作且各個(gè)進(jìn)程或線程之間在處理獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)時(shí)不會(huì)出現(xiàn)競(jìng)爭(zhēng)。因此，利用本發(fā)明實(shí)施例三的裝置能夠在提高磁盤并發(fā)度的同時(shí)降低數(shù)據(jù)訪問(wèn)的延時(shí)。
[0056]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory, ROM)或隨機(jī)存儲(chǔ)記憶體(Random Acces sMemory, RAM)等。
[0057]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【權(quán)利要求】
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括: 根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程； 獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元； 從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程； 根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程包括: 將所述對(duì)象標(biāo)識(shí)映射為磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)； 根據(jù)所述映射對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程包括: 將所述映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算； 根據(jù)對(duì)映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算的結(jié)果，從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作包括: 當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為寫操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元，并向所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元寫入數(shù)據(jù)； 當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為讀操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元，并從所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元讀取數(shù)據(jù)。
5.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，所述方法還包括: 根據(jù)預(yù)先存儲(chǔ)的配置文件獲取各個(gè)進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單J Li ο
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括: 更新所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系。
7.一種數(shù)據(jù)處理裝置，其特征在于，包括: 第一選擇模塊，用于根據(jù)當(dāng)前操作對(duì)象的對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程； 獲取模塊，用于獲取所述至少一進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元； 第二選擇模塊，用于從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程; 數(shù)據(jù)處理模塊，用于根據(jù)對(duì)所述當(dāng)前操作對(duì)象的操作類型，利用所述至少一線程對(duì)所述至少一線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行操作。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述第一選擇模塊包括: 映射子模塊，用于將所述對(duì)象標(biāo)識(shí)映射為磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)； 第一選擇子模塊，用于根據(jù)所述映射對(duì)象標(biāo)識(shí)，選擇用于處理所述當(dāng)前操作對(duì)象的至少一進(jìn)程。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述第二選擇模塊包括: 運(yùn)算子模塊，用于將所述映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算； 第二選擇子模塊，用于根據(jù)對(duì)映射對(duì)象標(biāo)識(shí)進(jìn)行運(yùn)算的結(jié)果，從所述至少一進(jìn)程中選擇用于處理所述當(dāng)前操作對(duì)象的至少一線程。
10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊包括: 第一查找子模塊，用于當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為寫操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元；第一數(shù)據(jù)處理子模塊，用于向所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元寫入數(shù)據(jù)。
11.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊包括: 第二查找子模塊，用于當(dāng)對(duì)所述當(dāng)前操作對(duì)象的操作類型為讀操作時(shí)，根據(jù)所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)`對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系，利用所述映射對(duì)象標(biāo)識(shí)查找所述對(duì)應(yīng)關(guān)系獲取所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元；第二數(shù)據(jù)處理子模塊，用于從所述映射對(duì)象標(biāo)識(shí)對(duì)應(yīng)的獨(dú)立存儲(chǔ)單元讀取數(shù)據(jù)。
12.根據(jù)權(quán)利要求7-11任一所述的裝置，其特征在于，所述裝置還包括: 配置模塊，用于根據(jù)預(yù)先存儲(chǔ)的配置文件獲取各個(gè)進(jìn)程中的各個(gè)線程對(duì)應(yīng)的獨(dú)立內(nèi)存和獨(dú)立存儲(chǔ)單元。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述裝置還包括: 更新模塊，用于更新所述獨(dú)立內(nèi)存中存儲(chǔ)的磁盤緩存系統(tǒng)對(duì)象標(biāo)識(shí)空間中的映射對(duì)象標(biāo)識(shí)與對(duì)象內(nèi)容信息的對(duì)應(yīng)關(guān)系。
【文檔編號(hào)】G06F3/06GK103513932SQ201210217611
【公開日】2014年1月15日 申請(qǐng)日期:2012年6月28日 優(yōu)先權(quán)日:2012年6月28日
【發(fā)明者】黃明生, 田詩(shī)源, 陳忠湘 申請(qǐng)人:深圳市騰訊計(jì)算機(jī)系統(tǒng)有限公司