專(zhuān)利名稱(chēng)：應(yīng)用性能評(píng)價(jià)和報(bào)告的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及軟件分析(software profiling),尤其(但不僅限于)涉及用于軟件應(yīng)用的性能評(píng)價(jià)和報(bào)告的系統(tǒng)及方法。
背景技術(shù)：
軟件應(yīng)用的性能評(píng)價(jià)通常被用于測(cè)定在各種不同的工作負(fù)擔(dān)條件下軟件應(yīng)用的各種組成部分是如何運(yùn)作的。性能評(píng)價(jià)可以在軟件應(yīng)用生命周期內(nèi)的多個(gè)階段進(jìn)行，包括開(kāi)發(fā)階段、測(cè)試階段、分析階段和監(jiān)控階段。同時(shí)它也被應(yīng)用于驗(yàn)證和校驗(yàn)軟件應(yīng)用的其他屬性，如可升級(jí)性、可靠性和資源利用性。通常，軟件應(yīng)用性能的評(píng)價(jià)基于多種性能參數(shù)，例如，內(nèi)存統(tǒng)計(jì)、處理器統(tǒng)計(jì)、網(wǎng)絡(luò)統(tǒng)計(jì)、線(xiàn)程統(tǒng)計(jì)、反應(yīng)時(shí)間等。這些性能評(píng)價(jià)通常由一個(gè)應(yīng)用團(tuán)隊(duì)和相關(guān)利害關(guān)系者執(zhí)行。用戶(hù)通過(guò)執(zhí)行性能評(píng)價(jià)，分析評(píng)價(jià)結(jié)果，從而可以給應(yīng)用團(tuán)隊(duì)提供建議。這些建議可以涉及該應(yīng)用的各個(gè)方面、硬件設(shè)置、運(yùn)行時(shí)狀態(tài)等。基于這些評(píng)價(jià)結(jié)果及建議，應(yīng)用團(tuán)隊(duì)可以根據(jù)需要采取進(jìn)一步措施。有時(shí)，執(zhí)行某個(gè)建議以改善一個(gè)性能參數(shù)可能損害該應(yīng)用的另一個(gè)性能參數(shù)。因此，用戶(hù)可能再次評(píng)價(jià)多個(gè)性能參數(shù)并發(fā)送建議，以改進(jìn)性能。這個(gè)關(guān)于軟件應(yīng)用的建議-性能評(píng)價(jià)循環(huán)通常一直持續(xù)至軟件應(yīng)用的性能參數(shù)落入一個(gè)預(yù)先設(shè)置的可接受范圍內(nèi)。

發(fā)明內(nèi)容
本部分在于介紹關(guān)于性能評(píng)價(jià)和報(bào)告的系統(tǒng)和方法的理念。該理念在下述內(nèi)容中有進(jìn)一步的描述。該部分既不用于確定本發(fā)明的必要技術(shù)特征，也不用于確定或限制本發(fā)明的范圍。在一個(gè)實(shí)施例中，首先生成一個(gè)關(guān)于在某應(yīng)用中分析的某些段(segment)的參數(shù)數(shù)據(jù)集，然后基于該參數(shù)數(shù)據(jù)集產(chǎn)生時(shí)域報(bào)告(session r印ort)。部分地基于該報(bào)告，可接收到有關(guān)這些段中的一個(gè)或多個(gè)的評(píng)論，進(jìn)而基于該參數(shù)數(shù)據(jù)集和評(píng)論生成綜合報(bào)告。


本發(fā)明的詳述將結(jié)合以下附圖進(jìn)行。這些附圖中，附圖標(biāo)記最左邊的數(shù)字表示該附圖標(biāo)記首次出現(xiàn)時(shí)所在的圖號(hào)。通篇中同一數(shù)字用于指代同一類(lèi)特征和部件。圖I根據(jù)本發(fā)明的實(shí)施例對(duì)一個(gè)性能評(píng)價(jià)和報(bào)告系統(tǒng)的執(zhí)行作說(shuō)明。圖2根據(jù)本發(fā)明的實(shí)施例對(duì)一個(gè)性能評(píng)價(jià)和報(bào)告的方法作說(shuō)明。圖3根據(jù)本發(fā)明另一個(gè)實(shí)施例對(duì)一個(gè)應(yīng)用中的相對(duì)性能評(píng)價(jià)和報(bào)告方法作說(shuō)明。
發(fā)明詳述
以下將闡述性能評(píng)價(jià)及報(bào)告的系統(tǒng)和方法。該系統(tǒng)和方法可以應(yīng)用于多種計(jì)算機(jī)系統(tǒng)中?？蓤?zhí)行所述方法的計(jì)算機(jī)系統(tǒng)包括(但不局限于)大型計(jì)算機(jī)、工作站、私人計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、小型計(jì)算機(jī)、服務(wù)器、多處理器系統(tǒng)、便攜式計(jì)算機(jī)等。出于多種原因(包括質(zhì)量保證)，以及驗(yàn)證該應(yīng)用可滿(mǎn)足商業(yè)上、功能上和技術(shù)上的要求并如所預(yù)期地那樣工作，需要實(shí)施軟件應(yīng)用的性能評(píng)價(jià)。下文中，軟件應(yīng)用將也被稱(chēng)為應(yīng)用。性能評(píng)價(jià)可以在應(yīng)用生命周期的任一階段進(jìn)行，包括應(yīng)用的開(kāi)發(fā)階段、測(cè)試階段、分析階段和監(jiān)控階段。通常，性能的評(píng)價(jià)是基于多種性能參數(shù)來(lái)測(cè)評(píng)的，例如，處理器利用率、內(nèi)存利用率、網(wǎng)絡(luò)利用率、輸入-輸出利用率、數(shù)據(jù)庫(kù)查詢(xún)統(tǒng)計(jì)、反應(yīng)時(shí)間相關(guān)統(tǒng)計(jì)、時(shí)域相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、進(jìn)程線(xiàn)程統(tǒng)計(jì)、及隊(duì)列統(tǒng)計(jì)?？梢岳斫?，這是關(guān)于性能評(píng)價(jià)的提示性列表，并不意味著窮舉。執(zhí)行性能評(píng)價(jià)的用戶(hù)可以進(jìn)而分析評(píng)價(jià)結(jié)果并提供建議，例如，當(dāng)性能參數(shù)位于原先預(yù)設(shè)的范圍之上或之下時(shí)，將這些信息反饋給應(yīng)用團(tuán)隊(duì)。這些建議可以是，例如，關(guān)于應(yīng)用、硬件或運(yùn)行時(shí)狀態(tài)。為此，性能參數(shù)通常以屏幕快照的形式記錄下來(lái)，并通過(guò)一個(gè)獨(dú)立的文本或工作表文件形式提供建議。基于性能評(píng)價(jià)結(jié)果及用戶(hù)建議，可以采取合適的措施，從而符合預(yù)設(shè)的可接受范圍。
有時(shí)，為了改進(jìn)一個(gè)性能參數(shù)所采取的措施可能會(huì)損害應(yīng)用中另一個(gè)性能參數(shù)。例如，為了改進(jìn)應(yīng)用的反應(yīng)時(shí)間，應(yīng)用的內(nèi)存利用率可能上升。因此，應(yīng)用可能在另一個(gè)時(shí)域被再次分析，不同的性能參數(shù)測(cè)評(píng)可能被記錄下來(lái)，如有需要可提供建議以供進(jìn)一步修改?？梢岳斫?，一個(gè)分析時(shí)域指的是應(yīng)用的性能被評(píng)價(jià)所花費(fèi)的時(shí)段。這種評(píng)價(jià)應(yīng)用性能及提供建議的循環(huán)通常一直重復(fù)，直至應(yīng)用的多個(gè)性能參數(shù)落入預(yù)設(shè)的可接受范圍內(nèi)。如上所述，傳統(tǒng)上，性能評(píng)價(jià)后所作出的建議通常不是系統(tǒng)性地記錄或存儲(chǔ)下來(lái)，這加大了后續(xù)階段中對(duì)性能診斷的難度。而且，為了比較兩個(gè)分析時(shí)域的應(yīng)用性能，需要對(duì)屏幕截圖進(jìn)行人工對(duì)比。分析時(shí)域之間可能在多方面都存在差異，如應(yīng)用版本、硬件設(shè)置、運(yùn)行時(shí)狀態(tài)(runtime condition)、時(shí)域時(shí)機(jī)(session timing)和時(shí)域期間(duration ofsession)等。時(shí)域時(shí)機(jī)指的是在執(zhí)行應(yīng)用的過(guò)程中，分析時(shí)域執(zhí)行時(shí)所在的時(shí)間。例如，分析時(shí)域的執(zhí)行可以發(fā)生在應(yīng)用剛開(kāi)始運(yùn)行時(shí)，或者在應(yīng)用運(yùn)行了所設(shè)定的一段時(shí)間之后。時(shí)域期間指的是執(zhí)行分析時(shí)域持續(xù)的的時(shí)間段。如上所述，由于存在多種因素使得性能評(píng)價(jià)在不同的分析時(shí)域中存在差異，人工分析性能評(píng)價(jià)變得具有很高的難度。例如，假設(shè)將兩個(gè)分析時(shí)域的結(jié)果進(jìn)行對(duì)比，該兩個(gè)分析時(shí)域?qū)?yīng)于一個(gè)軟件應(yīng)用的不同版本的性能評(píng)價(jià)。如果軟件的第十一版的內(nèi)存利用率出現(xiàn)性能問(wèn)題時(shí)，則很難分析出該性能問(wèn)題是在之前的哪一個(gè)版本開(kāi)始首先出現(xiàn)，以及相對(duì)應(yīng)的有何應(yīng)對(duì)措施，等等。在上述例子中，在第三版中對(duì)處理器利用率的優(yōu)化，可能是導(dǎo)致內(nèi)存利用率上升的根源，并且在后續(xù)版本的多種優(yōu)化至內(nèi)存利用率進(jìn)一步上升；內(nèi)存利用率可能在第十一版中超過(guò)了預(yù)先設(shè)定的可接受范圍。由于傳統(tǒng)的性能評(píng)價(jià)系統(tǒng)和方法無(wú)法直接地同時(shí)對(duì)兩個(gè)或多個(gè)分析時(shí)域的性能評(píng)價(jià)結(jié)果進(jìn)行對(duì)比，因此很難檢測(cè)到應(yīng)用中引起性能問(wèn)題的原因。并且，在缺乏建議性文件和應(yīng)對(duì)措施文件時(shí)，很難確定該性能問(wèn)題的原因。在另一個(gè)例子中，應(yīng)用的性能可能隨著時(shí)域時(shí)機(jī)(B卩，分析時(shí)域開(kāi)始以及評(píng)價(jià)發(fā)生時(shí)的時(shí)間)而變化。例如，若應(yīng)用采用了緩存技術(shù)用于快速恢復(fù)數(shù)據(jù)，當(dāng)緩存被填充時(shí)，應(yīng)用的性能會(huì)隨著時(shí)間而變化，并在應(yīng)用運(yùn)行了一段時(shí)間之后達(dá)到一個(gè)穩(wěn)定狀態(tài)。在這種情況下，對(duì)時(shí)域時(shí)機(jī)變化的兩個(gè)分析時(shí)域的性能評(píng)價(jià)結(jié)果進(jìn)行比較時(shí)，同樣需要繁冗的人工對(duì)比。在另一個(gè)例子中，應(yīng)用的性能可能隨著性能評(píng)價(jià)的運(yùn)行時(shí)狀態(tài)而變化。例如，其性能可能隨著操作環(huán)境、輸入數(shù)據(jù)的大小、執(zhí)行的重復(fù)次數(shù)等而變化。在這種情形下，對(duì)具有不同運(yùn)行時(shí)狀態(tài)的多個(gè)時(shí)域的性能評(píng)價(jià)進(jìn)行人工對(duì)比，同樣是繁冗的。在本方案中，提出了用于應(yīng)用性能評(píng)價(jià)和報(bào)告的系統(tǒng)和方法。在所提出的性能評(píng)價(jià)和報(bào)告系統(tǒng)的一個(gè)實(shí)施例中，該系統(tǒng)使用戶(hù)(例如是各種利害關(guān)系者)能記錄對(duì)軟件應(yīng)用的單個(gè)段的評(píng)論及建議，并且把評(píng)論與其所對(duì)應(yīng)的段相聯(lián)系起來(lái)。該系統(tǒng)通過(guò)配置，可以生成綜合性的評(píng)價(jià)結(jié)果和分析報(bào)告，包括以多種文件形式存在的用戶(hù)評(píng)論。這些評(píng)價(jià)結(jié)果和報(bào)告可以被應(yīng)用的其他利害關(guān)系者所利用。而且，基于這些記錄下來(lái)的建議，可以采取多種措施對(duì)應(yīng)用的性能進(jìn)行變換和改進(jìn)。在一個(gè)實(shí)施例中，該系統(tǒng)也可以協(xié)助對(duì)不同分析時(shí)域的性能參數(shù)進(jìn)行對(duì)比。例如，該系統(tǒng)可以區(qū)分出在第一時(shí)域中分析的第一個(gè)應(yīng)用和在第二時(shí)域中分析的第二個(gè)應(yīng)用的 相同的段，對(duì)該相同的段的性能參數(shù)進(jìn)行對(duì)比，并生成一個(gè)對(duì)比報(bào)告?？梢岳斫猓谝粋€(gè)應(yīng)用和第二個(gè)應(yīng)用可以是應(yīng)用的相同的或不同的版本。類(lèi)似地，第一和第二分析時(shí)域可以具有同樣的或不同的設(shè)置(例如硬件配置或運(yùn)行時(shí)狀態(tài))。對(duì)比報(bào)告可以含有多種參數(shù)(如相同的段的段執(zhí)行值、總的累計(jì)反應(yīng)時(shí)間、平均反應(yīng)時(shí)間)。該系統(tǒng)可以協(xié)助對(duì)比兩個(gè)或多個(gè)時(shí)域的評(píng)價(jià)結(jié)果，并且?guī)椭\斷軟件應(yīng)用中的性能問(wèn)題。以下實(shí)施例是在示例性的系統(tǒng)結(jié)構(gòu)環(huán)境下描述的，但本發(fā)明的用于性能評(píng)價(jià)和報(bào)告的系統(tǒng)和方法可以以多種不同的計(jì)算機(jī)系統(tǒng)、在多種環(huán)境和配置下實(shí)施。
具體實(shí)施例方式圖I顯示了本發(fā)明的一個(gè)實(shí)施例的用于評(píng)價(jià)應(yīng)用的性能的性能評(píng)價(jià)和報(bào)告系統(tǒng)102。下文中，性能評(píng)價(jià)和報(bào)告系統(tǒng)102也被稱(chēng)為PMR系統(tǒng)102。PMR系統(tǒng)102可以是多種傳統(tǒng)計(jì)算機(jī)裝置中的一種，包括服務(wù)器、臺(tái)式私人計(jì)算機(jī)、筆記本電腦、便攜式計(jì)算機(jī)、工作站、主機(jī)、移動(dòng)式計(jì)算機(jī)裝置或膝上型計(jì)算機(jī)。在所述的實(shí)施例中，PMR系統(tǒng)102包括一個(gè)或多個(gè)處理器104，輸入/輸出(I/O)接口 106，網(wǎng)絡(luò)接口 108，以及與處理器104相連的存儲(chǔ)器110。處理器104可以是一個(gè)或多個(gè)微處理器、微計(jì)算機(jī)、微控制器、數(shù)字信號(hào)處理器、中央處理單元、狀態(tài)機(jī)(statemachines)、邏輯電路，和/或任何通過(guò)操作指令操控信號(hào)的裝置。在其它功能中，處理器104經(jīng)配置，可讀取和執(zhí)行存儲(chǔ)于存儲(chǔ)器110中的計(jì)算機(jī)可讀指令和數(shù)據(jù)。I/O接口 106可以包括多種軟件和硬件接口，例如，外圍設(shè)備(如顯示單元、鍵盤(pán)、鼠標(biāo)、外部存儲(chǔ)器、打印機(jī)等)的接口。網(wǎng)絡(luò)接口 108可以使得PMR系統(tǒng)102可以與其他計(jì)算裝置和外圍設(shè)備通信，比如web服務(wù)器、網(wǎng)絡(luò)上的外部數(shù)據(jù)庫(kù)。網(wǎng)絡(luò)接口 108可以協(xié)助多種協(xié)議和網(wǎng)絡(luò)下的多路通信，例如有線(xiàn)網(wǎng)絡(luò)(局域網(wǎng)(LAN)、電纜網(wǎng)(cable)等)，和/或無(wú)線(xiàn)網(wǎng)絡(luò)(如無(wú)線(xiàn)局域網(wǎng)(WLAM)、蜂窩網(wǎng)絡(luò)(cellular)、衛(wèi)星網(wǎng)絡(luò)(satellite)等。)
在一個(gè)實(shí)施例中，PMR系統(tǒng)102可以連接至公共網(wǎng)絡(luò)或公司網(wǎng)絡(luò)，該網(wǎng)絡(luò)包含多個(gè)辦公室私人電腦、膝上型電腦、各種服務(wù)器(如刀片服務(wù)器(blade servers))、數(shù)據(jù)庫(kù)和其他計(jì)算裝置。在另一個(gè)實(shí)施例中，PMR系統(tǒng)102可以連接至私人網(wǎng)絡(luò)或家庭網(wǎng)絡(luò)，該網(wǎng)絡(luò)僅有有限數(shù)量的私人電腦或膝上型電腦。在另一個(gè)實(shí)施例中，PMR系統(tǒng)102可以是一個(gè)獨(dú)立系統(tǒng)。
存儲(chǔ)器110可以包括現(xiàn)有技術(shù)中已知的任何計(jì)算機(jī)可讀介質(zhì)，例如，易失性存儲(chǔ)器(如靜態(tài)隨機(jī)存儲(chǔ)器(SRAM)、動(dòng)態(tài)隨機(jī)存儲(chǔ)器(DRAM))，和/或非易失性存儲(chǔ)器(如只讀存儲(chǔ)器(ROM)、可擦寫(xiě)可編程ROM、閃存、硬盤(pán)、光盤(pán)、磁帶)。存儲(chǔ)器110含有程序模塊112和程序數(shù)據(jù)114。程序模塊112包括例行程序、程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)等,它們執(zhí)行著特定的任務(wù)或執(zhí)行特定的抽象數(shù)據(jù)類(lèi)型。程序模塊112還包括分析模塊116、報(bào)告模塊118、對(duì)比模塊120和其他模塊122。其他模塊122可以包括用于補(bǔ)充RMP系統(tǒng)102的應(yīng)用和功能的程序或代碼指令(例如操作系統(tǒng)中的程序)。處其他用途外，程序數(shù)據(jù)114用作一個(gè)存儲(chǔ)庫(kù)，用于存儲(chǔ)由一個(gè)或多個(gè)程序模塊112處理、接收、生成的數(shù)據(jù)。程序數(shù)據(jù)114包括性能數(shù)據(jù)124、報(bào)告數(shù)據(jù)126、對(duì)比數(shù)據(jù)128、以及其他數(shù)據(jù)130。其他數(shù)據(jù)130可以包括由程序模塊112中的一個(gè)或多個(gè)模塊(例如其他模塊122)的執(zhí)行而生成的數(shù)據(jù)。此外，程序數(shù)據(jù)114可以包括應(yīng)用132-1……132_n，這將在下文解釋。··
操作時(shí)，為了進(jìn)行性能評(píng)價(jià)，分析模塊116可以訪(fǎng)問(wèn)一個(gè)或多個(gè)應(yīng)用132-1、132-2……132-n (它們統(tǒng)稱(chēng)為應(yīng)用132)。分析模塊116可以通過(guò)I/O接口 106從例如光盤(pán)(⑶)驅(qū)動(dòng)器接收應(yīng)用132，或者可以通過(guò)網(wǎng)絡(luò)或程序數(shù)據(jù)114來(lái)訪(fǎng)問(wèn)應(yīng)用132。為了更好地闡明方案，圖中應(yīng)用132被顯示為存儲(chǔ)于程序數(shù)據(jù)114中。但應(yīng)當(dāng)理解的是，應(yīng)用也可以作為程序模塊112的一部分，或者位于外部存儲(chǔ)裝置或其他計(jì)算裝置上。在一個(gè)實(shí)施例中，分析模塊116訪(fǎng)問(wèn)一個(gè)應(yīng)用(例如，用于性能評(píng)價(jià)和報(bào)告的應(yīng)用132-1)。應(yīng)用132-1通常包括多個(gè)段，例如編碼的方法、過(guò)程、功能，以及其他部分。分析模塊116進(jìn)而在一個(gè)分析時(shí)域(例如第一分析時(shí)域)中分析應(yīng)用132-1?？梢岳斫獾氖?一個(gè)分析時(shí)域指的是評(píng)價(jià)應(yīng)用性能所持續(xù)的時(shí)間段。為了分析應(yīng)用132-1，分析模塊116在多種條件下運(yùn)行應(yīng)用132_1，并測(cè)評(píng)在第一分析時(shí)域中執(zhí)行的段的性能參數(shù)，從而獲得一個(gè)參數(shù)數(shù)據(jù)集。性能參數(shù)可以包括一個(gè)或多個(gè)度量(metrics)，例如CPU統(tǒng)計(jì)、內(nèi)存統(tǒng)計(jì)、網(wǎng)絡(luò)統(tǒng)計(jì)、I/O統(tǒng)計(jì)、數(shù)據(jù)庫(kù)查詢(xún)統(tǒng)計(jì)、反應(yīng)時(shí)間統(tǒng)計(jì)、段相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、線(xiàn)程統(tǒng)計(jì)、系統(tǒng)進(jìn)程相關(guān)統(tǒng)計(jì)、隊(duì)列相關(guān)統(tǒng)計(jì)。可以理解的是，這是關(guān)于性能評(píng)價(jià)的提示性列表，并不意味著是窮舉的或限制性的。分析模塊116可以存儲(chǔ)在性能數(shù)據(jù)124中的應(yīng)用132-1的不同段所對(duì)應(yīng)的測(cè)評(píng)參數(shù)數(shù)據(jù)集。報(bào)告模塊118進(jìn)而生成一個(gè)時(shí)域報(bào)告,該報(bào)告提供關(guān)于不同段的參數(shù)數(shù)據(jù)集的總結(jié)。例如，時(shí)域報(bào)告可以含有片執(zhí)行值、累計(jì)反應(yīng)時(shí)間、各段的平均反應(yīng)時(shí)間等。時(shí)域報(bào)告可以存儲(chǔ)于報(bào)告數(shù)據(jù)126中。進(jìn)一步地，報(bào)告模塊118通過(guò)用戶(hù)接口(例如顯示設(shè)備)將時(shí)域報(bào)告提供給用戶(hù)。在另一個(gè)例子中，報(bào)告模塊118也可以以一份輸出文件或其他形式的文件(例如可移植文檔格式(PDF)、電子數(shù)據(jù)表、表格形式、圖表或其他任何由用戶(hù)所設(shè)定的形式)提供這份時(shí)域報(bào)告。在另一個(gè)例子中，在時(shí)域報(bào)告中，報(bào)告模塊118可以采用突出顯示或其他技術(shù)來(lái)顯示那些其中有一個(gè)或多個(gè)性能參數(shù)超出預(yù)設(shè)范圍的段。預(yù)設(shè)的范圍可以被提前儲(chǔ)存起來(lái)，例如儲(chǔ)存于性能數(shù)據(jù)124中，或者也可以由用戶(hù)輸入，例如在分析之前輸入?？梢岳斫獾氖?，預(yù)設(shè)的范圍基于所分析的應(yīng)用和應(yīng)用的技術(shù)說(shuō)明而可隨時(shí)域變化。一旦將時(shí)域報(bào)告提供給用戶(hù)，報(bào)告模塊118可以提示用戶(hù)提供關(guān)于改變或改進(jìn)應(yīng)用132-1的一個(gè)或多個(gè)段的性能的評(píng)論或建議。這些評(píng)論可以是關(guān)于以下的一個(gè)或多個(gè)方面硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、第一應(yīng)用的一部分、時(shí)域時(shí)機(jī)、時(shí)域期間。用戶(hù)通過(guò)I/O接口 106輸入的評(píng)論被與相應(yīng)的段相關(guān)聯(lián)，并與在性能數(shù)據(jù)124中的參數(shù)數(shù)據(jù)集一起保存。在一個(gè)實(shí)施例中，多用戶(hù)可以提供關(guān)于同一個(gè)時(shí)域報(bào)告的評(píng)論，并且該多個(gè)評(píng)論可以與參數(shù)數(shù)據(jù)集一起保存。在這種情況下，多個(gè)用戶(hù)所提供的評(píng)論可以用例如用戶(hù)名、顏色編碼等進(jìn)行標(biāo)記。進(jìn)一步地，從用戶(hù)接收到的評(píng)論可以通過(guò)例如用戶(hù)名、網(wǎng)絡(luò)ID等被可視化地區(qū)分。報(bào)告模塊118進(jìn)而生成一個(gè)含有參數(shù)數(shù)據(jù)集及所記錄的評(píng)論的綜合報(bào)告。該綜合報(bào)告也保存于報(bào)告數(shù)據(jù)126中，并且可進(jìn)一步被利用，例如被致力于該應(yīng)用132-1的應(yīng)用團(tuán)隊(duì)所利用?；跁r(shí)域報(bào)告和用戶(hù)評(píng)論，可以對(duì)多種要采取的措施進(jìn)行決策，例如，關(guān)于應(yīng)用132-1的編碼、硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)、時(shí)域期間等的措施。該應(yīng)用隨后被再次進(jìn)行分析，例如作為應(yīng)用132-2進(jìn)行分析?？梢岳斫獾氖牵瑧?yīng)用132-2可以是與應(yīng)用132-1相同的或不同的版本。分析模塊116在第二時(shí)域再次分析應(yīng)用132-2，并生成一個(gè)如前所述的 第二參數(shù)數(shù)據(jù)集?；谒鶝Q策的措施，第二分析時(shí)域可以在以下的一個(gè)或多個(gè)方面不同于第一分析時(shí)域硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)和時(shí)域期間。進(jìn)一步地，如前所述，報(bào)告模塊118可以生成時(shí)域報(bào)告，并且，如有需要，生成一份含有用戶(hù)對(duì)應(yīng)用132-2的評(píng)論的綜合報(bào)告。這種分析和采取措施的過(guò)程一直重復(fù)，直至應(yīng)用的性能與設(shè)定的要求相符。在一個(gè)實(shí)施例中,用戶(hù)可以選擇對(duì)兩個(gè)應(yīng)用132-1和132-2分析過(guò)程中的兩個(gè)分析時(shí)域中所生成的參數(shù)數(shù)據(jù)集進(jìn)行直接地對(duì)比。在這種情況下，對(duì)比模塊120識(shí)別出應(yīng)用132-1和132-2中相同的段，并且將相同的段的參數(shù)數(shù)據(jù)集進(jìn)行對(duì)比?；趨?shù)數(shù)據(jù)集的對(duì)t匕，報(bào)告模塊118進(jìn)而生成關(guān)于相同的段的對(duì)比報(bào)告。進(jìn)一步地，報(bào)告模塊118可以選擇性地突出表示出參數(shù)數(shù)據(jù)集中不盡如人意的部分，或者與另一個(gè)段相比已經(jīng)發(fā)生變化的部分。例如，與對(duì)應(yīng)于應(yīng)用132-2的第二時(shí)域相t匕，對(duì)應(yīng)于應(yīng)用132-1的第一時(shí)域可能具有更高的內(nèi)存利用率，但可能具有較短的反應(yīng)時(shí)間。因此，在對(duì)比報(bào)告中，報(bào)告模塊118可以將第一時(shí)域中的內(nèi)存利用率統(tǒng)計(jì)和第二時(shí)域中的反應(yīng)時(shí)間統(tǒng)計(jì)突出顯示出來(lái)，以供用戶(hù)參閱。在另一個(gè)實(shí)施例中，用戶(hù)可以選擇對(duì)多個(gè)時(shí)域的分析結(jié)果進(jìn)行對(duì)比，這些分析結(jié)果可對(duì)應(yīng)于不同版本的應(yīng)用的分析，或不同的硬件設(shè)置，或不同的運(yùn)行時(shí)狀態(tài)，或不同的時(shí)域時(shí)機(jī)，或不同的時(shí)域期間，或它們的組合。在一個(gè)例子中，對(duì)比模塊120識(shí)別出在多個(gè)時(shí)域中分析的應(yīng)用之間的相同的段，并且對(duì)這些相同的段的參數(shù)數(shù)據(jù)集進(jìn)行對(duì)比。在另一個(gè)例子中，對(duì)比模塊120識(shí)別出相同的段，并且提示用戶(hù)指出哪些相同的段需要進(jìn)行比較。對(duì)比模塊120進(jìn)而對(duì)這些被指出的相同的段的參數(shù)數(shù)據(jù)集進(jìn)行對(duì)比。一旦對(duì)比模塊比較了這些參數(shù)數(shù)據(jù)集，報(bào)告模塊118可以以前述類(lèi)似的方式生成一個(gè)對(duì)比報(bào)告。該對(duì)比報(bào)告也可以含有對(duì)比性的圖表，并且選擇性地將參數(shù)數(shù)據(jù)集中那些在多個(gè)時(shí)域中已經(jīng)改進(jìn)、惡化或改變的部分突出顯示出來(lái)。在一個(gè)實(shí)施例中，對(duì)比報(bào)告也可以含有一個(gè)內(nèi)存圖表，由此用戶(hù)可以將參數(shù)數(shù)據(jù)集發(fā)生的變化與應(yīng)用內(nèi)存利用率聯(lián)系起來(lái)。并且，當(dāng)一個(gè)或多個(gè)時(shí)域之前已被分析模塊116分析過(guò)并且用戶(hù)的評(píng)論已被記錄下來(lái)時(shí)，對(duì)比報(bào)告可以包括將這些關(guān)于該一個(gè)或多個(gè)較早時(shí)域中的相同的段的評(píng)論。因此，用戶(hù)可直接對(duì)多個(gè)時(shí)域的分析結(jié)果進(jìn)行比較，對(duì)早前的評(píng)論進(jìn)行學(xué)習(xí)，并對(duì)在時(shí)域中所采取的多種措施的效果進(jìn)行分析。圖2基于本發(fā)明的一個(gè)實(shí)施例，闡釋了用于性能評(píng)價(jià)和報(bào)告的方法200。圖3基于本發(fā)明的另一個(gè)實(shí)施例，闡釋了用于對(duì)比性能評(píng)價(jià)和報(bào)告的方法。方法200和300可以以計(jì)算機(jī)可執(zhí)行的指令的形式進(jìn)行描述。通常來(lái)說(shuō)，計(jì)算機(jī)可執(zhí)行指令可以含有例行程序、程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)、進(jìn)程、模塊、功能等，它們執(zhí)行特定的功能或者執(zhí)行特定的抽象數(shù)據(jù)類(lèi)型。該方法也可以應(yīng)用于分布式計(jì)算環(huán)境，其中功能是由通過(guò)通訊網(wǎng)絡(luò)相連的遠(yuǎn)程處理設(shè)備來(lái)執(zhí)行的。在分布式計(jì)算環(huán)境中，計(jì)算機(jī)可執(zhí)行指令可以位于本地和遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)介質(zhì)(包括存儲(chǔ)器存儲(chǔ)裝置(memory storagedevice))中。所述方法的描述順序不應(yīng)當(dāng)理解為對(duì)發(fā)明方案的限制 ，所述的這些方法步驟可以以任意的數(shù)目及任意的順序組合起來(lái)實(shí)現(xiàn)本發(fā)明方法或與本發(fā)明等同替換的方法。除此之夕卜，在不脫離本發(fā)明精神及范圍內(nèi)，可刪除某些單獨(dú)步驟。并且，這些方法可以被用于任何合適的硬件、軟件、固件或它們的組合中。參閱方法220，在步驟202中，應(yīng)用的性能在分析時(shí)域中被分析并生成參數(shù)數(shù)據(jù)集。例如，分析模塊116可以通過(guò)執(zhí)行應(yīng)用132-1的多個(gè)段并測(cè)評(píng)在多種條件下的性能參數(shù)以獲取參數(shù)數(shù)據(jù)集，從而分析應(yīng)用132-1的性能。性能參數(shù)可以包括以下度量，例如CPU統(tǒng)計(jì)、內(nèi)存統(tǒng)計(jì)、網(wǎng)絡(luò)統(tǒng)計(jì)、I/O統(tǒng)計(jì)、數(shù)據(jù)庫(kù)查詢(xún)統(tǒng)計(jì)、反應(yīng)時(shí)間統(tǒng)計(jì)、時(shí)域相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、線(xiàn)程統(tǒng)計(jì)、系統(tǒng)進(jìn)程相關(guān)統(tǒng)計(jì)、隊(duì)列相關(guān)統(tǒng)計(jì)。在步驟204中，參數(shù)數(shù)據(jù)集被總結(jié)出來(lái)，生成一個(gè)時(shí)域報(bào)告。在一個(gè)實(shí)施例中，報(bào)告模塊118生成一個(gè)時(shí)域報(bào)告，該報(bào)告提及了應(yīng)用132-1的多個(gè)段，以及相對(duì)應(yīng)的性能參數(shù)。例如計(jì)數(shù)數(shù)目、總反應(yīng)時(shí)間、平均反應(yīng)時(shí)間、最大反應(yīng)時(shí)間、以及其他統(tǒng)計(jì)數(shù)據(jù)。報(bào)告模塊118也可以將其中一個(gè)或多個(gè)性能參數(shù)超出預(yù)設(shè)可接受范圍的那些段突出顯示出來(lái)。在步驟206中，接收用戶(hù)的評(píng)論，用以改進(jìn)性能評(píng)價(jià)，例如通過(guò)修改應(yīng)用中的一個(gè)或多個(gè)段，或者通過(guò)改變硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)或時(shí)域期間等來(lái)改進(jìn)性能評(píng)價(jià)。例如，報(bào)告模塊118可以提醒用戶(hù)提供評(píng)論，并且可以通過(guò)例如鍵盤(pán)一類(lèi)的輸入裝置來(lái)接收這些評(píng)論。在步驟208中，用戶(hù)的評(píng)論與對(duì)應(yīng)的段聯(lián)系起來(lái)。在一個(gè)實(shí)施例中，報(bào)告模塊118將用戶(hù)評(píng)論與所對(duì)應(yīng)的段聯(lián)系起來(lái)，并將相關(guān)的評(píng)論保存于性能數(shù)據(jù)124中。在步驟210中，生成一份含有關(guān)于多個(gè)段的參數(shù)數(shù)據(jù)集及用戶(hù)評(píng)論的綜合報(bào)告。這個(gè)綜合報(bào)告可以被多個(gè)利益相關(guān)者(例如軟件開(kāi)發(fā)商、數(shù)據(jù)庫(kù)管理員、項(xiàng)目管理者等)所采用。該綜合報(bào)告可以由報(bào)告模塊118生成。進(jìn)一步地，可對(duì)多個(gè)時(shí)域(B卩，兩個(gè)或更多個(gè)時(shí)域)的性能度量進(jìn)行直接對(duì)比，例如,如方法300中的一個(gè)實(shí)施例所示。在步驟302中，接收來(lái)自應(yīng)用的兩個(gè)或多個(gè)分析時(shí)域的參數(shù)數(shù)據(jù)集。在一個(gè)實(shí)施例中，分析模塊116可以產(chǎn)生“η”個(gè)時(shí)域，并生成關(guān)于這“η”個(gè)時(shí)域的參數(shù)數(shù)據(jù)集。“η”個(gè)時(shí)域可以對(duì)應(yīng)于以下一種或多種情況的組合應(yīng)用的不同版本、或不同硬件設(shè)置、或不同運(yùn)行時(shí)狀態(tài)、或不同時(shí)域時(shí)機(jī)或不同時(shí)域期間。在步驟304中，多個(gè)時(shí)域中所分析的應(yīng)用之間相同的段被區(qū)分出來(lái)，并且這些相同段的參數(shù)數(shù)據(jù)集被對(duì)比。在一個(gè)實(shí)施例中，對(duì)比模塊120區(qū)分出相同的段。
在步驟306中，通過(guò)利用對(duì)應(yīng)于一個(gè)或多個(gè)相同的段的參數(shù)數(shù)據(jù)集生成一份對(duì)比報(bào)告。例如，報(bào)告模塊118可以提醒用戶(hù)選擇一個(gè)或多個(gè)相同的段和/或參數(shù)用于對(duì)比。報(bào)告模塊118可以進(jìn)而生成關(guān)于這些所選的段的對(duì)比報(bào)告，該對(duì)比報(bào)告可以含有對(duì)比性的圖表，并選擇性地將多個(gè)時(shí)域中發(fā)生變化的參數(shù)突出顯示出來(lái)。該對(duì)比報(bào)告也可以含有一個(gè)內(nèi)存圖表，由此用戶(hù)可以將參數(shù)數(shù)據(jù)集的變化與應(yīng)用的內(nèi)存利用率聯(lián)系起來(lái)。進(jìn)一步地，當(dāng)用戶(hù)關(guān)于一個(gè)或多個(gè)時(shí)域的評(píng)論被記錄下來(lái)時(shí)，對(duì)比報(bào)告可以含有與這些所選的段相關(guān)的評(píng)論。因此，應(yīng)用在一段時(shí)間周期內(nèi)的性能變化可被有效地追蹤和分析，從而有助于產(chǎn)生和提供滿(mǎn)足商業(yè)上、技術(shù)上、功能上的多種需求的有效的軟件應(yīng)用。盡管本發(fā)明中以特定的結(jié)構(gòu)特征和/或方法來(lái)描述性能評(píng)價(jià)和報(bào)告的實(shí)施例，但應(yīng)當(dāng)理解的是，本發(fā)明并不受限于這些特定的結(jié)構(gòu)特征和方法。這些特定的結(jié)構(gòu)特征和方 法僅僅是作為本發(fā)明性能評(píng)價(jià)系統(tǒng)和方法的一個(gè)具體實(shí)施例。
權(quán)利要求
1.用于應(yīng)用性能評(píng)價(jià)和報(bào)告的計(jì)算機(jī)執(zhí)行的方法，所述方法包括 在第一分析時(shí)域中生成關(guān)于應(yīng)用的段的性能的第一參數(shù)數(shù)據(jù)集；基于所述第一參數(shù)數(shù)據(jù)集產(chǎn)生時(shí)域報(bào)告；部分地基于所述時(shí)域報(bào)告，接收關(guān)于所述應(yīng)用的一個(gè)或多個(gè)段的評(píng)論；以及基于所述第一參數(shù)數(shù)據(jù)集和所述評(píng)論提供綜合報(bào)告。
2.如權(quán)利要求I所述的計(jì)算機(jī)執(zhí)行的方法，其中所述性能參數(shù)包括以下的至少一個(gè)方面處理器利用率、內(nèi)存利用率、網(wǎng)絡(luò)利用率、輸入/輸出利用率、數(shù)據(jù)庫(kù)查詢(xún)統(tǒng)計(jì)、反應(yīng)時(shí)間相關(guān)統(tǒng)計(jì)、時(shí)域相關(guān)統(tǒng)計(jì)、處理能力統(tǒng)計(jì)、進(jìn)程線(xiàn)程統(tǒng)計(jì)以及隊(duì)列相關(guān)統(tǒng)計(jì)。
3.如權(quán)利要求I所述的計(jì)算機(jī)執(zhí)行的方法，所述方法還包括確定所述第一參數(shù)數(shù)據(jù)集中的性能參數(shù)是否超出預(yù)設(shè)的范圍；以及當(dāng)確定超出預(yù)設(shè)的范圍時(shí)提醒一個(gè)或多個(gè)用戶(hù)提供評(píng)論。
4.如上述任一權(quán)利要求所述的計(jì)算機(jī)執(zhí)行的方法，其中所述評(píng)論是關(guān)于以下的至少一個(gè)方面硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、第一應(yīng)用的一部分、時(shí)域時(shí)機(jī)以及時(shí)域期間。
5.如權(quán)利要求4所述的計(jì)算機(jī)執(zhí)行的方法，其中從一個(gè)或多個(gè)用戶(hù)所接收到的所述評(píng)論基于用戶(hù)名和網(wǎng)絡(luò)ID至的至少一項(xiàng)而被可視化地區(qū)分。
6.如權(quán)利要求I所述的計(jì)算機(jī)執(zhí)行的方法，其中該方法還包括 接收第二參數(shù)數(shù)據(jù)集，該參數(shù)數(shù)據(jù)集對(duì)應(yīng)于在第二分析時(shí)域中分析的第二應(yīng)用； 識(shí)別第一應(yīng)用與第二應(yīng)用之間相同的段； 基于第一參數(shù)數(shù)據(jù)集和第二參數(shù)數(shù)據(jù)集，生成關(guān)于至少一個(gè)相同段的對(duì)比報(bào)告。
7.如權(quán)利要求6所述的計(jì)算機(jī)執(zhí)行的方法，其中所述第二應(yīng)用是以下中的至少一種第一應(yīng)用和第一應(yīng)用的修改版本。
8.如權(quán)利要求6或7所述的計(jì)算機(jī)執(zhí)行的方法，其中所述對(duì)比報(bào)告含有至少一個(gè)部分地基于所述時(shí)域報(bào)告的評(píng)論。
9.用于性能評(píng)價(jià)和報(bào)告的計(jì)算機(jī)執(zhí)行的方法，所述方法包括 獲取參數(shù)數(shù)據(jù)集，所述參數(shù)數(shù)據(jù)集與在兩個(gè)或更多個(gè)分析時(shí)域中分析的應(yīng)用的性能參數(shù)相對(duì)應(yīng)； 識(shí)別這些應(yīng)用之間的相同的段；以及 基于參數(shù)數(shù)據(jù)集生成關(guān)于一個(gè)或多個(gè)相同的段的對(duì)比報(bào)告。
10.如權(quán)利要求9所述的計(jì)算機(jī)執(zhí)行的方法，其中生成對(duì)比報(bào)告的過(guò)程包括在所述對(duì)比報(bào)告中，以可視化的方式顯示對(duì)應(yīng)于一個(gè)或多個(gè)相同段的參數(shù)數(shù)據(jù)集的性能參數(shù)的變化。
11.用于性能評(píng)價(jià)和報(bào)告的系統(tǒng)(102)，所述系統(tǒng)包括 處理器(104);以及 存儲(chǔ)器(110)，其與處理器(104)相連，所述存儲(chǔ)器(110 )包括 分析模塊(116)，用于分析第一應(yīng)用的性能，并生成關(guān)于第一應(yīng)用中執(zhí)行的段的第一參數(shù)數(shù)據(jù)集；和 報(bào)告模塊(118)，用于接收評(píng)論，以改變一個(gè)或多個(gè)段的性能；并基于第一參數(shù)數(shù)據(jù)集和評(píng)論中的至少一個(gè)而生成報(bào)告。
12.如權(quán)利要求11所述的系統(tǒng)，其中所述報(bào)告模塊(118)還被配置成確定第一參數(shù)數(shù)據(jù)集中的至少一個(gè)數(shù)據(jù)點(diǎn)是否偏離于預(yù)設(shè)的范圍，以及 當(dāng)確定超出預(yù)設(shè)的范圍時(shí)在時(shí)域報(bào)告中顯示偏差。
13.如權(quán)利要求12所述的系統(tǒng)(102)，其還包括對(duì)比模塊(120)，用以識(shí)別兩個(gè)或更多個(gè)應(yīng)用間的相同的段，其中報(bào)告模塊(118)還被配置成 確定一個(gè)或多個(gè)相同的段的性能是否在兩個(gè)或多個(gè)應(yīng)用間發(fā)生變化； 當(dāng)確定發(fā)生變化時(shí)在對(duì)比報(bào)告中顯示出性能的變化。
14.一種計(jì)算機(jī)可讀介質(zhì)，所述介質(zhì)含有計(jì)算機(jī)程序，所述程序所執(zhí)行的方法包括 在第一分析時(shí)域中生成第一參數(shù)數(shù)據(jù)集； 獲取與第二分析時(shí)域相對(duì)應(yīng)的第二參數(shù)數(shù)據(jù)集； 基于第一參數(shù)數(shù)據(jù)集和第二參數(shù)數(shù)據(jù)集提供對(duì)比報(bào)告，所述對(duì)比報(bào)告還包括與第一分析時(shí)域中和第二分析時(shí)域中所分析的應(yīng)用中的至少一個(gè)相關(guān)的評(píng)論。
15.如權(quán)利要求14所述的計(jì)算機(jī)可讀介質(zhì)，其中所述第二分析時(shí)域在以下的至少一個(gè)方面不同于第一分析時(shí)域硬件設(shè)置、運(yùn)行時(shí)狀態(tài)、時(shí)域時(shí)機(jī)和時(shí)域期間。
全文摘要
本發(fā)明涉及一種用于性能評(píng)價(jià)和報(bào)告的系統(tǒng)和方法。在一種方法中，在第一分析時(shí)域分析第一應(yīng)用以生成第一參數(shù)數(shù)據(jù)集，該參數(shù)數(shù)據(jù)集與第一應(yīng)用的段的性能相關(guān)?；诘谝粎?shù)數(shù)據(jù)集，生成時(shí)域報(bào)告。進(jìn)一步地，部分地基于時(shí)域報(bào)告接收到關(guān)于一個(gè)或多個(gè)應(yīng)用的段的評(píng)論。進(jìn)而，基于第一參數(shù)數(shù)據(jù)集和評(píng)論，生成綜合報(bào)告。
文檔編號(hào)G06F11/36GK102902621SQ201210074239
公開(kāi)日2013年1月30日 申請(qǐng)日期2012年3月20日 優(yōu)先權(quán)日2011年7月28日
發(fā)明者斯瓦魯普·查特基, 卡羅·薩哈周杜里, 索姆納西·森古塔 申請(qǐng)人:塔塔咨詢(xún)服務(wù)有限公司