一種客觀評價e-learning用戶體驗質(zhì)量的方法
【專利摘要】本發(fā)明公開了一種客觀評價e-learning用戶體驗質(zhì)量的方法，建立e-learning用戶體驗質(zhì)量評價指標體系，提出指標體系中影響要素的量化方法，通過e-learning系統(tǒng)的用戶日志數(shù)據(jù)，提取影響要素的特征值并進行量化評價，確定影響要素的權(quán)重，對影響要素進行加權(quán)求和，客觀的評價用戶體驗質(zhì)量。本發(fā)明基于客觀日志數(shù)據(jù)，重點解決了e-learning用戶體驗質(zhì)量影響要素的定量分析、要素權(quán)重的確定等關(guān)鍵技術(shù)。與當前用戶體驗質(zhì)量評價中普遍依賴問卷調(diào)查的主觀評價方法相比，本發(fā)明可以評價單用戶的e-learning用戶體驗質(zhì)量，避免了組織主觀問卷調(diào)查，可以依據(jù)用戶日志數(shù)據(jù)客觀的評價e-learning用戶體驗質(zhì)量。
【專利說明】—種客觀評價e-1 earn i ng用戶體驗質(zhì)量的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用戶體驗質(zhì)量評價方法,特別涉及一種客觀評價e-learning用戶體驗質(zhì)量的方法。
【背景技術(shù)】
[0002]隨著服務(wù)經(jīng)濟的發(fā)展，用戶體驗成為網(wǎng)絡(luò)服務(wù)能否被接受的關(guān)鍵。對用戶體驗質(zhì)量的評價越來越受到研究者的重視，成為人機交互領(lǐng)域的研究熱點。當前研究也取得了顯著的成就，通過建立合適的評價指標體系對用戶進行抽樣問卷調(diào)查，對回收的問卷進行數(shù)據(jù)分析，從網(wǎng)站的角度評價整個用戶群的整體用戶體驗質(zhì)量，從而為網(wǎng)絡(luò)服務(wù)的改進和完善提供幫助。使用問卷調(diào)查評價用戶體驗質(zhì)量的方法存在費時費力等問題，并且不能從用戶的角度評價單用戶的用戶體驗質(zhì)量。目前評價用戶體驗質(zhì)量的方法如下:
[0003]第一種常見的用戶體驗質(zhì)量評價方法是使用因子分析或結(jié)構(gòu)方程模型對抽樣問卷調(diào)查的數(shù)據(jù)進行分析。因子分析和結(jié)構(gòu)方程模型可以分析影響用戶體驗質(zhì)量的關(guān)鍵要素，從而指導網(wǎng)絡(luò)服務(wù)的改進，但對于問卷調(diào)查結(jié)果的準確性要求較高。
[0004]另外一種常見的評價方法是抽樣問卷調(diào)查結(jié)合用戶行為日志，通過分析用戶行為日志對部分影響要素進行評價，結(jié)合問卷調(diào)查對其它影響要素進行評價，進而評價用戶體驗質(zhì)量。
[0005]上述現(xiàn)有的用戶體驗質(zhì)量評價方法存在以下三方面的問題:
[0006]一、不能從用戶的角度評價單用戶的用戶體驗質(zhì)量；
[0007]二、評價過程依賴主觀問卷調(diào)查，人力物力消耗大；
[0008]三、不能定量的評價用戶體驗質(zhì)量。

【發(fā)明內(nèi)容】

[0009]本發(fā)明的目的在于提供一種客觀評價e-learning用戶體驗質(zhì)量的方法，是解決現(xiàn)有評價方法依賴主觀問卷調(diào)查的問題，依據(jù)用戶日志、為達到以上目的，本發(fā)明采用的技術(shù)方案包括以下步驟:
[0010]I)從用戶日志中提取影響要素的特征值并進行定量計算，包括如下步驟:
[0011]1.1)日志預處理:對原始用戶日志進行預處理，生成含有用戶標識信息、學習對象信息以及學習動作發(fā)生時間信息的用戶學習日志數(shù)據(jù)集；
[0012]1.2)用戶學習序列識別:對用戶學習日志數(shù)據(jù)集中每條日志記錄進行用戶學習序列識別，生成含有學習對象信息、學習動作發(fā)生時間信息的用戶學習序列數(shù)據(jù)集；
[0013]1.3)提取用戶回訪特征信息并計算用戶回訪率:遍歷考查時間段內(nèi)的用戶學習序列數(shù)據(jù)集，統(tǒng)計用戶有效訪問系統(tǒng)的次數(shù)ny以及總計應訪次數(shù)ny，按照式I)計算該用戶回訪率Rm ;
[0014]其中，用戶回訪率表征用戶再次使用e-learning系統(tǒng)服務(wù)的回訪意愿強烈程度；用戶回訪率定義為用戶在考查的時間段內(nèi)用戶有效訪問系統(tǒng)的次數(shù)與總計應訪次數(shù)的比值，用戶回訪率用符號Rm表示，量化方法如式I)所示:
[0016]式I)中:ην——用戶有效訪問系統(tǒng)的次數(shù)；ny——為總計應訪次數(shù)；
[0017]1.4)提取響應時間特征信息并計算響應速度:遍歷考查時間段內(nèi)的用戶訪問序列數(shù)據(jù)集，統(tǒng)計從用戶請求到系統(tǒng)將響應頁面呈現(xiàn)給用戶的時長之和t，同時記錄用戶請求的總次數(shù)N，計算響應時間的均值然后利用式2)計算響應速度^ ；
[0018]其中，響應速度表征用戶感覺到的系統(tǒng)響應快慢程度；響應速度定義為系統(tǒng)響應用戶請求的快慢程度，響應速度用符號W表示，量化方法如式2)所示:
[0019][0020]式2) 4 7 —響應時間的均值'K=I，t為從用戶請求到系統(tǒng)將響應頁面
f,-N
呈現(xiàn)給用戶的時長之和；N為用戶請求的總次數(shù)；
[0021]1.5)提取導航清晰度特征信息并計算導航清晰度:遍歷考查時間段內(nèi)的用戶訪問序列數(shù)據(jù)集，提取學習對象信息，并判定學習對象信息是否為目標單元或下一步要學習的知識單元，然后通過判定結(jié)果統(tǒng)計用戶所訪問的有效導航特征和無效導航特征，計算是否達到成功完成學習，當計算結(jié)果顯示成功完成學習，則利用式3)計算導航清晰度Cn ；
[0022]其中，導航清晰度表征用戶在使用系統(tǒng)服務(wù)過程中對系統(tǒng)導航是否清晰的感受；導航清晰度定義為用戶在一次任務(wù)過程中，成功完成任務(wù)時用戶所訪問的目標知識單元個數(shù)和用戶所訪問的下一步要學習的知識單元個數(shù)的總和與用戶訪問的所有知識單元個數(shù)的比值，導航清晰度用符號Cn表示，量化方法如式3)所示:
「 ， ^ naim + Hrel，、
[0023]=--3)

fh
[0024]式3)中:naim—用戶所訪問的目標知識單元個數(shù)；nMl——用戶所訪問的下一步要學習的知識單元個數(shù)；nt——用戶訪問的所有知識單元個數(shù)；
[0025]1.6)提取正確點擊特征信息并計算正確點擊率；遍歷考查時間段內(nèi)的用戶訪問序列數(shù)據(jù)集，從學習日志的學習對象信息以及學習動作發(fā)生信息中提取正確點擊特征，利用式4)計算該用戶的正確點擊率Rn ；
[0026]其中，正確點擊率表征用戶與系統(tǒng)進行人機交互過程中，系統(tǒng)設(shè)計符合用戶使用習慣的特性以及容易學習的特性；正確點擊率定義為用戶在一次任務(wù)過程中正確點擊次數(shù)占總點擊次數(shù)的比例，正確點擊率用符號Rn表示，量化方法如式4)所示:
[0027]K=I ~4)

nC
[0028]式4)中:nm-為錯誤點擊次數(shù)；n。-為總點擊次數(shù)；[0029]2)使用Delphi方法確定影響要素的權(quán)重，按照權(quán)重對影響要素進行加權(quán)求和，計算出e-learning用戶體驗質(zhì)量Qe。
[0030]步驟1.1)中日志預處理的方法如下:
[0031]a)從用戶日志的一條日志記錄中提取出用戶標識信息、學習對象信息以及學習動作發(fā)生時間信息；然后判斷提取的用戶標識信息是否為已有的用戶，如果是，則將用戶標識信息記錄到相應的用戶標識中；如果否，則建立新的用戶標識；將提取的學習對象信息記錄到相應的用戶標識所在的數(shù)據(jù)記錄中，將提取的學習動作發(fā)生時間信息記錄到相應的用戶標識所在的數(shù)據(jù)記錄中；[0032]b)將用戶標識中的信息記入到用戶學習日志數(shù)據(jù)集；
[0033]c)在完成該條日志記錄的預處理后，判斷該條日志記錄是否為最后一條，如果是，則完成日志預處理；如果否，則返回步驟a)讀取下一條日志。
[0034]所述的步驟a)中提取的學習動作發(fā)生時間信息經(jīng)過時間格式轉(zhuǎn)換后記錄到相應的用戶標識中。
[0035]步驟1.2)中用戶學習序列識別的方法如下:
[0036]a)從用戶學習日志數(shù)據(jù)集中讀取一條日志記錄，然后分別提取學習對象信息和學習動作發(fā)生時間信息，將提取的學習對象信息記錄到學習序列中，判斷學習動作發(fā)生時間信息是否屬于同一學習序列，如果是，將提取的學習動作發(fā)生時間信息記錄到學習序列中，如果不是，將提取的學習動作發(fā)生時間信息所對應的學習序列設(shè)置為新的學習序列并記錄到學習序列中；
[0037]b)從提取的學習動作發(fā)生時間信息中提取學習時長信息，判斷學習時長信息中的學習時長是否超過學習時長閾值；如果是，則將該學習時長設(shè)置為平均學習時長，然后記錄到學習序列；如果否，則將該學習時長記錄到學習序列；
[0038]c)將學習序列中的信息記入用戶學習序列數(shù)據(jù)集；然后判斷日志記錄是否為最后一條，如果是，則完成用戶學習序列識別；如果否，則返回步驟a)讀取下一條日志記錄。
[0039]步驟1.4)從學習日志的學習動作發(fā)生時間信息中統(tǒng)計從用戶請求到系統(tǒng)將響應頁面呈現(xiàn)給用戶的時長之和t，同時記錄用戶請求的總次數(shù)N，計算響應時間的均值^:，然后利用式2)計算響應速度W的方法為:
[0040]a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列；
[0041]b)從該用戶學習序列中讀取一條學習日志，提取響應時間特征信息；
[0042]c)判斷學習日志是否為最后一條；如果是，利用式2)計算該條學習日志的響應速度^并將該響應速度^記錄到響應速度數(shù)據(jù)庫，然后轉(zhuǎn)到步驟d);如果否，則返回步驟b)讀取下一條學習日志；
[0043]d)判斷用戶學習序列是否為最后一條；如果是，則結(jié)束響應速度D,的計算；如果否，則返回步驟a)讀取下一條用戶學習序列。
[0044]步驟1.3)從學習日志的學習動作發(fā)生時間信息中統(tǒng)計用戶的有效來訪次數(shù)~以及總計應訪次數(shù)ny，按照式I)計算該用戶回訪率Rm的方法為:
[0045]a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列；
[0046]b)從該用戶學習序列中讀取一條學習日志，提取用戶有效回訪特征信息；
[0047]c)判斷學習日志是否為最后一條；如果是，則利用式I)計算用戶回訪率Rm并將該用戶回訪率Rm記錄到用戶回訪率數(shù)據(jù)庫中，然后轉(zhuǎn)到步驟d);如果否，則返回步驟b)讀取下一條學習日志；
[0048]如果否，則返回步驟b)讀取下一條學習日志；
[0049]d)判斷用戶學習序列是否為最后一條，如果是，則結(jié)束用戶回訪率Rm的計算；如果否，則返回步驟a)讀取下一條用戶學習序列。
[0050]步驟1.5)中從學習日志的學習對象信息中提取知識單元，并判定知識單元是否為目標或下一步要學習的知識單元，通過判定結(jié)果統(tǒng)計用戶所訪問的目標知識單元個數(shù)Ilaim和用戶所訪問的下一步要學習的知識單元個數(shù)nMl，利用式3)計算導航清晰度Cn的方法為:
[0051]a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列；
[0052]b)從該用戶學習序列中讀取一條學習日志，提取學習對象信息；
[0053]c)判斷提所提取的學習對象信息是否為目標單元或下一步要學習的知識單元；如果是，則將該學習對象信息記錄為有效導航特征，然后轉(zhuǎn)到步驟d);如果否，則將該學習對象信息記錄為無效導航特征；然后轉(zhuǎn)到步驟d)；
[0054]d)判斷記錄的有效導航特征或無效導航特征是否成功完成學習；
[0055]如果是，則利用式3)計算導航清晰度Cn并記錄到導航清晰度數(shù)據(jù)庫中，然后轉(zhuǎn)到步驟f);如果否，則轉(zhuǎn)到步驟e)；
[0056]e)判斷學習日志是否為最后一條，如果是，則利用式3)計算計算導航清晰度Cn并記錄到導航清晰度數(shù)據(jù)庫中，然后轉(zhuǎn)到步驟f);如果否，則讀取下一條學習日志，返回步驟
b)讀取下一條學習日志；
[0057]f)判斷用戶學習序列是否為最后一條；如果是，則結(jié)束導航清晰度Cn的計算；如果否，則返回步驟a)讀取下一個用戶學習序列。
[0058]步驟1.6)中從學習日志的學習對象信息以及學習動作發(fā)生信息中判斷正確點擊特征，并統(tǒng)計錯誤點擊次數(shù)nm，利用式4)計算該用戶的正確點擊率Rn的方法為:
[0059]a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列；
[0060]b)從該用戶學習序列中讀取一條學習日志，提取學習對象信息和點擊時間信息；
[0061]c)判斷點擊時間信息是否符合正確點擊特征；如果是，則記錄為正確點擊，轉(zhuǎn)入步驟d);如果否，則記錄為錯誤點擊，則轉(zhuǎn)入步驟d)；
[0062]d)判斷學習日志是否為最后一條，如果是，則利用式4)計算正確點擊率Rn并記錄到正確點擊率數(shù)據(jù)庫，然后轉(zhuǎn)入步驟e);如果否，則返回步驟b)讀取下一條學習日志；
[0063]e)判斷用戶學習序列是否為最后一條，如果是，則結(jié)束正確點擊率Rn的計算，如果否，則返回步驟a)讀取下一個用戶學習序列。
[0064]所述的步驟2)中權(quán)重對影響要素進行加權(quán)求和的方法如式5)所示:
[0065]
【權(quán)利要求】
1.一種客觀評價e-learning用戶體驗質(zhì)量的方法,其特征在于,包括以下步驟: O從用戶日志中提取影響要素的特征值并進行定量計算，包括如下步驟: 1.0日志預處理:對原始用戶日志進行預處理，生成含有用戶標識信息、學習對象信息以及學習動作發(fā)生時間信息的用戶學習日志數(shù)據(jù)集； 1.2)用戶學習序列識別:對用戶學習日志數(shù)據(jù)集中每條日志記錄進行用戶學習序列識另O，生成含有學習對象信息、學習動作發(fā)生時間信息的用戶學習序列數(shù)據(jù)集； 1.3)提取用戶回訪特征信息并計算用戶回訪率:遍歷考查時間段內(nèi)的用戶學習序列數(shù)據(jù)集，統(tǒng)計用戶有效訪問系統(tǒng)的次數(shù)ny以及總計應訪次數(shù)ny，按照式I)計算該用戶回訪率R.JAre 9 其中，用戶回訪率表征用戶再次使用e-learning系統(tǒng)服務(wù)的回訪意愿強烈程度；用戶回訪率定義為用戶在考查的時間段內(nèi)用戶有效訪問系統(tǒng)的次數(shù)與總計應訪次數(shù)的比值，用戶回訪率用符號Rm表示，量化方法如式I)所示:
2.根據(jù)權(quán)利要求1所述的客觀評價e-learning用戶體驗質(zhì)量方法，其特征在于，步驟1.0中日志預處理的方法如下: a)從用戶日志的一條日志記錄中提取出用戶標識信息、學習對象信息以及學習動作發(fā)生時間信息；然后判斷提取的用戶標識信息是否為已有的用戶，如果是，則將用戶標識信息記錄到相應的用戶標識中；如果否，則建立新的用戶標識；將提取的學習對象信息記錄到相應的用戶標識所在的數(shù)據(jù)記錄中，將提取的學習動作發(fā)生時間信息記錄到相應的用戶標識所在的數(shù)據(jù)記錄中； b)將用戶標識中的信息記入到用戶學習日志數(shù)據(jù)集； c)在完成該條日志記錄的預處理后，判斷該條日志記錄是否為最后一條，如果是，則完成日志預處理；如果否，則返回步驟a)讀取下一條日志。
3.根據(jù)權(quán)利要求2所述的客觀評價e-learning用戶體驗質(zhì)量方法，其特征在于:所述的步驟a)中提取的學習動作發(fā)生時間信息經(jīng)過時間格式轉(zhuǎn)換后記錄到相應的用戶標識中。
4.根據(jù)權(quán)利要求1或2所述的客觀評價e-learning用戶體驗質(zhì)量方法，其特征在于，步驟1.2)中用戶學習序列識別的方法如下: a)從用戶學習日志數(shù)據(jù)集中讀取一條日志記錄，然后分別提取學習對象信息和學習動作發(fā)生時間信息，將提取的學習對象信息記錄到學習序列中，判斷學習動作發(fā)生時間信息是否屬于同一學習序列，如果是，將提取的學習動作發(fā)生時間信息記錄到學習序列中，如果不是，將提取的學習動作發(fā)生時間信息所對應的學習序列設(shè)置為新的學習序列并記錄到學習序列中； b)從提取的學習動作發(fā)生時間信息中提取學習時長信息，判斷學習時長信息中的學習時長是否超過學習時長閾值；如果是，則將該學習時長設(shè)置為平均學習時長，然后記錄到學習序列；如果否，則將該學習時長記錄到學習序列； c)將學習序列中的信息記入用戶學習序列數(shù)據(jù)集；然后判斷日志記錄是否為最后一條，如果是，則完成用戶學習序列識別；如果否，則返回步驟a)讀取下一條日志記錄。
5.根據(jù)權(quán)利要求4所述的客觀評價e-learning用戶體驗質(zhì)量方法,其特征在于,步驟.1.4)從學習日志的學習動作發(fā)生時間信息中統(tǒng)計從用戶請求到系統(tǒng)將響應頁面呈現(xiàn)給用戶的時長之和t，同時記錄用戶請求的總次數(shù)N，計算響應時間的均值ξ，然后利用式2)計算響應速度^的方法為: a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列； b)從該用戶學習序列中讀取一條學習日志，提取響應時間特征信息； c)判斷學習日志是否為最后一條；如果是，利用式2)計算該條學習日志的響應速度^并將該響應速度^記錄到響應速度數(shù)據(jù)庫，然后轉(zhuǎn)到步驟d);如果否，則返回步驟b)讀取下一條學習日志； d)判斷用戶學習序列是否為最后一條；如果是，則結(jié)束響應速度^的計算；如果否，則返回步驟a)讀取下一條用戶學習序列。
6.根據(jù)權(quán)利要求1或2所述的客觀評價e-learning用戶體驗質(zhì)量方法，其特征在于，步驟1.3)從學習日志的學習動作發(fā)生時間信息中統(tǒng)計用戶的有效來訪次數(shù)nv以及總計應訪次數(shù)ny，按照式I)計算該用戶回訪率Rm的方法為: a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列； b)從該用戶學習序列中讀取一條學習日志，提取用戶有效回訪特征信息； c)判斷學習日志是否為最后一條；如果是，則利用式I)計算用戶回訪率Rm并將該用戶回訪率Rm記錄到用戶回訪率數(shù)據(jù)庫中，然后轉(zhuǎn)到步驟d);如果否，則返回步驟b)讀取下一條學習日志； 如果否，則返回步驟b)讀取下一條學習日志； d)判斷用戶學習序列是否為最后一條，如果是，則結(jié)束用戶回訪率Rm的計算；如果否，則返回步驟a)讀取下一條用戶學習序列。
7.根據(jù)權(quán)利要求1或2所述的客觀評價e-learning用戶體驗質(zhì)量方法，其特征在于，步驟1.5)中從學習日志的學習對象信息中提取知識單元，并判定知識單元是否為目標或下一步要學習的知識單元，通過判定結(jié)果統(tǒng)計用戶所訪問的目標知識單元個數(shù)naim和用戶所訪問的下一步要學習的知識單元個數(shù)nMl，利用式3)計算導航清晰度Cn的方法為: a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列； b)從該用戶學習序列中讀取一條學習日志，提取學習對象信息； c)判斷提所提取的學習對象信息是否為目標單元或下一步要學習的知識單元；如果是，則將該學習對象信息記錄為有效導航特征，然后轉(zhuǎn)到步驟d);如果否，則將該學習對象信息記錄為無效導航特征；然后轉(zhuǎn)到步驟d)； d)判斷記錄的有效導航特征或無效導航特征是否成功完成學習； 如果是，則利用式3)計算導航清晰度Cn并記錄到導航清晰度數(shù)據(jù)庫中，然后轉(zhuǎn)到步驟f);如果否，則轉(zhuǎn)到步驟e); e)判斷學習日志是否為最后一條，如果是，則利用式3)計算計算導航清晰度Cn并記錄到導航清晰度數(shù)據(jù)庫中，然后轉(zhuǎn)到步驟f);如果否，則讀取下一條學習日志，返回步驟b)讀取下一條學習日志； f)判斷用戶學習序列是否為最后一條；如果是，則結(jié)束導航清晰度Cn的計算；如果否，則返回步驟a)讀取下一個用戶學習序列。
8.根據(jù)權(quán)利要求1或2所述的客觀評價e-learning用戶體驗質(zhì)量方法，其特征在于，步驟1.6)中從學習日志的學習對象信息以及學習動作發(fā)生信息中判斷正確點擊特征，并統(tǒng)計錯誤點擊次數(shù)nm，利用式4)計算該用戶的正確點擊率Rn的方法為: a)從用戶學習序列數(shù)據(jù)集中讀取一個用戶學習序列； b)從該用戶學習序列中讀取一條學習日志，提取學習對象信息和點擊時間信息； c)判斷點擊時間信息是否符合正確點擊特征；如果是，則記錄為正確點擊，轉(zhuǎn)入步驟d);如果否，則記錄為錯誤點擊，則轉(zhuǎn)入步驟d)； d)判斷學習日志是否為最后一條，如果是，則利用式4)計算正確點擊率Rn并記錄到正確點擊率數(shù)據(jù)庫，然后轉(zhuǎn)入步驟e);如果否，則返回步驟b)讀取下一條學習日志； e)判斷用戶學習序列是否為最后一條，如果是，則結(jié)束正確點擊率Rn的計算，如果否，則返回步驟a)讀取下一個用戶學習序列。
9.根據(jù)權(quán)利要求1所述的客觀評價e-learning用戶體驗質(zhì)量方法，其特征在于:所述的步驟2)中權(quán)重對影響要素進行加權(quán)求和的方法如式5)所示:




α 屮 Dr C R]W = [R D C" 5)



式 5)中，W-權(quán)重向量，且 WT = [0.75 0.1489 0.0690 0.0321] ?
【文檔編號】G06F17/30GK103577535SQ201310393210
【公開日】2014年2月12日 申請日期:2013年9月2日 優(yōu)先權(quán)日:2013年9月2日
【發(fā)明者】吳茜媛, 張云強, 鄭慶華, 曾彬 申請人:西安交通大學