專利名稱：測量用戶感覺評分的方法
技術領域：
本發(fā)明涉及一種根據(jù)分組交換移動電信網(wǎng)上所測量的業(yè)務質(zhì)量(QoS，Quality of Service)數(shù)據(jù)集，得到用戶感覺評分(UPS，User Perception Score)的方法。
在移動電信網(wǎng)絡尤其是分組交換網(wǎng)絡上運行的應用程序，根據(jù)它對于網(wǎng)絡的需要可以具有一個唯一的配置文件。本發(fā)明的目的是根據(jù)測量的業(yè)務質(zhì)量(QoS)數(shù)據(jù)集，得出專用于一個特定應用程序或一類應用程序的UPS。
本發(fā)明提供了一種測量在移動電信網(wǎng)絡上運行的應用程序的UPS的方法，該方法包括下列步驟a)在基于特定移動電信網(wǎng)絡QoS數(shù)據(jù)集的計算機模擬環(huán)境中運行一個實際應用程序；b)評價步驟a)的執(zhí)行以生成一個UPS；c)將評價的UPS和步驟a)中使用的特定QoS數(shù)據(jù)集之間的相關性加載到一個測試移動通信設備；和d)通過一個實際網(wǎng)絡在測試移動通信設備和加載到計算機上的測試應用程序之間運行應用程序的端到端模擬，以生成新的QoS數(shù)據(jù)集并得出UPS。
在一個優(yōu)選實施例中，該方法進一步包括多次重復步驟a)，每一次重復步驟a)都改變一個或多個網(wǎng)絡QoS數(shù)據(jù)集的參數(shù)，從而生成一個UPS庫。
所述參數(shù)可以手動地或通過使用測試腳本來改變。
優(yōu)選的，重復步驟d)的端到端模擬，以生成一個QoS數(shù)據(jù)集庫。
有利的，重復步驟a)、b)、c)和d)，直到在步驟d)生成的新的QoS數(shù)據(jù)集與步驟a)中使用的QoS數(shù)據(jù)集一致到預定的精確度。
有利的，該方法還包括步驟分析QoS數(shù)據(jù)集和在步驟d)中由測試移動通信設備進行的RF測量之間的相關性。
可以使用預加載在測試移動通信設備和計算機上的測試腳本，手動或自動執(zhí)行步驟d)的端到端模擬。
本發(fā)明的方法雖然通過利用實際用戶測試分組數(shù)據(jù)應用程序來收集UPS，但是使用模擬的移動電話網(wǎng)絡而非實際網(wǎng)絡?？梢砸韵到y(tǒng)方式改變一個移動電話網(wǎng)絡的所有關鍵QoS特性，對于特性的每一種特定組合得到一個UPS。這樣產(chǎn)生一個數(shù)據(jù)庫，其中記錄給定應用程序的UPS和關鍵的網(wǎng)絡QoS特性之間的關系。被擴展覆蓋不同分組數(shù)據(jù)應用程序的范圍的該數(shù)據(jù)庫，被存儲在連接到核心網(wǎng)絡的測試移動通信設備和計算機中，并且被組合使用以通過運行一個模擬的端到端呼叫而在網(wǎng)絡中收集實際的QoS數(shù)據(jù)。這樣，通過使用該數(shù)據(jù)庫，測量的網(wǎng)絡QoS數(shù)據(jù)被轉(zhuǎn)換成一個或多個UPS評分，每個可被應用于一個特定應用程序。
現(xiàn)在參考附圖通過實例更詳細的描述本發(fā)明，其中

圖1和2是說明實現(xiàn)本發(fā)明的一種方法的步驟框圖。
參看附圖，本發(fā)明的方法包括下列步驟1.在PC2上的一個模擬的端到端應用程序測試環(huán)境中，運行一個應用程序1(即，一個諸如游戲、郵件服務器等等的實際應用程序)(參見附圖1)。模擬環(huán)境2模擬應用程序1如何在實際網(wǎng)絡中運行。通過重放存儲在模塊3中的已記錄網(wǎng)絡性能特性或通過使用一般網(wǎng)際協(xié)議(IP)網(wǎng)絡仿真來運行模擬環(huán)境2，其中所述IP網(wǎng)絡仿真是使用存儲在模塊3中的網(wǎng)絡性能特性來校準的。通過在實際網(wǎng)絡激活使用的一個測試移動電話(未示出)來測量那些網(wǎng)絡性能特性3和QoS數(shù)據(jù)集。與本申請同日提交的、名稱為“Developing aUser Activity Profile”的UK專利申請的說明書描述了怎樣開發(fā)網(wǎng)絡性能特性3。應用程序1端到端進行運行，模擬環(huán)境2作為該應用程序的兩端之間的通信路徑。
2.除了運行實際測量的網(wǎng)絡性能特性作為QoS數(shù)據(jù)集，模擬環(huán)境2允許改變所有的QoS數(shù)據(jù)。QoS數(shù)據(jù)可以手動或通過軟件(測試腳本)控制來改變。QoS數(shù)據(jù)集包括但不限于以下內(nèi)容每個呼叫嘗試成功的概率；建立一個呼叫所用的時間；網(wǎng)絡分配QoS參數(shù)作為請求的QoS的函數(shù)；定義呼叫期間網(wǎng)絡改變QoS參數(shù)的概率的模型；呼叫持續(xù)時間；在呼叫結(jié)束之前呼叫掉線的概率以及與重新建立呼叫相關的概率和延遲；呼叫的有效數(shù)據(jù)速率，包括呼叫期間數(shù)據(jù)速率的變化；
等待時間數(shù)據(jù)(即，發(fā)送每個分組和收到該分組之間的延遲)，包括在呼叫期間等待時間的變化；和誤碼的概率，包括它們的分布(尤其是差錯的突發(fā)特性)。
3.評價用戶在模擬環(huán)境2中使用應用程序1的體驗，以生成UPS 4。這樣，一個實際用戶(例如一個玩游戲的用戶)評價在模擬環(huán)境2中運行應用程序1的滿意度，并提供一個評價值(UPS 4)。這個過程被重復多次以提供“大量用戶”的UPS 4，從而通過對這些UPS進行平均而產(chǎn)生一個有意義的UPS。可替換地，可以通過輸入以前實際用戶的UPS來建立一個虛擬UP。所以，UPS 4是用戶使用應用程序1的體驗的評價值。UPS評價值類似于評價語音質(zhì)量所得到的平均主觀評分(MOS，Mean Opinion Score)的標準產(chǎn)業(yè)方法?？梢岳靡粋€專用工具使用一個虛擬用戶來產(chǎn)生UPS 4。
4.然后改變QoS數(shù)據(jù)，以及對于QoS數(shù)據(jù)的多個不同代表值得到一個新的UPS 4。因此，逐個改變步驟2的QoS數(shù)據(jù)參數(shù)，并且進行評價以確定UPS 4是否顯著變化。換句話說，步驟4是步驟2和3的一系列重復，每次重復改變一個或多個參數(shù)。分析當QoS數(shù)據(jù)變化時UPS 4的變化，可以推導出網(wǎng)絡QoS特性與UPS之間的相關性。
5.該測試也將推導出用于被測試的應用程序1的用戶活動配置文件(UAP，User Activity Profile)5，UAP 5包括以下幾部分一個數(shù)據(jù)文件，包含將由測試移動電話6(參見附圖2)通過實際網(wǎng)絡8在從電話到遠程服務器(或者PC)7上運行的一個測試應用程序的上行鏈路上發(fā)送的數(shù)據(jù)；一個數(shù)據(jù)文件，包含將由該測試應用程序通過網(wǎng)絡8在從服務器7到測試移動電話6的下行鏈路上發(fā)送的數(shù)據(jù)；一個活動配置文件，定義測試移動電話6應當何時在上行鏈路上發(fā)送數(shù)據(jù)分組；和一個活動配置文件，定義測試移動電話6應當何時在下行鏈路上接收數(shù)據(jù)分組。
可替換地，UAP 5也可以按照前面所提到的UK專利申請的說明書中描述的方法生成。
6.然后在測試移動電話6和服務器7上實施步驟4中推導出的UPS 4和網(wǎng)絡QoS特性之間的相關性以及步驟5推導出的UAP 5，以允許端到端測試。測試移動電話6能夠測量QoS特性9(如步驟2中所列)。步驟4中推導出的QoS特性9和UPS 4之間的相關性然后將允許測試移動電話6利用測量的網(wǎng)絡性能(QoS)特性推導出一個實際UPS 10。這允許當模擬應用程序1時由測試移動電話6進行UPS測量以確保測量結(jié)果是有代表性的。
7.然后在實際網(wǎng)絡8上使用在步驟6中被使能進行UPS測量10的測試移動電話6。測試移動電話6和連接到網(wǎng)絡8的服務器7一起，允許端到端測試，并且可被技術人員利用預加載的測試腳本激活使用或以無人模式使用，以收集在不同位置范圍(例如市區(qū)、汽車高速公路、郊區(qū)、農(nóng)村等)、一天中不同的時間以及所要求的多個QoS參數(shù)范圍的網(wǎng)絡上的UPS測量結(jié)果10。該步驟這樣使用測試應用程序(在服務器7上運行一個程序以模擬該服務器在實際網(wǎng)絡中的活動，或模擬一個PSTN用戶的活動)，在一個實際網(wǎng)絡8上使用一個模擬用戶(測試移動電話6)。
8.在步驟7中，也可以收集如步驟2中所定義的新的網(wǎng)絡性能(QoS)特性9。如果需要，可以反復重復步驟3-8，以確保在進行QoS測量10的情況下，測試中被用于推導出UPS 4的模擬環(huán)境2是網(wǎng)絡8的真實代表。重復該反復處理直到看到QoS測量結(jié)果10會聚到期望的重合性。
9.可能需要在步驟7中完成的UPS測量10和在實際環(huán)境中使用移動電話手動收集的UPS測量之間進行校準。尤其是，與使用具有附加的使人分心的事情的實際環(huán)境中的用戶所得到的結(jié)果相比，步驟3中包含的基于實驗室的方法能給出系統(tǒng)的、更好的結(jié)果。這樣的偏差將需要通過與用于UPS測量的手動方法以及加到測試移動電話6所報告的UPS測量10上的一個校準因子進行比較來檢測。
10.還可以分析測試移動電話6所收集的UPS 10來識別QoS數(shù)據(jù)和由測試移動電話6或利用測試移動電話發(fā)送的UAP所進行的RF測量結(jié)果之間的任何重要的相關性。這些相關性的舉例可以包括RF測量結(jié)果(信號強度、干擾)；網(wǎng)絡QoS事件(例如差錯突發(fā)、呼叫掉線、分組數(shù)據(jù)延遲周期較長)控制級(c-plane，control plane)事件(例如，軟切換(SHO，soft hand over)、采用壓縮模式、改變QoS參數(shù)、分組數(shù)據(jù)重發(fā)數(shù)量)；和UAP(即，瞬時數(shù)據(jù)速率的改變)和網(wǎng)絡QoS(尤其是等待時間數(shù)據(jù))。
技術人員能夠?qū)y試移動電話6收集的數(shù)據(jù)進行分析，以及UPS測量結(jié)果的分析可被用于校正網(wǎng)絡性能缺陷。例如，如果UPS測量結(jié)果顯示一個特定位置的接收問題，技術人員可以將這個情況報告給網(wǎng)絡操作員，于是可以增加發(fā)送功率來改善接收狀況。
11.UPS測量結(jié)果10也可以被一個負載發(fā)生器(一個移動電話集合，其協(xié)調(diào)模擬實際網(wǎng)絡中的大用戶電話組)使用，以評價在一個加載的無線接入網(wǎng)中網(wǎng)絡參數(shù)和UPS之間的相關性。這然后可以允許在測試環(huán)境中確定并驗證那些參數(shù)的最佳值，而不會冒對網(wǎng)絡用戶有不利結(jié)果的風險。由于用戶級(u-plane，user plane)業(yè)務代表實際應用程序，使用該方法開發(fā)的負載發(fā)生器提供良好的精確度，所以根據(jù)對于該負載發(fā)生器的測試所得到的結(jié)果也更精確。從而通過對于該負載發(fā)生器的測試也可以得到無線接入網(wǎng)絡參數(shù)的最優(yōu)化。這樣，UAP可被饋送到負載發(fā)生器，然后該負載發(fā)生器運行以收集UPS。如在步驟10那樣，分析這些UPS以識別重要的相關性。與步驟10相比，這有一個優(yōu)點，即利用這樣一個負載發(fā)生器可以同時控制大量的電話，并且這將被與只控制一個電話的步驟10中的分析進行比較。
本發(fā)明的方法使得一個測試移動電話能夠進行對于一個特定應用程序特定的UPS測量。給定接下來的幾年中可能將會使用的大量不同應用程序，有一個方法來產(chǎn)生可以應用于特定應用程序的UPS是重要的，本發(fā)明就提供了這樣一種方法。
除了使用本發(fā)明的方法來生成QoS數(shù)據(jù)之外，所得到的UPS測量結(jié)果也可被用于網(wǎng)絡最優(yōu)化、用于不同應用程序的評估、用于確定容量/用戶滿意程度的最佳平衡點、用于確定不同應用程序的給定QoS要求的呼叫定價以及用于比較不同的網(wǎng)絡。
權(quán)利要求
1.一種測量在移動電信網(wǎng)絡上運行的一個應用程序的UPS的方法，該方法包括下列步驟a)在基于特定移動通信網(wǎng)絡QoS數(shù)據(jù)集的計算機模擬環(huán)境中運行一個實際應用程序；b)評價步驟a)的執(zhí)行以生成UPS；c)將評價的UPS和步驟a)中使用的特定QoS數(shù)據(jù)集之間的相關性加載到一個測試移動通信設備；和d)通過一個實際網(wǎng)絡在所述測試移動通信設備和一個加載在計算機上的測試應用程序之間運行應用程序的端到端模擬，以生成新的QoS數(shù)據(jù)并推導出UPS。
2.如權(quán)利要求1所述的方法，還包括多次重復步驟a)，每次重復步驟a)改變一個或多個網(wǎng)絡QoS數(shù)據(jù)集的參數(shù)，從而生成一個UPS庫。
3.如權(quán)利要求2所述的方法，其中，所述參數(shù)被手動改變。
4.如權(quán)利要求2所述的方法，其中，使用測試腳本改變所述參數(shù)。
5.如權(quán)利要求2至4中任何一個所述的方法，其中，所述參數(shù)包括下列一個或多個1)呼叫嘗試成功的概率；2)建立一個呼叫所用的時間；3)網(wǎng)絡進行的QoS參數(shù)的分配作為請求的QoS的函數(shù)；4)定義呼叫期間網(wǎng)絡改變QoS參數(shù)的概率的模型；5)呼叫持續(xù)時間；6)在呼叫結(jié)束之前呼叫掉線的概率以及與重新建立呼叫相關的概率和延遲；7)呼叫的有效數(shù)據(jù)速率，包括呼叫期間數(shù)據(jù)速率的變化；8)等待時間數(shù)據(jù)，包括呼叫期間等待時間的變化；和9)誤碼的概率，包括它們的分布。
6.如權(quán)利要求2至5中任何一個所述的方法，其中，重復步驟d)的端到端模擬，以生成一個QoS數(shù)據(jù)集庫。
7.如權(quán)利要求6所述的方法，其中，重復所述步驟a)、b)、c)和d)，直到步驟d)中生成的新QoS數(shù)據(jù)與步驟a)中使用的QoS數(shù)據(jù)集一致到一個預定的精確度。
8.如權(quán)利要求6或7所述的方法，進一步包括步驟分析QoS數(shù)據(jù)和由測試移動通信設備在步驟d)中進行的RF測量之間的相關性。
9.如權(quán)利要求8所述的方法，所述相關性包括下列一個或多個1)RF測量結(jié)果；2)網(wǎng)絡QoS事件；3)控制級事件；和4)等待時間數(shù)據(jù)。
10.如權(quán)利要求1至9中任何一個所述的方法，其中，步驟d)的端到端模擬由技術人員手動執(zhí)行。
11.如權(quán)利要求1至9中任何一個所述的方法，其中，使用測試移動通信設備和計算機上的預加載測試腳本，自動執(zhí)行步驟d)的端到端模擬。
12.如權(quán)利要求1至11中任何一個所述的方法，還包括步驟在運行步驟d)的端到端模擬之前，將一個UAP加載到所述測試移動通信設備和計算機上。
全文摘要
一種測量在一個移動電信網(wǎng)絡中運行的應用程序的UPS的方法，包括下列步驟a)在基于特定移動通信網(wǎng)絡QoS數(shù)據(jù)集的計算機模擬環(huán)境(2)中運行一個實際應用程序(1)；b)評價步驟a)的執(zhí)行以生成一個UPS(4)；c)將評價的UPS和步驟a)中使用的特定QoS數(shù)據(jù)集之間的相關性加載到一個測試移動通信設備(6)；和d)通過一個實際網(wǎng)絡(8)在測試移動通信設備和一個加載在計算機(7)上的測試應用程序之間運行應用程序的端到端模擬，以生成新的QoS數(shù)據(jù)并推導出UPS。
文檔編號H04L12/26GK1523922SQ20041002835
公開日2004年8月25日 申請日期2004年2月12日 優(yōu)先權(quán)日2003年2月12日
發(fā)明者菲利普·溫德雷德, 菲利普 溫德雷德 申請人:尤比尼蒂克斯有限公司