專利名稱：認(rèn)知無線電中基于協(xié)作學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種特別用于認(rèn)知無線電系統(tǒng)中多用戶動(dòng)態(tài)頻譜接入的方法，屬于通信技術(shù)領(lǐng)域。
背景技術(shù)：
無線電頻譜是全人類共享的有限自然資源，各國對無線頻譜的管制都很嚴(yán)格，一般都是由國家統(tǒng)一分配。隨著信息時(shí)代的到來，無線通信的各種新業(yè)務(wù)發(fā)展迅速，無線設(shè)備被廣泛使用，無線頻譜資源日趨緊張。事實(shí)上在許多頻段，頻譜接入問題比頻譜物理稀缺問題更為顯著，大部分原因是由于法定的分配規(guī)則限制了用戶的接入能力。2002年11月，美國聯(lián)邦通信委員會(huì)(FCC)發(fā)布了一項(xiàng)由Spectrum-Policy Task Force提交的旨在有效管理美國頻譜資源的報(bào)告。該報(bào)告明確指出“在許多頻帶，頻譜的準(zhǔn)入是一個(gè)比頻譜本身稀缺更加重要的問題，頻譜的稀缺很大程度上是由于法規(guī)限制了這些頻譜上的潛在用戶獲得準(zhǔn)入?！笔聦?shí)確實(shí)如此，如果統(tǒng)計(jì)一下包括郊區(qū)在內(nèi)的各類地域的頻譜占有率，將會(huì)發(fā)現(xiàn)一些頻帶在絕大數(shù)時(shí)間是未被占據(jù)的；一些頻帶是部分時(shí)間被占據(jù)的；而另外一些頻帶則是被密集使用的。這種頻譜利用的不均的情況引導(dǎo)了通信業(yè)界研究人員去思考“頻譜空穴”(Spectrum Holes)這樣一個(gè)嶄新的概念，即“一個(gè)頻譜空穴是分配給授權(quán)用戶的頻帶，但是，在某一指定時(shí)間和空間，在授權(quán)用戶不占用這一頻帶的情況下，此頻帶可以被其他用戶使用?！边@樣，頻譜資源的潛在利用率可以得到明顯提高。認(rèn)知無線電(CR=Cognitive Radio)技術(shù)被認(rèn)為是未來探測頻譜空穴特性、高效利用無線頻譜的主要手段，是能夠有效緩解頻譜分配與利用這對矛盾的技術(shù)。認(rèn)知無線電的概念起源于1999年Jowph Mitola博士的奠基性工作，他的博士論文中是這樣描述認(rèn)知無線電的無線個(gè)人數(shù)字助理和相關(guān)的網(wǎng)絡(luò)在無線電資源和通信方面具有充分的計(jì)算智能來探測用戶的通信需求，并根據(jù)這些需求來提供相應(yīng)最合適的無線電資源和無線服務(wù)。著名通信理論學(xué)者、人工智能大師Simom Haykin教授從數(shù)字信號處理、網(wǎng)絡(luò)、人工智能和計(jì)算機(jī)軟硬件實(shí)現(xiàn)等角度出發(fā)定義了認(rèn)知無線電，即“認(rèn)知無線電是一個(gè)智能的無線通信系統(tǒng)，可以感知無線環(huán)境，通過對環(huán)境的理解、主動(dòng)學(xué)習(xí)實(shí)現(xiàn)在特定的無線操作參數(shù)(如功率、載波調(diào)制和編碼等方案)實(shí)時(shí)改變和調(diào)整它的內(nèi)部狀態(tài)。適應(yīng)外部環(huán)境的變化，具有在不影響其他授權(quán)用戶(主用戶，Primary user, Licensed user)的前提下智能地利用大量空閑頻譜并且隨時(shí)隨地、智能、高可靠性通信的潛能。”FCC定義認(rèn)知無線電是一種可通過與其運(yùn)行環(huán)境交互而改變其發(fā)射機(jī)參數(shù)的無線電。國際電信聯(lián)盟 ITU(International Telecommunication Union)定義認(rèn)知無線電為可感知或了解其操作的環(huán)境從而動(dòng)態(tài)、自治地調(diào)整其操作參數(shù)的無線電或系統(tǒng)?？偟膩碚f，認(rèn)知無線電可認(rèn)為是一種可以依靠人工智能的支持，感知環(huán)境，根據(jù)一定的學(xué)習(xí)和決策算法，實(shí)時(shí)、自適應(yīng)地改變系統(tǒng)工作參數(shù)，動(dòng)態(tài)地檢測和有效地利用空閑頻譜的無線電。研究認(rèn)知無線電對于解決無線頻譜資源緊張的問題具有十分重要的意義。
學(xué)習(xí)是人類智能的重要表現(xiàn)之一，人所以能夠適應(yīng)環(huán)境的變化并提高解決問題的能力，其原因在于人能通過學(xué)習(xí)積累經(jīng)驗(yàn)，總結(jié)規(guī)律，以增長知識和才能。人工智能大師 Simon認(rèn)為學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強(qiáng)或改進(jìn)，使得系統(tǒng)在下一次執(zhí)行相同任務(wù)或相類似的任務(wù)時(shí)，會(huì)比現(xiàn)在做的更好或效率更高。學(xué)習(xí)是認(rèn)知無線電系統(tǒng)的一個(gè)重要環(huán)節(jié)，認(rèn)知無線電系統(tǒng)能夠感知周圍環(huán)境(如無線電環(huán)境，信道環(huán)境等)， 并能從環(huán)境中學(xué)習(xí)，通過實(shí)時(shí)的改變相應(yīng)的固定參量(如發(fā)送功率，發(fā)送頻率和調(diào)制策略等)，來達(dá)到通信的可靠性和更有效的頻譜利用率這兩個(gè)主要目的。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明的目的在于提供一種認(rèn)知無線電系統(tǒng)中基于協(xié)作學(xué)習(xí)的多用戶動(dòng)態(tài)接入方法，單個(gè)智能體(認(rèn)知用戶)可以獨(dú)立地解決各種簡單的問題，但是當(dāng)問題變復(fù)雜時(shí)，單智能體獨(dú)立學(xué)習(xí)卻越來越無能為力，因此此時(shí)必須得依靠多個(gè)智能體共同工作來解決這些復(fù)雜的問題。本發(fā)明將黑板模型、融合算法和強(qiáng)化學(xué)習(xí)結(jié)合起來，可以提高多認(rèn)知用戶系統(tǒng)的學(xué)習(xí)速率。技術(shù)方案本發(fā)明中，基于協(xié)作學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入方法的思路是每個(gè)認(rèn)知用戶都采用單Agent強(qiáng)化學(xué)習(xí)算法獨(dú)立地進(jìn)行學(xué)習(xí)，為了加快學(xué)習(xí)速度、提高學(xué)習(xí)效率，多個(gè)認(rèn)知用戶通過黑板模型進(jìn)行策略的共享，一段學(xué)習(xí)時(shí)間后，利用融合算法對多個(gè)策略進(jìn)行融合來改進(jìn)策略，然后利用融合后的策略進(jìn)行再學(xué)習(xí)。這相當(dāng)于給每個(gè)認(rèn)知用戶增加了先驗(yàn)知識，從而能使其更快地學(xué)習(xí)。方法框架如

圖1所示動(dòng)作選擇器根據(jù)Q值和選定的動(dòng)作選擇策略來選擇動(dòng)作。執(zhí)行器執(zhí)行動(dòng)作選擇器選擇的動(dòng)作，作用于環(huán)境，使得環(huán)境狀態(tài)St轉(zhuǎn)移到下一狀
χ st+i οQ學(xué)習(xí)根據(jù)環(huán)境狀態(tài)s，采取的動(dòng)作a和獎(jiǎng)賞函數(shù)r，通過Q-Iearning算法進(jìn)行學(xué)習(xí)，從而智能地調(diào)整認(rèn)知用戶的動(dòng)作策略。黑板模型每學(xué)習(xí)N步之后，每個(gè)認(rèn)知用戶將自己當(dāng)前的Q值發(fā)布到黑板上，同時(shí)從黑板上獲取其他認(rèn)知用戶的Q值，從而實(shí)現(xiàn)策略共享。融合算法對從黑板獲得的策略進(jìn)行融合，以期能獲得更高獎(jiǎng)賞值的策略。該方法的具體內(nèi)容為a、初始化隨機(jī)初始化每個(gè)認(rèn)知用戶的狀態(tài)-動(dòng)作對函數(shù)值Q(s，a)，s表示認(rèn)知用戶的狀態(tài)，a表示認(rèn)知用戶所采取的動(dòng)作，設(shè)定初始學(xué)習(xí)速率α C1、溫度參數(shù)T和迭代次數(shù) N；b、狀態(tài)空間的構(gòu)建狀態(tài)空間S = {如S2,…，sK，々，&，···，<5^}，其中、= 0表示信道被授權(quán)用戶k占用= 1表示信道未被占用；Sl &表示授權(quán)用戶占用的信道，K為授權(quán)用戶數(shù)，·^ ~ ^表示被認(rèn)知用戶占用的信道，Cl1 dM表示M個(gè)認(rèn)知用戶數(shù)；C、動(dòng)作選擇策略對狀態(tài)-動(dòng)作函數(shù)值Q(st，at)用玻耳茲曼法進(jìn)行非線性化，然后再采用輪盤賭算法進(jìn)行選擇，用Boltzmarm機(jī)分布選擇動(dòng)作的概率
權(quán)利要求
1.一種認(rèn)知無線電系統(tǒng)中基于協(xié)作學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入方法，其特征在于該方法的具體內(nèi)容為a、初始化隨機(jī)初始化每個(gè)認(rèn)知用戶的狀態(tài)-動(dòng)作對函數(shù)值Q(s，a),s表示認(rèn)知用戶的狀態(tài)，a表示認(rèn)知用戶所采取的動(dòng)作，設(shè)定初始學(xué)習(xí)速率α C1、溫度參數(shù)T和迭代次數(shù)N ；b、狀態(tài)空間的構(gòu)建狀態(tài)空間S= { ，而，…，%，'"‘‘ ^/)，其中％ = 0表示信道被授權(quán)用戶k占用= 1表示信道未被占用；Sl ％表示授權(quán)用戶占用的信道，K 為授權(quán)用戶數(shù)，·^ ~ ^表示被認(rèn)知用戶占用的信道，Cl1 dM表示M個(gè)認(rèn)知用戶數(shù)；c、動(dòng)作選擇策略對狀態(tài)-動(dòng)作函數(shù)值Q(st，at)用玻耳茲曼法進(jìn)行非線性化，然后再采用輪盤賭算法進(jìn)行選擇，用B ο 11 ζ marm機(jī)分布選擇動(dòng)作的概率
2.如權(quán)利要求1所述的認(rèn)知無線電系統(tǒng)中基于協(xié)作學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入方法， 其特征在于對Q值利用融合方法進(jìn)行計(jì)算的過程為步驟1 設(shè)N次迭代為一個(gè)學(xué)習(xí)周期，在每個(gè)學(xué)習(xí)周期結(jié)束之后，各認(rèn)知用戶將自己當(dāng)前的Q值發(fā)送到黑板，并且分享黑板中其它認(rèn)知用戶的Q值，找出擁有最大Q值的認(rèn)知用戶
全文摘要
本發(fā)明的目的在于提供一種認(rèn)知無線電系統(tǒng)中基于協(xié)作學(xué)習(xí)的多用戶動(dòng)態(tài)頻譜接入方法，該方法將黑板模型、融合算法以及強(qiáng)化學(xué)習(xí)方法結(jié)合起來，先對各個(gè)狀態(tài)-動(dòng)作對函數(shù)值用Boltzmann機(jī)進(jìn)行非線性化，再采用輪盤賭算法進(jìn)行動(dòng)作選擇，然后確定獎(jiǎng)賞函數(shù)，實(shí)現(xiàn)黑板模型，即所有認(rèn)知用戶將各自當(dāng)前的Q值通過公共控制信道發(fā)送到黑板，并且可以從黑板中獲取其它認(rèn)知用戶的Q值，然后利用融合算法進(jìn)行計(jì)算，在此基礎(chǔ)上，每個(gè)認(rèn)知用戶都根據(jù)融合后的Q值進(jìn)行動(dòng)作選擇。本發(fā)明中的每個(gè)認(rèn)知用戶獨(dú)立執(zhí)行強(qiáng)化學(xué)習(xí)算法，同時(shí)它們之間進(jìn)行相互合作，共享狀態(tài)、策略和獎(jiǎng)賞，從而加快學(xué)習(xí)速度。
文檔編號H04W16/10GK102238555SQ20111020042
公開日2011年11月9日 申請日期2011年7月18日 優(yōu)先權(quán)日2011年7月18日
發(fā)明者朱洪波, 朱琦, 李曉靜, 楊龍祥 申請人:南京郵電大學(xué)