本發(fā)明涉及無(wú)線(xiàn)通信優(yōu)化，更具體地，涉及一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法。

背景技術(shù)：

1、在無(wú)線(xiàn)通信領(lǐng)域中，去蜂窩大規(guī)模mimo(multiple-input?multiple-output，多輸入輸出)利用大量地理位置上隨機(jī)分布的接入點(diǎn)，通過(guò)前傳網(wǎng)絡(luò)連接到中央處理單元，聯(lián)合服務(wù)網(wǎng)絡(luò)中的用戶(hù)，實(shí)現(xiàn)無(wú)縫無(wú)線(xiàn)覆蓋?？紤]到每個(gè)用戶(hù)由所有的ap(accesspoint，接入點(diǎn))服務(wù)會(huì)導(dǎo)致大量前傳信令開(kāi)銷(xiāo)和復(fù)雜度與能耗的提高，因此如何為每個(gè)用戶(hù)選擇合適的接入點(diǎn)集合為自己服務(wù)成為了當(dāng)前的一個(gè)研究熱點(diǎn)。此外，波束成形是毫米波系統(tǒng)中常見(jiàn)的技術(shù)，用于形成定向性波束，從而提高通信效率。如何通過(guò)合理的設(shè)計(jì)使得在減少射頻鏈路數(shù)量的同時(shí)保持顯著的復(fù)用增益，對(duì)于充分發(fā)揮去蜂窩大規(guī)模mimo系統(tǒng)潛在優(yōu)勢(shì)也具有重要意義。

2、目前基于凸優(yōu)化算法的分布優(yōu)化是解決此類(lèi)的聯(lián)合優(yōu)化問(wèn)題的熱門(mén)方法，但是將聯(lián)合優(yōu)化問(wèn)題分為多個(gè)子問(wèn)題進(jìn)行分步優(yōu)化往往導(dǎo)致最終的優(yōu)化性能受限于其中某個(gè)子問(wèn)題。尤其是在用戶(hù)數(shù)量與接入點(diǎn)數(shù)量龐大，以及對(duì)聯(lián)合波束成形性能要求較高的去蜂窩大規(guī)模mimo系統(tǒng)，這就要求中央處理器能夠在保證最優(yōu)的接入點(diǎn)選擇基礎(chǔ)上，同時(shí)實(shí)現(xiàn)高效的波束成形設(shè)計(jì)。

3、因此，如何在聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)，在保證獲得最優(yōu)的接入點(diǎn)選擇方案同時(shí)，以低硬件成本實(shí)現(xiàn)接近全數(shù)字混合波束成形的性能，成了目前亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為解決上述現(xiàn)有技術(shù)所述的如何保證獲得最優(yōu)的接入點(diǎn)選擇方案的同時(shí)，以低硬件成本實(shí)現(xiàn)接近全數(shù)字混合波束成形的性能的問(wèn)題，提供一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法。

2、為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

3、第一方面，一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，包括：

4、建立網(wǎng)絡(luò)場(chǎng)景模型，以及智能體的演員家網(wǎng)絡(luò)以及評(píng)價(jià)網(wǎng)絡(luò)；其中，所述網(wǎng)絡(luò)場(chǎng)景模型包括用戶(hù)及接入點(diǎn)的數(shù)量和位置；

5、令所述智能體在每個(gè)時(shí)間步t決策自己的動(dòng)作at，即每個(gè)所述用戶(hù)與每個(gè)所述接入點(diǎn)之間的連接狀態(tài)；

6、在執(zhí)行所述動(dòng)作at之后，環(huán)境根據(jù)輸入，進(jìn)行混合波束成形設(shè)計(jì)；

7、獲取環(huán)境輸出以得到經(jīng)驗(yàn)樣本et＝{st，at，rt，st+1}；其中，st表示在時(shí)間步t時(shí)的用戶(hù)狀態(tài)，rt表示所述智能體所獲得的獎(jiǎng)勵(lì)，st+1表示所述智能體在執(zhí)行所述動(dòng)作at后轉(zhuǎn)移到的下一個(gè)所述用戶(hù)狀態(tài)，并將所述經(jīng)驗(yàn)樣本et存入經(jīng)驗(yàn)池；

8、從所述經(jīng)驗(yàn)池中取出批量所述經(jīng)驗(yàn)樣本對(duì)所述智能體中的所述演員家網(wǎng)絡(luò)和所述評(píng)價(jià)網(wǎng)絡(luò)進(jìn)行同步訓(xùn)練更新，直至訓(xùn)練結(jié)束，通過(guò)所述智能體得到聯(lián)合優(yōu)化策略。

9、第二方面，一種電子設(shè)備，包括：

10、存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行指令或者計(jì)算機(jī)程序；

11、處理器，用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)可執(zhí)行指令或者計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)第一方面所述方法。

12、第三方面，一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)程序或計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)第一方面所述方法。

13、與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是：

14、本發(fā)明公開(kāi)了一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，通過(guò)深度強(qiáng)化學(xué)習(xí)(即演員家網(wǎng)絡(luò)-評(píng)價(jià)網(wǎng)絡(luò)架構(gòu))訓(xùn)練一個(gè)智能體，來(lái)解決以用戶(hù)為中心的接入點(diǎn)選擇問(wèn)題，以輸出最優(yōu)的用戶(hù)連接點(diǎn)選擇策略，同時(shí)環(huán)境根據(jù)當(dāng)前接入點(diǎn)選擇，實(shí)時(shí)更新給出最優(yōu)的波束成形設(shè)計(jì)，從而最大化系統(tǒng)的全局用戶(hù)速率，實(shí)現(xiàn)接入點(diǎn)選擇和波束成形聯(lián)合優(yōu)化，以達(dá)到全局最優(yōu)。相較于現(xiàn)有技術(shù)，本發(fā)明更加適合對(duì)算法收斂延遲和性能指標(biāo)要求較高的無(wú)線(xiàn)通信場(chǎng)景，特別是去蜂窩大規(guī)模mimo場(chǎng)景。

技術(shù)特征：

1.一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，所述演員家網(wǎng)絡(luò)包括嵌入層、編碼層、解碼層、注意力層和指針生成器；其中，

3.根據(jù)權(quán)利要求2所述的一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，令所述智能體在每個(gè)時(shí)間步t決策自己的動(dòng)作at時(shí)，所述演員家網(wǎng)絡(luò)中的所述指針生成器根據(jù)所述注意力層的輸出結(jié)果選擇連接所述用戶(hù)和所述接入點(diǎn)以形成用戶(hù)-接入點(diǎn)對(duì)ai，并根據(jù)全局的連接狀態(tài)確定動(dòng)作at，其表達(dá)式為：

4.根據(jù)權(quán)利要求3所述的一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，所述根據(jù)全局的連接狀態(tài)確定動(dòng)作at，包括：

5.根據(jù)權(quán)利要求3所述的一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，所述指針向量的長(zhǎng)度為用戶(hù)數(shù)量與接入點(diǎn)數(shù)量的乘積，由所述注意力層基于注意力機(jī)制生成，其表達(dá)式如下：

6.根據(jù)權(quán)利要求2所述的一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，所述智能體的訓(xùn)練過(guò)程中，所述演員家網(wǎng)絡(luò)和所述評(píng)價(jià)網(wǎng)絡(luò)的同步更新包括：

7.根據(jù)權(quán)利要求1所述的一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，所述用戶(hù)狀態(tài)st由每個(gè)所述用戶(hù)的sinr組成，定義為st＝{γ1，γ2…，γk}，其中，γk表示第k個(gè)用戶(hù)的sinr，k∈[1，k]；

8.根據(jù)權(quán)利要求1-7任一項(xiàng)所述的一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，其特征在于，所述混合波束成形設(shè)計(jì)，包括：

9.一種電子設(shè)備，其特征在于，包括：

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或計(jì)算機(jī)可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)程序或計(jì)算機(jī)可執(zhí)行指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1-8任一項(xiàng)所述方法。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種聯(lián)合接入點(diǎn)選擇和波束成形設(shè)計(jì)的優(yōu)化方法，涉及無(wú)線(xiàn)通信優(yōu)化領(lǐng)域。所述方法包括：建立網(wǎng)絡(luò)場(chǎng)景模型，以及智能體的演員家網(wǎng)絡(luò)以及評(píng)價(jià)網(wǎng)絡(luò)；令智能體在每個(gè)時(shí)間步?jīng)Q策自己的動(dòng)作；在執(zhí)行動(dòng)作a<subgt;t</subgt;之后，環(huán)境根據(jù)輸入，進(jìn)行混合波束成形設(shè)計(jì)；獲取環(huán)境輸出以得到經(jīng)驗(yàn)樣本，并將經(jīng)驗(yàn)樣本存入經(jīng)驗(yàn)池；從經(jīng)驗(yàn)池中取出批量經(jīng)驗(yàn)樣本對(duì)智能體中的演員家網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)進(jìn)行同步訓(xùn)練更新，直至訓(xùn)練結(jié)束，通過(guò)智能體得到聯(lián)合優(yōu)化策略。相較于現(xiàn)有技術(shù)，本發(fā)明解決了以用戶(hù)為中心的接入點(diǎn)選擇問(wèn)題，并實(shí)時(shí)更新給出最優(yōu)的波束成形設(shè)計(jì)，實(shí)現(xiàn)接入點(diǎn)選擇和波束成形聯(lián)合優(yōu)化，以達(dá)到全局最優(yōu)，適合對(duì)算法收斂延遲和性能指標(biāo)要求較高的無(wú)線(xiàn)通信場(chǎng)景。

技術(shù)研發(fā)人員：馬煒?shù)h,孫興華,陳翔
受保護(hù)的技術(shù)使用者：中山大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9