本發(fā)明涉及基站能耗管理，尤其是涉及一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法。

背景技術(shù)：

1、隨著5g技術(shù)的快速發(fā)展和廣泛應(yīng)用，5g基站的數(shù)量和能耗迅速增加，成為了通信行業(yè)可持續(xù)發(fā)展的關(guān)鍵挑戰(zhàn)。5g基站能耗的有效管理對于降低運(yùn)營成本、提高能源效率以及減少環(huán)境影響具有重要意義。傳統(tǒng)的基站節(jié)能方法通常依賴于固定的節(jié)能策略或人工經(jīng)驗(yàn)，難以適應(yīng)動態(tài)變化的環(huán)境和業(yè)務(wù)需求。

2、強(qiáng)化學(xué)習(xí)作為人工智能的一種方法，在智能決策領(lǐng)域取得了顯著的進(jìn)展。然而，傳統(tǒng)的強(qiáng)化學(xué)習(xí)在基站能耗管理方面面臨遷移泛化的挑戰(zhàn)。這可能是由于算法對訓(xùn)練環(huán)境過度擬合，缺乏在新的環(huán)境中進(jìn)行有效探索和適應(yīng)的能力，導(dǎo)致學(xué)習(xí)到的策略無法很好地泛化到具有不同動態(tài)特征的新場景中去。

3、最近，decision?transformer模型作為一種新型的離線強(qiáng)化學(xué)習(xí)算法引起了人們的關(guān)注。該模型采用自注意力機(jī)制，能夠有效處理長序列決策問題。通過學(xué)習(xí)歷史數(shù)據(jù)中的長期依賴關(guān)系，它可以自主學(xué)習(xí)和調(diào)整決策策略，以適應(yīng)不同的動態(tài)環(huán)境，并提供更高效的能耗管理質(zhì)量。此外，decision?transformer模型在遷移泛化性能方面表現(xiàn)優(yōu)異，它可以利用多個任務(wù)或環(huán)境的歷史數(shù)據(jù)學(xué)習(xí)通用策略，因此即使面對新的、未曾見過的環(huán)境，仍能夠保持良好的性能。這一特點(diǎn)使其有望克服傳統(tǒng)強(qiáng)化學(xué)習(xí)所面臨的挑戰(zhàn)，并為基站能耗管理提供更加智能化和自適應(yīng)的節(jié)能策略。

4、然而，decision?transformer模型在應(yīng)用于基站能耗管理場景時仍存在一些局限性。這些局限性包括模型過度依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量，在非最優(yōu)數(shù)據(jù)集上往往無法學(xué)習(xí)到最佳策略，在推理時實(shí)際產(chǎn)生的回報(bào)往往達(dá)不到期望回報(bào)，其中期望回報(bào)是模型推理時指定的目標(biāo)，實(shí)際回報(bào)是模型與環(huán)境交互實(shí)際產(chǎn)生的回報(bào)。因此，有必要提出新的方法來改善decision?transformer模型在基站能耗管理應(yīng)用中的效果，以進(jìn)一步提高能耗管理效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法，以解決上述背景技術(shù)中提到的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于改進(jìn)decision?transformer模型的基站能耗優(yōu)化方法，包括以下步驟：

3、s1、對環(huán)境進(jìn)行建模，定義基站能耗管理場景下的馬爾科夫決策過程要素，包括狀態(tài)、動作和獎勵機(jī)制，并用強(qiáng)化學(xué)習(xí)訓(xùn)練并生成基站能耗管理的決策數(shù)據(jù)集，計(jì)算決策數(shù)據(jù)集中軌跡回報(bào)，對計(jì)算的軌跡回報(bào)通過bootstrap方法計(jì)算每個時間步的均值μt和標(biāo)準(zhǔn)差σt，建模數(shù)據(jù)樣本的分布；

4、s2、對軌跡回報(bào)進(jìn)行標(biāo)準(zhǔn)化處理，計(jì)算其在數(shù)據(jù)樣本中的距離分布，并進(jìn)行歸一化處理，以作為軌跡序列的提示pt；

5、s3、重構(gòu)輸入軌跡序列τ，使用decision?transformer模型對重構(gòu)的軌跡序列進(jìn)行訓(xùn)練，直至收斂，獲得最優(yōu)的基站能耗管理策略。

6、優(yōu)選的，s1中的狀態(tài)包括基站功率、總用戶數(shù)、總傳輸速率、基站休眠模式和使用中的天線數(shù)量；動作包括調(diào)整各基站的休眠模式、使用中的天線數(shù)量和用戶關(guān)聯(lián)模式；獎勵以降低基站能耗為目標(biāo)，用戶服務(wù)質(zhì)量作為懲罰項(xiàng)。

7、優(yōu)選的，s1中將決策數(shù)據(jù)集中每個決策點(diǎn)后的累積獎勵表示為軌跡回報(bào)。

8、優(yōu)選的，s2中提示pt具體表達(dá)式如下：

9、

10、其中，rt是在t時間步的軌跡回報(bào)，通過標(biāo)準(zhǔn)化處理計(jì)算t時間步軌跡回報(bào)在數(shù)據(jù)樣本中的分布，接著通過sigmod函數(shù)將標(biāo)準(zhǔn)化處理的結(jié)果縮放到0和1之間作為軌跡提示pt。

11、優(yōu)選的，重構(gòu)的軌跡序列τ的具體表達(dá)式如下：

12、

13、其中，(r0,…,rt)表示從時間步0到t的軌跡回報(bào)；(p0,…,pt)表示從時間步0到t的提示；表示從時間步0到t第0到第m個基站的狀態(tài)；表示從時間步0到t第0到第m個基站的動作；

14、模型訓(xùn)練時對離散動作設(shè)計(jì)相應(yīng)的損失函數(shù)，具體表達(dá)式如下：

15、

16、其中，為t時間步的真實(shí)動作概率；為t時間步模型預(yù)測的動作概率；l為單個動作獨(dú)熱編碼長度；k為動作空間大小。

17、因此，本發(fā)明采用上述的一種基于改進(jìn)decision?transformer模型的基站能耗優(yōu)化方法，具備以下有益效果：

18、(1)提出了改進(jìn)的decision?transformer模型，對齊了模型在推理時的期望回報(bào)和實(shí)際回報(bào)；

19、(2)通過加入提示，改進(jìn)的decision?transformer模型能更好地學(xué)習(xí)樣本數(shù)據(jù)的特征，解決了模型對數(shù)據(jù)集質(zhì)量的過度依賴問題，使得模型即使在非最優(yōu)數(shù)據(jù)集上也能夠?qū)W習(xí)到最佳策略；

20、(3)通過本發(fā)明改進(jìn)的decision?transformer模型能夠在面對新任務(wù)時展現(xiàn)出優(yōu)異的性能，不亞于目前先進(jìn)的強(qiáng)化學(xué)習(xí)算法。

21、下面通過附圖和實(shí)施例，對本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

技術(shù)特征：

1.一種基于改進(jìn)decision?transformer模型的基站能耗優(yōu)化方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法，其特征在于：s1中的狀態(tài)包括基站功率、總用戶數(shù)、總傳輸速率、基站休眠模式和使用中的天線數(shù)量；動作包括調(diào)整各基站的休眠模式、使用中的天線數(shù)量和用戶關(guān)聯(lián)模式；獎勵以降低基站能耗為目標(biāo)，用戶服務(wù)質(zhì)量作為懲罰項(xiàng)。

3.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法，其特征在于：s1中將決策數(shù)據(jù)集中每個決策點(diǎn)后的累積獎勵表示為軌跡回報(bào)。

4.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)decisiontransformer模型的基站能耗優(yōu)化方法，其特征在于，s2中提示pt具體表達(dá)式如下：

5.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)decision?transformer模型的基站能耗優(yōu)化方法，其特征在于，重構(gòu)的軌跡序列τ的具體表達(dá)式如下：

技術(shù)總結(jié)
本發(fā)明公開了一種基于改進(jìn)Decision?Transformer模型的基站能耗優(yōu)化方法，屬于基站能耗管理領(lǐng)域，包括對環(huán)境進(jìn)行建模，并用強(qiáng)化學(xué)習(xí)生成決策數(shù)據(jù)集，計(jì)算決策數(shù)據(jù)集中軌跡回報(bào)，對計(jì)算的軌跡回報(bào)通過Bootstrap方法計(jì)算每個時間步的均值μ<subgt;t</subgt;和標(biāo)準(zhǔn)差σ<subgt;t</subgt;，建模數(shù)據(jù)樣本的分布；對軌跡回報(bào)進(jìn)行標(biāo)準(zhǔn)化處理，計(jì)算其在數(shù)據(jù)樣本中的距離分布，并進(jìn)行歸一化處理，作為軌跡序列的提示P<subgt;t</subgt;；重構(gòu)輸入軌跡序列τ，使用DecisionTransformer模型對重構(gòu)的軌跡序列τ進(jìn)行訓(xùn)練，直至收斂，獲得最優(yōu)的基站能耗管理策略。本發(fā)明采用上述的一種基于改進(jìn)Decision?Transformer模型的基站能耗優(yōu)化方法，改進(jìn)了Decision?Transformer模型對數(shù)據(jù)集質(zhì)量過度依賴的問題，克服了模型無法學(xué)習(xí)到最優(yōu)策略的缺陷，為降低基站能耗提供了新的解決思路與方案。

技術(shù)研發(fā)人員：李駿,朱銀濤,夏鵬程,張杰,曾振平,時龍,金石,蔣海濤
受保護(hù)的技術(shù)使用者：南京理工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/14