本發(fā)明屬于聯(lián)邦學(xué)習(xí)，尤其涉及基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本發(fā)明相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

2、隨著云計(jì)算、物聯(lián)網(wǎng)、大數(shù)據(jù)等技術(shù)的迅猛發(fā)展，生活中的各種生產(chǎn)會(huì)不斷生成大量數(shù)據(jù)，這些數(shù)據(jù)用傳統(tǒng)方法難以處理，這就需要利用機(jī)器學(xué)習(xí)方法對(duì)海量數(shù)據(jù)進(jìn)行處理，以執(zhí)行各種任務(wù)；但隨著隱私和機(jī)密保護(hù)方面逐漸被重視，出現(xiàn)了數(shù)據(jù)孤島問題。在處理數(shù)據(jù)時(shí)，傳統(tǒng)的集中式機(jī)器學(xué)習(xí)方法需要中央服務(wù)器通過無線傳輸，收集所有設(shè)備的原始數(shù)據(jù)后再進(jìn)行處理和分析；但是，這不僅帶來了很大的傳輸成本，同時(shí)某些客戶端的數(shù)據(jù)會(huì)涉及敏感信息，原始數(shù)據(jù)的傳輸可能會(huì)導(dǎo)致它們的隱私泄露，進(jìn)而導(dǎo)致這些客戶端為了保護(hù)數(shù)據(jù)隱私，不愿參與訓(xùn)練過程，從而形成數(shù)據(jù)孤島。

3、為解決這一問題，聯(lián)邦學(xué)習(xí)應(yīng)運(yùn)而生；聯(lián)邦學(xué)習(xí)作為一種受隱私保護(hù)的分布式機(jī)器學(xué)習(xí)，可以保護(hù)數(shù)據(jù)安全并保證數(shù)據(jù)權(quán)責(zé)的一致性，可以更好地解決數(shù)據(jù)孤島、數(shù)據(jù)隱私等問題；目前，聯(lián)邦學(xué)習(xí)已廣泛應(yīng)用于各個(gè)領(lǐng)域中。

4、然而，現(xiàn)有的聯(lián)邦學(xué)習(xí)主要依靠參數(shù)服務(wù)器來生成或更新全局模型參數(shù)，是典型的中心化架構(gòu)。這種架構(gòu)存在單點(diǎn)故障、隱私泄露和性能瓶頸等問題，因?yàn)樗械哪Ｐ蛥?shù)都依賴于一個(gè)中心服務(wù)器；并且全局模型的可信度依賴于參數(shù)服務(wù)器，并受到中心化信用模型的約束；整個(gè)訓(xùn)練過程很容易受到服務(wù)器故障的影響；惡意參數(shù)服務(wù)器甚至可以毒害模型，生成不準(zhǔn)確的全局更新，然后扭曲所有局部更新，從而使整個(gè)協(xié)作訓(xùn)練過程出錯(cuò)；因此，在模型訓(xùn)練過程中，采用合適的加密方案進(jìn)行本地模型更新并在分布式節(jié)點(diǎn)上維護(hù)全局模型就顯得尤為重要；區(qū)塊鏈作為多方共同維護(hù)的分布式共享總賬本，通過分布式賬本技術(shù)、密碼算法、點(diǎn)對(duì)點(diǎn)通信、共識(shí)機(jī)制、智能合約等，可以用來替代聯(lián)邦學(xué)習(xí)中的參數(shù)服務(wù)器，存儲(chǔ)模型訓(xùn)練過程中的相關(guān)信息。

5、此外，一些研究表明，未加密的中間參數(shù)可用于推斷訓(xùn)練數(shù)據(jù)中的重要信息，使參與者的隱私數(shù)據(jù)被暴露，研究者們大多采用同態(tài)加密、shami?r秘密共享和差分隱私等技術(shù)來抵抗這種推斷攻擊；但加密方案中的加密和解密操作可能會(huì)給模型訓(xùn)練帶來額外的計(jì)算開銷并且大幅降低模型的精度；而差分隱私通過對(duì)模型添加噪聲來混淆權(quán)重的真實(shí)信息，盡管以犧牲準(zhǔn)確性為代價(jià)；因此，平衡隱私與準(zhǔn)確性是差分隱私方法設(shè)計(jì)中的一個(gè)焦點(diǎn)。

6、在具有異構(gòu)數(shù)據(jù)分布的背景下，全局模型聚合過程變得尤為關(guān)鍵；不同參與者擁有的本地?cái)?shù)據(jù)在質(zhì)量和數(shù)量上存在顯著差異，因此聚合這些局部節(jié)點(diǎn)的噪聲參數(shù)以形成綜合模型對(duì)于成功應(yīng)用差分隱私方法至關(guān)重要；然而，引入噪聲以及可能存在的惡意攻擊者可能會(huì)阻礙聚合算法的正確執(zhí)行；目前，關(guān)于基于差分隱私的隱私增強(qiáng)方法的研究相對(duì)不足，一些方法僅適用于數(shù)據(jù)集具有獨(dú)立同分布(i?id)的情況，這在實(shí)際的聯(lián)邦學(xué)習(xí)場(chǎng)景中可能顯得不夠適用；盡管這些方法在特定條件下已被證明有效，但在處理非i?id數(shù)據(jù)集時(shí)存在限制，并且它們?cè)诼?lián)邦學(xué)習(xí)背景下的魯棒性可能不足以應(yīng)對(duì)現(xiàn)實(shí)世界中的各種挑戰(zhàn)。

7、因此，現(xiàn)有聯(lián)邦學(xué)習(xí)方法在平衡隱私、準(zhǔn)確性和聚合魯棒性上存在不足。

技術(shù)實(shí)現(xiàn)思路

1、為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)方法及系統(tǒng)，將聯(lián)邦學(xué)習(xí)與區(qū)塊鏈相結(jié)合，并使用了個(gè)性化的隱私預(yù)算分配和基于參數(shù)的加權(quán)聚合算法，保證了聯(lián)邦學(xué)習(xí)隱私性、準(zhǔn)確性和魯棒性之間實(shí)現(xiàn)的有效權(quán)衡。

2、為實(shí)現(xiàn)上述目的，本發(fā)明的一個(gè)或多個(gè)實(shí)施例提供了如下技術(shù)方案：

3、本發(fā)明第一方面提供了基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)方法。

4、基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)方法，包括：

5、初始化用于聯(lián)邦學(xué)習(xí)的區(qū)塊鏈網(wǎng)絡(luò)，包括將任務(wù)發(fā)布者和參與訓(xùn)練的若干個(gè)客戶端注冊(cè)為區(qū)塊鏈節(jié)點(diǎn)、任務(wù)發(fā)布者將訓(xùn)練任務(wù)發(fā)布到區(qū)塊鏈網(wǎng)絡(luò)中、分配客戶端的初始隱私預(yù)算；

6、每個(gè)客戶端從區(qū)塊鏈上接受訓(xùn)練任務(wù)，使用本地?cái)?shù)據(jù)集對(duì)從區(qū)塊鏈中下載的全局模型進(jìn)行本地迭代訓(xùn)練，并對(duì)隱私預(yù)算進(jìn)行自適應(yīng)分配和對(duì)本地模型參數(shù)進(jìn)行本地差分隱私處理，直到滿足迭代停止的條件，得到訓(xùn)練后的本地模型參數(shù)，上傳到區(qū)塊鏈中；

7、區(qū)塊鏈對(duì)客戶端上傳的本地模型參數(shù)進(jìn)行加權(quán)聚合，得到聚合后的全局模型，并回傳給任務(wù)發(fā)布者；

8、其中，所述隱私預(yù)算，采用個(gè)性化的隱私預(yù)算分配策略，包括基于數(shù)據(jù)集加權(quán)的隱私預(yù)算初始分配、基于模型精度的隱私預(yù)算自適應(yīng)分配。

9、進(jìn)一步的，所述分配客戶端的初始隱私預(yù)算，是采用基于數(shù)據(jù)集加權(quán)的隱私預(yù)算初始分配，具體為：

10、每個(gè)客戶端的權(quán)重根據(jù)本地?cái)?shù)據(jù)量計(jì)算；

11、每個(gè)客戶端的初始隱私預(yù)算，根據(jù)權(quán)重對(duì)任務(wù)發(fā)布者設(shè)置的總預(yù)算進(jìn)行分配。

12、進(jìn)一步的，所述對(duì)隱私預(yù)算進(jìn)行自適應(yīng)分配，是采用基于模型精度的隱私預(yù)算自適應(yīng)分配，具體為：

13、如果當(dāng)前輪的本地模型精度低于前一輪，則為下一輪的隱私預(yù)算增加預(yù)設(shè)值。

14、進(jìn)一步的，所述對(duì)本地模型參數(shù)進(jìn)行本地差分隱私處理，具體為：

15、基于更新后的模型參數(shù)，計(jì)算訓(xùn)練數(shù)據(jù)的敏感度；

16、根據(jù)隱私預(yù)算和敏感度，計(jì)算要添加到梯度中的高斯噪聲；

17、將計(jì)算得到的噪聲添加到梯度中；

18、基于梯度，使用選擇隨機(jī)梯度下降算法，更新模型參數(shù)。

19、進(jìn)一步的，所述本地迭代訓(xùn)練，具體步驟為：

20、(1)從區(qū)塊鏈中下載最新的全局模型；

21、(2)將訓(xùn)練數(shù)據(jù)輸入模型，通過前向傳播計(jì)算模型的預(yù)測(cè)值；

22、(3)將模型的預(yù)測(cè)值與真實(shí)標(biāo)簽進(jìn)行比較，構(gòu)建損失函數(shù)；

23、(4)通過反向傳播算法，計(jì)算損失函數(shù)相對(duì)于模型參數(shù)的梯度信息；

24、(5)基于最新的梯度信息，對(duì)本地模型參數(shù)進(jìn)行本地差分隱私處理，得到參數(shù)更新后的模型；

25、(6)重復(fù)(2)-(5)步驟，直到達(dá)到停止條件。

26、進(jìn)一步的，所述區(qū)塊鏈對(duì)客戶端上傳的本地模型參數(shù)進(jìn)行加權(quán)聚合，具體為：

27、當(dāng)區(qū)塊鏈中的本地模型參數(shù)達(dá)到預(yù)設(shè)數(shù)量后，觸發(fā)模型聚合智能合約，使用基于參數(shù)的加權(quán)聚合算法來聚合本地模型參數(shù)，并使用聚合后的參數(shù)更新全局模型。

28、進(jìn)一步的，所述基于參數(shù)的加權(quán)聚合算法，具體為：

29、計(jì)算客戶端上傳的本地模型和全局模型的余弦相似度，得到客戶端的可信度；

30、根據(jù)客戶端的可信度、數(shù)據(jù)量和隱私預(yù)算，計(jì)算聚合參數(shù)；

31、基于聚合參數(shù)，對(duì)全局模型與客戶端上傳的本地模型參數(shù)進(jìn)行加權(quán)聚。

32、本發(fā)明第二方面提供了基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)系統(tǒng)。

33、基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)系統(tǒng)，包括：

34、初始化模塊，被配置為：初始化用于聯(lián)邦學(xué)習(xí)的區(qū)塊鏈網(wǎng)絡(luò)，包括將任務(wù)發(fā)布者和參與訓(xùn)練的若干個(gè)客戶端注冊(cè)為區(qū)塊鏈節(jié)點(diǎn)、任務(wù)發(fā)布者將訓(xùn)練任務(wù)發(fā)布到區(qū)塊鏈網(wǎng)絡(luò)中、分配客戶端的初始隱私預(yù)算；

35、本地訓(xùn)練模塊，被配置為：每個(gè)客戶端從區(qū)塊鏈上接受訓(xùn)練任務(wù)，使用本地?cái)?shù)據(jù)集對(duì)從區(qū)塊鏈中下載的全局模型進(jìn)行本地迭代訓(xùn)練，并對(duì)隱私預(yù)算進(jìn)行自適應(yīng)分配和對(duì)本地模型參數(shù)進(jìn)行本地差分隱私處理，直到滿足迭代停止的條件，得到訓(xùn)練后的本地模型參數(shù)，上傳到區(qū)塊鏈中；

36、加權(quán)聚合模塊，被配置為：區(qū)塊鏈對(duì)客戶端上傳的本地模型參數(shù)進(jìn)行加權(quán)聚合，得到聚合后的全局模型，并回傳給任務(wù)發(fā)布者；

37、其中，所述隱私預(yù)算，采用個(gè)性化的隱私預(yù)算分配策略，包括基于數(shù)據(jù)集加權(quán)的隱私預(yù)算初始分配、基于模型精度的隱私預(yù)算自適應(yīng)分配。

38、本發(fā)明第三方面提供了計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)方法中的步驟。

39、本發(fā)明第四方面提供了電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的基于個(gè)性化本地差分隱私的去中心化聯(lián)邦學(xué)習(xí)方法中的步驟。

40、以上一個(gè)或多個(gè)技術(shù)方案存在以下有益效果：

41、1.本發(fā)明將區(qū)塊鏈與聯(lián)邦學(xué)習(xí)相結(jié)合，用區(qū)塊鏈代替中心服務(wù)器，不僅加強(qiáng)了數(shù)據(jù)隱私保護(hù)和模型可信度，還提高了系統(tǒng)的安全性和去中心化程度；區(qū)塊鏈技術(shù)確保了數(shù)據(jù)傳輸和處理的透明性和不可篡改性，為參與方提供了可信的環(huán)境；同時(shí)，去中心化的模型聚合機(jī)制使得系統(tǒng)更加穩(wěn)定和抗攻擊，而可追溯性的記錄則有助于解決潛在的爭(zhēng)議和糾紛，為聯(lián)邦學(xué)習(xí)提供了更可靠和安全的框架。

42、2.本發(fā)明使用了基于個(gè)性化隱私預(yù)算分配的本地差分隱私，相比其他的本地差分隱私，能夠更好地減少添加噪聲對(duì)模型精度的影響；智能合約根據(jù)各客戶端數(shù)據(jù)集的大小，為每個(gè)客戶端進(jìn)行個(gè)性化的隱私預(yù)算初始分配；并在后面的輪次中根據(jù)上一輪的模型精度進(jìn)行自適應(yīng)預(yù)算分配，使隱私保護(hù)與數(shù)據(jù)利用達(dá)到更好的平衡，提高了模型的可用性和隱私保護(hù)水平，同時(shí)減少了不必要的噪聲添加，提升了模型性能和數(shù)據(jù)分析的準(zhǔn)確性。

43、3.本發(fā)明使用了基于參數(shù)的加權(quán)聚合方法生成新的全局模型，將客戶端擁有的數(shù)據(jù)集大小、本地模型與上一輪全局模型的相似度和客戶端本輪訓(xùn)練消耗的隱私預(yù)算作為加權(quán)的參數(shù)；相比其他方法具有顯著優(yōu)勢(shì)，首先，較大的數(shù)據(jù)集通常包含更多信息，訓(xùn)練出的模型更具魯棒性，通過加權(quán)確保這些模型對(duì)全局模型影響更大，提高整體性能。其次，考慮到本地模型與上一輪全局模型的相似度，加權(quán)聚合能夠有效地利用之前的模型狀態(tài)，加速模型的收斂過程并提高模型的穩(wěn)定性和一致性；此外，通過考慮客戶端在本輪訓(xùn)練中消耗的隱私預(yù)算作為加權(quán)參數(shù)，本方法能夠在保護(hù)個(gè)體隱私的前提下，有效地管理和優(yōu)化聯(lián)邦學(xué)習(xí)過程中的資源分配；總體而言，這種方法通過合理分配權(quán)重，使全局模型在性能、魯棒性和適應(yīng)性方面顯著提升。

44、本發(fā)明附加方面的優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。