本發(fā)明實(shí)施例涉及計算機(jī)，尤其涉及一種模型訓(xùn)練方法和裝置、色調(diào)映射方法和裝置、電子設(shè)備、計算機(jī)存儲介質(zhì)、以及計算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著諸如動態(tài)范圍成像(dynamic?range?imaging，dr)圖像等色調(diào)圖像的應(yīng)用的日益增多，色調(diào)映射技術(shù)是一種用于將諸如hdr圖像的高色調(diào)圖像轉(zhuǎn)換為諸如低動態(tài)范圍成像(low?dynamic?range?imaging，ldr)圖像等低色調(diào)圖像以供顯示的技術(shù)，色調(diào)映射技術(shù)在現(xiàn)實(shí)世界的視覺系統(tǒng)中扮演著越來越重要的角色。然而，獲取成對的色調(diào)圖像樣本(例如，hdr圖像樣本和高質(zhì)量的ldr圖像樣本)比較困難，對基于深度學(xué)習(xí)的色調(diào)映射方法構(gòu)成了挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明實(shí)施例提供一種模型訓(xùn)練方法和裝置、色調(diào)映射方法和裝置、電子設(shè)備、計算機(jī)存儲介質(zhì)、以及計算機(jī)程序產(chǎn)品，以解決上述問題。

2、根據(jù)本發(fā)明實(shí)施例的第一方面，提供了一種模型訓(xùn)練方法，包括：獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括色調(diào)圖像樣本和所述色調(diào)圖像樣本的多尺度視覺結(jié)構(gòu)數(shù)據(jù)；確定擴(kuò)散模型，所述擴(kuò)散模型包括預(yù)訓(xùn)練模塊、預(yù)配置解析模塊和編碼模塊；以所述色調(diào)圖像樣本作為所述擴(kuò)散模型的主輸入和輸出，以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為所述預(yù)配置解析模塊的條件輸入，至少對所述編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練，得到色調(diào)映射模型；其中，所述預(yù)訓(xùn)練模塊用于根據(jù)所述色調(diào)圖像樣本的隨機(jī)加噪結(jié)果生成上下文特征圖，所述預(yù)配置解析模塊用于對所述上下文特征圖進(jìn)行視覺結(jié)構(gòu)特征解析并以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為重構(gòu)條件，對解析結(jié)果進(jìn)行視覺結(jié)構(gòu)特征重構(gòu)以獲得重構(gòu)特征圖，所述編碼模塊用于對所述重構(gòu)特征圖進(jìn)行潛在空間編碼獲得所述色調(diào)圖像樣本。

3、在本發(fā)明的另一實(shí)現(xiàn)方式中，至少對所述編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練，包括：所述預(yù)配置解析模塊將初次迭代的視覺結(jié)構(gòu)特征確定為每次迭代的共享視覺結(jié)構(gòu)特征；在每次迭代訓(xùn)練中，所述預(yù)配置解析模塊對該次迭代的上下文特征圖進(jìn)行視覺結(jié)構(gòu)特征解析，生成該次迭代的色調(diào)特征和視覺結(jié)構(gòu)特征；所述預(yù)配置解析模塊以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為重構(gòu)條件，對該次迭代的色調(diào)特征與所述共享視覺結(jié)構(gòu)特征進(jìn)行融合，得到重構(gòu)特征圖。

4、在本發(fā)明的另一實(shí)現(xiàn)方式中，所述預(yù)訓(xùn)練模塊包括生成網(wǎng)絡(luò)和控制網(wǎng)絡(luò)，其中，至少對所述編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練，包括：在對所述編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練的同時，至少以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為所述控制網(wǎng)絡(luò)的條件輸入，對所述控制網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練。

5、在本發(fā)明的另一實(shí)現(xiàn)方式中，所述訓(xùn)練數(shù)據(jù)還包括所述色調(diào)圖像樣本的模糊亮度數(shù)據(jù)，其中，至少以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為所述控制網(wǎng)絡(luò)的條件輸入，對所述控制網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練，包括：以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)和所述模糊亮度數(shù)據(jù)分別作為所述控制網(wǎng)絡(luò)的第一條件輸入和第二條件輸入，對所述控制網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練。

6、在本發(fā)明的另一實(shí)現(xiàn)方式中，以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)和所述模糊亮度數(shù)據(jù)分別作為所述控制網(wǎng)絡(luò)的第一條件輸入和第二條件輸入，對所述控制網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練，包括：將所述視覺結(jié)構(gòu)特征作為第一條件輸入被饋入到所述控制網(wǎng)絡(luò)中的第一編碼層，并且將所述模糊亮度數(shù)據(jù)作為第二條件輸入被饋入到所述控制網(wǎng)絡(luò)中的第二編碼層，對所述控制網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練，其中，在所述控制網(wǎng)絡(luò)的各個編碼層中，所述第一編碼層位于所述第二編碼層的輸入側(cè)。

7、在本發(fā)明的另一實(shí)現(xiàn)方式中，所述控制網(wǎng)絡(luò)的各個解碼層融合到所述生成網(wǎng)絡(luò)的對應(yīng)解碼層。

8、根據(jù)本發(fā)明實(shí)施例的第二方面，提供了一種色調(diào)映射方法，包括：獲取色調(diào)映射模型，所述色調(diào)映射模型包括預(yù)訓(xùn)練模塊、預(yù)配置解析模塊和編碼模塊，所述色調(diào)映射模型通過根據(jù)第一方面所述的方法訓(xùn)練得到；對高色調(diào)圖像進(jìn)行視覺結(jié)構(gòu)處理，得到所述高色調(diào)圖像的多尺度視覺結(jié)構(gòu)數(shù)據(jù)；至少將所述高色調(diào)圖像饋入到色調(diào)映射模型的主輸入，并且將所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)饋入到所述預(yù)配置解析模塊的條件輸入，從所述色調(diào)映射模型輸出低色調(diào)圖像。

9、在本發(fā)明的另一實(shí)現(xiàn)方式中，所述方法還包括：對所述高色調(diào)圖像進(jìn)行亮度處理，得到所述高色調(diào)圖像的模糊亮度數(shù)據(jù)，其中，在從所述色調(diào)映射模型輸出低色調(diào)圖像時，將所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)和所述模糊亮度數(shù)據(jù)饋入到所述預(yù)先訓(xùn)練模塊中的控制網(wǎng)絡(luò)的第一條件輸入和第二條件輸入。

10、根據(jù)本發(fā)明實(shí)施例的第三方面，提供了一種模型訓(xùn)練裝置，包括：獲取單元，獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括色調(diào)圖像樣本和所述色調(diào)圖像樣本的多尺度視覺結(jié)構(gòu)數(shù)據(jù)；確定單元，確定擴(kuò)散模型，所述擴(kuò)散模型包括預(yù)訓(xùn)練模塊、預(yù)配置解析模塊和編碼模塊；訓(xùn)練單元，以所述色調(diào)圖像樣本作為所述擴(kuò)散模型的主輸入和輸出，以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為所述預(yù)配置解析模塊的條件輸入，至少對所述編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練，得到色調(diào)映射模型，其中，所述預(yù)訓(xùn)練模塊用于根據(jù)所述色調(diào)圖像樣本的隨機(jī)加噪結(jié)果生成上下文特征圖，所述預(yù)配置解析模塊用于對所述上下文特征圖進(jìn)行視覺結(jié)構(gòu)特征解析并以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為重構(gòu)條件，對解析結(jié)果進(jìn)行視覺結(jié)構(gòu)特征重構(gòu)以獲得重構(gòu)特征圖，所述編碼模塊用于對所述重構(gòu)特征圖進(jìn)行潛在空間編碼獲得所述色調(diào)圖像樣本。

11、根據(jù)本發(fā)明實(shí)施例的第四方面，提供了一種色調(diào)映射裝置，包括：模型獲取單元，獲取色調(diào)映射模型，所述色調(diào)映射模型包括預(yù)訓(xùn)練模塊、預(yù)配置解析模塊和編碼模塊，所述色調(diào)映射模型通過根據(jù)第一方面所述的方法訓(xùn)練得到；圖像處理單元，對高色調(diào)圖像進(jìn)行視覺結(jié)構(gòu)處理，得到所述高色調(diào)圖像的多尺度視覺結(jié)構(gòu)數(shù)據(jù)；色調(diào)映射單元，至少將所述高色調(diào)圖像饋入到色調(diào)映射模型的主輸入，并且將所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)饋入到所述預(yù)配置解析模塊的條件輸入，從所述色調(diào)映射模型輸出低色調(diào)圖像。

12、根據(jù)本發(fā)明實(shí)施例的第五方面，提供了一種電子設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一個可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如第一方面所述方法。

13、根據(jù)本發(fā)明實(shí)施例的第六方面，提供了一種計算機(jī)存儲介質(zhì)，其上存儲有計算機(jī)程序，該程序被處理器執(zhí)行時實(shí)現(xiàn)如第一方面所述的方法。

14、根據(jù)本發(fā)明實(shí)施例的第七方面，提供了一種計算機(jī)程序產(chǎn)品，包括計算機(jī)指令，該計算機(jī)指令被處理器執(zhí)行時實(shí)現(xiàn)如第一方面所述的方法。

15、在本發(fā)明實(shí)施例的方案中，視覺結(jié)構(gòu)特征能夠有效地表征與動態(tài)色調(diào)范圍無關(guān)的潛在特征，預(yù)配置解析模塊用于對上下文特征圖進(jìn)行視覺結(jié)構(gòu)特征解析并以多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為重構(gòu)條件，對解析結(jié)果進(jìn)行視覺結(jié)構(gòu)特征重構(gòu)以獲得重構(gòu)特征圖，也就是說，色調(diào)圖像樣本的多尺度視覺結(jié)構(gòu)數(shù)據(jù)能夠使預(yù)配置解析模塊對視覺結(jié)構(gòu)特征的解析結(jié)果進(jìn)行重構(gòu)，使編碼模塊的網(wǎng)絡(luò)參數(shù)能夠?qū)W習(xí)到視覺結(jié)構(gòu)特征的潛在表征，因此，在保證訓(xùn)練得到的色調(diào)映射模型的色調(diào)映射效果的同時降低了對色調(diào)圖像樣本的動態(tài)色調(diào)范圍的要求，即，實(shí)現(xiàn)了零次學(xué)習(xí)色調(diào)映射。

技術(shù)特征：

1.一種模型訓(xùn)練方法，包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，至少對所述編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練，包括：

3.根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)訓(xùn)練模塊包括生成網(wǎng)絡(luò)和控制網(wǎng)絡(luò)，其中，至少對所述編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練，包括：

4.根據(jù)權(quán)利要求3所述的方法，其中，所述訓(xùn)練數(shù)據(jù)還包括所述色調(diào)圖像樣本的模糊亮度數(shù)據(jù)，其中，至少以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為所述控制網(wǎng)絡(luò)的條件輸入，對所述控制網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練，包括：

5.根據(jù)權(quán)利要求4所述的方法，其中，以所述多尺度視覺結(jié)構(gòu)數(shù)據(jù)和所述模糊亮度數(shù)據(jù)分別作為所述控制網(wǎng)絡(luò)的第一條件輸入和第二條件輸入，對所述控制網(wǎng)絡(luò)進(jìn)行微調(diào)訓(xùn)練，包括：

6.根據(jù)權(quán)利要求4所述的方法，其中，所述控制網(wǎng)絡(luò)的各個解碼層融合到所述生成網(wǎng)絡(luò)的對應(yīng)解碼層。

7.一種色調(diào)映射方法，包括：

8.根據(jù)權(quán)利要求7所述的方法，其中，所述方法還包括：

9.一種模型訓(xùn)練裝置，包括：

10.一種色調(diào)映射裝置，包括：

11.一種電子設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

12.一種計算機(jī)存儲介質(zhì)，其上存儲有計算機(jī)程序，該程序被處理器執(zhí)行時實(shí)現(xiàn)根據(jù)權(quán)利要求1-8中任一項所述的方法。

13.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)指令，該計算機(jī)指令被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1-8中任一項所述的方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例提供了一種模型訓(xùn)練方法和裝置、色調(diào)映射方法和裝置、電子設(shè)備、計算機(jī)存儲介質(zhì)、以及計算機(jī)程序產(chǎn)品。模型訓(xùn)練方法包括：獲取訓(xùn)練數(shù)據(jù)，訓(xùn)練數(shù)據(jù)包括色調(diào)圖像樣本和色調(diào)圖像樣本的多尺度視覺結(jié)構(gòu)數(shù)據(jù)；確定包括預(yù)訓(xùn)練模塊、預(yù)配置解析模塊和編碼模塊的擴(kuò)散模型；以色調(diào)圖像樣本作為擴(kuò)散模型的主輸入和輸出，以多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為預(yù)配置解析模塊的條件輸入，至少對編碼模塊的網(wǎng)絡(luò)參數(shù)進(jìn)行迭代訓(xùn)練，得到色調(diào)映射模型。預(yù)配置解析模塊對色調(diào)圖像樣本的上下文特征圖進(jìn)行解析并以多尺度視覺結(jié)構(gòu)數(shù)據(jù)作為重構(gòu)條件，對解析結(jié)果進(jìn)行視覺結(jié)構(gòu)特征重構(gòu)以獲得重構(gòu)特征圖，編碼模塊對重構(gòu)特征圖進(jìn)行潛在空間編碼獲得色調(diào)圖像樣本。

技術(shù)研發(fā)人員：徐淑淞,劉培業(yè),牛迪民,范益波,劉子豪,陸彥珩,鄭宏忠
受保護(hù)的技術(shù)使用者：阿里巴巴（中國）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10