一種黎曼流形上的快速優(yōu)化方法
【專利摘要】本發(fā)明公開一類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其既能降低計(jì)算的復(fù)雜度，又能減少迭代步數(shù)，節(jié)約運(yùn)算時(shí)間。其包括步驟：(1)給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)；(2)采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對(duì)復(fù)合目標(biāo)函數(shù)的最優(yōu)值進(jìn)行逼近；(3)給出初始點(diǎn)X0，利用線搜索獲得X1。當(dāng)k≥2時(shí)，用提升算子表示點(diǎn)Xk?1指向Xk?2的向量，而且這個(gè)向量是一個(gè)上升方向，它的負(fù)方向就是一個(gè)下降方向，從點(diǎn)Xk?1出發(fā)，沿著下降方向走一個(gè)指定步長(zhǎng)(tk?1)/tk+1，其中t1＝1，生成新的點(diǎn)然后通過拉回函數(shù)把點(diǎn)從映射到黎曼流形上，記為Yk。再從Yk出發(fā)，通過線搜索生成新的迭代點(diǎn)Xk；(4)當(dāng)指定條件被滿足，迭代停止。
【專利說明】
一種黎曼流形上的快速優(yōu)化方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺和算法優(yōu)化的技術(shù)領(lǐng)域，具體地涉及一類復(fù)合函數(shù)在黎曼 流形上快速優(yōu)化方法。
【背景技術(shù)】
[0002] 黎曼流形上的優(yōu)化問題已受到人們的廣泛關(guān)注。黎曼優(yōu)化是把有約束的問題，比 如正交性約束，正定性約束，固定秩約束，通過分析約束條件的黎曼幾何結(jié)構(gòu)，轉(zhuǎn)化成相應(yīng) 黎曼流形上的無約束優(yōu)化問題，從而獲得更精確的數(shù)值結(jié)果。目前，黎曼優(yōu)化已經(jīng)應(yīng)用于機(jī) 器學(xué)習(xí)，計(jì)算機(jī)視覺和數(shù)據(jù)挖掘，包括固定秩優(yōu)化，黎曼字典學(xué)習(xí)，計(jì)算機(jī)視覺和張量聚類。
[0003] -般地，歐式空間中有約束的優(yōu)化問題所在的空間維度遠(yuǎn)大于由約束所定義流形 的維度。因此流形上的優(yōu)化算法具有更低的計(jì)算復(fù)雜度和更良好的數(shù)值屬性。黎曼流形上 的優(yōu)化方法在中進(jìn)行了廣泛的研究。事實(shí)上，基于歐式空間的優(yōu)化方法，比如最速下降法、 共輒梯度法、信賴域法、以及牛頓法已經(jīng)推廣到黎曼流形上，而且在近二十年中已經(jīng)建立了 比較完整的理論體系。目前一般的算法實(shí)現(xiàn)是公開可用的，詳見http://www.manopt.org。
[0004] 最速下降法是黎曼流形上的一個(gè)基本的優(yōu)化方法。最速下降法雖然計(jì)算簡(jiǎn)單，但 是收斂速度非常慢，特別是對(duì)于現(xiàn)代機(jī)器學(xué)習(xí)中的大規(guī)模復(fù)雜優(yōu)化問題。相反，牛頓法和 BFGS擬牛頓法(BFGS秩2更新）具有較高的收斂率，但在實(shí)際應(yīng)用中，二階Hessian矩陣信息 的計(jì)算量大到難以使用。
[0005] 為了獲得一種方法既具備較高的收斂率，又可以避免計(jì)算Hessian矩陣的逆， Abs i 1等提出黎曼流形上的信賴域方法。例如在中使用Gras smann流形上的信賴域方法對(duì)矩 陣填充問題進(jìn)行優(yōu)化。信賴域方法在每一步迭代中都要解決黎曼牛頓方程，從而增加了運(yùn) 算的復(fù)雜度。Huang等推廣對(duì)稱秩1的信賴域方法到d-維黎曼流形上，由對(duì)稱秩1矩陣更新生 成近似的Hessian矩陣，避免求解黎曼牛頓方程。雖然其收斂性是超線性，但遺憾的是由于 其自身的局限性并不能適用于矩陣流形上。
[0006] -般來說，使用二階函數(shù)信息的優(yōu)化算法比僅使用一階函數(shù)信息的優(yōu)化算法收斂 速度更快，但同時(shí)也很大程度的增加了計(jì)算復(fù)雜度。黎曼流形上的Fletcher-Reeves共輒梯 度法是使用一階函數(shù)信息，達(dá)到超線性收斂，但沒有達(dá)到想要的二階收斂速度。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的技術(shù)解決問題是：克服現(xiàn)有技術(shù)的不足，提供一種黎曼流形上的快速優(yōu) 化方法，其既能降低計(jì)算的復(fù)雜度，又能減少迭代步數(shù)，節(jié)約運(yùn)算時(shí)間。
[0008] 本發(fā)明的技術(shù)解決方案是:這類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其包括 以下步驟：
[0009] (1)給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)；
[0010] (2)采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值(極小值)對(duì)復(fù)合目標(biāo)函數(shù)的 最優(yōu)值進(jìn)行逼近；
[0011] (3)給出初始點(diǎn)Χ〇,利用線搜索得出Xi。當(dāng)k22時(shí)，用提升算子I、Xm(X,W3)表示點(diǎn) Xk-i指向Xk-2的向量，而且這個(gè)向量是一個(gè)上升方向，它的負(fù)方向-就是一個(gè)下 降方向，從點(diǎn)Xk-ι出發(fā)，沿著下降方向'·走一個(gè)指定步長(zhǎng)，這個(gè)步長(zhǎng)是（tk-1)/ tk+1，
。生成新的點(diǎn)Y|，Y| €: 然后通過拉回函數(shù) 把點(diǎn)別映射到黎曼流形Μ上，記為Yk。再從Yk出發(fā)，通過線搜索生成 新的迭代點(diǎn)Xk;
[0012 ](4)當(dāng)指定條件被滿足，迭代停止。
[0013 ]其中Μ表示黎曼流形，'2?.4 Α'?是流形Λ4在點(diǎn)X k - i處的切空間。提升算子 .-?.?.. 4?….2)表示流形Λ.1:上的點(diǎn)Xk-2映射到切空間…fΜ上的點(diǎn)，也可表示點(diǎn)在切空間 屑上點(diǎn)xk-:指向(Χ^)的向量。拉回函數(shù)表示把切空間3?.. ;別上的 點(diǎn)映射到流形AI中。
[0014] 本發(fā)明針對(duì)黎曼流形上的復(fù)合目標(biāo)函數(shù)，提出僅使用目標(biāo)函數(shù)的一階信息，對(duì)線 性搜索實(shí)施加速策略，達(dá)到二階收斂的效果。因?yàn)椴皇褂煤瘮?shù)的二階信息，故能降低計(jì)算的 復(fù)雜度;而且具有二階的收斂率，故能減少迭代步數(shù)，節(jié)約運(yùn)算時(shí)間。
【具體實(shí)施方式】
[0015] 這類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其包括以下步驟：
[0016] (1)給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)；
[0017] (2)采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對(duì)復(fù)合目標(biāo)函數(shù)的最優(yōu)值進(jìn) 行逼近；
[0018] (3)給出初始點(diǎn)Xo,利用線搜索獲得X1(3k2 2時(shí)，用提升算子表示點(diǎn)Xh 指向Xk-2的向量，而且這個(gè)向量是一個(gè)上升方向，它的負(fù)方向-就是一個(gè)下降方 向，從點(diǎn)Xk-Ι出發(fā)，沿著下降方向一(.?...?.)走一個(gè)指定步長(zhǎng)，這個(gè)步長(zhǎng)是（tk-1)/tk+1， 其中11 = 1
，生成新的點(diǎn)Y|，. 然后通過拉回函數(shù) 把點(diǎn)Ymikw加映射到黎曼流形入|上，記為Yk。再從Yk出發(fā)，通過線搜索生成 新的迭代點(diǎn)Xk;
[0019] (4)當(dāng)指定條件被滿足，迭代停止。
[0020] 其中Α?表示黎曼流形，Tkw A'!是流形Μ在點(diǎn)Xk- i處的切空間。提升算子 表示流形A4:上的點(diǎn)Xk-2映射到切空間TxV>f上的點(diǎn)，也可表示點(diǎn)在切空間 巧-別上點(diǎn)Xk-ι指向;的向量。拉回函數(shù)我Xm I表示把切空間上的 點(diǎn)Y1映射到流形中。
[0021] 本發(fā)明針對(duì)黎曼流形上的復(fù)合目標(biāo)函數(shù)，提出僅使用目標(biāo)函數(shù)的一階信息，對(duì)線 性搜索實(shí)施加速策略，達(dá)到二階收斂的效果，因?yàn)椴皇褂煤瘮?shù)的二階信息，故能降低計(jì)算的 復(fù)雜度;而且具有二階的收斂率，故能減少迭代步數(shù)，節(jié)約運(yùn)算時(shí)間。
[0022] 優(yōu)選地，所述步驟(1)中的復(fù)合目標(biāo)函數(shù)為公式(1)
[0024] 其中別表示黎曼流形；g:敎Χ?? ·、- μ是連續(xù)凸函數(shù);/; ιτ^i：是二階連續(xù)可 導(dǎo)的凸函數(shù)，存在一個(gè)有限的正實(shí)數(shù)L(f)，滿足Amax(HHL(f)，其中λ ΜΧ(Η)是函數(shù)f的 Hessian矩陣的最大奇異值；F(X)滿足F(X)泛打Y)十〈狀(X), L.y (X)〉，其中 V' X/Y € A彳，黎曼流形上的提升算子LY(X)表示把黎曼流形上的點(diǎn)X投影到切空間TV^4上 的點(diǎn)，或表示為Γγ >Λ4上Υ指向Ly (X)的向量。
[0025]優(yōu)選地，所述步驟(2)中
[0026] 對(duì)任意的α>〇和給定的點(diǎn)Y s M:，考慮目標(biāo)函數(shù)F(X)=f(X)+g(X)的二次近似
[0028] 其局部最優(yōu)點(diǎn)記為Ρα(Υ)，令YiXk-i，局部最優(yōu)點(diǎn)為
[0029] Xk = Pa(Xk-i) (2)
[0030] 其中1/a表示步長(zhǎng)，且a滿足
[0031] F(Pa(Xk-l)) <Qa(Pa(Xk-l),Xk-l) (3)。
[0032] 優(yōu)選地，所述步驟（3)中第k步迭代的加速方向是指定步長(zhǎng)是（tk_
[0033] 優(yōu)選地，該優(yōu)化方法的收斂速度是二次的。
[0034] 優(yōu)選地，所述步驟(4)中的指定條件為以下任意一個(gè)條件，迭代停止：
[0035] (l)(F(Xk-i)-F(Xk))/F(Xk-i) < e1;
[0036] (2)l/ak< e2；
[0037] (3)迭代次數(shù)2 N
[0038] 其中F(X)表示目標(biāo)函數(shù)值，l/ak是第k步線搜索的步長(zhǎng)，表示容忍值，N是 預(yù)先給定的最大迭代步數(shù)。
[0039]以下對(duì)本發(fā)明進(jìn)行更詳細(xì)的說明。
[0040]考慮復(fù)合的目標(biāo)函數(shù)
[0042] 其中人彳:表示黎曼流形。下面對(duì)目標(biāo)函數(shù)做合理的假設(shè)：
[0043] (1) :g:紀(jì)、_"? 4 S是連續(xù)凸函數(shù)，但可能是非光滑的。
[0044] (2): f:默w4竅是二階連續(xù)可導(dǎo)的凸函數(shù)，存在一個(gè)有限的正實(shí)數(shù)L(f)，滿足 Amax(H)< L(f)，其中λ_(Η)是函數(shù)f的Hessian矩陣的最大奇異值。
[0045] (3) :F⑴滿足.R:X)之.FXY)十〈游XX) J,Y(X)>，其中X J 形Λ4上的提升算子，表示把黎曼流形.Λ4上的點(diǎn)X投影到切空間:ΓΥ At上的點(diǎn)，也可以表示 為TVA彳上Y指向LY(X)的向量。
[0046] 1 近端黎曼梯度法（proximal Riemannian gradient method)
[0047] -般情況下直接求解目標(biāo)函數(shù)（1)是比較困難的，比如矩陣填充和低秩表示的目 標(biāo)函數(shù)中。如果引入輔助變量，通常需要計(jì)算逆矩陣(逆矩陣的計(jì)算復(fù)雜度是C?_ S))。采用 近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對(duì)目標(biāo)函數(shù)最優(yōu)值進(jìn)行逼近。
[0048] 對(duì)任意的α>〇和給定的點(diǎn)Y € A4,考慮下面目標(biāo)函數(shù)F(X)=f(X)+g(X)的二次近 似
[0050] 其局部最優(yōu)點(diǎn)記為Ρα(Υ)，令YiXk-i，局部最優(yōu)點(diǎn)為
[0051] Xk = Pa(Xk-l) (2)
[0052] 其中1/a表示步長(zhǎng)，且a滿足
[0053] F(Pa(Xk-i)) <Qa,(Pa(Xk-i),Xk-i) (3)
[0054] 2快速優(yōu)化算法
[0055] 由（2)式生成的函數(shù)值數(shù)列{F(Xk)}是單調(diào)遞減的.因?yàn)閷?duì)任意的k21，都有
[0057]對(duì)于優(yōu)化算法，特別關(guān)注的是收斂速度。而由（3) (4)式得到收斂的數(shù)列{Xk}和單 調(diào)下降的函數(shù)值數(shù)列{F(Xk)}，其收斂速度是線性的。希望通過加速優(yōu)化算法，改善{F(Xk)} 的收斂速度。根據(jù)歐式空間的加速算法，研究黎曼流形上的加速算法。考慮到黎曼流形并不 是線性空間，
【申請(qǐng)人】提出給出初始點(diǎn)Χο,利用線搜索得出X:。當(dāng)k 2 2時(shí)，用提升算子 表示點(diǎn)Χμ指向Xk-2的向量，而且這個(gè)向量是一個(gè)上升方向，它的負(fù)方向 2)就是一個(gè)下降方向。從點(diǎn)Xk-i出發(fā)，沿著下降方向―..,(?...?)走一個(gè)特殊 的步長(zhǎng)(關(guān)于步長(zhǎng)的設(shè)置，取輔助參數(shù)ti=l，
則第k步迭代時(shí)所需步長(zhǎng)是 (伙-1)八15+1。），生成新的點(diǎn)％，'^￡'心,..1>1:。:然后通過拉回函數(shù).％,.、」1^)把點(diǎn)％從 'Γχ^Α?映射到黎曼流形上，記為Yk。接下來利用（2)式把替換成Yk，生成新的迭代點(diǎn) Xk。下面給出了定理1保證快速優(yōu)化算法的收斂速度是二次的。
[0058]定理1數(shù)列{Xk}和{F(Xk)}是由快速優(yōu)化算法生成，點(diǎn)X*是{xk}的收斂點(diǎn)。則對(duì)于任 意的k 2 1，都有下式成立
[0060]其中表示提升算子在X*處的范數(shù)。
[0061 ] 3停止條件
[0062] 當(dāng)下列任意一個(gè)條件被滿足，迭代將停止。
[0063] l.(F(Xk-i)-F(Xk))/F(Xk-i) < ^ι；
[0064] 2.1/ak< e2；
[0065] 3.迭代次數(shù)21
[0066] 其中F(X)表示目標(biāo)函數(shù)值，l/ak是第k步線搜索的步長(zhǎng)，表示容忍值，N是 預(yù)先給定的最大迭代步數(shù)。
[0067] 本文在模擬數(shù)據(jù)，兩個(gè)人臉數(shù)據(jù)庫做了相應(yīng)的實(shí)驗(yàn)。這些實(shí)驗(yàn)說明了快速優(yōu)化方 法的有效性。其中，利用模擬數(shù)據(jù)進(jìn)行低秩矩陣填充實(shí)驗(yàn)時(shí)，提出LRGe 〇mF0A(Fast Optimization algorithm for low-rank completion)方法，涉及的對(duì)比方法有：qGeomMC (A quotient geometry for low-rank matrix completion),LRGeomCG(Conjugate gradient mothod on geometry manifold for low-rank matrix completion)和 LRGeomSD(Speed descent method on geometry manifold for low-rank matrix completion)。在人臉數(shù)據(jù)庫上進(jìn)行了低秩表示實(shí)驗(yàn)，提出了SP-RPRG(ALM)方法，涉及到的 對(duì)比方法有 LRR(Low_rank representation) , SP-RPRG( Sub space pursuit robust proximal Riemannian gradient)。并對(duì)SP-RPRG和SP-RPRG(ALM)兩種方法分別基于共輒梯 度法和快速優(yōu)化方法做了對(duì)比實(shí)驗(yàn)。
[0068] 1矩陣填充
[0069]
失的矩陣，僅在集合{1，.. .m} X {1，.. .η}的子集合Ω的元素位置上已知矩陣A的元素。且投 影算子Ρω表示當(dāng)時(shí)，ΡΩ(ΧΜ)=ΧΜ，否則為〇。
【附圖說明】
[0070] 圖 1 是966〇禮(：、1^66〇11^6、1^66〇11150、1^66〇11^(^四種方法的實(shí)驗(yàn)結(jié)果比較圖。
[0071 ] 實(shí)驗(yàn)中，一般取m = n，過采樣因子0S(0versampling factor)大于2。從圖lb、ld中， 兩次實(shí)驗(yàn)結(jié)果可以得出快速優(yōu)化方法用時(shí)最少。從圖la、lc中可以得出，與用一階函數(shù)信息 的方法比較迭代步數(shù)最少(qGeomMC用到了二階信息）。這說明了快速優(yōu)化方法的有效性。 [0072] 2 Extended Yale B和C0IL-20數(shù)據(jù)庫上的聚類
[0073]實(shí)驗(yàn)中應(yīng)用了以下兩個(gè)數(shù)據(jù)庫：
[0074] ?Extended Yale B數(shù)據(jù)庫
[0075] (http://www.cad.zju.edu.cn/home/dengcai/Data/FaceData.html)
[0076] 數(shù)據(jù)庫
[0077] ( http://www.cs.columbia.edu/CAVE/software/softlib/coil_20.php)
[0078]選擇Extended Yale B數(shù)據(jù)庫前10個(gè)人的640張正面人臉圖像作為實(shí)驗(yàn)數(shù)據(jù)(每人 64張圖片）。每幅圖像的像素由192 X 168下采樣到48 X 42。然后向量化為2016維的向量。
[0079] Columbia Object Image Library(C0IL-20)數(shù)據(jù)庫包含 1440張圖片，其中有20個(gè) 不同種類的物體，通過不同的的角度每個(gè)物體采集72副圖像。每幅圖像的像素是128X128， 下采樣到32X32。然后向量化為1024維的向量。
[0080] 考慮的低秩表示模型是
[0082]其中| |x| I*表示矩陣X的核范數(shù)，D表示數(shù)據(jù)矩陣，I |E| |21表示矩陣的正則項(xiàng)， 表示最大秩為r的低秩矩陣曲體(Low-rank matrix variety)。該模型通過增廣拉格朗日法 (ALM)轉(zhuǎn)化成
[0084] 其中Xe 是拉格朗日乘子，〈·，·〉表示內(nèi)積，λ，ρ>〇是懲罰參數(shù)。通過交 替迭代法求解，其中變量X € 是黎曼子流形的閉集，可以保證有最優(yōu)解。而..Me.的 幾何特征已經(jīng)給出，因此求解變量X可以運(yùn)用加速優(yōu)化算法。參數(shù)E，U是有封閉解的。
[0085] 在Extended Yale B數(shù)據(jù)庫上的人臉聚類實(shí)驗(yàn)中，對(duì)LRR程序設(shè)定參數(shù)λ = 〇.1，在 SP-RPRG程序中設(shè)置參數(shù)λ = 〇. 〇 1，p = 1，以及在SP-RPRG (ALM)程序中設(shè)置參數(shù)λ = 〇. 〇〇 1，ρ =0 · 5〇
[0086] 表1中，Extended Yale Β數(shù)據(jù)庫上前0={2,3,5,8，10}類的聚類誤差率（％)，以及 運(yùn)行的時(shí)間（秒）。
[0088]表 1
[0089] 在C0IL-20數(shù)據(jù)庫上的物體聚類實(shí)驗(yàn)中，隨機(jī)選取2到11類，每類從72張樣本中隨 機(jī)選36張樣本作為實(shí)驗(yàn)數(shù)據(jù)，重復(fù)實(shí)驗(yàn)50次得出表2的結(jié)果。其中對(duì)LRR程序設(shè)定參數(shù)λ = 0.1，在SP-RPRG程序中設(shè)置參數(shù)λ = 〇. 〇〇 1，ρ = 2，以及在SP-RPRG(ALM)程序中設(shè)置參數(shù)λ = 0 · 001，Ρ = 1 〇
[0090]
[0091] 表 2
[0092] 從表1和表2中可以看出本文提出的快速方法用在SP-RPRG和SP-RPRG (ALM)中都取 得較好的效果。而且本文提出的SP-RPRG(ALM)方法在實(shí)驗(yàn)中的誤差率也有顯著減低。這說 明本發(fā)明的方法和SP-RPRG(ALM)是有意義的。
[0093]以上所述，僅是本發(fā)明的較佳實(shí)施例，并非對(duì)本發(fā)明作任何形式上的限制，凡是依 據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所作的任何簡(jiǎn)單修改、等同變化與修飾，均仍屬本發(fā)明 技術(shù)方案的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一類復(fù)合函數(shù)在黎曼流形上的快速優(yōu)化方法，其特征在于:其包括以下步驟： (1) 給定一類黎曼流形上的復(fù)合目標(biāo)函數(shù)； (2) 采用近端黎曼梯度法，通過逐步迭代局部最優(yōu)值對(duì)復(fù)合目標(biāo)函數(shù)的最優(yōu)值進(jìn)行逼 近； (3) 給出初始點(diǎn)XQ，利用線搜索得出X1; ik Μ時(shí)，用提升算子表示點(diǎn)xk-^ 向Xk-2的向量，而且這個(gè)向量是一個(gè)上升方向，它的負(fù)方向-就是一個(gè)下降方 向，從點(diǎn)Xk-1出發(fā)，沿著下降方向一.【私..,(Xfc... "2):走一個(gè)指定步長(zhǎng)（tk-l)/tk+i其中ti=l， = 生成新的點(diǎn)mu ，然后通過拉回函數(shù)Βχυ?Ο把點(diǎn)Μ從 Α4映射到黎曼流形Μ上，記為Yk;再從Yk出發(fā)，通過線搜索生成新的迭代點(diǎn)Xk; (4) 當(dāng)指定條件被滿足，迭代停止。 其中A··婊示黎曼流形是流形創(chuàng)在點(diǎn)Xh處的切空間；提升算子 表示流形Μ上的點(diǎn)Xk-2映射到切空間:Γχ.?:" .s Μ上的點(diǎn)，或表示點(diǎn)在切空間Α?上點(diǎn)xk-：l 指向1^..,(：^...2)的向量;拉回函數(shù)ΒΧΑ:...:?(Υ|;)表示把切空間:1'^..,沏上的點(diǎn)Y!峽射到流形 A-'l 中。2. 根據(jù)權(quán)利要求1所述的黎曼流形上的快速優(yōu)化方法，其特征在于:所述步驟（1)中的 復(fù)合目標(biāo)函數(shù)為公式(1)(1) 其中Μ表示黎曼流形；f :敎―骹是連續(xù)凸函數(shù)；/ :政^# -欺是二階連續(xù)可導(dǎo)的 凸函數(shù)，存在一個(gè)有限的正實(shí)數(shù)L(f)，滿足Amax(H) < L(f)，其中Amax(H)是函數(shù)f的Hessian矩 陣的最大奇異值;F(X)滿足F(X)之F(Y)十@Ρ(Χ.Μ〕υ{Χ)>，其中X，Y € MLY(X)是黎曼 流形A4上的提升算子，表示把黎曼流形Ai上的點(diǎn)X投影到切空間7V>|:上的點(diǎn)，或表示為 2VM上Y指向LY(X)的向量。3. 根據(jù)權(quán)利要求2所述的黎曼流形上的快速優(yōu)化方法，其特征在于:所述步驟(2)中 對(duì)任意的α>〇和給定的點(diǎn)YS.M，考慮目標(biāo)函數(shù)F(X)=f(X)+g(X)的二次近似其局部最優(yōu)點(diǎn)(極小值點(diǎn)），記為P。(Y)，令Y=Xk4，局部最優(yōu)點(diǎn)為 Xk=Pa(Xk-l) (2) 其中1/a表示步長(zhǎng)，且a滿足 F(Pa(Xk-l)) <Qa(Pa(Xk-l),Xk-l) (3)。4. 根據(jù)權(quán)利要求3所述的黎曼流形上的快速優(yōu)化方法，其特征在于:給出初始點(diǎn)Xo，利用 線搜索得出Χι;當(dāng)k 2 2時(shí)，用提升算子表示點(diǎn)Xk-i指向Xk-2的向量，而且這個(gè)向 量是一個(gè)上升方向，它的負(fù)方向-丨-.X i ( X η)就是一個(gè)下降方向，從點(diǎn)Xk -1出發(fā)，沿著下降 方向走一個(gè)指定步長(zhǎng)(tk-i)/tk+i，其中ti=i，.ι:?Η4.: 從而生成新 的點(diǎn)然后通過拉回函把點(diǎn)從映射到黎曼流形 上，記為Yk;再從Yk出發(fā)，通過線搜索生成新的迭代點(diǎn)Xk。5. 根據(jù)權(quán)利要求4所述的黎曼流形上的快速優(yōu)化方法，其特征在于:該優(yōu)化方法的收斂 速度是二次的。6. 根據(jù)權(quán)利要求5所述的黎曼流形上的快速優(yōu)化方法，其特征在于:所述步驟(4)中的 指定條件為以下任意一個(gè)條件，迭代停止： (1) (F(Xk-i)-F(Xk))/F(Xk-i) < ei； (2) l/〇k < ； (3) 迭代次數(shù)2 N 其中F(X)表示目標(biāo)函數(shù)值，l/ak是第k步線搜索的步長(zhǎng)，表示容忍值，N是預(yù)先 給定的最大迭代步數(shù)。
【文檔編號(hào)】G06F17/16GK105868162SQ201610196488
【公開日】2016年8月17日
【申請(qǐng)日】2016年3月31日
【發(fā)明人】陳浩然, 孫艷豐, 胡永利, 尹寶才
【申請(qǐng)人】北京工業(yè)大學(xué)