概述非線性回歸問(wèn)題中的結(jié)構(gòu)化矩陣的制作方法
【專利說(shuō)明】
[0001] 政府合同
[0002] 本發(fā)明是在政府支持下完成的，合同號(hào)為FA8750-12-C-0323,由國(guó)防部高級(jí)研宄 計(jì)劃局授予。政府對(duì)本發(fā)明享有某些權(quán)利。
技術(shù)領(lǐng)域
[0003] 本發(fā)明一般涉及預(yù)測(cè)分析領(lǐng)域，特別地，涉及基于概述（sketch)非線性回歸問(wèn)題 中的結(jié)構(gòu)化矩陣的高效和可伸縮的預(yù)測(cè)分析系統(tǒng)。
【背景技術(shù)】
[0004] 數(shù)據(jù)分析應(yīng)用中普遍出現(xiàn)的一個(gè)基本統(tǒng)計(jì)問(wèn)題是非線性回歸。對(duì)于大的數(shù)據(jù)集， 解決這樣的問(wèn)題從計(jì)算上來(lái)說(shuō)很有挑戰(zhàn)性。
[0005] 盡管存在解決線性最小二乘回歸和最小絕對(duì)偏差問(wèn)題的隨機(jī)技術(shù)的發(fā)展，它們并 不會(huì)利用在回歸問(wèn)題中經(jīng)常發(fā)現(xiàn)的結(jié)構(gòu)。例如，在多項(xiàng)式擬合問(wèn)題和某些核回歸問(wèn)題中，設(shè) 計(jì)矩陣的結(jié)構(gòu)化很強(qiáng)，可想象其能導(dǎo)致解決回歸問(wèn)題的更快方法。
[0006] 需要一種方法來(lái)利用這種結(jié)構(gòu)。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明提供了一種運(yùn)行對(duì)于數(shù)字線性代數(shù)問(wèn)題的基于概述的算法的系統(tǒng)和方法， 包括多項(xiàng)式擬合和結(jié)構(gòu)化回歸。
[0008] 在一個(gè)實(shí)施例中，當(dāng)設(shè)計(jì)矩陣是范德蒙德矩陣或這種矩陣的序列時(shí)，該方法快速 并近似地解決結(jié)構(gòu)化回歸問(wèn)題，其中問(wèn)題以各種統(tǒng)計(jì)建模設(shè)置自然出現(xiàn)，包括經(jīng)典多項(xiàng)式 擬合問(wèn)題、加法模型（additive model)和近似，以及用于可伸縮核方法（kernel method) 的最近開發(fā)的隨機(jī)技術(shù)。
[0009] 該范德蒙德矩陣結(jié)構(gòu)可被開發(fā)，以進(jìn)一步加速解決回歸問(wèn)題，實(shí)現(xiàn)比"輸入稀疏" 更快的運(yùn)行時(shí)間（即，其寫下描述回歸問(wèn)題的矩陣所需的時(shí)間）。
[0010] 在一方面，提供了一種計(jì)算機(jī)實(shí)施的用于解決快速非線性回歸和分類問(wèn)題的方 法。該方法包括：利用稀疏嵌入矩陣和結(jié)構(gòu)化隨機(jī)矩陣來(lái)概述輸入和輸出數(shù)據(jù)；利用輸入 和輸出數(shù)據(jù)中的結(jié)構(gòu)來(lái)加速概述，所述結(jié)構(gòu)是范德蒙德矩陣形式；并解決概述的數(shù)據(jù)的回 歸問(wèn)題。
[0011] 在又一個(gè)方面，提供了一種用于解決快速非線性回歸和分類問(wèn)題的系統(tǒng)，包括：存 儲(chǔ)器；以及耦合到存儲(chǔ)器的硬件處理器設(shè)備，被配置為執(zhí)行包括以下步驟的方法：利用稀 疏嵌入矩陣和結(jié)構(gòu)化隨機(jī)矩陣來(lái)概述輸入和輸出數(shù)據(jù)；利用輸入和輸出數(shù)據(jù)中的結(jié)構(gòu)來(lái)加 速概述，所述結(jié)果是范德蒙德矩陣形式；并解決概述的數(shù)據(jù)的回歸問(wèn)題。
[0012] 在又一個(gè)方面，提供了一種用于執(zhí)行操作的計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品包 括存儲(chǔ)介質(zhì)，其可被處理電路讀取，并存儲(chǔ)由處理電路運(yùn)行的指令以運(yùn)行方法。該方法與如 上描述的一樣。
【附圖說(shuō)明】
[0013] 現(xiàn)在將參考以下附圖作為非限制性的例子描述實(shí)施例。
[0014] 圖1示出了根據(jù)在此描述的方法解決的回歸問(wèn)題的概述；
[0015] 圖2A到2C示出了本發(fā)明的預(yù)測(cè)分析方法的方面：圖2A示出了應(yīng)用概述矩陣S的 一般方法的第一步驟20 ;圖2B示出了在應(yīng)用概述矩陣S后改良的回歸問(wèn)題30 ;且圖2C示 出了概述矩陣S的應(yīng)用的描述以及S和A都被結(jié)構(gòu)化以允許增加的處理速度的指示。
[0016] 圖3示出了在一個(gè)實(shí)施例中，實(shí)施處理器"p"55a，... 55η的描述50,處理器被配 置為將相同的概述矩陣S局部應(yīng)用到其數(shù)據(jù)，并將相應(yīng)的結(jié)果傳播到中央處理器。
[0017] 圖4示出了在范德蒙德矩陣中使用的數(shù)據(jù)結(jié)構(gòu)70以有助于實(shí)現(xiàn)更快的處理方法， 并指示了幾個(gè)應(yīng)用，諸如多項(xiàng)式擬合和多變量多項(xiàng)式擬合；
[0018] 圖5示出了在一個(gè)實(shí)施例中被命名為算法I (StructRegression-2) 100的第一概 述矩陣乘法算法；
[0019] 圖6示出了在一個(gè)實(shí)施例中被命名為算法2 (StructRegression-I) 150的第二概 述矩陣乘法算法；
[0020] 圖7示出了概括（generalization)性能表175形式的不同方法的測(cè)試誤差和訓(xùn) 練時(shí)間的比較；
[0021] 圖8A-8C示出了概述的示例性性能曲線，其報(bào)告了概述在運(yùn)行時(shí)間方面的好處， 以及在準(zhǔn)確率方面的權(quán)衡；且
[0022] 圖9示出了其中可運(yùn)行本方法的計(jì)算系統(tǒng)架構(gòu)200的示例性硬件配置。
【具體實(shí)施方式】
[0023] 系統(tǒng)和方法使用某種隨機(jī)概述和采樣轉(zhuǎn)換來(lái)大大壓縮大數(shù)據(jù)集，同時(shí)保持其關(guān)鍵 特性。這允許對(duì)在較小的數(shù)據(jù)概述上很快地運(yùn)行分析，但達(dá)到相同或類似的輸出質(zhì)量，就好 象在整個(gè)數(shù)據(jù)集上運(yùn)行那樣。
[0024] 系統(tǒng)和方法通過(guò)應(yīng)用用于非線性回歸的概述/采樣概念，并針對(duì)特定結(jié)構(gòu)化矩陣 的問(wèn)題，執(zhí)行預(yù)測(cè)分析。
[0025] 圖1示出了以代數(shù)形式寫出的回歸問(wèn)題的概念描述。在圖1中，回歸問(wèn)題10 是發(fā)現(xiàn)矩陣"X"，使得給定回歸問(wèn)題類，矩陣"Αχ"與矢量"b"（值列表）盡可能接近： minx I Ax_bIp〇
[0026] 在此描述的實(shí)施例中，矩陣A是塊范德蒙德（block-Vandermonde)結(jié)構(gòu)化矩陣。接 近性是根據(jù)Lp度量而度量的，它是曲線有多好的一種度量的回歸。"lp"回歸中的p的不同 值對(duì)應(yīng)于不同的誤差，例如P = 1是每個(gè)數(shù)據(jù)點(diǎn)對(duì)曲線的距離和，P = 2是每個(gè)數(shù)據(jù)點(diǎn)到曲 線的距離的平方和。
[0027] 圖2A-2C示出了在此討論的實(shí)施例的方法。
[0028] 圖2A示出了將概述矩陣S應(yīng)用到矩陣A和矢量b的一般方法的第一步驟20。即， 由編程計(jì)算機(jī)系統(tǒng)實(shí)施的方法首先計(jì)算以下乘積：S*A和S*b，其分別是矩陣-矩陣乘積和 矩陣 -矢量乘積。概述矩陣S在每列具有單個(gè)非零項(xiàng)。矩陣A具有與其相關(guān)的快速矢量-矩 陣方法，因?yàn)樗欠兜旅傻陆Y(jié)構(gòu)化矩陣。矩陣SA被縮小尺寸為比"A"還小的矩陣，如同矢 量" sb "被縮小尺寸為比"b "還小的矢量。
[0029] 圖2B示出了應(yīng)用概述矩陣S后的改良的即新的回歸問(wèn)題30, 即，解決 minx| SAx-Sb |p。為了解決該縮減的問(wèn)題，用于"lp"回歸的任何算法可被用作"黑盒"處理。 如果"S"是一種概述矩陣，且如果多項(xiàng)式矩陣A具有范德蒙德形式，"SA"矩陣可被更快得 多地計(jì)算。"Sb"矢量也可被更快得多地計(jì)算，這樣回歸問(wèn)題整體都被處理地更快得多。
[0030] 圖2C示出了概述矩陣S的應(yīng)用的描述40,以及S和A都被結(jié)構(gòu)化以允許增加的處 理速度的指示45。即，使用下列事實(shí)，S*A矩陣-矩陣計(jì)算被很快速地執(zhí)行：（I) S在每列具 有單個(gè)非零項(xiàng)；以及（2) A具有與其相關(guān)的快速矢量-矩陣方法，因?yàn)樗欠兜旅傻戮仃嚒?br>[0031] 更具體地，如以下將詳細(xì)描述的，考慮以下等式1)中的類型的回歸問(wèn)題類：
【主權(quán)項(xiàng)】
1. 一種計(jì)算機(jī)實(shí)施的用于解決快速非線性回歸和分類問(wèn)題的方法，包括： 使用稀疏嵌入矩陣和結(jié)構(gòu)化隨機(jī)矩陣來(lái)概述輸入數(shù)據(jù)和輸出數(shù)據(jù)； 利用數(shù)據(jù)中的結(jié)構(gòu)來(lái)加速概述，所述結(jié)構(gòu)是范德蒙德矩陣形式；以及 在概述的數(shù)據(jù)上解決回歸問(wèn)題，硬件處理器執(zhí)行一個(gè)或多個(gè)所述概述、結(jié)構(gòu)利用和問(wèn) 題解決。
2. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，其中回歸問(wèn)題是minxIAx-b|p的形式，其中 X是矩陣，A是塊范德蒙德結(jié)構(gòu)化矩陣，b是矢量，而p是1范數(shù)或歐幾里得范數(shù)。
3. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，還包括： 生成對(duì)于所述回歸問(wèn)題的輸出x'，其中輸出X'滿足|Ax'-b|p彡（l+eps)minx|Ax-b|p， 其中eps>0是用戶指定的精確度參數(shù)。
4. 如權(quán)利要求1所述的計(jì)算機(jī)實(shí)施的方法，其中回歸問(wèn)題是minxITq(A)X-Mj^形式， 其中X是矩陣，A是任意（nXd)矩陣，且Tq(A)通過(guò)用q-元組（1，AuAi,/，…，Ai^1)替 換每個(gè)項(xiàng)將A擴(kuò)展為（nx(dq))矩陣。
5. 如權(quán)利要求4所述的計(jì)算機(jī)實(shí)施的方法，還包括： 生成對(duì)于回歸問(wèn)題的輸出x'，其中輸出X'滿足|Ax'-b|p彡（l+eps)minx|Ax-b|pj*eps(e) >0是用戶指定的精確度參數(shù)。
6. 如權(quán)利要求5所述的計(jì)算機(jī)實(shí)施的方法，還包括： 在根據(jù)O(nnz⑷log2q)+poly(dq/e)的時(shí)間中以p= 2來(lái)解決所述回歸問(wèn)題，其中nnz(A)表示矩陣A的非零項(xiàng)的數(shù)量。
7. 如權(quán)利要求5所述的計(jì)算機(jī)實(shí)施的方法，還包括： 在根據(jù)〇(〇11^(4)+(^)1(^(1/￡))+口〇17((^)的時(shí)間中以口 = 2來(lái)解決所述回歸問(wèn)題， 其中nnz(A)表示矩陣A的非零項(xiàng)的數(shù)量。
8. 如權(quán)利要求5所述的計(jì)算機(jī)實(shí)施的方法，還包括： 在根據(jù)〇(nnz⑷lognlog2q) +(dqelogn)的時(shí)間中以p= 1來(lái)解決所述回歸問(wèn)題，其 中nnz(A)表示矩陣A的非零項(xiàng)的數(shù)量。
9. 一種用于解決快速非線性回歸和分類問(wèn)題的系統(tǒng)，包括： 存儲(chǔ)器； 硬件處理器，其耦合到存儲(chǔ)器并被配置為執(zhí)行包括如下步驟的方法： 使用稀疏嵌入矩陣和結(jié)構(gòu)隨機(jī)矩陣來(lái)概述輸入數(shù)據(jù)和輸出數(shù)據(jù)； 利用輸入數(shù)據(jù)和輸出數(shù)據(jù)中的結(jié)構(gòu)來(lái)加速概述，所述結(jié)構(gòu)是范德蒙德矩陣形式；以及 在概述的數(shù)據(jù)上解決回歸問(wèn)題。
10. 如權(quán)利要求9所述的系統(tǒng)，其中回歸問(wèn)題是minxIAx-bIp的形式，其中X是矩陣，A 是塊范德蒙德結(jié)構(gòu)化矩陣，b是矢量，而p是1范數(shù)或歐幾里得范數(shù)。
11. 如權(quán)利要求9所述的系統(tǒng)，其中，所述硬件處理器還被配置為： 生成對(duì)于所述回歸問(wèn)題的輸出x'，其中輸出X'滿足|Ax'-b|p彡（l+eps)minx|Ax-b|p， 其中eps>0是用戶指定的精確度參數(shù)。
12. 如權(quán)利要求9所述的系統(tǒng)，其中回歸問(wèn)題是minxITq (A)x-bIp的形式，其中X是矩 陣，A是任意（nXd)矩陣，且Tq (A)通過(guò)用q-元組（1，\』，/，…，\廣）替換每個(gè)項(xiàng)Ai,j 將A擴(kuò)展為（nX(dq))矩陣。
13. 如權(quán)利要求9所述的系統(tǒng)，其中，所述硬件處理器還被配置為： 生成對(duì)于回歸問(wèn)題的輸出x'，其中輸出X'滿足|Ax'-b|p彡（l+eps)minx|Ax-b|pj*eps(e) >0是用戶指定的精確度參數(shù)。
14. 如權(quán)利要求9所述的系統(tǒng)，其中，所述硬件處理器還被配置為： 在根據(jù)O(nnz⑷log2q)+poly(dq/e)的時(shí)間中以p= 2來(lái)解決所述回歸問(wèn)題，其中nnz(A)表示矩陣A的非零項(xiàng)的數(shù)量。
15. 如權(quán)利要求9所述的系統(tǒng)，其中，所述硬件處理器還被配置為： 在根據(jù)〇((nnz(A)+dq)log(l/e))+p〇ly(dq)的時(shí)間中以p= 2來(lái)解決所述回歸問(wèn)題， 其中nnz(A)表示矩陣A的非零項(xiàng)的數(shù)量。
16. 如權(quán)利要求9所述的系統(tǒng)，其中，所述硬件處理器還被配置為： 在根據(jù)〇(nnz⑷lognlog2q) +(dqelogn)的時(shí)間中以p= 1來(lái)解決所述回歸問(wèn)題，其 中nnz(A)表示矩陣A的非零項(xiàng)的數(shù)量。
【專利摘要】公開了一種用于快速并近似解決結(jié)構(gòu)化回歸問(wèn)題的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品。在一方面，該系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品適用于在各種統(tǒng)計(jì)建模設(shè)置中自然出現(xiàn)的問(wèn)題(當(dāng)設(shè)計(jì)矩陣是范德蒙德矩陣或是一系列這樣的矩陣時(shí))。利用范德蒙德矩陣結(jié)構(gòu)還加速解決了回歸問(wèn)題，實(shí)現(xiàn)比“輸入稀疏”更快的運(yùn)行時(shí)間。建?？蚣芗铀儆幸嬗谟糜诮鉀Q結(jié)構(gòu)化回歸問(wèn)題的隨機(jī)回歸。
【IPC分類】G06F17-18
【公開號(hào)】CN104699660
【申請(qǐng)?zhí)枴緾N201410520663
【發(fā)明人】H·阿夫隆, V·辛杜瓦納, D·P·伍德拉夫
【申請(qǐng)人】國(guó)際商業(yè)機(jī)器公司
【公開日】2015年6月10日
【申請(qǐng)日】2014年9月30日
【公告號(hào)】DE102014114392A1