相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求于2015年1月29日提交且題為“hyper-parameterselectionfordeepconvolutionalnetworks(用于深度卷積網(wǎng)絡(luò)的超參數(shù)選擇)”的美國(guó)臨時(shí)專利申請(qǐng)no.62/109,470的權(quán)益，其公開(kāi)內(nèi)容通過(guò)援引全部明確納入于此。

背景

領(lǐng)域

本公開(kāi)的某些方面一般涉及機(jī)器學(xué)習(xí)，且更具體地涉及改進(jìn)選擇用于深度卷積網(wǎng)絡(luò)的超參數(shù)的系統(tǒng)和方法。

背景技術(shù)：

可包括一群互連的人工神經(jīng)元(例如，神經(jīng)元模型)的人工神經(jīng)網(wǎng)絡(luò)是一種計(jì)算設(shè)備或者表示將由計(jì)算設(shè)備執(zhí)行的方法。

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋人工神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)可包括神經(jīng)元集合，其中每一個(gè)神經(jīng)元具有感受野并且共同地拼出一輸入空間。卷積神經(jīng)網(wǎng)絡(luò)(cnn)具有眾多應(yīng)用。具體地，cnn已被廣泛使用于模式識(shí)別和分類領(lǐng)域。

深度學(xué)習(xí)架構(gòu)(諸如，深度置信網(wǎng)絡(luò)和深度卷積網(wǎng)絡(luò))是分層神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中神經(jīng)元的第一層的輸出變成神經(jīng)元的第二層的輸入，神經(jīng)元的第二層的輸出變成神經(jīng)元的第三層的輸入，以此類推。深度神經(jīng)網(wǎng)絡(luò)可被訓(xùn)練以識(shí)別特征階層并因此它們被越來(lái)越多地用于對(duì)象識(shí)別應(yīng)用。類似于卷積神經(jīng)網(wǎng)絡(luò)，這些深度學(xué)習(xí)架構(gòu)中的計(jì)算可在處理節(jié)點(diǎn)群體上分發(fā)，其可被配置在一個(gè)或多個(gè)計(jì)算鏈中。這些多層架構(gòu)可每次訓(xùn)練一層并可使用反向傳播微調(diào)。

其他模型也可用于對(duì)象識(shí)別。例如，支持向量機(jī)(svm)是可被應(yīng)用于分類的學(xué)習(xí)工具。支持向量機(jī)包括對(duì)數(shù)據(jù)進(jìn)行分類的分開(kāi)的超平面(例如，決策邊界)。該超平面由監(jiān)督式學(xué)習(xí)定義。期望的超平面增加訓(xùn)練數(shù)據(jù)的余裕。換言之，超平面應(yīng)該具有到訓(xùn)練示例的最大的最小距離。

盡管這些解決方案在數(shù)個(gè)分類基準(zhǔn)上取得了優(yōu)異的結(jié)果，但它們的計(jì)算復(fù)雜度可能極其高。另外，模型的訓(xùn)練是有挑戰(zhàn)性的。

概覽

在一方面，給出了一種選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的方法。該方法包括選擇數(shù)個(gè)網(wǎng)絡(luò)架構(gòu)作為數(shù)據(jù)庫(kù)的一部分。這些網(wǎng)絡(luò)架構(gòu)中的每一者包括一個(gè)或多個(gè)局部邏輯回歸層并且被訓(xùn)練成生成被存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)應(yīng)驗(yàn)證誤差。用于標(biāo)識(shí)良好網(wǎng)絡(luò)架構(gòu)集合和不良網(wǎng)絡(luò)架構(gòu)集合的閾值誤差可以基于數(shù)據(jù)庫(kù)中的驗(yàn)證誤差來(lái)估計(jì)。該方法還包括基于作為良好網(wǎng)絡(luò)架構(gòu)集合的函數(shù)的度量來(lái)選取對(duì)應(yīng)于下一網(wǎng)絡(luò)架構(gòu)的下一潛在超參數(shù)。該方法進(jìn)一步包括從各下一網(wǎng)絡(luò)架構(gòu)中選擇具有最低驗(yàn)證誤差的網(wǎng)絡(luò)架構(gòu)。

在另一方面，給出了一種選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的裝置。該裝置包括存儲(chǔ)器以及耦合至該存儲(chǔ)器的至少一個(gè)處理器。該一個(gè)或多個(gè)處理器被配置成選擇數(shù)個(gè)網(wǎng)絡(luò)架構(gòu)作為數(shù)據(jù)庫(kù)的一部分。這些網(wǎng)絡(luò)架構(gòu)中的每一者包括一個(gè)或多個(gè)局部邏輯回歸層并且被訓(xùn)練成生成被存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)應(yīng)驗(yàn)證誤差。該(諸)處理器還被配置成基于數(shù)據(jù)庫(kù)中的驗(yàn)證誤差來(lái)估計(jì)用于標(biāo)識(shí)良好網(wǎng)絡(luò)架構(gòu)集合和不良網(wǎng)絡(luò)架構(gòu)集合的閾值誤差。該(諸)處理器還被配置成基于作為良好網(wǎng)絡(luò)架構(gòu)集合的函數(shù)的度量來(lái)選取對(duì)應(yīng)于下一網(wǎng)絡(luò)架構(gòu)的下一潛在超參數(shù)。該(諸)處理器被進(jìn)一步配置成從各下一網(wǎng)絡(luò)架構(gòu)中選擇具有最低驗(yàn)證誤差的網(wǎng)絡(luò)架構(gòu)。

在又一方面，給出了一種選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的設(shè)備。該設(shè)備包括用于選擇數(shù)個(gè)網(wǎng)絡(luò)架構(gòu)作為數(shù)據(jù)庫(kù)的一部分的裝置。這些網(wǎng)絡(luò)架構(gòu)中的每一者包括一個(gè)或多個(gè)局部邏輯回歸層。該設(shè)備還包括用于訓(xùn)練這些網(wǎng)絡(luò)架構(gòu)中的每一者以生成被存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)應(yīng)驗(yàn)證誤差的裝置。該設(shè)備進(jìn)一步包括用于基于數(shù)據(jù)庫(kù)中的驗(yàn)證誤差來(lái)估計(jì)用于標(biāo)識(shí)良好網(wǎng)絡(luò)架構(gòu)集合和不良網(wǎng)絡(luò)架構(gòu)集合的閾值誤差的裝置。該設(shè)備附加地包括用于基于作為良好網(wǎng)絡(luò)架構(gòu)集合的函數(shù)的度量來(lái)選取對(duì)應(yīng)于下一網(wǎng)絡(luò)架構(gòu)的下一潛在超參數(shù)的裝置。此外，該設(shè)備包括用于從各下一網(wǎng)絡(luò)架構(gòu)中選擇具有最低驗(yàn)證誤差的網(wǎng)絡(luò)架構(gòu)的裝置。

在又一方面，給出了一種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)。該非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)具有編碼于其上的用于選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的程序代碼。該程序代碼由處理器執(zhí)行并且包括用于選擇數(shù)個(gè)網(wǎng)絡(luò)架構(gòu)作為數(shù)據(jù)庫(kù)的一部分的程序代碼。這些網(wǎng)絡(luò)架構(gòu)中的每一者包括一個(gè)或多個(gè)局部邏輯回歸層并且被訓(xùn)練成生成被存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)應(yīng)驗(yàn)證誤差。該程序代碼還包括用于基于數(shù)據(jù)庫(kù)中的驗(yàn)證誤差來(lái)估計(jì)用于標(biāo)識(shí)良好網(wǎng)絡(luò)架構(gòu)集合和不良網(wǎng)絡(luò)架構(gòu)集合的閾值誤差的程序代碼。該程序代碼進(jìn)一步包括用于基于作為良好網(wǎng)絡(luò)架構(gòu)集合的函數(shù)的度量來(lái)選取對(duì)應(yīng)于下一網(wǎng)絡(luò)架構(gòu)的下一潛在超參數(shù)的程序代碼。此外，該程序代碼包括用于從各下一網(wǎng)絡(luò)架構(gòu)中選擇具有最低驗(yàn)證誤差的網(wǎng)絡(luò)架構(gòu)的程序代碼。

本公開(kāi)的附加特征和優(yōu)點(diǎn)將在下文描述。本領(lǐng)域技術(shù)人員應(yīng)該領(lǐng)會(huì)，本公開(kāi)可容易地被用作修改或設(shè)計(jì)用于實(shí)施與本公開(kāi)相同的目的的其他結(jié)構(gòu)的基礎(chǔ)。本領(lǐng)域技術(shù)人員還應(yīng)認(rèn)識(shí)到，這樣的等效構(gòu)造并不脫離所附權(quán)利要求中所闡述的本公開(kāi)的教導(dǎo)。被認(rèn)為是本公開(kāi)的特性的新穎特征在其組織和操作方法兩方面連同進(jìn)一步的目的和優(yōu)點(diǎn)在結(jié)合附圖來(lái)考慮以下描述時(shí)將被更好地理解。然而，要清楚理解的是，提供每一幅附圖均僅用于解說(shuō)和描述目的，且無(wú)意作為對(duì)本公開(kāi)的限定的定義。

附圖簡(jiǎn)述

在結(jié)合附圖理解下面闡述的詳細(xì)描述時(shí)，本公開(kāi)的特征、本質(zhì)和優(yōu)點(diǎn)將變得更加明顯，在附圖中，相同附圖標(biāo)記始終作相應(yīng)標(biāo)識(shí)。

圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用片上系統(tǒng)(soc)(包括通用處理器)來(lái)設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的示例實(shí)現(xiàn)。

圖2解說(shuō)了根據(jù)本公開(kāi)的各方面的系統(tǒng)的示例實(shí)現(xiàn)。

圖3a是解說(shuō)根據(jù)本公開(kāi)的各方面的神經(jīng)網(wǎng)絡(luò)的示圖。

圖3b是解說(shuō)根據(jù)本公開(kāi)的各方面的示例性深度卷積網(wǎng)絡(luò)(dcn)的框圖。

圖3c是解說(shuō)根據(jù)本公開(kāi)的各方面的增強(qiáng)型深度卷積網(wǎng)絡(luò)(dcn)的框圖。

圖4是解說(shuō)根據(jù)本公開(kāi)的各方面的可將人工智能(ai)功能模塊化的示例性軟件架構(gòu)的框圖。

圖5是解說(shuō)根據(jù)本公開(kāi)的各方面的智能手機(jī)上ai應(yīng)用的運(yùn)行時(shí)操作的框圖。

圖6是解說(shuō)根據(jù)本公開(kāi)的各方面的選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的方法的框圖。

圖7是解說(shuō)示例隨機(jī)搜索效率曲線的示圖。

圖8解說(shuō)了根據(jù)本公開(kāi)的各方面的選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的方法。

詳細(xì)描述

以下結(jié)合附圖闡述的詳細(xì)描述旨在作為各種配置的描述，而無(wú)意表示可實(shí)踐本文中所描述的概念的僅有的配置。本詳細(xì)描述包括具體細(xì)節(jié)以便提供對(duì)各種概念的透徹理解。然而，對(duì)于本領(lǐng)域技術(shù)人員將顯而易見(jiàn)的是，沒(méi)有這些具體細(xì)節(jié)也可實(shí)踐這些概念。在一些實(shí)例中，以框圖形式示出眾所周知的結(jié)構(gòu)和組件以避免湮沒(méi)此類概念。

基于本教導(dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會(huì)，本公開(kāi)的范圍旨在覆蓋本公開(kāi)的任何方面，不論其是與本公開(kāi)的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如，可以使用所闡述的任何數(shù)目的方面來(lái)實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開(kāi)的范圍旨在覆蓋使用作為所闡述的本公開(kāi)的各個(gè)方面的補(bǔ)充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來(lái)實(shí)踐的此類裝置或方法。應(yīng)當(dāng)理解，所披露的本公開(kāi)的任何方面可由權(quán)利要求的一個(gè)或多個(gè)元素來(lái)實(shí)施。

措辭“示例性”在本文中用于表示“用作示例、實(shí)例或解說(shuō)”。本文中描述為“示例性”的任何方面不必被解釋為優(yōu)于或勝過(guò)其他方面。

盡管本文描述了特定方面，但這些方面的眾多變體和置換落在本公開(kāi)的范圍之內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開(kāi)的范圍并非旨在被限定于特定益處、用途或目標(biāo)。相反，本公開(kāi)的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié)議，其中一些作為示例在附圖以及以下對(duì)優(yōu)選方面的描述中解說(shuō)。詳細(xì)描述和附圖僅僅解說(shuō)本公開(kāi)而非限定本公開(kāi)，本公開(kāi)的范圍由所附權(quán)利要求及其等效技術(shù)方案來(lái)定義。

超參數(shù)選擇

神經(jīng)網(wǎng)絡(luò)(諸如，深度卷積網(wǎng)絡(luò)(cdn))可被配置為系列網(wǎng)絡(luò)，其包括一系列卷積層、歸一化層和池化塊，繼之以一系列全連接隱藏層，繼之以邏輯回歸成本函數(shù)層。然而，隨著網(wǎng)絡(luò)的深度增加，已觀察到dcn的訓(xùn)練是困難的，主要遭受較大深度處的消失梯度問(wèn)題。為了解決該問(wèn)題，dcn的架構(gòu)和/或?qū)W習(xí)參數(shù)可被修改以促成訓(xùn)練。例如，dcn可被修改成使得dcn的每一層被強(qiáng)制局部學(xué)習(xí)映射x→y，通過(guò)在每一個(gè)卷積塊的輸出處引入邏輯回歸成本函數(shù)。

根據(jù)本公開(kāi)的各方面，架構(gòu)超參數(shù)和/或?qū)W習(xí)超參數(shù)可被選擇以促成訓(xùn)練神經(jīng)網(wǎng)絡(luò)，諸如，深度卷積網(wǎng)絡(luò)(dcn)。超參數(shù)包括描述神經(jīng)網(wǎng)絡(luò)的架構(gòu)參數(shù)以及用于經(jīng)由訓(xùn)練過(guò)程(諸如，反向傳播)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)。

在一個(gè)示例性方面，神經(jīng)網(wǎng)絡(luò)可包括dcn。dcn模型可由mλ(x,w)來(lái)表示。dcn模型可對(duì)輸入數(shù)據(jù)進(jìn)行操作并且生成估計(jì)以用于輸出數(shù)據(jù)dcn模型m可例如使用兩組參數(shù)來(lái)參數(shù)化。當(dāng)然，還可根據(jù)設(shè)計(jì)偏好使用更多或更少的參數(shù)。第一參數(shù)w可使用訓(xùn)練準(zhǔn)則c來(lái)獲得。第二參數(shù)λ＝{λi,λa}包括一組參數(shù)，其可被稱為超參數(shù)。超參數(shù)定義dcn網(wǎng)絡(luò)架構(gòu)(λa)或者與用于訓(xùn)練準(zhǔn)則c的改進(jìn)的學(xué)習(xí)過(guò)程(λi)相關(guān)聯(lián)的參數(shù)。用于使用梯度下降類型學(xué)習(xí)過(guò)程訓(xùn)練(諸如，反向傳播學(xué)習(xí)過(guò)程)的dcn網(wǎng)絡(luò)的該組超參數(shù)λ可包括、但不限于：

與dcn架構(gòu)設(shè)計(jì)相關(guān)聯(lián)的超參數(shù)

1.卷積層的數(shù)目

2.全連接隱藏層的數(shù)目

3.對(duì)于每一卷積層：

–用于局部響應(yīng)歸一化層的存在或不存在的布爾變量

–用于池化層的存在或不存在的布爾變量

–過(guò)濾器數(shù)目

–過(guò)濾器大小

–跨步

–填充

4.對(duì)于每一池化層：

–大小

–跨步

5.對(duì)于每一歸一化層：

–大小

–標(biāo)度

–功率

6.對(duì)于每一全連接隱藏層：

–隱藏節(jié)點(diǎn)數(shù)目

–用于退出者的存在或不存在的布爾變量

–退出者值

與dcn學(xué)習(xí)過(guò)程相關(guān)聯(lián)的超參數(shù)

1.用于權(quán)重更新的學(xué)習(xí)參數(shù)

2.用于權(quán)重更新的動(dòng)量參數(shù)

3.規(guī)則化參數(shù)

4.訓(xùn)練歷元的數(shù)目

5.最小批次的大小

6.冷卻策略：出于清楚起見(jiàn)，一種示例性冷卻策略可規(guī)定：隨著訓(xùn)練的進(jìn)行，學(xué)習(xí)速率縮放因子α＜1。隨著學(xué)習(xí)速率被冷卻，權(quán)重更新值的波動(dòng)更小并且解決方案向給定局部最小值收斂的可能性較高。

dcn超參數(shù)選擇的一個(gè)目標(biāo)是解決如下所述的聯(lián)合選擇問(wèn)題：

其中

其中{(xtr,ytr),(xh,yh)}∈(x,y)分別是輸入和輸出訓(xùn)練和維持(或測(cè)試或驗(yàn)證)數(shù)據(jù)集，

在一些方面，可采用貝葉斯辦法來(lái)解決超參數(shù)選擇問(wèn)題。在一個(gè)示例中，數(shù)據(jù)集d1:t＝{λ1:t,e1:t}可包括t個(gè)dcn模型，其中表示超參數(shù)集合并且表示針對(duì)i＝1…tdcn模型中的每一者的驗(yàn)證(例如，保持)數(shù)據(jù)集的誤差。在貝葉斯辦法下，可以指派關(guān)于e的誤差p(e)的先驗(yàn)概率。數(shù)據(jù)庫(kù)可隨后被用來(lái)獲得對(duì)似然函數(shù)p((d1:t|e))的估計(jì)，其可提供數(shù)據(jù)庫(kù)中的給定架構(gòu)關(guān)于給定驗(yàn)證誤差的概率。先驗(yàn)和似然函數(shù)可以進(jìn)而被用來(lái)獲得對(duì)后驗(yàn)分布的估計(jì)，其可由p(e|d1：t)∝p(d1：t|e)p(e)給出，其中所估計(jì)的后驗(yàn)分布與架構(gòu)關(guān)于給定誤差的概率和誤差的概率的乘積成比例。

隨后可確定下一潛在超參數(shù)。樣本λt+1和et+1可通過(guò)增大效用函數(shù)u(e)相對(duì)于目標(biāo)函數(shù)e的后驗(yàn)分布的期望值來(lái)獲得。如以上所勾勒的在貝葉斯辦法底下的一個(gè)關(guān)鍵思想是優(yōu)化效用函數(shù)的期望值比求解選擇ψ的原始問(wèn)題(如在式1中陳述的)便宜得多并且計(jì)算上快得多。

在一些方面，效用函數(shù)可以是預(yù)期改進(jìn)(ei)函數(shù)。當(dāng)然，也可使用其它效用函數(shù)。例如，效用函數(shù)可以是改進(jìn)的概率。改進(jìn)的概率關(guān)注于給定探測(cè)點(diǎn)x將提供分?jǐn)?shù)的改進(jìn)，例如，u(e)＝p(e*＞e)＝\phi((e*-mu(x)/sigma(x))，其中\(zhòng)phi是正常累積分布函數(shù)。

預(yù)期改進(jìn)效用函數(shù)可由u(e)＝max((e*-e)，0)給出，并且可被用于從該集合中選擇模型，其中e*是誤差閾值。貝葉斯辦法下的目標(biāo)就是選取使概率分布p(e|d1:t)下的預(yù)期改進(jìn)u(e)最大化的下一超參數(shù)λt+1，或者換言之其中e(u(e))給出為：

通過(guò)使用預(yù)期改進(jìn)效用函數(shù)u(e)＝max((e*-e)，0)，先驗(yàn)p(e)可被定義為使得其中γ是常數(shù)，其中l(wèi)(λ)＝p(d1：t|e＜e^*)表示數(shù)據(jù)庫(kù)中具有低誤差的模型(低于誤差閾值(e*)，其可在本文稱為良好模型)而g(λ)＝p(d1：t|e≥e*)表示數(shù)據(jù)庫(kù)中具有較高誤差的模型(高于誤差閾值(e*)，其可在本文稱為不良模型)。相應(yīng)地，預(yù)期效用函數(shù)e(u(e))的估計(jì)可以使用關(guān)系e(u(e))∝1/(γ+(1-γ)g(λ)/l(λ))來(lái)獲得。在一些方面，在模型集合為常數(shù)以使得良好模型的數(shù)目與不良模型的數(shù)目的總和(l(λ)+g(λ)＝u(λ))為常數(shù)，或者在λ從均勻分布中提取的情況下，預(yù)期效用函數(shù)的估計(jì)可被進(jìn)一步簡(jiǎn)化并在γ＝0.5時(shí)由e(u(e))∝l(λ)給出。

根據(jù)這些等式，dcn超參數(shù)選擇的一個(gè)目標(biāo)就是從與產(chǎn)生最大的良好模型對(duì)不良模型的比率l(λ)/g(λ)的良好模型集合(λ1:t∈l(λ))相對(duì)應(yīng)的超參數(shù)的分布中選取下一超參數(shù)(λt+1)，其中l(wèi)(λ)是該集合中具有低誤差的模型(低于誤差閾值(e*)——良好模型)，并且g(λ)是該集合中具有較高誤差的模型(高于誤差閾值(e*)——不良模型)。

在一些方面，下一超參數(shù)λt+1可以從產(chǎn)生具有針對(duì)l(λ)的最低誤差或最大值的模型的λ1:t∈u(λ)中選擇。

圖1解說(shuō)了根據(jù)本公開(kāi)的某些方面的使用片上系統(tǒng)(soc)100的前述超參數(shù)選擇的示例實(shí)現(xiàn)，soc100可包括通用處理器(cpu)或多核通用處理器(cpu)102。變量(例如，神經(jīng)信號(hào)和突觸權(quán)重)、與計(jì)算設(shè)備(例如，帶有權(quán)重的神經(jīng)網(wǎng)絡(luò))相關(guān)聯(lián)的系統(tǒng)參數(shù)、延遲、頻率槽信息、以及任務(wù)信息可被存儲(chǔ)在與神經(jīng)處理單元(npu)108相關(guān)聯(lián)的存儲(chǔ)器塊中、與cpu102相關(guān)聯(lián)的存儲(chǔ)器塊中、與圖形處理單元(gpu)104相關(guān)聯(lián)的存儲(chǔ)器塊中、與數(shù)字信號(hào)處理器(dsp)106相關(guān)聯(lián)的存儲(chǔ)器塊中、專用存儲(chǔ)器塊118中，或可跨多個(gè)塊分布。在通用處理器102處執(zhí)行的指令可從與cpu102相關(guān)聯(lián)的程序存儲(chǔ)器加載或可從專用存儲(chǔ)器塊118加載。

soc100還可包括為具體功能定制的附加處理塊(諸如gpu104、dsp106、連通性塊110(其可包括第四代長(zhǎng)期演進(jìn)(4glte)連通性、無(wú)執(zhí)照wi-fi連通性、usb連通性、藍(lán)牙連通性等))以及例如可檢測(cè)和識(shí)別姿勢(shì)的多媒體處理器112。在一種實(shí)現(xiàn)中，npu實(shí)現(xiàn)在cpu、dsp、和/或gpu中。soc100還可包括傳感器處理器114、圖像信號(hào)處理器(isp)、和/或?qū)Ш?20(其可包括全球定位系統(tǒng))。

soc100可基于arm指令集。在本公開(kāi)的一方面，加載到通用處理器102中的指令可包括用于選擇數(shù)個(gè)網(wǎng)絡(luò)架構(gòu)作為數(shù)據(jù)庫(kù)的一部分的代碼。這些架構(gòu)中的每一者可包括一個(gè)或多個(gè)局部邏輯回歸層。被加載到通用處理器102中的指令還可包括用于訓(xùn)練每一個(gè)架構(gòu)以生成被存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)應(yīng)驗(yàn)證誤差的代碼。被加載到通用處理器102中的指令可進(jìn)一步包括用于基于數(shù)據(jù)庫(kù)中的驗(yàn)證誤差來(lái)估計(jì)用于標(biāo)識(shí)良好架構(gòu)集合和不良架構(gòu)集合的閾值誤差的代碼。另外，被加載到通用處理器102中的指令可包括用于基于作為良好架構(gòu)的函數(shù)的度量來(lái)選取對(duì)應(yīng)于下一架構(gòu)的下一潛在超參數(shù)的代碼。此外，被加載到通用處理器102中的指令可包括用于從各下一架構(gòu)中選擇具有最低驗(yàn)證誤差的架構(gòu)的代碼。

圖2解說(shuō)了根據(jù)本公開(kāi)的某些方面的系統(tǒng)200的示例實(shí)現(xiàn)。如圖2中所解說(shuō)的，系統(tǒng)200可具有可執(zhí)行本文所描述的方法的各種操作的多個(gè)局部處理單元202。每一個(gè)局部處理單元202可包括局部狀態(tài)存儲(chǔ)器204和可存儲(chǔ)神經(jīng)網(wǎng)絡(luò)的參數(shù)的局部參數(shù)存儲(chǔ)器206。另外，局部處理單元202可具有用于存儲(chǔ)局部模型程序的局部(神經(jīng)元)模型程序(lmp)存儲(chǔ)器208、用于存儲(chǔ)局部學(xué)習(xí)程序的局部學(xué)習(xí)程序(llp)存儲(chǔ)器210、以及局部連接存儲(chǔ)器212。此外，如圖2中所解說(shuō)的，每一個(gè)局部處理單元202可與用于為該局部處理單元的各局部存儲(chǔ)器提供配置的配置處理器單元214對(duì)接，并且與提供各局部處理單元202之間的路由的路由連接處理單元216對(duì)接。

深度學(xué)習(xí)架構(gòu)可通過(guò)學(xué)習(xí)在每一層中以逐次更高的抽象程度來(lái)表示輸入、藉此構(gòu)建輸入數(shù)據(jù)的有用特征表示來(lái)執(zhí)行對(duì)象識(shí)別任務(wù)。以此方式，深度學(xué)習(xí)解決了傳統(tǒng)機(jī)器學(xué)習(xí)的主要瓶頸。在深度學(xué)習(xí)出現(xiàn)之前，針對(duì)對(duì)象識(shí)別問(wèn)題的機(jī)器學(xué)習(xí)辦法可能嚴(yán)重依賴人類工程設(shè)計(jì)的特征，或許與淺分類器相結(jié)合。淺分類器可以是兩類線性分類器，例如，其中可將特征向量分量的加權(quán)和與閾值作比較以預(yù)測(cè)輸入屬于哪一類。人類工程設(shè)計(jì)的特征可以是由擁有領(lǐng)域?qū)I(yè)知識(shí)的工程師針對(duì)具體問(wèn)題領(lǐng)域定制的模板或內(nèi)核。相反，深度學(xué)習(xí)架構(gòu)可學(xué)習(xí)以表示與人類工程師可能會(huì)設(shè)計(jì)的相似的特征，但它是通過(guò)訓(xùn)練來(lái)學(xué)習(xí)的。另外，深度網(wǎng)絡(luò)可以學(xué)習(xí)以表示和識(shí)別人類可能還沒(méi)有考慮過(guò)的新類型的特征。

深度學(xué)習(xí)架構(gòu)可以學(xué)習(xí)諸特征的分層結(jié)構(gòu)。例如，如果向第一層呈遞視覺(jué)數(shù)據(jù)，則第一層可學(xué)習(xí)以識(shí)別輸入流中的相對(duì)簡(jiǎn)單的特征(諸如邊)。在另一示例中，如果向第一層呈遞聽(tīng)覺(jué)數(shù)據(jù)，則第一層可學(xué)習(xí)以識(shí)別特定頻率中的頻譜功率。取第一層的輸出作為輸入的第二層可以學(xué)習(xí)以識(shí)別特征組合，諸如對(duì)于視覺(jué)數(shù)據(jù)識(shí)別簡(jiǎn)單形狀或?qū)τ诼?tīng)覺(jué)數(shù)據(jù)識(shí)別聲音組合。例如，更高層可學(xué)習(xí)以表示視覺(jué)數(shù)據(jù)中的復(fù)雜形狀或聽(tīng)覺(jué)數(shù)據(jù)中的詞語(yǔ)。再高層可學(xué)習(xí)以識(shí)別常見(jiàn)視覺(jué)對(duì)象或口語(yǔ)短語(yǔ)。

深度學(xué)習(xí)架構(gòu)在被應(yīng)用于具有自然階層結(jié)構(gòu)的問(wèn)題時(shí)可能表現(xiàn)特別好。例如，機(jī)動(dòng)交通工具的分類可受益于首先學(xué)習(xí)以識(shí)別輪子、擋風(fēng)玻璃、以及其他特征。這些特征可在更高層以不同方式被組合以識(shí)別轎車、卡車和飛機(jī)。

神經(jīng)網(wǎng)絡(luò)可被設(shè)計(jì)成具有各種連通性模式。在前饋網(wǎng)絡(luò)中，信息從較低層被傳遞到較高層，其中給定層中的每一個(gè)神經(jīng)元向更高層中的神經(jīng)元進(jìn)行傳達(dá)。如上所述，可在前饋網(wǎng)絡(luò)的相繼層中構(gòu)建分層式表示。神經(jīng)網(wǎng)絡(luò)還可具有回流或反饋(也被稱為自頂向下(top-down))連接。在回流連接中，來(lái)自給定層中的神經(jīng)元的輸出可被傳達(dá)給相同層中的另一神經(jīng)元。回流架構(gòu)可有助于識(shí)別跨越不止一個(gè)按順序遞送給該神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)組團(tuán)塊的模式。從給定層中的神經(jīng)元到較低層中的神經(jīng)元的連接被稱為反饋(或自頂向下)連接。當(dāng)高層級(jí)概念的識(shí)別可輔助辨別輸入的特定低層級(jí)特征時(shí)，具有許多反饋連接的網(wǎng)絡(luò)可能是有助益的。

參照?qǐng)D3a，神經(jīng)網(wǎng)絡(luò)的各層之間的連接可以是全連接的(302)或局部連接的(304)。在全連接網(wǎng)絡(luò)302中，第一層中的神經(jīng)元可將它的輸出傳達(dá)給第二層中的每一個(gè)神經(jīng)元，從而第二層中的每一個(gè)神經(jīng)元將從第一層中的每一個(gè)神經(jīng)元接收輸入。替換地，在局部連接網(wǎng)絡(luò)304中，第一層中的神經(jīng)元可連接至第二層中有限數(shù)目的神經(jīng)元。卷積網(wǎng)絡(luò)306可以是局部連接的，并且被進(jìn)一步配置成使得與針對(duì)第二層中每一個(gè)神經(jīng)元的輸入相關(guān)聯(lián)的連接強(qiáng)度被共享(例如，308)。更一般化地，網(wǎng)絡(luò)的局部連接層可被配置成使得一層中的每一個(gè)神經(jīng)元將具有相同或相似的連通性模式，但其連接強(qiáng)度可具有不同的值(例如，310、312、314和316)。局部連接的連通性模式可能在更高層中產(chǎn)生空間上相異的感受野，這是由于給定區(qū)域中的更高層神經(jīng)元可接收到通過(guò)訓(xùn)練被調(diào)諧為到網(wǎng)絡(luò)的總輸入的受限部分的性質(zhì)的輸入。

局部連接的神經(jīng)網(wǎng)絡(luò)可能非常適合于其中輸入的空間位置有意義的問(wèn)題。例如，被設(shè)計(jì)成識(shí)別來(lái)自車載相機(jī)的視覺(jué)特征的網(wǎng)絡(luò)300可發(fā)展具有不同性質(zhì)的高層神經(jīng)元，這取決于它們與圖像下部關(guān)聯(lián)還是與圖像上部關(guān)聯(lián)。例如，與圖像下部相關(guān)聯(lián)的神經(jīng)元可學(xué)習(xí)以識(shí)別車道標(biāo)記，而與圖像上部相關(guān)聯(lián)的神經(jīng)元可學(xué)習(xí)以識(shí)別交通信號(hào)燈、交通標(biāo)志等。

dcn可以用受監(jiān)督式學(xué)習(xí)來(lái)訓(xùn)練。在訓(xùn)練期間，dcn可被呈遞圖像(諸如限速標(biāo)志的經(jīng)裁剪圖像326)，并且可隨后計(jì)算“前向傳遞(forwardpass)”以產(chǎn)生輸出322。輸出322可以是對(duì)應(yīng)于特征(諸如“標(biāo)志”、“60”、和“100”)的值向量。網(wǎng)絡(luò)設(shè)計(jì)者可能希望dcn在輸出特征向量中針對(duì)其中一些神經(jīng)元輸出高得分，例如與經(jīng)訓(xùn)練的網(wǎng)絡(luò)300的輸出322中所示的“標(biāo)志”和“60”對(duì)應(yīng)的那些神經(jīng)元。在訓(xùn)練之前，dcn產(chǎn)生的輸出很可能是不正確的，并且由此可計(jì)算實(shí)際輸出與目標(biāo)輸出之間的誤差。dcn的權(quán)重可隨后被調(diào)整以使得dcn的輸出得分與目標(biāo)更緊密地對(duì)準(zhǔn)。

為了調(diào)整權(quán)重，學(xué)習(xí)算法可為權(quán)重計(jì)算梯度向量。該梯度可指示在權(quán)重被略微調(diào)整情況下誤差將增加或減少的量。在頂層，該梯度可直接對(duì)應(yīng)于連接倒數(shù)第二層中的活化神經(jīng)元與輸出層中的神經(jīng)元的權(quán)重的值。在較低層中，該梯度可取決于權(quán)重的值以及所計(jì)算出的較高層的誤差梯度。權(quán)重可隨后被調(diào)整以減小誤差。這種調(diào)整權(quán)重的方式可被稱為“反向傳播”，因?yàn)槠渖婕霸谏窠?jīng)網(wǎng)絡(luò)中的反向傳遞(“backwardpass”)。

在實(shí)踐中，權(quán)重的誤差梯度可能是在少量示例上計(jì)算的，從而計(jì)算出的梯度近似于真實(shí)誤差梯度。這種近似方法可被稱為隨機(jī)梯度下降法。隨機(jī)梯度下降法可被重復(fù)，直到整個(gè)系統(tǒng)可達(dá)成的誤差率已停止下降或直到誤差率已達(dá)到目標(biāo)水平。

在學(xué)習(xí)之后，dcn可被呈遞新圖像326并且在網(wǎng)絡(luò)中的前向傳遞可產(chǎn)生輸出322，其可被認(rèn)為是該dcn的推斷或預(yù)測(cè)。

深度置信網(wǎng)絡(luò)(dbn)是包括多層隱藏節(jié)點(diǎn)的概率性模型。dbn可被用于提取訓(xùn)練數(shù)據(jù)集的階層式表示。dbn可通過(guò)堆疊多層受限波爾茲曼機(jī)(rbm)來(lái)獲得。rbm是一類可在輸入集上學(xué)習(xí)概率分布的人工神經(jīng)網(wǎng)絡(luò)。由于rbm可在沒(méi)有關(guān)于每一個(gè)輸入應(yīng)該被分類到哪個(gè)類的信息的情況下學(xué)習(xí)概率分布，因此rbm經(jīng)常被用于無(wú)監(jiān)督式學(xué)習(xí)。使用混合無(wú)監(jiān)督式和受監(jiān)督式范式，dbn的底部rbm可按無(wú)監(jiān)督方式被訓(xùn)練并且可以用作特征提取器，而頂部rbm可按受監(jiān)督方式(在來(lái)自先前層的輸入和目標(biāo)類的聯(lián)合分布上)被訓(xùn)練并且可用作分類器。

深度卷積網(wǎng)絡(luò)(dcn)是卷積網(wǎng)絡(luò)的網(wǎng)絡(luò)，其配置有附加的池化和歸一化層。dcn已在許多任務(wù)上達(dá)成現(xiàn)有最先進(jìn)的性能。dcn可使用受監(jiān)督式學(xué)習(xí)來(lái)訓(xùn)練，其中輸入和輸出目標(biāo)兩者對(duì)于許多典范是已知的并被用于通過(guò)使用梯度下降法來(lái)修改網(wǎng)絡(luò)的權(quán)重。

dcn可以是前饋網(wǎng)絡(luò)。另外，如上所述，從dcn的第一層中的神經(jīng)元到下一更高層中的神經(jīng)元群的連接跨第一層中的神經(jīng)元被共享。dcn的前饋和共享連接可被利用以進(jìn)行快速處理。dcn的計(jì)算負(fù)擔(dān)可比例如類似大小的包括回流或反饋連接的神經(jīng)網(wǎng)絡(luò)小得多。

卷積網(wǎng)絡(luò)的每一層的處理可被認(rèn)為是空間不變模板或基礎(chǔ)投影。如果輸入首先被分解成多個(gè)通道，諸如彩色圖像的紅色、綠色和藍(lán)色通道，那么在該輸入上訓(xùn)練的卷積網(wǎng)絡(luò)可被認(rèn)為是三維的，其具有沿著該圖像的軸的兩個(gè)空間維度以及捕捉顏色信息的第三維度。卷積連接的輸出可被認(rèn)為在后續(xù)層318和320中形成特征圖，該特征圖(例如，320)中的每一個(gè)元素從先前層(例如，318)中一定范圍的神經(jīng)元以及從該多個(gè)通道中的每一個(gè)通道接收輸入。特征圖中的值可以用非線性(諸如矯正)max(0,x)進(jìn)一步處理。來(lái)自毗鄰神經(jīng)元的值可被進(jìn)一步池化(這對(duì)應(yīng)于降采樣)并可提供附加的局部不變性以及維度縮減。還可通過(guò)特征圖中神經(jīng)元之間的側(cè)向抑制來(lái)應(yīng)用歸一化，其對(duì)應(yīng)于白化。

深度學(xué)習(xí)架構(gòu)的性能可隨著有更多被標(biāo)記的數(shù)據(jù)點(diǎn)變?yōu)榭捎没螂S著計(jì)算能力提高而提高?，F(xiàn)代深度神經(jīng)網(wǎng)絡(luò)用比僅僅十五年前可供典型研究者使用的計(jì)算資源多數(shù)千倍的計(jì)算資源來(lái)例行地訓(xùn)練。新的架構(gòu)和訓(xùn)練范式可進(jìn)一步推升深度學(xué)習(xí)的性能。經(jīng)矯正的線性單元可減少被稱為消失梯度的訓(xùn)練問(wèn)題。新的訓(xùn)練技術(shù)可減少過(guò)度擬合(over-fitting)并因此使更大的模型能夠達(dá)成更好的普遍化。封裝技術(shù)可抽象出給定的感受野中的數(shù)據(jù)并進(jìn)一步提升總體性能。

圖3b是解說(shuō)示例性深度卷積網(wǎng)絡(luò)350的框圖。深度卷積網(wǎng)絡(luò)350可包括多個(gè)基于連通性和權(quán)重共享的不同類型的層。如圖3b所示，該示例性深度卷積網(wǎng)絡(luò)350包括多個(gè)卷積塊(例如，c1和c2)。每一個(gè)卷積塊可配置有卷積層、歸一化層(lnorm)、和池化層。卷積層可包括一個(gè)或多個(gè)卷積濾波器，其可被應(yīng)用于輸入數(shù)據(jù)以生成特征圖。盡管僅示出了兩個(gè)卷積塊，但本公開(kāi)不限于此，而是，根據(jù)設(shè)計(jì)偏好，任何數(shù)目的卷積塊可被包括在深度卷積網(wǎng)絡(luò)350中。歸一化層可被用于對(duì)卷積濾波器的輸出進(jìn)行歸一化。例如，歸一化層可提供白化或側(cè)向抑制。池化層可提供在空間上的降采樣聚集以實(shí)現(xiàn)局部不變性和維度縮減。

例如，深度卷積網(wǎng)絡(luò)的平行濾波器組可任選地基于arm指令集被加載到soc100的cpu102或gpu104上以達(dá)成高性能和低功耗。在替換實(shí)施例中，平行濾波器組可被加載到soc100的dsp106或isp116上。另外，dcn可訪問(wèn)其他可存在于soc上的處理塊，諸如專用于傳感器114和導(dǎo)航120的處理塊。

深度卷積網(wǎng)絡(luò)350還可包括一個(gè)或多個(gè)全連接層(例如，fc1和fc2)。深度卷積網(wǎng)絡(luò)350可進(jìn)一步包括邏輯回歸(lr)層。深度卷積網(wǎng)絡(luò)350的每一層之間是要被更新的權(quán)重(未示出)。每一層的輸出可以用作深度卷積網(wǎng)絡(luò)350中后續(xù)層的輸入以從第一卷積塊c1處提供的輸入數(shù)據(jù)(例如，圖像、音頻、視頻、傳感器數(shù)據(jù)和/或其他輸入數(shù)據(jù))學(xué)習(xí)分層式特征表示。

圖3c是解說(shuō)根據(jù)本公開(kāi)的各方面的增強(qiáng)型dcn380的框圖。如本文所指示的，神經(jīng)網(wǎng)絡(luò)(例如，dcn350)的架構(gòu)和/或?qū)W習(xí)參數(shù)可被修改以促成訓(xùn)練。圖3c解說(shuō)了dcn380，其與dcn350相比具有經(jīng)修改的架構(gòu)。如圖3c所示，卷積層的輸出可被提供給大小等于輸入圖像大小的平均池化層，其隨后朝局部邏輯回歸成本函數(shù)層(例如，lr1和lr2)向上形成突觸。通過(guò)向每一個(gè)塊添加局部邏輯回歸層，每一個(gè)塊被啟用以更新其自己的權(quán)重。換言之，模型無(wú)須等待直至網(wǎng)絡(luò)的底部更新權(quán)重。該修改可提高計(jì)算速度以進(jìn)一步促成dcn的訓(xùn)練。以此方式，可減小消失梯度問(wèn)題的影響。

圖4是解說(shuō)可使人工智能(ai)功能模塊化的示例性軟件架構(gòu)400的框圖。使用該架構(gòu)，應(yīng)用402可被設(shè)計(jì)成可使得soc420的各種處理塊(例如cpu422、dsp424、gpu426和/或npu428)在該應(yīng)用402的運(yùn)行時(shí)操作期間執(zhí)行支持計(jì)算。

ai應(yīng)用402可配置成調(diào)用在用戶空間404中定義的功能，例如，這些功能可提供對(duì)指示該設(shè)備當(dāng)前操作位置的場(chǎng)景的檢測(cè)和識(shí)別。例如，ai應(yīng)用402可取決于識(shí)別出的場(chǎng)景是辦公室、報(bào)告廳、餐館、還是室外環(huán)境(諸如湖泊)而以不同方式配置話筒和相機(jī)。ai應(yīng)用402可向與在場(chǎng)景檢測(cè)應(yīng)用編程接口(api)406中定義的庫(kù)相關(guān)聯(lián)的經(jīng)編譯程序代碼作出請(qǐng)求以提供對(duì)當(dāng)前場(chǎng)景的估計(jì)。該請(qǐng)求可最終依賴于配置成基于例如視頻和定位數(shù)據(jù)來(lái)提供場(chǎng)景估計(jì)的深度神經(jīng)網(wǎng)絡(luò)的輸出。

運(yùn)行時(shí)引擎408(其可以是運(yùn)行時(shí)框架的經(jīng)編譯代碼)可進(jìn)一步可由ai應(yīng)用402訪問(wèn)。例如，ai應(yīng)用402可使得運(yùn)行時(shí)引擎請(qǐng)求特定時(shí)間間隔的場(chǎng)景估計(jì)或由應(yīng)用的用戶接口檢測(cè)到的事件觸發(fā)的場(chǎng)景估計(jì)。在使得運(yùn)行時(shí)引擎估計(jì)場(chǎng)景時(shí)，運(yùn)行時(shí)引擎可進(jìn)而發(fā)送信號(hào)給在soc420上運(yùn)行的操作系統(tǒng)410(諸如linux內(nèi)核412)。操作系統(tǒng)410進(jìn)而可使得在cpu422、dsp424、gpu426、npu428、或其某種組合上執(zhí)行計(jì)算。cpu422可被操作系統(tǒng)直接訪問(wèn)，而其他處理塊可通過(guò)驅(qū)動(dòng)器(諸如用于dsp424、gpu426、或npu428的驅(qū)動(dòng)器414-418)被訪問(wèn)。在示例性示例中，深度神經(jīng)網(wǎng)絡(luò)可被配置成在處理塊的組合(諸如cpu422和gpu426)上運(yùn)行，或可在npu428(如果存在的話)上運(yùn)行。

圖5是解說(shuō)智能手機(jī)502上的ai應(yīng)用的運(yùn)行時(shí)操作500的框圖。ai應(yīng)用可包括預(yù)處理模塊504，該預(yù)處理模塊504可被配置(例如，被使用java編程語(yǔ)言配置)成轉(zhuǎn)換圖像506的格式并隨后對(duì)該圖像進(jìn)行剪裁和/或調(diào)整大小(508)。經(jīng)預(yù)處理的圖像可接著被傳達(dá)給分類應(yīng)用510，該分類應(yīng)用510包含場(chǎng)景檢測(cè)后端引擎512，該場(chǎng)景檢測(cè)后端引擎512可被配置(例如，被使用c編程語(yǔ)言配置)成基于視覺(jué)輸入來(lái)檢測(cè)和分類場(chǎng)景。場(chǎng)景檢測(cè)后端引擎512可被配置成進(jìn)一步通過(guò)縮放(516)和剪裁(518)來(lái)預(yù)處理(514)該圖像。例如，該圖像可被縮放和剪裁以使所得到的圖像是224像素×224像素。這些維度可映射到神經(jīng)網(wǎng)絡(luò)的輸入維度。神經(jīng)網(wǎng)絡(luò)可由深度神經(jīng)網(wǎng)絡(luò)塊520配置以使得soc100的各種處理塊進(jìn)一步借助深度神經(jīng)網(wǎng)絡(luò)來(lái)處理圖像像素。深度神經(jīng)網(wǎng)絡(luò)的結(jié)果可隨后被取閾(522)并被傳遞通過(guò)分類應(yīng)用510中的指數(shù)平滑塊524。經(jīng)平滑的結(jié)果可接著使得智能手機(jī)502的設(shè)置和/或顯示改變。

在一種配置中，機(jī)器學(xué)習(xí)模型(諸如，深度卷積網(wǎng)絡(luò))被配置成用于選擇數(shù)個(gè)網(wǎng)絡(luò)架構(gòu)作為數(shù)據(jù)庫(kù)的一部分。該模型還被配置成用于訓(xùn)練每一個(gè)架構(gòu)以生成被存儲(chǔ)在數(shù)據(jù)庫(kù)中的對(duì)應(yīng)驗(yàn)證誤差，以及基于數(shù)據(jù)庫(kù)中的驗(yàn)證誤差來(lái)估計(jì)用于標(biāo)識(shí)良好架構(gòu)集合和不良架構(gòu)集合的閾值誤差。該模型被進(jìn)一步配置成用于至少部分地基于作為良好架構(gòu)的函數(shù)的度量來(lái)選取對(duì)應(yīng)于下一架構(gòu)的下一潛在超參數(shù)；以及從各下一架構(gòu)中選擇一架構(gòu)。

該模型包括用于選擇數(shù)個(gè)架構(gòu)的裝置、訓(xùn)練裝置、估計(jì)裝置、選取裝置和/或用于選擇架構(gòu)的裝置。在一個(gè)方面，用于選擇數(shù)個(gè)架構(gòu)的裝置、訓(xùn)練裝置、估計(jì)裝置、選取裝置和/或用于選擇架構(gòu)的裝置可以是被配置成執(zhí)行所敘述的功能的通用處理器102、與通用處理器102相關(guān)聯(lián)的程序存儲(chǔ)器、存儲(chǔ)器塊118、局部處理單元202、和/或路由連接處理單元216。在另一配置中，前述裝置可以是被配置成執(zhí)行由前述裝置所敘述的功能的任何模塊或任何裝置。

根據(jù)本公開(kāi)的某些方面，每一個(gè)局部處理單元202可被配置成基于機(jī)器網(wǎng)絡(luò)的一個(gè)或多個(gè)期望功能特征來(lái)確定機(jī)器網(wǎng)絡(luò)的參數(shù)，以及隨著所確定的參數(shù)被進(jìn)一步適配、調(diào)諧和更新來(lái)使這一個(gè)或多個(gè)功能特征朝著期望的功能特征發(fā)展。

圖6是解說(shuō)根據(jù)本公開(kāi)的各方面的選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的方法600的框圖。在框602，該過(guò)程生成神經(jīng)元模型(例如，dcn)的數(shù)據(jù)庫(kù)。對(duì)于數(shù)據(jù)庫(kù)中所包括的每一個(gè)神經(jīng)元模型，可指定超參數(shù)和誤差(例如，驗(yàn)證誤差)。在框604，該過(guò)程可選擇下一超參數(shù)(λt+1)。下一超參數(shù)可被選取成使預(yù)期效用函數(shù)e(u(e))最大化。在一些方面，下一超參數(shù)可以基于數(shù)據(jù)庫(kù)中良好模型(誤差低于誤差閾值的模型)與數(shù)據(jù)庫(kù)中不良模型(誤差高于誤差閾值的模型)的比率(l(λ)/g(λ))、單單基于良好模型、或者基于其他選擇準(zhǔn)則來(lái)選擇。

在框606，該過(guò)程可對(duì)應(yīng)于下一超參數(shù)選擇訓(xùn)練神經(jīng)網(wǎng)絡(luò)。該神經(jīng)網(wǎng)絡(luò)可以使用梯度下降類型學(xué)習(xí)過(guò)程或其他訓(xùn)練過(guò)程來(lái)訓(xùn)練。在框608，該過(guò)程可例如使用驗(yàn)證、保持、測(cè)試或其他數(shù)據(jù)集來(lái)估計(jì)神經(jīng)網(wǎng)絡(luò)模型的誤差。在框610，該過(guò)程確定新模型是否滿足數(shù)據(jù)庫(kù)添加準(zhǔn)則。數(shù)據(jù)庫(kù)添加準(zhǔn)則可包括誤差閾值。數(shù)據(jù)庫(kù)誤差閾值可包括誤差閾值e*或第二誤差閾值。例如，如果所估計(jì)的誤差低于誤差閾值，則神經(jīng)元模型可滿足數(shù)據(jù)庫(kù)添加準(zhǔn)則。

第二誤差閾值可以例如基于數(shù)據(jù)庫(kù)中的各模型的最高估計(jì)誤差。在另一示例中，第二誤差閾值可以例如基于數(shù)據(jù)庫(kù)中的各良好模型的最高估計(jì)誤差。當(dāng)然，不同和/或附加的數(shù)據(jù)庫(kù)添加準(zhǔn)則可被用來(lái)根據(jù)設(shè)計(jì)偏好和存儲(chǔ)考量來(lái)確定是否要添加神經(jīng)網(wǎng)絡(luò)模型。

如果神經(jīng)網(wǎng)絡(luò)滿足該準(zhǔn)則，則在框612可向數(shù)據(jù)庫(kù)添加新網(wǎng)絡(luò)模型。否則，在框614可丟棄神經(jīng)網(wǎng)絡(luò)模型。隨后，該過(guò)程返回框604以選擇下一超參數(shù)。

選擇dcn模型的數(shù)據(jù)庫(kù)d1:t

在一些方面，模型數(shù)目t可以基于來(lái)自隨機(jī)搜索的數(shù)據(jù)來(lái)選取。在一個(gè)示例中，可以生成m個(gè)隨機(jī)dcn網(wǎng)絡(luò)拓?fù)?。例如，值m可被選擇為使得<e1：m>-<e1：m+∈>≤δ，∈＝25，δ＝0.05，或者使用其他合適方法來(lái)選擇?？蛇x擇大小為t的實(shí)驗(yàn)試驗(yàn)。例如，可使用包含子集t≤隨機(jī)dcn網(wǎng)絡(luò)架構(gòu)數(shù)目的試驗(yàn)。根據(jù)m個(gè)隨機(jī)dcn網(wǎng)絡(luò)拓?fù)?，可生成總?imgfile="bda0001362151290000161.gif"wi="270"he="71"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>個(gè)實(shí)驗(yàn)試驗(yàn)。對(duì)于大小為t的給定試驗(yàn)j，j＝1…et，可標(biāo)識(shí)最準(zhǔn)確的網(wǎng)絡(luò)(例如，產(chǎn)生最高測(cè)試準(zhǔn)確度的網(wǎng)絡(luò))。相應(yīng)地，t可被選擇(t＝t)以使得aj大于關(guān)于的分布的95％置信區(qū)間的上界。

圖7是解說(shuō)示例隨機(jī)搜索效率曲線的示圖。在圖7的示例中，128個(gè)隨機(jī)dcn架構(gòu)被訓(xùn)練和劃分到各集合中。為每一個(gè)dcn架構(gòu)集合提供盒形圖以解說(shuō)最準(zhǔn)確的dcn架構(gòu)的分布。x軸表示實(shí)驗(yàn)大小，而y軸表示準(zhǔn)確度。盒形圖示出關(guān)于給定dcn集合的誤差。每個(gè)盒子中的實(shí)線(例如，702)提供了關(guān)于對(duì)應(yīng)dcn集合的平均誤差。相應(yīng)地，可評(píng)估dcn集合以確定數(shù)據(jù)庫(kù)中提供至少一個(gè)良好架構(gòu)(例如，誤差低于閾值的架構(gòu))的最小數(shù)目t個(gè)dcn。

選擇下一超參數(shù)λt+1

在一些方面，可選擇系列中的下一超參數(shù)。對(duì)于γ＜1的給定選擇，e1:t的經(jīng)驗(yàn)分布可被用來(lái)估計(jì)誤差閾值e*。數(shù)據(jù)庫(kù)中t個(gè)dcn模型的集合可被分割或劃分成兩個(gè)集合，集合l包含e＜e*的dcn模型(例如，良好模型)，而集合g包括剩余的dcn模型(例如，不良模型)。從l中的dcn模型選取的超參數(shù)的分布可由l(λ)來(lái)表示，而g(λ)可表示從g中的dcn模型選取的超參數(shù)的分布。

示例性解1

在一個(gè)示例性方面，t個(gè)dcn架構(gòu)的集合可隨機(jī)生成，其中λi，i＝1…t，從經(jīng)驗(yàn)分布l(λ)中選擇。選擇該辦法可有助于例如在保持?jǐn)?shù)據(jù)集上產(chǎn)生高準(zhǔn)確度輸出的架構(gòu)周圍探索dcn超參數(shù)的空間。下一架構(gòu)從良好集合中選擇，其中架構(gòu)的最高值在良好集合內(nèi)。

示例性解2

在另一示例性方面，可約束超參數(shù)的搜索空間。在該示例中，可隨機(jī)生成具有t個(gè)dcn架構(gòu)的集合，其中，λj從經(jīng)驗(yàn)分布l(λ)中選擇。對(duì)于每一個(gè)dcn網(wǎng)絡(luò)j，j＝1…t，評(píng)估r(λj)＝l(λj)/g(λj)。選擇如此，該辦法探索了超參數(shù)的受限空間并且可以比先前示例中更快地產(chǎn)生收斂解。該示例還基于比率、而非僅僅良好架構(gòu)集合來(lái)進(jìn)行評(píng)估。

示例性解3

在又一示例性方面，可隨機(jī)生成具有t個(gè)dcn架構(gòu)的集合。對(duì)于每一個(gè)dcn網(wǎng)絡(luò)j，j＝1…t，評(píng)估r(λj)＝l(λj)/g(λj)。選擇該辦法可被用來(lái)在大得多的超參數(shù)空間上探索架構(gòu)。在該辦法中，從任意隨機(jī)分布、而非良好分布進(jìn)行選擇。在一些方面，該選擇可以基于比率。

示例性解4

在進(jìn)一步示例性方面，可隨機(jī)生成具有t個(gè)dcn架構(gòu)的集合。對(duì)于每一個(gè)dcn網(wǎng)絡(luò)j，j＝1…t，評(píng)估r(λj)＝l(λj)。選擇在該示例中，λ可從均勻隨機(jī)分布選取。該辦法還可導(dǎo)致對(duì)大得多的超參數(shù)空間的探索，其中到達(dá)λ的可能性更高，其中網(wǎng)絡(luò)將提供增強(qiáng)的性能。在該辦法中，從任意隨機(jī)分布、而非良好分布進(jìn)行選擇。該選擇也可基于良好架構(gòu)集合。

在另一方面，可采用混合策略，其中在任何給定時(shí)間t，根據(jù)具有某一預(yù)定概率p{j}的先前四個(gè)解中的任一者來(lái)選取系列中的下一超參數(shù)λt+1，其中j＝{以上四個(gè)示例性解中的每一者}。例如，第一解可以在10％的時(shí)間選擇，第二解可以在40％的時(shí)間選擇，第三解在30％的時(shí)間選擇，并且第四解在20％的時(shí)間選擇。

在一些方面，可從給定數(shù)據(jù)庫(kù)選擇超參數(shù)λ。例如，λ可以如下選擇：

1.從λ∈l(λ)的經(jīng)驗(yàn)分布選取λ。

2.從具有先驗(yàn)的λ∈l(λ)經(jīng)驗(yàn)分布選取λ以計(jì)及λ的經(jīng)驗(yàn)分布中的給定數(shù)據(jù)點(diǎn)未被采樣的情形。

3.從對(duì)λ∈l(λ)的分布的高斯擬合的混合選取λ。

4.從均勻隨機(jī)分布選取λ。

在一些方面，可通過(guò)在λ的空間上搜索來(lái)選擇超參數(shù)。如以上所指示的，用于訓(xùn)練dcn的超參數(shù)可被劃分成兩個(gè)類別：λ＝{λa,λl}，其中λa是與dcn架構(gòu)相關(guān)聯(lián)的超參數(shù)集合，并且λl是與被用來(lái)訓(xùn)練dcn的學(xué)習(xí)過(guò)程相關(guān)聯(lián)的超參數(shù)。用于選擇超參數(shù)的其中兩種可能方案如下：

1.聯(lián)合超參數(shù)選擇：執(zhí)行對(duì)λl和λa的聯(lián)合選擇。

2.串行超參數(shù)選擇：將超參數(shù)選擇問(wèn)題分開(kāi)為兩部分。對(duì)于給定λl，首先選擇架構(gòu)超參數(shù)λa以標(biāo)識(shí)關(guān)于給定問(wèn)題的較優(yōu)(例如，較高準(zhǔn)確度)dcn架構(gòu)。一旦標(biāo)識(shí)出較優(yōu)dcn架構(gòu)，就選擇學(xué)習(xí)超參數(shù)λl以進(jìn)一步增強(qiáng)dcn的性能。

當(dāng)然，超參數(shù)選擇可基于驗(yàn)證誤差、成本(例如，計(jì)算復(fù)雜度、存儲(chǔ)器占用)、其組合以及其他神經(jīng)網(wǎng)絡(luò)和系統(tǒng)設(shè)計(jì)考量來(lái)進(jìn)一步優(yōu)化或增強(qiáng)。

圖8解說(shuō)了用于選擇用于訓(xùn)練深度卷積網(wǎng)絡(luò)的超參數(shù)的方法800。在框802，該過(guò)程選擇數(shù)個(gè)網(wǎng)絡(luò)架構(gòu)作為數(shù)據(jù)庫(kù)的一部分。在一些方面，這些網(wǎng)絡(luò)架構(gòu)中的每一者可包括一個(gè)或多個(gè)局部邏輯回歸層。

在框804，該過(guò)程訓(xùn)練這些網(wǎng)絡(luò)架構(gòu)中的每一者以生成對(duì)應(yīng)驗(yàn)證誤差。驗(yàn)證誤差可被存儲(chǔ)在數(shù)據(jù)庫(kù)中。在框806，該過(guò)程基于數(shù)據(jù)庫(kù)中的驗(yàn)證誤差來(lái)估計(jì)用于標(biāo)識(shí)良好架構(gòu)集合和不良架構(gòu)集合的閾值誤差。

在框808，該過(guò)程基于作為良好架構(gòu)的函數(shù)的度量來(lái)選取對(duì)應(yīng)于下一架構(gòu)的下一潛在超參數(shù)。在一些方面，下一潛在超參數(shù)可通過(guò)從良好架構(gòu)集合中選擇超參數(shù)以及基于良好架構(gòu)集合的分布評(píng)估下一潛在超參數(shù)來(lái)選取。

最后，在框810，該過(guò)程從各下一架構(gòu)中選擇具有最低驗(yàn)證誤差的架構(gòu)。在一些方面，選擇架構(gòu)包括聯(lián)合地選擇架構(gòu)超參數(shù)以及學(xué)習(xí)超參數(shù)。

在一些方面，該過(guò)程可進(jìn)一步基于所選擇的架構(gòu)來(lái)選擇學(xué)習(xí)超參數(shù)。該過(guò)程還可選擇附加架構(gòu)和附加學(xué)習(xí)超參數(shù)。軟概率可以從附加架構(gòu)和學(xué)習(xí)超參數(shù)來(lái)估計(jì)。該過(guò)程可進(jìn)而基于所估計(jì)的軟概率來(lái)標(biāo)識(shí)與軟概率相關(guān)聯(lián)的附加超參數(shù)。這樣做，可進(jìn)一步增強(qiáng)神經(jīng)模型性能。

在一個(gè)方面，該過(guò)程可通過(guò)以下操作來(lái)選取下一潛在超參數(shù)：從良好架構(gòu)集合選擇架構(gòu)超參數(shù)、學(xué)習(xí)超參數(shù)和軟概率超參數(shù)中的一者或多者，以及基于良好架構(gòu)集合的分布來(lái)評(píng)估下一潛在超參數(shù)。

在另一方面，該過(guò)程可通過(guò)以下操作來(lái)選取下一潛在超參數(shù)：從良好架構(gòu)集合選擇架構(gòu)超參數(shù)、學(xué)習(xí)超參數(shù)和軟概率超參數(shù)中的一者或多者，以及基于良好架構(gòu)集合的分布與不良架構(gòu)集合的分布的比率來(lái)評(píng)估下一潛在超參數(shù)。

在又一方面，下一潛在超參數(shù)可通過(guò)以下操作來(lái)選?。簭碾S機(jī)分布選擇架構(gòu)超參數(shù)、學(xué)習(xí)超參數(shù)和軟概率超參數(shù)中的一者或多者，以及基于良好架構(gòu)集合的分布與不良架構(gòu)集合的分布的比率來(lái)評(píng)估下一潛在超參數(shù)。

在又一方面，下一潛在超參數(shù)可通過(guò)以下操作來(lái)選?。簭碾S機(jī)分布選擇架構(gòu)超參數(shù)、學(xué)習(xí)超參數(shù)和軟概率超參數(shù)中的一者或多者，以及基于良好架構(gòu)集合的分布來(lái)評(píng)估下一潛在超參數(shù)。

在又一方面，下一潛在超參數(shù)可通過(guò)以下操作來(lái)選?。簭牧己眉軜?gòu)集合或隨機(jī)分布選擇架構(gòu)超參數(shù)、學(xué)習(xí)超參數(shù)和軟概率超參數(shù)中的一者或多者，以及基于良好架構(gòu)集合的分布與不良架構(gòu)集合的分布的比率或者良好架構(gòu)集合的分布基于概率分布來(lái)評(píng)估下一潛在超參數(shù)。

以上所描述的方法的各種操作可由能夠執(zhí)行相應(yīng)功能的任何合適的裝置來(lái)執(zhí)行。這些裝置可包括各種硬件和/或(諸)軟件組件和/或(諸)模塊，包括但不限于電路、專用集成電路(asic)、或處理器。一般而言，在附圖中有解說(shuō)的操作的場(chǎng)合，那些操作可具有帶相似編號(hào)的相應(yīng)配對(duì)裝置加功能組件。

如本文所使用的，術(shù)語(yǔ)“確定”涵蓋各種各樣的動(dòng)作。例如，“確定”可包括演算、計(jì)算、處理、推導(dǎo)、研究、查找(例如，在表、數(shù)據(jù)庫(kù)或其他數(shù)據(jù)結(jié)構(gòu)中查找)、探知及諸如此類。另外，“確定”可包括接收(例如接收信息)、訪問(wèn)(例如訪問(wèn)存儲(chǔ)器中的數(shù)據(jù))、及類似動(dòng)作。而且，“確定”可包括解析、選擇、選取、確立及類似動(dòng)作。

如本文中所使用的，引述一列項(xiàng)目中的“至少一個(gè)”的短語(yǔ)是指這些項(xiàng)目的任何組合，包括單個(gè)成員。作為示例，“a、b或c中的至少一個(gè)”旨在涵蓋：a、b、c、a-b、a-c、b-c、以及a-b-c。

結(jié)合本公開(kāi)所描述的各種解說(shuō)性邏輯框、模塊、以及電路可用設(shè)計(jì)成執(zhí)行本文所描述功能的通用處理器、數(shù)字信號(hào)處理器(dsp)、專用集成電路(asic)、現(xiàn)場(chǎng)可編程門(mén)陣列信號(hào)(fpga)或其他可編程邏輯器件(pld)、分立的門(mén)或晶體管邏輯、分立的硬件組件或其任何組合來(lái)實(shí)現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但在替換方案中，處理器可以是任何市售的處理器、控制器、微控制器、或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合，例如dsp與微處理器的組合、多個(gè)微處理器、與dsp核心協(xié)同的一個(gè)或多個(gè)微處理器、或任何其它此類配置。

結(jié)合本公開(kāi)描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中實(shí)施。軟件模塊可駐留在本領(lǐng)域所知的任何形式的存儲(chǔ)介質(zhì)中?？墒褂玫拇鎯?chǔ)介質(zhì)的一些示例包括隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、閃存、可擦除可編程只讀存儲(chǔ)器(eprom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、寄存器、硬盤(pán)、可移動(dòng)盤(pán)、cd-rom，等等。軟件模塊可包括單條指令、或許多條指令，且可分布在若干不同的代碼段上，分布在不同的程序間以及跨多個(gè)存儲(chǔ)介質(zhì)分布。存儲(chǔ)介質(zhì)可被耦合到處理器以使得該處理器能從/向該存儲(chǔ)介質(zhì)讀寫(xiě)信息。在替換方案中，存儲(chǔ)介質(zhì)可以被整合到處理器。

本文所公開(kāi)的方法包括用于達(dá)成所描述的方法的一個(gè)或多個(gè)步驟或動(dòng)作。這些方法步驟和/或動(dòng)作可以彼此互換而不會(huì)脫離權(quán)利要求的范圍。換言之，除非指定了步驟或動(dòng)作的特定次序，否則具體步驟和/或動(dòng)作的次序和/或使用可以改動(dòng)而不會(huì)脫離權(quán)利要求的范圍。

所描述的功能可在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。如果以硬件實(shí)現(xiàn)，則示例硬件配置可包括設(shè)備中的處理系統(tǒng)。處理系統(tǒng)可以用總線架構(gòu)來(lái)實(shí)現(xiàn)。取決于處理系統(tǒng)的具體應(yīng)用和整體設(shè)計(jì)約束，總線可包括任何數(shù)目的互連總線和橋接器?？偩€可將包括處理器、機(jī)器可讀介質(zhì)、以及總線接口的各種電路鏈接在一起?？偩€接口可用于尤其將網(wǎng)絡(luò)適配器等經(jīng)由總線連接至處理系統(tǒng)。網(wǎng)絡(luò)適配器可用于實(shí)現(xiàn)信號(hào)處理功能。對(duì)于某些方面，用戶接口(例如，按鍵板、顯示器、鼠標(biāo)、操縱桿，等等)也可以被連接到總線?？偩€還可以鏈接各種其他電路，諸如定時(shí)源、外圍設(shè)備、穩(wěn)壓器、功率管理電路以及類似電路，它們?cè)诒绢I(lǐng)域中是眾所周知的，因此將不再進(jìn)一步描述。

處理器可負(fù)責(zé)管理總線和一般處理，包括執(zhí)行存儲(chǔ)在機(jī)器可讀介質(zhì)上的軟件。處理器可用一個(gè)或多個(gè)通用和/或?qū)Ｓ锰幚砥鱽?lái)實(shí)現(xiàn)。示例包括微處理器、微控制器、dsp處理器、以及其他能執(zhí)行軟件的電路系統(tǒng)。軟件應(yīng)當(dāng)被寬泛地解釋成意指指令、數(shù)據(jù)、或其任何組合，無(wú)論是被稱作軟件、固件、中間件、微代碼、硬件描述語(yǔ)言、或其他。作為示例，機(jī)器可讀介質(zhì)可包括隨機(jī)存取存儲(chǔ)器(ram)、閃存、只讀存儲(chǔ)器(rom)、可編程只讀存儲(chǔ)器(prom)、可擦式可編程只讀存儲(chǔ)器(eprom)、電可擦式可編程只讀存儲(chǔ)器(eeprom)、寄存器、磁盤(pán)、光盤(pán)、硬驅(qū)動(dòng)器、或者任何其他合適的存儲(chǔ)介質(zhì)、或其任何組合。機(jī)器可讀介質(zhì)可被實(shí)施在計(jì)算機(jī)程序產(chǎn)品中。該計(jì)算機(jī)程序產(chǎn)品可以包括包裝材料。

在硬件實(shí)現(xiàn)中，機(jī)器可讀介質(zhì)可以是處理系統(tǒng)中與處理器分開(kāi)的一部分。然而，如本領(lǐng)域技術(shù)人員將容易領(lǐng)會(huì)的，機(jī)器可讀介質(zhì)或其任何部分可在處理系統(tǒng)外部。作為示例，機(jī)器可讀介質(zhì)可包括傳輸線、由數(shù)據(jù)調(diào)制的載波、和/或與設(shè)備分開(kāi)的計(jì)算機(jī)產(chǎn)品，所有這些都可由處理器通過(guò)總線接口來(lái)訪問(wèn)。替換地或補(bǔ)充地，機(jī)器可讀介質(zhì)或其任何部分可被集成到處理器中，諸如高速緩存和/或通用寄存器文件可能就是這種情形。雖然所討論的各種組件可被描述為具有特定位置，諸如局部組件，但它們也可按各種方式來(lái)配置，諸如某些組件被配置成分布式計(jì)算系統(tǒng)的一部分。

處理系統(tǒng)可以被配置為通用處理系統(tǒng)，該通用處理系統(tǒng)具有一個(gè)或多個(gè)提供處理器功能性的微處理器、以及提供機(jī)器可讀介質(zhì)中的至少一部分的外部存儲(chǔ)器，它們都通過(guò)外部總線架構(gòu)與其他支持電路系統(tǒng)鏈接在一起。替換地，該處理系統(tǒng)可以包括一個(gè)或多個(gè)神經(jīng)元形態(tài)處理器以用于實(shí)現(xiàn)本文所述的神經(jīng)元模型和神經(jīng)系統(tǒng)模型。作為另一替換方案，處理系統(tǒng)可以用帶有集成在單塊芯片中的處理器、總線接口、用戶接口、支持電路系統(tǒng)、和至少一部分機(jī)器可讀介質(zhì)的專用集成電路(asic)來(lái)實(shí)現(xiàn)，或者用一個(gè)或多個(gè)現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)、可編程邏輯器件(pld)、控制器、狀態(tài)機(jī)、門(mén)控邏輯、分立硬件組件、或者任何其他合適的電路系統(tǒng)、或者能執(zhí)行本公開(kāi)通篇所描述的各種功能性的電路的任何組合來(lái)實(shí)現(xiàn)。取決于具體應(yīng)用和加諸于整體系統(tǒng)上的總設(shè)計(jì)約束，本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到如何最佳地實(shí)現(xiàn)關(guān)于處理系統(tǒng)所描述的功能性。

機(jī)器可讀介質(zhì)可包括數(shù)個(gè)軟件模塊。這些軟件模塊包括當(dāng)由處理器執(zhí)行時(shí)使處理系統(tǒng)執(zhí)行各種功能的指令。這些軟件模塊可包括傳送模塊和接收模塊。每個(gè)軟件模塊可以駐留在單個(gè)存儲(chǔ)設(shè)備中或者跨多個(gè)存儲(chǔ)設(shè)備分布。作為示例，當(dāng)觸發(fā)事件發(fā)生時(shí)，可以從硬驅(qū)動(dòng)器中將軟件模塊加載到ram中。在軟件模塊執(zhí)行期間，處理器可以將一些指令加載到高速緩存中以提高訪問(wèn)速度。隨后可將一個(gè)或多個(gè)高速緩存行加載到通用寄存器文件中以供處理器執(zhí)行。在以下述及軟件模塊的功能性時(shí)，將理解此類功能性是在處理器執(zhí)行來(lái)自該軟件模塊的指令時(shí)由該處理器來(lái)實(shí)現(xiàn)的。此外，應(yīng)領(lǐng)會(huì)，本公開(kāi)的各方面產(chǎn)生對(duì)處理器、計(jì)算機(jī)、機(jī)器或?qū)崿F(xiàn)此類方面的其它系統(tǒng)的機(jī)能的改進(jìn)。

如果以軟件實(shí)現(xiàn)，則各功能可作為一條或多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上或藉其進(jìn)行傳送。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)兩者，這些介質(zhì)包括促成計(jì)算機(jī)程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪問(wèn)的任何可用介質(zhì)。作為示例而非限定，此類計(jì)算機(jī)可讀介質(zhì)可包括ram、rom、eeprom、cd-rom或其他光盤(pán)存儲(chǔ)、磁盤(pán)存儲(chǔ)或其他磁存儲(chǔ)設(shè)備、或能用于攜帶或存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的期望程序代碼且能被計(jì)算機(jī)訪問(wèn)的任何其他介質(zhì)。另外，任何連接也被正當(dāng)?shù)胤Q為計(jì)算機(jī)可讀介質(zhì)。例如，如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線(dsl)、或無(wú)線技術(shù)(諸如紅外(ir)、無(wú)線電、以及微波)從web網(wǎng)站、服務(wù)器、或其他遠(yuǎn)程源傳送而來(lái)，則該同軸電纜、光纖電纜、雙絞線、dsl或無(wú)線技術(shù)(諸如紅外、無(wú)線電、以及微波)就被包括在介質(zhì)的定義之中。如本文中所使用的盤(pán)(disk)和碟(disc)包括壓縮碟(cd)、激光碟、光碟、數(shù)字多用碟(dvd)、軟盤(pán)、和藍(lán)光碟，其中盤(pán)(disk)常常磁性地再現(xiàn)數(shù)據(jù)，而碟(disc)用激光來(lái)光學(xué)地再現(xiàn)數(shù)據(jù)。因此，在一些方面，計(jì)算機(jī)可讀介質(zhì)可包括非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，有形介質(zhì))。另外，對(duì)于其他方面，計(jì)算機(jī)可讀介質(zhì)可包括瞬態(tài)計(jì)算機(jī)可讀介質(zhì)(例如，信號(hào))。上述的組合應(yīng)當(dāng)也被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。

因此，某些方面可包括用于執(zhí)行本文中給出的操作的計(jì)算機(jī)程序產(chǎn)品。例如，此類計(jì)算機(jī)程序產(chǎn)品可包括其上存儲(chǔ)(和/或編碼)有指令的計(jì)算機(jī)可讀介質(zhì)，這些指令能由一個(gè)或多個(gè)處理器執(zhí)行以執(zhí)行本文中所描述的操作。對(duì)于某些方面，計(jì)算機(jī)程序產(chǎn)品可包括包裝材料。

此外，應(yīng)當(dāng)領(lǐng)會(huì)，用于執(zhí)行本文中所描述的方法和技術(shù)的模塊和/或其它恰適裝置能由用戶終端和/或基站在適用的場(chǎng)合下載和/或以其他方式獲得。例如，此類設(shè)備能被耦合至服務(wù)器以促成用于執(zhí)行本文中所描述的方法的裝置的轉(zhuǎn)移。替換地，本文所述的各種方法能經(jīng)由存儲(chǔ)裝置(例如，ram、rom、諸如壓縮碟(cd)或軟盤(pán)等物理存儲(chǔ)介質(zhì)等)來(lái)提供，以使得一旦將該存儲(chǔ)裝置耦合至或提供給用戶終端和/或基站，該設(shè)備就能獲得各種方法。此外，可利用適于向設(shè)備提供本文所描述的方法和技術(shù)的任何其他合適的技術(shù)。

將理解，權(quán)利要求并不被限定于以上所解說(shuō)的精確配置和組件?？稍谝陨纤枋龅姆椒ê脱b置的布局、操作和細(xì)節(jié)上作出各種改動(dòng)、更換和變形而不會(huì)脫離權(quán)利要求的范圍。