用于尖峰神經(jīng)網(wǎng)絡(luò)中的結(jié)構(gòu)化延遲可塑性的方法和裝置制造方法
【專利摘要】本公開的某些方面涉及應(yīng)用于尖峰神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)結(jié)構(gòu)化延遲可塑性的技術(shù)。采用所提出的結(jié)構(gòu)化延遲可塑性的方法，可避免對(duì)多個(gè)具有不同延遲的突觸進(jìn)行建模的需求。在這種情況下，應(yīng)當(dāng)只要對(duì)少得多的潛在突觸進(jìn)行建模以用于學(xué)習(xí)。
【專利說明】用于尖峰神經(jīng)網(wǎng)絡(luò)中的結(jié)構(gòu)化延遲可塑性的方法和裝置
[0001]背景
[0002]領(lǐng)域
[0003]本公開的某些方面一般涉及神經(jīng)系統(tǒng)工程，更具體地涉及用于尖峰神經(jīng)網(wǎng)絡(luò)中的自適應(yīng)結(jié)構(gòu)化延遲可塑性的方法和裝置。
[0004]背景
[0005]神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元可接收來自該網(wǎng)絡(luò)中的一個(gè)或多個(gè)其它神經(jīng)元的潛在輸入。輸入的相對(duì)重要性可被學(xué)習(xí)，以使得只有一些潛在輸入可成為活躍的突觸。然而，隨著電路或網(wǎng)絡(luò)中的潛在輸入(神經(jīng)元)的數(shù)目增加，處理和存儲(chǔ)器訪問要求可能顯著提高。例如，如果存在M個(gè)神經(jīng)元，每個(gè)神經(jīng)元具有NSM個(gè)可能的輸入，則可能存在至少M(fèi)XN個(gè)潛在的突觸。另外，如果連接(突觸)具有可變的時(shí)間延遲(由于變化的連接距離)，則每神經(jīng)元的潛在輸入數(shù)目可倍乘以可能的不同時(shí)間延遲的數(shù)目(例如，從0至T在時(shí)間分辨率為dt的情況下得到R=T / dt個(gè)可能性，則該網(wǎng)絡(luò)有總計(jì)MXNXR個(gè)潛在的突觸)。應(yīng)當(dāng)注意的是，突觸延遲的范圍可能為從0至25ms或甚至更高。由于可能要求I毫秒或遠(yuǎn)小于此(例如，0.1或I微秒)的神經(jīng)尖峰定時(shí)精度，這可能會(huì)急劇地提高已經(jīng)很顯著的處理(時(shí)間)和存儲(chǔ)器要求(例如，分別提高250或25，000倍)。因此，希望得到復(fù)雜性降低的計(jì)算方案用于機(jī)器學(xué)習(xí)。
[0006]生物神經(jīng)網(wǎng)絡(luò)可采用結(jié)構(gòu)化可塑性(樹突或軸突生長或收縮、脊或結(jié)翻轉(zhuǎn)、或脊能動(dòng)性)來解決這一問題。然而，用于在神經(jīng)系統(tǒng)工程中解決這一問題的方法仍然是未知的。
[0007]概述
[0008]本公開的某些方面提供了一種方法。該方法一般包括調(diào)適神經(jīng)網(wǎng)絡(luò)中的突觸前神經(jīng)元電路和突觸后神經(jīng)元電路之間的突觸連接的延遲，其中該調(diào)適基于突觸后神經(jīng)元電路的第一尖峰和突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
[0009]本公開的某些方面提供了一種用于神經(jīng)時(shí)間編碼的裝置。該裝置一般包括第一電路，所述第一電路被配置成調(diào)適神經(jīng)網(wǎng)絡(luò)中的突觸前神經(jīng)元電路和突觸后神經(jīng)元電路之間的突觸連接的延遲，其中該調(diào)適基于突觸后神經(jīng)元電路的第一尖峰和突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
[0010]本公開的某些方面提供了一種用于神經(jīng)時(shí)間編碼的設(shè)備。該設(shè)備一般包括用于調(diào)適神經(jīng)網(wǎng)絡(luò)中的突觸前神經(jīng)元電路和突觸后神經(jīng)元電路之間的突觸連接的延遲的裝置,其中該調(diào)適基于突觸后神經(jīng)元電路的第一尖峰和突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
[0011]本公開的某些方面提供一種計(jì)算機(jī)程序產(chǎn)品。該計(jì)算機(jī)程序產(chǎn)品一般包括計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)包括用于調(diào)適神經(jīng)網(wǎng)絡(luò)中的突觸前神經(jīng)元電路和突觸后神經(jīng)元電路之間的突觸連接的延遲的代碼，其中該調(diào)適基于突觸后神經(jīng)元電路的第一尖峰和突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
[0012]附圖簡要說明
[0013]為了能詳細(xì)理解本公開的以上陳述的特征所用的方式，可參照各方面來對(duì)以上簡要概述的內(nèi)容進(jìn)行更具體的描述，其中一些方面在附圖中解說。然而應(yīng)該注意，附圖僅解說了本公開的某些典型方面，故不應(yīng)被認(rèn)為限定其范圍，因?yàn)楸久枋隹稍试S有其他等同有效的方面。
[0014]圖1解說了根據(jù)本公開的某些方面的示例神經(jīng)網(wǎng)絡(luò)。
[0015]圖2解說了根據(jù)本公開的某些方面的突觸前和突觸后尖峰發(fā)放的示例。
[0016]圖3解說了根據(jù)本公開的某些方面的突觸前和突觸后尖峰發(fā)放的另一示例。
[0017]圖4解說了根據(jù)本公開的某些方面的突觸前和突觸后尖峰發(fā)放的另一示例。
[0018]圖5解說了根據(jù)本公開的某些方面的自適應(yīng)結(jié)構(gòu)化延遲可塑性的示例圖表。
[0019]圖6解說了根據(jù)本公開的某些方面的自適應(yīng)結(jié)構(gòu)化延遲可塑性的操作。
[0020]圖6A解說了能夠執(zhí)行圖6中解說的操作的示例組件。
[0021]圖7解說了根據(jù)本公開的某些方面的突觸延遲多樣性的示例。
[0022]圖8解說了根據(jù)本公開的某些方面的使用通用處理器的自適應(yīng)結(jié)構(gòu)化延遲可塑性的示例軟件實(shí)現(xiàn)。
[0023]圖9解說了根據(jù)本公開的某些方面的自適應(yīng)結(jié)構(gòu)化延遲可塑性的示例實(shí)現(xiàn)，其中突觸延遲存儲(chǔ)器與各個(gè)分布式處理單元對(duì)接。
[0024]圖10解說根據(jù)本公開的某些方面的基于分布式突觸延遲存儲(chǔ)器和分布式處理單元的自適應(yīng)結(jié)構(gòu)化延遲可塑性的示例實(shí)現(xiàn)。
[0025]詳細(xì)描述
[0026]以下參照附圖更全面地描述本公開的各個(gè)方面。然而，本公開可用許多不同形式來實(shí)施并且不應(yīng)解釋為被限定于本公開通篇給出的任何具體結(jié)構(gòu)或功能。確切而言，提供這些方面是為了使得本公開將是透徹和完整的，并且其將向本領(lǐng)域技術(shù)人員完全傳達(dá)本公開的范圍?；诒疚闹械慕虒?dǎo)，本領(lǐng)域技術(shù)人員應(yīng)領(lǐng)會(huì)，本公開的范圍旨在覆蓋本文中所披露的本公開的任何方面，不論其是與本公開的任何其他方面相獨(dú)立地還是組合地實(shí)現(xiàn)的。例如，可以使用任何數(shù)目個(gè)本文中所闡述的方面來實(shí)現(xiàn)裝置或?qū)嵺`方法。另外，本公開的范圍旨在覆蓋使用作為本文中所闡述的本公開的各種方面的補(bǔ)充或者與之不同的其他結(jié)構(gòu)、功能性、或者結(jié)構(gòu)及功能性來實(shí)踐的此類裝置或方法。應(yīng)當(dāng)理解，本文中所披露的本公開的任何方面可由權(quán)利要求的一個(gè)或多個(gè)元素來實(shí)施。
[0027]本文中使用措辭“示例性”來表示“用作示例、實(shí)例或解說”。本文中描述為“示例性”的任何方面不必被解釋為優(yōu)于或勝過其他方面。
[0028]盡管本文中描述了特定方面，但這些方面的眾多變體和置換落在本公開的范圍之內(nèi)。雖然提到了優(yōu)選方面的一些益處和優(yōu)點(diǎn)，但本公開的范圍并非旨在被限定于特定益處、用途或目標(biāo)。相反，本公開的各方面旨在能寬泛地應(yīng)用于不同的技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)和協(xié)議，其中一些作為示例在附圖以及以下對(duì)優(yōu)選方面的詳細(xì)描述中解說。詳細(xì)描述和附圖僅僅解說本公開而非限定本公開，本公開的范圍由所附權(quán)利要求及其等效技術(shù)方案來定義。
[0029]示例神經(jīng)系統(tǒng)
[0030]圖1解說根據(jù)本公開的某些方面的具有多級(jí)神經(jīng)元的示例神經(jīng)系統(tǒng)100。神經(jīng)系統(tǒng)100可包括神經(jīng)元級(jí)102,該級(jí)神經(jīng)元102通過突觸連接網(wǎng)絡(luò)104連接到另一級(jí)神經(jīng)元106。為簡單起見，圖1中僅解說了兩級(jí)神經(jīng)元，但在典型的神經(jīng)系統(tǒng)中可存在更少或更多級(jí)神經(jīng)元。[0031]如圖1所解說的，級(jí)102中的每一神經(jīng)元可接收輸入信號(hào)108，輸入信號(hào)108可以是由前一級(jí)(圖1中未示出)的多個(gè)神經(jīng)元所生成的。信號(hào)108可表示級(jí)102的神經(jīng)元的輸入電流。該電流可在神經(jīng)元膜上累積以對(duì)膜電位進(jìn)行充電。當(dāng)膜電位達(dá)到其閾值時(shí)，該神經(jīng)元可激發(fā)并生成輸出尖峰，該輸出尖峰將被傳遞到下一級(jí)神經(jīng)元(例如，級(jí)106)。
[0032]尖峰從一級(jí)神經(jīng)元向另一級(jí)神經(jīng)元的傳遞可通過突觸連接(或簡稱“突觸”)網(wǎng)絡(luò)104來達(dá)成，如圖1所解說的。突觸104可接收來自級(jí)102的神經(jīng)元的輸出信號(hào)(即，尖
峰)，根據(jù)可調(diào)節(jié)突觸權(quán)重wf，i+1)，…，來按比例縮放那些信號(hào)(其中P是級(jí)102的
神經(jīng)元與級(jí)106的神經(jīng)元之間的突觸連接的總數(shù))，并且將經(jīng)按比例縮放的信號(hào)組合為級(jí)106中的每一個(gè)神經(jīng)元的輸入信號(hào)。此外，每個(gè)突觸104可與一延遲(即，級(jí)i的神經(jīng)元的輸出尖峰抵達(dá)級(jí)i+1的神經(jīng)元的胞體的時(shí)間)相關(guān)聯(lián)。
[0033]級(jí)106中的神經(jīng)元可基于源自級(jí)102的一個(gè)或多個(gè)神經(jīng)元的相應(yīng)組合輸入信號(hào)生成輸出尖峰110。隨后可使用另一突觸連接網(wǎng)絡(luò)(圖1中未示出)將這些輸出尖峰110傳遞到另一級(jí)神經(jīng)元。
[0034]神經(jīng)系統(tǒng)100可以通過電路來仿真并且可以用在大范圍的應(yīng)用中，諸如圖像和模式識(shí)別、機(jī)器學(xué)習(xí)、電機(jī)控制及類似應(yīng)用等。神經(jīng)系統(tǒng)100中的每一神經(jīng)元可被實(shí)現(xiàn)為神經(jīng)元電路或神經(jīng)處理器。被充電至發(fā)起輸出尖峰的閾值的神經(jīng)元膜可被實(shí)現(xiàn)為例如對(duì)流經(jīng)其的電流進(jìn)行積分的電容器。
[0035]在一方面，電容器作為神經(jīng)元電路的電流積分設(shè)備可被除去，并且可使用較小的憶阻器元件來替代它。這種辦法可應(yīng)用于神經(jīng)元電路中，以及其中大容量電容器被用作電流積分器的各種其他應(yīng)用中。另外，每個(gè)突觸104可基于憶阻器元件來實(shí)現(xiàn)，其中突觸權(quán)重改變可與憶阻器電阻的變化有關(guān)。使用納米特征尺寸的憶阻器，可顯著地減小神經(jīng)元電路和突觸的面積，這可使得實(shí)現(xiàn)超大規(guī)模神經(jīng)系統(tǒng)硬件實(shí)現(xiàn)變得可行。
[0036]本公開的某些方面支持學(xué)習(xí)(調(diào)適)突觸延遲的方法。突觸延遲的調(diào)適可伴隨著對(duì)突觸權(quán)重(強(qiáng)度或重要性)的調(diào)適。后者通常被稱為突觸可塑性。前者可被認(rèn)為是結(jié)構(gòu)化可塑性，其體現(xiàn)在脊“移”向具有不同延遲的位置這一意義上。更具生物學(xué)一致性地，這可被認(rèn)為是脊收縮以及另一脊在新的位置上生長(但連接到同一輸入神經(jīng)元的軸突)，這招致不同的延遲。采用所提出的結(jié)構(gòu)化延遲可塑性的方法，可避免對(duì)多個(gè)具有不同延遲的突觸進(jìn)行建模的需要。在這種情況下，可能只需要對(duì)少得多的潛在突觸進(jìn)行建模以用于學(xué)習(xí)。雖然這最初看上去可能很簡單，但當(dāng)運(yùn)行具有正在學(xué)習(xí)中的動(dòng)態(tài)神經(jīng)元或具有復(fù)現(xiàn)或橫向連接的系統(tǒng)時(shí)，調(diào)適延遲的方法會(huì)變得艱難。這可能是因?yàn)閷?duì)輸入延遲的調(diào)整能更改突觸后神經(jīng)元的激發(fā)，并由此更改依賴于尖峰定時(shí)的可塑性以及網(wǎng)絡(luò)中的其它神經(jīng)元。本公開提出了一種以穩(wěn)定的且允許很寬范圍的延遲采樣發(fā)展起來的方式調(diào)適突觸延遲的方法。
[0037]突觸類型`
[0038]在神經(jīng)網(wǎng)絡(luò)的硬件和軟件模型中，突觸相關(guān)功能的處理可基于突觸類型。突觸類型可包括非可塑突觸(權(quán)重和延遲沒有改變)、可塑突觸(權(quán)重可改變)、結(jié)構(gòu)化延遲可塑突觸(權(quán)重和延遲可改變)、全可塑突觸(權(quán)重、延遲和輸入可改變)、以及基于此的變型(例如，延遲可改變，但在權(quán)重或輸入方面沒有改變)。此舉的優(yōu)點(diǎn)在于處理可以被細(xì)分。例如，非可塑突觸不可要求執(zhí)行可塑性功能(或等待此類功能完成)。類似地，延遲和權(quán)重可塑性可被細(xì)分成可一起或分開地、順序地或并行地運(yùn)作的操作。不同類型的突觸對(duì)于適用的每一種不同的可塑性類型可具有不同的查找表或公式/參數(shù)。因此，這些方法將針對(duì)該突觸的類型來訪問相關(guān)的表。
[0039]指出還牽涉到取決于尖峰定時(shí)的結(jié)構(gòu)化可塑性可以獨(dú)立于突觸可塑性地來執(zhí)行這一事實(shí)可能也是有價(jià)值的。結(jié)構(gòu)化可塑性即使在權(quán)重幅值沒有改變的情況下(例如，如果權(quán)重已達(dá)最小或最大值、或者其由于某種其他原因而不改變)也可執(zhí)行，因?yàn)榻Y(jié)構(gòu)化可塑性(即，延遲改變的量)可以是前-后尖峰時(shí)間差的直接函數(shù)。替換地，可將其設(shè)置為權(quán)重改變量的函數(shù)或基于與界限有關(guān)的條件的函數(shù)。例如，突觸延遲可僅在權(quán)重改變發(fā)生時(shí)或者在權(quán)重到達(dá)0的情況下才改變，但在權(quán)重達(dá)到最大時(shí)不改變。然而，具有獨(dú)立函數(shù)以使得這些過程能被并行化從而減少存儲(chǔ)器訪問的次數(shù)和交疊可能是有利的。
[0040]延遲分辨率
[0041]神經(jīng)網(wǎng)絡(luò)模型的執(zhí)行(無論是軟件還是硬件形式)一般可以時(shí)間步長(諸如Ims之類)為單位來進(jìn)行。然而，可能想要用實(shí)際所使用的更高分辨率來調(diào)節(jié)突觸延遲。為此，可能需要將延遲以比執(zhí)行所需要或所分辨的分辨率更高的分辨率存儲(chǔ)在存儲(chǔ)器中。然而，結(jié)構(gòu)化延遲可塑性可對(duì)存儲(chǔ)著的高分辨率延遲進(jìn)行微調(diào)，該微調(diào)可累積至對(duì)實(shí)際的執(zhí)行分辨率有所影響的點(diǎn)。這可避免不得不按延遲中的差量變化對(duì)取決于尖峰定時(shí)的結(jié)構(gòu)化延遲可塑性曲線進(jìn)行量化的問題，這與可基于取決于尖峰定時(shí)的可塑性(STDP)對(duì)權(quán)重作出的增量變化非常類似。
[0042]此外，通過在將延遲量化到可分辨的執(zhí)行時(shí)間步長之前向高分辨率延遲值添加一很小的隨機(jī)分量(諸如神經(jīng)元數(shù)目的散列和時(shí)間步長的函數(shù)之類)，就可以統(tǒng)計(jì)方式獲得更高分辨率的延遲。
[0043]突觸的合并和拆分
[0044]根據(jù)本公開的某些方面，實(shí)現(xiàn)一個(gè)或多個(gè)與合并有關(guān)的功能可能是有用的。合并可發(fā)生在將相同的突觸前神經(jīng)元連接到相同的突觸后神經(jīng)元的兩個(gè)突觸具有相同(或非常相似)的延遲之時(shí)。此時(shí)，可以通過將兩個(gè)突觸的權(quán)重相加(采取線性積分)將這兩個(gè)突觸合并成一個(gè)，而另一個(gè)突觸可被重新使用。在這種情況下，用于避免使第二突觸重新發(fā)展出同樣的延遲的方法可能是有利的。替換地，可實(shí)現(xiàn)合并保護(hù)以避免突觸發(fā)展出同樣的延遲。以下將解釋合并的方法和合并保護(hù)的方法，并且兩者可都被采用。
[0045]合并的突觸可通過將合并中的突觸的權(quán)重相加并且將其中一個(gè)突觸設(shè)置為該權(quán)重來組合。這在該權(quán)重不超過最大值時(shí)可以做到。隨后，可將另一個(gè)(或幾個(gè))突觸的權(quán)重設(shè)置成零(或設(shè)置成重新初始化值)。一般來說，如果想要選取輸入的另一個(gè)延遲樣本，則延遲也可被改變。替換地，突觸可被重新指派給另一輸入，其中可能想要來自同一輸入的另一延遲樣本。在這種情況下，延遲可被設(shè)置成最小值，該最小值是一小于先前延遲的隨機(jī)值。為了理解為什么這可能是需要的，應(yīng)當(dāng)注意的是，如果突觸強(qiáng)度在增長中，則結(jié)構(gòu)化延遲可塑性可能會(huì)傾向于驅(qū)使延遲上升。因此，如果存在長于當(dāng)前延遲的另一有效的延遲采樣時(shí)間，則現(xiàn)有突觸可能會(huì)僅僅因?yàn)榭伤苄远谀莻€(gè)方向上傳播。然而，如果存在短于當(dāng)前延遲的一有效的延遲采樣時(shí)間，則抵達(dá)該點(diǎn)的唯一途徑可能是在一較低(具有較小延遲的)點(diǎn)開始。如果存在多個(gè)這樣的點(diǎn)，則隨機(jī)化可能是有益的。相反，如果允許合并的突觸存在，則兩個(gè)合并的突觸可被允許在將來拆分。[0046]作為對(duì)合并的突觸進(jìn)行組合的替代，可以維持多個(gè)突觸。隨后，這些突觸可被允許拆分。如果延遲的增大會(huì)驅(qū)使這兩個(gè)突觸都具有更大的延遲，則可改為僅對(duì)這些突觸中的一個(gè)(如果已經(jīng)有差量，則選擇具有最大延遲的那個(gè))施加該增加。此外，對(duì)于減小，可執(zhí)行相反的情形。可僅對(duì)具有最短延遲的突觸減小延遲。這可允許突觸的拆分和對(duì)相同輸入的多延遲采樣。
[0047]在本公開的一個(gè)方面，還可使用合并保護(hù)。在這種情況下，突觸的組合可被阻止。如果兩個(gè)突觸最終將具有相同(或相近)延遲，則延遲調(diào)節(jié)可被阻止。這可與以上所描述的有條件延遲調(diào)節(jié)結(jié)合使用。換言之，延遲調(diào)節(jié)可被限制于輸入的突觸子集，條件是這些突觸在時(shí)間上接近。
[0048]應(yīng)當(dāng)注意的是，以上所討論的合并控制可對(duì)硬件或軟件有額外的處理要求。然而，這些要求可取決于所使用的方法而改變。通過允許多個(gè)突觸存在但對(duì)它們的調(diào)節(jié)施加約束，額外要求的處理可以得到限制。
[0049]關(guān)于對(duì)突觸的重新使用，可使用順序地試驗(yàn)不同延遲下的不同突觸的方法。然而，順序地試驗(yàn)不同延遲下的不同突觸可能是有問題的。雖然與每神經(jīng)元多個(gè)突觸相比，這可以降低存儲(chǔ)器要求，但處理時(shí)間可能仍然非常高(甚至高于采用多個(gè)突觸的情況)，這不僅是因?yàn)檫@一系列的嘗試，還因?yàn)殚g接原因。即，試驗(yàn)在不同(未經(jīng)調(diào)適的)延遲下的(即順序地試驗(yàn))突觸的突觸可塑性可能會(huì)限制突觸可塑性的收斂，因此突觸權(quán)重可能是不穩(wěn)定的或者耗時(shí)甚至更久來收斂。
[0050]延遲指派
[0051]在本公開的一個(gè)方面，可基于觀測(cè)到的延遲來直接指派突觸延遲。在這種情況下，突觸延遲可根據(jù)前-后時(shí)間差量來改變。
[0052]然而，延遲指派的概念具有某些伴生問題。例如，如果去極化至尖峰時(shí)間為非零，則神經(jīng)元尖峰時(shí)間可被持續(xù)推遲。去極化時(shí)間可以是可根據(jù)輸入定時(shí)和幅值而變化的。此外，更改神經(jīng)元激發(fā)時(shí)間可更改抑`制(側(cè)向)時(shí)間并影響其它神經(jīng)元。延遲指派的概念還可能具有由于延遲范圍(以及實(shí)際輸出時(shí)間)導(dǎo)致的限制。
[0053]結(jié)構(gòu)化延遲可塑性
[0054]借助于取決于尖峰定時(shí)的可塑性，學(xué)習(xí)(調(diào)適)效果通?；谕挥|前事件(神經(jīng)元的輸入)和突觸后事件(神經(jīng)元的輸出)(尖峰)之間的定時(shí)關(guān)系而發(fā)生。借助于取決于尖峰定時(shí)的可塑性，就可根據(jù)這一時(shí)間差量來調(diào)節(jié)權(quán)重。本公開的某些方面支持在類似框架中檢視結(jié)構(gòu)化延遲可塑性。
[0055]因果性考慮
[0056]首先，可考慮突觸后尖峰發(fā)生在突觸前尖峰之后的情況。在標(biāo)準(zhǔn)的取決于尖峰定時(shí)的可塑性的情況下，突觸強(qiáng)度(權(quán)重)將被驅(qū)至上升。圖2解說了根據(jù)本公開的某些方面的突觸前和突觸后尖峰發(fā)放的示例，其中時(shí)間被表示在X軸(水平軸)上。突觸前尖峰(即，圖2中的尖峰2021、2022或2023)的實(shí)際激發(fā)時(shí)間可被延遲(例如延遲了一樹突延遲)以在某個(gè)較晚時(shí)刻(即，分別在尖峰204^204或2043的時(shí)刻)抵達(dá)突觸后神經(jīng)元的胞體。作為結(jié)果，關(guān)觸后尖峰(即，分別是尖峰206^2062或2063)可稍晚發(fā)生。
[0057]根據(jù)本公開的某些方面，由于后-前時(shí)間差為正，因此延遲可能被增大。在圖2中解說了三個(gè)時(shí)間序列情形，其中為清楚起見，所有的三個(gè)情形均已被對(duì)齊到突觸后尖峰。在第一個(gè)情形中，一增大會(huì)將輸入抵達(dá)胞體(即尖峰204D延遲到尖峰208i指示的時(shí)間，該時(shí)間處在充分去極化時(shí)間(例如，圖2中的時(shí)間210)之前。在第二個(gè)情形中，此改變將把尖峰2042的抵達(dá)延遲到尖峰2082所指示的時(shí)間，該時(shí)間處在充分去極化210與峰值電壓點(diǎn)212之間。在第三個(gè)情形中，對(duì)尖峰2043的抵達(dá)的改變將由于最大延遲約束(即，延遲到由尖峰2083所指示的時(shí)間)而受到限制。
[0058]在本公開中，更詳細(xì)地檢視為什么存在從建立了充分輸入的時(shí)間(即，時(shí)間210)直至突觸后神經(jīng)元實(shí)際激發(fā)的時(shí)間(即，到時(shí)間212)的延遲。在動(dòng)態(tài)尖峰神經(jīng)元模型(諸如Izhikevich簡單模型)中，如果在去極化閾值Vt與峰值尖峰電壓Vrreak之間有差量，則可能招致時(shí)間延遲。例如，在該簡單模型中，神經(jīng)元胞體動(dòng)態(tài)可由關(guān)于電壓和恢復(fù)的微分方程對(duì)來支配，即:
[0059]
【權(quán)利要求】
1.一種方法，包括: 調(diào)適神經(jīng)網(wǎng)絡(luò)的突觸前神經(jīng)元電路與突觸后神經(jīng)元電路之間的突觸連接的延遲，其中所述調(diào)適基于所述突觸后神經(jīng)元電路的第一尖峰與所述突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
2.如權(quán)利要求1所述的方法，其特征在于，調(diào)適所述延遲包括: 如果所述第一尖峰發(fā)生在所述第二尖峰之后，則使所述延遲增加第一量；以及 如果所述第一尖峰發(fā)生在所述第二尖峰之前，則使所述延遲減少第二量。
3.如權(quán)利要求2所述的方法，其特征在于，如果在所述第二尖峰之后發(fā)生所述第一尖峰之間的時(shí)間段與在所述第一尖峰之后發(fā)生所述第二尖峰之間的另一時(shí)間段相同，則所述第二量大于所述第一量。
4.如權(quán)利要求1所述的方法，其特征在于，調(diào)適所述延遲包括: 如果所述第一尖峰與第二尖峰之間的時(shí)間位于一時(shí)間范圍內(nèi)，則使所述延遲增加最大的可能量。
5.如權(quán)利要求1所述的方法，其特征在于，如果所述突觸后神經(jīng)元電路和所述突觸前神經(jīng)元電路不激發(fā)，則不改變所述延遲。
6.如權(quán)利要求1所述的方法，其特征在于，還包括: 在所述調(diào)適之后對(duì)突觸連接的延遲限界。
7.如權(quán)利要求1所述的方法，其特征在于，還包括: 在所述調(diào)適之后對(duì)突觸連接的延遲進(jìn)行量化。
8.如權(quán)利要求1所述的方法，其特征在于，調(diào)適所述延遲還包括: 基于對(duì)與所述突觸連接相關(guān)聯(lián)的權(quán)重的標(biāo)稱調(diào)節(jié)來調(diào)節(jié)所述延遲。
9.如權(quán)利要求1所述的方法，其特征在于，還包括: 在所述調(diào)適之前，基于觀測(cè)到的所述突觸連接的延遲來指派所述延遲。
10.一種裝置，包括: 第一電路，所述第一電路被配置成調(diào)適神經(jīng)網(wǎng)絡(luò)的突觸前神經(jīng)元電路與突觸后神經(jīng)元電路之間的突觸連接的延遲， 其中所述調(diào)適基于所述突觸后神經(jīng)元電路的第一尖峰與所述突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
11.如權(quán)利要求10所述的裝置，其特征在于，所述第一電路還被配置成: 如果所述第一尖峰發(fā)生在所述第二尖峰之后，則使所述延遲增加第一量；以及 如果所述第一尖峰發(fā)生在所述第二尖峰之前，則使所述延遲減少第二量。
12.如權(quán)利要求11所述的裝置，其特征在于，如果在所述第二尖峰之后發(fā)生所述第一尖峰之間的時(shí)間段與在所述第一尖峰之后發(fā)生所述第二尖峰之間的另一時(shí)間段相同，則所述第二量大于所述第一量。
13.如權(quán)利要求10所述 的裝置，其特征在于，所述第一電路還被配置成: 如果所述第一尖峰與第二尖峰之間的時(shí)間位于一時(shí)間范圍內(nèi)，則使所述延遲增加最大的可能量。
14.如權(quán)利要求10所述的裝置，其特征在于，如果所述突觸后神經(jīng)元電路和所述突觸前神經(jīng)元電路不激發(fā)，則不改變所述延遲。
15.如權(quán)利要求10所述的裝置，其特征在于，還包括: 第二電路，所述第二電路被配置成在所述調(diào)適之后對(duì)突觸連接的延遲限界。
16.如權(quán)利要求10所述的裝置，其特征在于，進(jìn)一步包括: 第二電路，所述第二電路被配置成在所述調(diào)適之后對(duì)突觸連接的延遲進(jìn)行量化。
17.如權(quán)利要求10所述的裝置，其特征在于，所述第一電路還被配置成: 基于對(duì)與所述突觸連接相關(guān)聯(lián)的權(quán)重的標(biāo)稱調(diào)節(jié)來調(diào)節(jié)所述延遲。
18.如權(quán)利要求10所述的裝置，其特征在于，進(jìn)一步包括: 第二電路，所述第二電路被配置成在所述調(diào)適之前，基于觀測(cè)到的所述突觸連接的延遲來指派所述延遲。
19.一種設(shè)備,包括: 用于調(diào)適神經(jīng)網(wǎng)絡(luò)的突觸前神經(jīng)元電路與突觸后神經(jīng)元電路之間的突觸連接的延遲的裝置， 其中所述調(diào)適基于所述突觸后神經(jīng)元電路的第一尖峰與所述突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
20.如權(quán)利要求19所述的設(shè)備，其特征在于，所述用于調(diào)適延遲的裝置包括: 用于如果所述第一尖峰發(fā)生在所述第二尖峰之后，則使所述延遲增加第一量的裝置；以及 用于如果所述第一尖峰發(fā)生在所述第二尖峰之前，則使所述延遲減少第二量的裝置。
21.如權(quán)利要求20所述的設(shè)備，其特征在于，如果在所述第二尖峰之后發(fā)生所述第一尖峰之間的時(shí)間段與在所述第一尖峰之后發(fā)生所述第二尖峰之間的另一時(shí)間段相同，則所述第二量大于所述第一量。
22.如權(quán)利要求19所述的設(shè)備，其特征在于，所述用于調(diào)適延遲的裝置包括: 用于如果所述第一尖峰與第二尖峰之間的時(shí)間位于一時(shí)間范圍內(nèi)，則使所述延遲增加最大的可能量的裝置。
23.如權(quán)利要求19所述的設(shè)備，其特征在于，如果所述突觸后神經(jīng)元電路和所述突觸前神經(jīng)元電路不激發(fā)，則不改變所述延遲。
24.如權(quán)利要求19所述的設(shè)備，其特征在于，進(jìn)一步包括: 用于在所述調(diào)適之后對(duì)突觸連接的延遲限界的裝置。
25.如權(quán)利要求19所述的設(shè)備，其特征在于，進(jìn)一步包括: 用于在所述調(diào)適之后對(duì)突觸連接的延遲進(jìn)行量化的裝置。
26.如權(quán)利要求19所述的設(shè)備，其特征在于，所述用于調(diào)適延遲的裝置還包括: 用于基于對(duì)與所述突觸連接相關(guān)聯(lián)的權(quán)重的標(biāo)稱調(diào)節(jié)來調(diào)節(jié)所述延遲的裝置。
27.如權(quán)利要求19所述的設(shè)備，其特征在于，進(jìn)一步包括: 用于在所述調(diào)適之前，基于觀測(cè)到的所述突觸連接的延遲來指派所述延遲的裝置。
28.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)包括用于執(zhí)行以下動(dòng)作的代碼: 調(diào)適神經(jīng)網(wǎng)絡(luò)的突觸前神經(jīng)元電路與突觸后神經(jīng)元電路之間的突觸連接的延遲，其中所述調(diào)適基于所述突觸后神經(jīng)元電路的第一尖峰與所述突觸前神經(jīng)元電路的第二尖峰之間的時(shí)間。
29.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)可讀介質(zhì)還包括用于執(zhí)行以下動(dòng)作的代碼: 如果所述第一尖峰發(fā)生在所述第二尖峰之后，則使所述延遲增加第一量；以及 如果所述第一尖峰發(fā)生在所述第二尖峰之前，則使所述延遲減少第二量。
30.如權(quán)利要求29所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，如果在所述第二尖峰之后發(fā)生所述第一尖峰之間的時(shí)間段與在所述第一尖峰之后發(fā)生所述第二尖峰之間的另一時(shí)間段相同，則所述第二量大于所述第一量。
31.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)可讀介質(zhì)還包括用于執(zhí)行以下動(dòng)作的代碼: 如果所述第一尖峰與第二尖峰之間的時(shí)間位于一時(shí)間范圍內(nèi)，則使所述延遲增加最大的可能量。
32.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，如果所述突觸后神經(jīng)元電路和所述突觸前神經(jīng)元電路不激發(fā)，則不改變所述延遲。
33.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)可讀介質(zhì)還包括用于執(zhí)行以下動(dòng)作的代碼: 在所述調(diào)適之后對(duì)突觸連接的延遲限界。
34.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)可讀介質(zhì)還包括用于執(zhí)行以下動(dòng)作的代碼: 在所述調(diào)適之后對(duì)突觸連接的延遲進(jìn)行量化。
35.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)可讀介質(zhì)還包括用于執(zhí)行以下動(dòng)作的代碼: 基于對(duì)與所述突觸連接相關(guān)聯(lián)的權(quán)重的標(biāo)稱調(diào)節(jié)來調(diào)節(jié)所述延遲。
36.如權(quán)利要求28所述的計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)可讀介質(zhì)還包括用于執(zhí)行以下動(dòng)作的代碼: 在所述調(diào)適之前，基于觀測(cè)到的所述突觸連接的延遲來指派所述延遲。
【文檔編號(hào)】G06N3/08GK103814387SQ201280046283
【公開日】2014年5月21日 申請(qǐng)日期:2012年9月21日 優(yōu)先權(quán)日:2011年9月21日
【發(fā)明者】J·F·亨澤格, V·H·陳, J·A·萊文 申請(qǐng)人:高通股份有限公司