專利名稱：混合微米級-納米級神經(jīng)形態(tài)集成電路的制作方法
技術(shù)領(lǐng)域：
本申請涉及材料科學和電路應(yīng)用，尤其涉及用于實現(xiàn)很多種不同的復(fù)雜電路、處 理系統(tǒng)和計算裝置的混合微米級_納米級集成電路架構(gòu)，包括模擬生物神經(jīng)電路的神經(jīng)形 態(tài)電路。
背景技術(shù)：
用于實現(xiàn)計算機處理器、存儲器和其它計算機器的微米級電路的當前方法在過去 半個世紀以來已導致電路密度和計算能力引人注目的指數(shù)級增長。然而，根據(jù)多年計算機 發(fā)展歸納出并被稱為“摩爾定律”的處理能力和特征密度每兩年的雙倍激增已開始變緩，因 為進一步減小特征尺寸如今遇到了物理限制和實踐約束，包括隨著信號線尺寸減小而令電 阻增大、由于隨著特征尺寸減小特征的電容增加而產(chǎn)生熱量增多而使來自處理器的熱量散 熱的難度越來越大、由于制造越來越小的特征所遇到的困難造成處理器和存儲器件較高的 缺陷和故障率、以及為了進一步減小特征尺寸而設(shè)計制造設(shè)施和方法的難度。集成電路中 特征尺寸的進一步減小證實變得越來越難，已開始采用增加基于集成電路的電子器件的計 算能力的多種替代方法。作為一個示例，處理器供應(yīng)商正在制造多核處理器，其通過在并行 執(zhí)行多種任務(wù)的多個內(nèi)核上分配計算而增加了計算能力。其它努力包括使用各種分子電子 技術(shù)在納米級上制造電路，并通過以與使用糾錯碼相似的方式應(yīng)用基于信息科學的理論方 法改善數(shù)據(jù)信號通過電子通信介質(zhì)的故障傳輸解決缺陷和可靠性課題。其它努力針對研發(fā) 模擬生物神經(jīng)電路的也被稱為“神經(jīng)形態(tài)電路”的納米電路，生物神經(jīng)電路向生物有機組織 提供效率可觀、低功率、并行的計算機構(gòu)。然而，許多當前方法采用互補金屬氧化物半導體 (CMOS)技術(shù)中實現(xiàn)的常規(guī)邏輯來實現(xiàn)突觸神經(jīng)形態(tài)電路等效物，這嚴重地限制了神經(jīng)元神 經(jīng)形態(tài)電路等效物所能制造的密度，一般限制在每平方厘米半導體芯片表面積有幾千神經(jīng) 元。神經(jīng)形態(tài)電路的研究人員和研發(fā)人員因此已發(fā)現(xiàn)，為了生產(chǎn)足夠密集的神經(jīng)形態(tài)電路， 需要新的技術(shù)和新的架構(gòu)。發(fā)明概述本發(fā)明的實施例包括混合微米級_納米級神經(jīng)形態(tài)集成電路，這些集成電路包括 在集成電路襯底上制造的模擬計算單元陣列。每個計算單元中的模擬電路連接至一個或 多個第一類引腳和一個或多個第二類引腳，它們基本垂直地從計算單元伸出。計算單元另 外通過一個或多個納米線互連層互連，每個納米線互連層在記憶電阻性(memristive)子 層的任一側(cè)上包含兩個納米線子層，其中互連層的每個納米子層中的每條納米線連接至單 個計算單元弓I腳并連接至互連層的另一納米線子層中的數(shù)條納米線。本發(fā)明的微米級_納 米級混合神經(jīng)形態(tài)電路架構(gòu)可用于實現(xiàn)非常大量的不同復(fù)雜電子電路、計算系統(tǒng)和計算裝 置，包括神經(jīng)形態(tài)層狀皮質(zhì)電路。附圖簡述
5


圖1示出表示本發(fā)明一個實施例的混合微米級-納米級神經(jīng)形態(tài)集成電路的基本
計算單元。圖2示出在本發(fā)明各實施例中對突觸行為建模的兩條納米線之間的記憶電阻結(jié)。圖3A-3B示出在本發(fā)明各實施例中用來對突觸建模的記憶電阻結(jié)的實質(zhì)電子特 征。圖4示出在本發(fā)明的混合微米級-納米級神經(jīng)形態(tài)集成電路的各實施例中充當基 本計算單元的神經(jīng)細胞。圖5A-E示出表示本發(fā)明實施例的一個簡單例示神經(jīng)細胞的內(nèi)部運作。圖6示出根據(jù)本發(fā)明各實施例的神經(jīng)細胞的一般內(nèi)部電路。圖7示出在代表本發(fā)明實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路中采用的 習慣傳輸門計算單元。圖8示出根據(jù)本發(fā)明一個實施例的輸入信號的習慣傳輸門計算單元的改型。圖9示出代表本發(fā)明實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路中所采用 的、包含輸入計算單元和輸出計算單元的兩種附加類型的計算單元的例子。圖10示出代表本發(fā)明一個實施例的微米級_納米級混合神經(jīng)形態(tài)電路的輸入計 算單元的輸入和輸出信號。圖IlA-B示出在代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 中的計算單元的互連。圖12A-F示出代表本發(fā)明一個實施例的混合微米級-納米級神經(jīng)形態(tài)集成電路的 制造。圖13示出通過代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 的納米線互連層的納米線傳輸?shù)碾p向信號。圖14示出用于互連突觸前神經(jīng)和突觸后神經(jīng)元的記憶電阻納米線結(jié)的電導變 化。圖15示出根據(jù)本發(fā)明一個實施例的六計算單元雙極子的實現(xiàn)，其展現(xiàn)出與數(shù)字 邏輯觸發(fā)器相似的模擬行為。圖16示出可在代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 中采用的第二類型的多計算單元模塊。圖17示出代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路中的 計算單元的分層互連。圖18示出可在代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 中實現(xiàn)的第二類型的邏輯結(jié)構(gòu)。圖19示出可根據(jù)本發(fā)明制造并可與大量相鄰的層狀皮質(zhì)層模塊一起采用以實現(xiàn) 層狀皮質(zhì)層神經(jīng)形態(tài)電路的層狀皮質(zhì)電路模塊。發(fā)明詳述本發(fā)明的實施例針對提供極密集的、低功耗模擬神經(jīng)形態(tài)電路以供實現(xiàn)實質(zhì)上無 限數(shù)量的不同電子電路、計算系統(tǒng)和計算器件的混合微米級-納米級神經(jīng)形態(tài)集成電路。 術(shù)語“微米級”指通過制造集成電路的多種技術(shù)——包括光刻法、摻雜、蝕刻和線性化—— 在基于硅的集成電路層或基于其它半導體物質(zhì)的集成電路層中實現(xiàn)的微米級和亞微米級組件和特征，其具有從幾微米下至10和100納米的最小尺寸。術(shù)語“納米級”指使用制造 納米線以及包括網(wǎng)狀和交叉結(jié)構(gòu)的各種納米線結(jié)構(gòu)的各種方法來實現(xiàn)的最小尺寸從幾十 納米下至小于10納米的更小特征和組件。制造用來模擬生物電路的生物神經(jīng)電路和神經(jīng)形態(tài)電路基于通過突觸分別與其 它神經(jīng)細胞單元互連的神經(jīng)細胞和神經(jīng)計算單元。神經(jīng)元的活性水平一般適用于短期存儲 器，作為延長刺激和其它習慣響應(yīng)結(jié)果的神經(jīng)興奮的抑制一般適用于中期存儲器，而突觸 權(quán)重適用于長期存儲器。一般來說，在生物神經(jīng)電路中，給定的神經(jīng)元可通過高達10000或 更多個突觸與其它神經(jīng)元互連。如上面提到的那樣，由于集成電路的相當部分開銷在亞微 米級邏輯電路中用于模擬突觸功能，因此從集成電路中的微米級和亞微米級電子組件塑造 神經(jīng)形態(tài)電路的嘗試迄今為止一般導致相當?shù)偷纳窠?jīng)元密度。由于比神經(jīng)元需要如此更多 的突觸，在許多神經(jīng)形態(tài)集成電路設(shè)計中，神經(jīng)形態(tài)集成電路的大部分表面致力于在數(shù)量 少得多的神經(jīng)元之間實現(xiàn)大量突觸連接。本發(fā)明的實施例通過將突觸實現(xiàn)為納米線之間的記憶電阻結(jié)來提供高神經(jīng)元密 度的神經(jīng)形態(tài)集成電路。突觸和通過突觸互連的納米信號線模擬生物神經(jīng)電路中的樹突和 軸突，并在半導體集成電路層之上的納米納米互連層中制造，由此保留半導體集成電路表 面以供實現(xiàn)在下文中稱為“神經(jīng)細胞”的神經(jīng)元計算單元和多計算單元模塊。因此，根據(jù)本 發(fā)明設(shè)計和制造的混合微米級_納米級神經(jīng)形態(tài)集成電路采用記憶電阻納米線結(jié)而不是 邏輯電路來實現(xiàn)突觸，并且突觸和神經(jīng)細胞之間基于突觸的互連在半導體集成電路層上方 的納米線互連層內(nèi)實現(xiàn)，從而以三維混合微米級-納米級神經(jīng)形態(tài)電路構(gòu)架提供非常大的 神經(jīng)元密度。圖1示出代表本發(fā)明一個實施例的混合微米級-納米級神經(jīng)形態(tài)集成電路的基本 計算單元。該計算單元包括四個導電引腳104-107從中垂直伸出的半導體集成電路層102 的規(guī)則區(qū)。諸如圖1中納米線108的水平納米線通過例如墊片類結(jié)構(gòu)110的墊片類結(jié)構(gòu)互 連至導電引腳，并沿混合微米級-納米級納米形態(tài)集成電路的計算單元的二維陣列在計算 單元102的鄰域內(nèi)跨過多個計算單元直線地延伸。如下文中進一步描述的，計算單元102 的半導體集成電路層包括實現(xiàn)神經(jīng)元模型或其它基本計算器件的各種互連和模擬組件，其 中的某一些將在下文中更為詳細地說明。四個垂直引腳104-107用來將計算單元102的半 導體集成電路層部分內(nèi)的模擬組件和電路互連至諸如納米線108的納米線層。納米線則可 通過對突觸建模的納米線和記憶電阻結(jié)將計算單元互連至鄰近計算單元。圖2示出在本發(fā)明各實施例中對突觸行為建模的兩條納米線之間的記憶電阻結(jié)。 在圖2中，第一計算單元202被示為位于毗連相鄰計算單元204之處。第一納米線206連接 至毗連相鄰計算單元204的垂直引腳208。第二納米線210電連接至計算單元202的垂直 引腳212，如圖2的前景所示。第一納米線206和第二納米線210在由圖2的小虛線圓214 限定的區(qū)域內(nèi)彼此交疊，該交疊區(qū)在插圖216中被放大。在第一納米線206和第二納米線 210之間具有一小層記憶電阻材料218，其使第一納米線和第二納米線電氣互連。兩條納米 線之間的記憶電阻結(jié)可如插圖218所示那樣象征性地表示為互連兩條信號線222和224的 記憶電阻標記220。如下文中進一步說明地，互連層中的每條納米線可通過記憶電阻結(jié)與許 多不同納米線互連。圖3A-B示出在本發(fā)明各實施例中用來對突觸建模的記憶電阻結(jié)的本質(zhì)電子特性。圖3A和3B均示出記憶電阻結(jié)的電流/電壓曲線圖。水平軸302表示電壓而垂直軸 304表示電流。圖3A中示出電壓掃描。包含電壓掃描的連續(xù)電壓變化是由電壓路徑312表 示的，該電壓路徑312相對與圖3A中的電流/電壓曲線圖316對齊并在其下方的第二電壓 軸314繪制。如圖3A所示，通過由從零電壓306至電壓Clx 308的穩(wěn)定增長電壓實現(xiàn)電壓 掃描，之后電壓連續(xù)減小至負電壓^ax 310，之后電壓回升到0(圖3A中的306)。電流/電 壓曲線示出記憶電阻材料的電導率在電壓掃描期間如何變化。起先，記憶電阻材料處于低電導狀態(tài)，以使電流幅值保持相對較低，在曲線圖318 的第一部分，隨著電壓從0(圖3A中306)增加至恰在&+ax308之下。在7m+ax附近，由于記憶電 阻材料的電阻急劇下降或電導率以非線性形式增大，電流開始急速上升320。由于電壓之后 從^^下降至^ax310，記憶電阻材料的電導率保持為高，如同針對曲線圖322和324部分中 的相應(yīng)電壓值通過記憶電阻材料所傳遞的相對大幅值電流所觀察到的那樣。在負電壓^ax 附近，記憶電阻材料的電導突然開始急劇減小326。記憶電阻材料在Kmax處于低電導狀態(tài)，并 在電壓再次向零增加時保持低電導(圖3A中的328)。如圖3B所示，第二電壓掃描330使 記憶電阻材料的電導相對于在第一電壓掃描期間產(chǎn)生的電導增加，這由虛線332表示。附 加電壓掃描可進一步使記憶電阻材料的電導相對于在前一電壓掃描期間產(chǎn)生的電導增加。 因此，記憶電阻材料在連續(xù)增加或減小的所施加的電壓下表現(xiàn)出電導的非線性，并進一步 表現(xiàn)出先前電導狀態(tài)的存儲。換句話說，對于本發(fā)明實施例中所使用的各種類型記憶電阻 材料來說，記憶電阻材料w的物理狀態(tài)相對于時間作為記憶電阻材料的當前物理狀態(tài)和所 施加電壓的函數(shù)而改變 通過本發(fā)明實施例中的記憶電阻結(jié)的電流i是所施加電壓和材料電導的函數(shù)，其 中電導g是記憶電阻材料的當前狀態(tài)和所施加電壓兩者的函數(shù) 如圖3A-B所示，記憶電阻結(jié)的電導取決于當前施加的電壓以及前一時間間隔內(nèi) 所施加電壓的歷史。突觸一般造成由突觸前神經(jīng)元i產(chǎn)生、并通過突觸引至突觸后神經(jīng)元j的信號的 放大或衰減。在其它模型中，突觸的增益或權(quán)重在從0.0-1.0的范圍內(nèi)，其中增益0.0代表 信號的完全衰減而增益1.0代表沒有信號衰減。在這些模型中，神經(jīng)元具有活性，而當神經(jīng) 元i的活性Xi大于一閾值時，神經(jīng)元發(fā)出輸出信號。在后面的段落中提供神經(jīng)元行為的數(shù) 學模型。將突觸前神經(jīng)元i與突觸后神經(jīng)元j互連的突觸的增益Zij的變化速率的一個數(shù) 學模型被表示為 其中Zij是通過將突觸前神經(jīng)元i與突觸后神經(jīng)元j互連的突觸i j所產(chǎn)生的權(quán)重 或增益；ε是學習速度；ω是忘卻速度；f (Xj)是神經(jīng)元i的活性的非線性函數(shù)；
g(Xi)是神經(jīng)元j的活性的非線性函數(shù)；以及t是時間。在本發(fā)明的許多實施例中，f ()和g()是基本Σ形的。一個示例性Σ形或“S”形 函數(shù)是tanhO。當突觸前神經(jīng)元和突觸后神經(jīng)元均具有高活性時，增益Zij迅速增大。當 項- ω、的大小大于突觸后神經(jīng)元g(Xi)的活性的非線性函數(shù)的當前值時，項-ω、確保 突觸增益隨時間減小。由于隨突觸的突觸權(quán)重接近1. 0而用來減小突觸權(quán)重并且隨突觸的 突觸權(quán)重接近0. 0而產(chǎn)生越來越小反饋的反饋項_ω ζ…突觸的權(quán)重無法以無限制方式增 大或減小。突觸行為的數(shù)學模型取決于神經(jīng)元活性的數(shù)學模型，而這些模型提供對彼此的 相互反饋。如可通過將突觸增益的數(shù)學模型與上面描述記憶電阻結(jié)的電導率變化的表達式 相比所觀察到的那樣，具體而言，電導函數(shù)g(w，ν)即記憶電阻結(jié)的電導可提供增益函數(shù)的 物理實施例，其時間導數(shù)表達為上述數(shù)學模型，因為突觸模型的神經(jīng)元活性f (Xi)和g(Xi) 的非線性函數(shù)相關(guān)于神經(jīng)元之間的物理電壓，而增益Zij在給定時間點相關(guān)于對記憶電阻 結(jié)施加的電壓的歷史。記憶電阻性納米線結(jié)的電導的函數(shù)表達因此取決于由記憶電阻納米 線結(jié)連接的突觸前和突觸后神經(jīng)元的當前活性以及記憶電阻納米線結(jié)的最近施加電壓歷 史。因此，在本發(fā)明的各個實施例中，互連納米線的記憶電阻納米線結(jié)提供使如上述數(shù)學模 型所表達那樣適于對突觸行為建模的電流信號通過的物理特征。圖4示出在本發(fā)明的混合微米級-納米級神經(jīng)形態(tài)集成電路的各個實施例中充當 基本計算單元的神經(jīng)細胞。神經(jīng)細胞是混合微米級-納米級神經(jīng)形態(tài)集成電路中的一種計 算單元。如上所述，神經(jīng)細胞402包括四個垂直導電引腳404-407。這些引腳通過其羅盤方 向指弓丨，其中羅盤圖410在圖4計算單元的右側(cè)示出。NW引腳404和SE引腳405將來自神 經(jīng)細胞的輸出信號傳導至與NW引腳404和SE引腳405互連的納米線。SW引腳406和NE 引腳407均將從連接至這些引腳的納米線輸入至引腳的信號傳導至神經(jīng)細胞402。SW引腳 406將抑制性信號傳導入神經(jīng)細胞，而NE引腳407將刺激性輸入信號傳導至神經(jīng)細胞。刺 激性輸入信號傾向于增大神經(jīng)元的活性，而抑制性信號傾向于減小神經(jīng)元的活性。圖4所示基本神經(jīng)細胞402 —般實現(xiàn)神經(jīng)元的多種不同數(shù)學模型中的一種?？偟?來說，當接收的刺激性信號的頻率和數(shù)目顯著超過抑制性信號的頻率和數(shù)目時，神經(jīng)元的 活性一般增至閾值活性值之上，此時神經(jīng)元通過輸出引腳404、405發(fā)出輸出信號。輸入刺激性信號和輸入抑制性信號是通過突觸類記憶電阻納米線結(jié)從混合微米 級-納米級神經(jīng)形態(tài)集成電路的其它神經(jīng)細胞接收的，而由神經(jīng)細胞402發(fā)出的輸出信號 通過突觸類記憶電阻納米線結(jié)引向混合微米級-納米級神經(jīng)形態(tài)集成電路的其它計算單 元。神經(jīng)細胞和神經(jīng)形態(tài)電路一般包括多種反饋機制，并表現(xiàn)出控制和約束神經(jīng)形態(tài)電路 內(nèi)各個神經(jīng)元的活性的非線性行為。即使僅包含通過突觸密集互連的相對少量神經(jīng)細胞的 中等大小神經(jīng)形態(tài)電路也能表現(xiàn)出通常無法使用閉合式數(shù)學表達式建模、且難以在傳統(tǒng)的 基于布爾邏輯的數(shù)字邏輯電路中實現(xiàn)的相當復(fù)雜功能。在圖4中，輸入412和輸出412表 示除了通過四個垂直引腳接收信號和發(fā)送信號外，神經(jīng)細胞都可通過在混合微米級-納 米級神經(jīng)形態(tài)集成電路的半導體集成電路層面中實現(xiàn)的附加微米級或亞微米級信號線與 相鄰計算單元互連。圖5A-5E示出代表本發(fā)明實施例的一個簡單例示神經(jīng)細胞的內(nèi)部操作。如圖5A 所示，對NE輸入引腳(圖4中的407)的全部刺激性輸入(諸如刺激性輸入502)通過求和操作504被求和。同樣，諸如抑制性輸入信號506的所有抑制性輸入信號通過相似求和函 數(shù)508被求和。來自半導體集成電路層的附加輸入，諸如圖4中的輸入412，可包含在求和 操作中，或可輸入到執(zhí)行后期神經(jīng)細胞處理的功能組件中。求和組件504、508可簡單地是 與輸入納米線信號線連接的輸入引腳，或可包括作為其它電子組件的放大組件。隨后將刺 激性信號之和與抑制性信號之和輸入到信號發(fā)生功能組件510，該功能組件產(chǎn)生由圖5A中 的信號/時間曲線512表示的模擬電壓信號。如圖5B所示，示例性神經(jīng)細胞包括泄漏積分器功能組件，其在當前時間之前且包 含當前時間的某時間間隔內(nèi)對由信號生成功能或操作產(chǎn)生的信號(如圖5A所示)進行連 續(xù)積分。如圖5B所示，泄漏積分可被視為將時間窗函數(shù)520疊加在模擬信號522上、并對低 于該時間窗函數(shù)520那部分的模擬信號進行積分。在圖5B以及后續(xù)附圖中，為便于說明， 模擬信號一律表示為正值，然而，事實上模擬信號可以是正值、0或負值。如圖5C所示，泄漏積分功能組件將積分后信號528輸出至取閾值功能組件530。當 積分后信號具有大于如由取閾值功能組件所確定閾值的值時，神經(jīng)細胞發(fā)出一輸出信號， 其表示為圖5C所示的尖峰波列532。或者，神經(jīng)細胞不發(fā)出信號，如圖5C中的恒零函數(shù)534 的曲線所表示的那樣。取閾值功能組件可被認為激活輸出信號發(fā)生組件，或替換地包括輸 出信號發(fā)生組件。神經(jīng)細胞的操作可被如圖5D所示地視為對模擬信號542和時間窗函數(shù)Ψ544的 卷積運算540以產(chǎn)生經(jīng)卷積函數(shù)546。閾值548然后疊加在經(jīng)卷積函數(shù)546上，或?qū)⒔?jīng)卷積 函數(shù)向下平移一閾值距離，以產(chǎn)生相應(yīng)活性函數(shù)550。因此，在輸入信號的泄漏積分產(chǎn)生高 于閾值的值的時間間隔(諸如時間間隔552和554)內(nèi)，神經(jīng)細胞被激活，如圖5D中神經(jīng)細 胞的活性曲線550所示。圖5Ε概括根據(jù)本發(fā)明各實施例的神經(jīng)細胞的內(nèi)部操作。刺激性輸入560被求和 562并輸入到信號發(fā)生函數(shù)564。同樣，抑制性信號566通過求和函數(shù)568求和并輸入至信 號發(fā)生函數(shù)564。信號發(fā)生操作可根據(jù)神經(jīng)元行為的多種數(shù)學模型中的任一種基于已組合、 求和的輸入生成模擬信號。例如，信號生成函數(shù)可將非線性函數(shù)應(yīng)用于經(jīng)求和的刺激性輸 入信號和經(jīng)求和的抑制性輸入信號兩者，并隨后線性組合非線性函數(shù)應(yīng)用的結(jié)果。信號生 成函數(shù)564將模擬信號輸出至泄漏積分器功能組件570，該泄漏積分器功能組件570在前一 時間間隔內(nèi)將積分后信號輸出至取閾值功能組件572，所述取閾值功能組件572判斷是否 神經(jīng)細胞具有足夠活性來發(fā)出輸出信號。如下文所述，泄漏積分是神經(jīng)電路的特例，并因其相對容易例示而在圖5Α-5Ε的 例子中示為示例性神經(jīng)電路。另外，可采用功能更強大和靈活的神經(jīng)元電路，包括實現(xiàn)如下 文描述的霍奇金-赫胥黎(Hodgkin-Huxley)神經(jīng)元模型和分流模型的電路。應(yīng)當強調(diào)的 是，在這些功能更為強大和靈活的神經(jīng)電路中，可以不需要取閾值組件。當在某些神經(jīng)形態(tài) 電路中尖峰波列作為神經(jīng)元之間的信號產(chǎn)生時閾值器是有用的，然而在其它模型中信號尖 峰的產(chǎn)生無需借助取閾值組件，或替代地信號可以是更為連續(xù)的而不包含尖峰波列。圖6示出根據(jù)本發(fā)明多個實施例的神經(jīng)細胞的一般內(nèi)部電路。神經(jīng)細胞602經(jīng)由 輸出引腳604、606通過由諸如記憶電阻標記608的記憶電阻標記所表示的記憶電阻性突觸 類納米線結(jié)將信號輸出至神經(jīng)形態(tài)電路的相鄰計算單元。神經(jīng)細胞通過第一輸入引腳610 接收抑制性信號并通過第二輸入引腳612接收刺激性信號。圖6中對輸出信號、抑制性輸
10入信號和刺激性輸入信號的引腳分配類似于圖4描述的情況，盡管在替代性實施例中可作 出不同的配置，并且給定的混合微米級-納米級神經(jīng)形態(tài)集成電路可對計算單元采用多種 不同的引腳配置。在圖6所示的神經(jīng)細胞中，基于運算放大器的簡單求和電路614、616用 來對刺激性輸入信號和抑制性輸入信號求和以產(chǎn)生經(jīng)求和的刺激性信號輸入信號620以 及經(jīng)求和的抑制性信號輸入信號622，它們被輸入到神經(jīng)細胞624的內(nèi)部電路，該內(nèi)部電路 實現(xiàn)上文中結(jié)合圖5A-5E描述的信號發(fā)生、積分和取閾值功能。針對泄漏積分、信號合成和 取閾值所采用的電路的準確特性取決于神經(jīng)細胞所接收輸入信號的特性以及神經(jīng)細胞所 實現(xiàn)的準確數(shù)學模型。例如，基于運算放大器和電容器的集成電路可用于泄漏積分，而多種 類型的基于運算放大器的求和電路可用來線性組合兩個經(jīng)求和輸入信號620、622以進行 信號合成。存在多種不同類型的神經(jīng)細胞數(shù)學模型。在任意給定的神經(jīng)形態(tài)電路中，可采用 實現(xiàn)不同神經(jīng)元數(shù)學模型的若干不同類型的神經(jīng)細胞以正確地模擬或?qū)崿F(xiàn)所需高級功能。 神經(jīng)細胞的一種數(shù)學模型可表示為 其中i是經(jīng)建模的神經(jīng)元；Xi是神經(jīng)元i的活性；t是時間；fj (Xj)是神經(jīng)元j活性的非線性函數(shù)；Zji是神經(jīng)元j和i之間的突觸的權(quán)重；gj是神經(jīng)元j的活性的非線性函數(shù)；η是通過刺激性輸入與節(jié)點i相聯(lián)的神經(jīng)元的數(shù)目；m是通過抑制性輸入與節(jié)點i相聯(lián)的神經(jīng)元的數(shù)目；A和B是常數(shù)。在這種模型中，特定神經(jīng)細胞i的活性是第一被動衰減項-Axi的線性組合，第 二項反映通過反饋項修正的刺激性輸入的和
,而第三項反映由反饋
項修正的抑制性輸入的和
在該模型下，神經(jīng)元i的活性Xi的范圍為
0. 0-1. 0。當神經(jīng)元活性高即接近1. 0時，方程中的反饋項用來限制活性的進一步增大并強 制使活性下降。另一方面，當神經(jīng)元i的活性Xi低即接近0.0時，反饋項顯著減小且神經(jīng) 細胞對刺激性輸入以高靈敏度響應(yīng)而對抑制性輸入以低靈敏度響應(yīng)，由此增大神經(jīng)細胞的 活性。如上所述，當神經(jīng)細胞的活性高于閾值時，神經(jīng)細胞通過突觸類記憶電阻納米線結(jié)將 輸出信號發(fā)射到相鄰計算單元，并且也可通過半導體集成電路層信號線將信號輸出至相鄰 計算單元。如上所述，針對神經(jīng)細胞操作的許多不同的可能數(shù)學模型是可行的，并可在單個 神經(jīng)形態(tài)電路中采用許多不同的模型，其中分層神經(jīng)形態(tài)電路內(nèi)不同邏輯層面的神經(jīng)細胞 實現(xiàn)神經(jīng)細胞行為的不同數(shù)學模型。圖7示出在代表本發(fā)明實施例的混合微米級-納米級神經(jīng)形態(tài)集成電路中采用的習慣傳輸門計算單元。如圖7所示，習慣傳輸門單元(HTG)不采用通過突觸類記憶電阻納 米線結(jié)將神經(jīng)細胞連接至其它神經(jīng)細胞的垂直引腳。相反，HTG 702通過半導體集成電路 信號線從神經(jīng)形態(tài)電路中的相鄰計算單元接收輸入704、并從中產(chǎn)生輸出706。相比神經(jīng)細 胞響應(yīng)于抑制性和刺激性輸入產(chǎn)生的影響，HTG對輸入信號產(chǎn)生相對更長持續(xù)時間的影響。 圖8示出根據(jù)本發(fā)明一個實施例的習慣傳輸門計算單元對輸入信號的修正。在圖8中，輸 入信號被繪制成信號強度相對于時間的第一曲線802，而相應(yīng)輸出信號被繪制成信號強度 相對于時間的第二曲線804。圖8中的兩個曲線分別相對于時軸806、808對齊。當輸入信 號810包括正電壓峰812時，輸出信號814也包括與輸入信號的正電壓峰812相對應(yīng)的正 電壓峰816。然而在輸出信號中，電壓一般在明顯更低的電壓形成波峰并隨后在正電壓峰 之后的一段時間內(nèi)下降至負電壓818。HTG對生物神經(jīng)電路原理進行建模，該原理是突觸后 神經(jīng)元最初對刺激性輸入敏感，但突觸后神經(jīng)元的靈敏度隨著延長的刺激性輸入而迅速消 失。接下來提供HTG的一種可能數(shù)學模型 其中Zi是由習慣傳輸門施加于輸入信號的增益；t是時間；71是習慣傳輸門的輸入；T是校正函數(shù)；f([T(yi)])是經(jīng)校正輸入的非線性函數(shù)；以及A和B是常數(shù)。在該方程中，Zi是相對于輸入信號施加于HTG單元的輸出信號的增益。在該 模型中，增益的范圍是0.0-1.0。第一項A(I-Zi)提供HTG增益的相對長期復(fù)原，而第二 項-Bf [T (yi) ] Zi提供在正信號輸入至HTG時快速的輸出信號衰減和隨后的較長持續(xù)時間負 信號。在代表本發(fā)明一個實施例的任何特定神經(jīng)形態(tài)集成電路中，針對任何給定HTG采用 的特定數(shù)學模型的常數(shù)A和B可以是不同的，或者HTG的總體數(shù)學公式可以不同。然而總 的來說，HTG單元用來減弱由神經(jīng)細胞輸出或接收的延長刺激性或抑制性信號的效果。圖9示出在代表本發(fā)明實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路中所采用 的包含輸入計算單元和輸出計算單元的兩種其它類型的計算單元的例子。輸入計算單元 902從位于混合微米級-納米級神經(jīng)形態(tài)集成電路之外的信號傳輸實體接收輸入信號904， 并在處理該輸入信號后經(jīng)由輸出信號引腳910、912輸出經(jīng)處理的信號906、908。輸出計算 單元914通過輸入信號引腳920、922從混合微米級-納米級神經(jīng)形態(tài)集成電路的外部計算 單元接收刺激性信號916和抑制性信號918，并處理輸入信號以產(chǎn)生輸出至神經(jīng)形態(tài)集成 電路外部的信號接收實體的經(jīng)處理信號924。輸出計算單元可另行通過半導體集成電路層 信號線接收輸入，而輸入計算單元可另行向半導體集成電路層信號線發(fā)出信號。另外，輸入 計算單元和輸出計算單元可用來在混合微米級_納米級神經(jīng)形態(tài)集成電路中的兩種不同 內(nèi)部模擬信號之間進行轉(zhuǎn)換。圖10示出代表本發(fā)明一個實施例的微米級_納米級混合神經(jīng)形態(tài)電路的輸入計 算單元的輸入和輸出信號。在許多情形下，輸入信號1002可以是基于分組的數(shù)字信號，其中包含二進制數(shù)字序列的固定長度或可變長度的分組從外部實體傳輸至輸入計算單元。輸 入計算單元執(zhí)行數(shù)模信號轉(zhuǎn)換以產(chǎn)生如圖10中信號相對時間曲線1004所示的模擬電壓或 電流信號。同樣，輸出計算單元(圖9中的914)接收模擬信號并執(zhí)行模數(shù)信號轉(zhuǎn)換以輸出 基于分組的數(shù)字信號1002。存在許多不同可能類型的數(shù)字信號，并且神經(jīng)形態(tài)電路的多種 不同實現(xiàn)可采用不同類型的模擬信號。因此，輸入計算單元和輸出計算單元的內(nèi)部電路相 當依賴于由混合微米級_納米級神經(jīng)形態(tài)集成電路接收或輸出的數(shù)字信號的類型、以及綜 合神經(jīng)形態(tài)集成電路中所采用的多種類型的模擬信號。圖IlA-B示出在代表本發(fā)明一個實施例的微米級-納米級神經(jīng)形態(tài)集成電路中的 計算單元的互連。圖IlA示出3X3陣列的4引腳計算單元。如上所述，諸如計算單元1102 的每個計算單元包括兩個輸出引腳1104和1106、抑制性輸入引腳1108以及刺激性輸入引 腳1110。圖IlB示出如圖IlA所示的3X3陣列的計算單元上形成有包含平行納米線和記 憶電阻材料子層的兩個子層的互連層。在圖IlB中，諸如計算單元1102的輸入引腳1110的 每個輸入引腳與將左手側(cè)接近水平的納米線1114接合至右手側(cè)接近水平的納米線1116并 將左手側(cè)和右手側(cè)納米線1114、1116接合至輸入引腳1112的墊片1112通過接口相連。因 此，連接至計算單元陣列中的輸入引腳的全部納米線形成平行納米線的第一子層。如圖1IB 所示，納米線相對于3X3陣列計算單元的上、下水平邊緣1118、1120的方向略作旋轉(zhuǎn)。這 種旋轉(zhuǎn)允許納米線沿向左和向右方向水平延伸，并跨過許多相鄰計算單元而不覆蓋位于計 算單元內(nèi)部或外部的任何附加垂直引腳，納米線通過墊片和垂直引腳連接至計算單元。諸 如計算單元1102中的輸出引腳1104的輸出引腳各自類似地連接至近乎垂直的納米線。因 此，連接至3X3陣列計算單元的輸出引腳的納米線形成近乎平行納米線的第二子層，其中 第二子層的納米線近乎垂直于第一子層的納米線。在圖IlB中，納米線之間的記憶電阻納米線結(jié)圖示為兩條納米線之間交叉處的小 填充盤，諸如填充盤1124。記憶電阻納米線結(jié)1124對互連突觸前神經(jīng)細胞1126和突觸后 神經(jīng)細胞1128的突觸建模。記憶電阻納米線結(jié)1124將突觸前計算單元1126的輸出引腳 1130與突觸后神經(jīng)細胞1128的抑制性輸入引腳1132互連。根據(jù)本發(fā)明，多個納米線互連 層可在混合微米級-納米級神經(jīng)形態(tài)集成電路的半導體集成電路層上實現(xiàn)。多個互連層允 許神經(jīng)細胞在多個分層邏輯層面上通過突觸類記憶電阻納米線結(jié)彼此互連。本發(fā)明的多互 連層神經(jīng)形態(tài)集成電路架構(gòu)提供計算單元相當大量的不同可能互連結(jié)構(gòu)，并因此提供極為 靈活和強大的互連結(jié)構(gòu)以實現(xiàn)非常大量的不同可能的神經(jīng)形態(tài)電路。在本發(fā)明的某些混合微米級_納米級神經(jīng)形態(tài)集成電路實施例中，可在制造過程 中配置納米線結(jié)或?qū)⑵浜罄m(xù)編程為ON和OFF狀態(tài)，只有那些配置成ON的納米線結(jié)通過電 流并表現(xiàn)出突觸類行為，而配置成OFF的納米線結(jié)充當開路開關(guān)。在本發(fā)明的其它混合微 米級_納米級神經(jīng)形態(tài)集成電路實施例中，納米線結(jié)全部配置成ON狀態(tài)，而每個納米線結(jié) 的電導由經(jīng)過其的電壓信號專門確定。圖12A-F示出代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 的制造。圖12A-F示出神經(jīng)形態(tài)集成電路針對單個計算單元的制造。然而，如上所述，混 合微米級-納米級神經(jīng)形態(tài)集成電路包含非常大量的計算單元，它們一起鋪砌成混合微米 級_納米級神經(jīng)形態(tài)集成電路的表面。在某些實施例中，可在半導體襯底的每平方厘米上 制造幾千萬乃至幾億個相應(yīng)計算單元。圖12A-F所示的制造方法一般同時應(yīng)用于混合微米級_納米級神經(jīng)形態(tài)集成電路的全部計算單元。如圖12A所示，每個計算單元1202是使用多種集成電路制造方法中的任意一種制 造的，包括光刻、摻雜、蝕刻和平面化技術(shù)。計算單元1204的表面包括如上所述的四個垂直 導電引腳用的四個導電基底1206、1209。計算單元可具有多種形狀和尺寸中的任意一種， 這取決于針對由特定應(yīng)用實現(xiàn)所需的計算單元行為的制造方法和數(shù)學模型。單元的常見形 狀包括方形、矩形、六角形和等邊三角形，它們?nèi)靠梢苑植汲啥S陣列以完全鋪砌成半導 體襯底的表面。如圖12B所示，在制造底層集成電路之后的第一步驟中，納米線的第一子 層1210被印刻或以其它方法制成在集成電路的表面上，每條納米線通過例如墊片1212的 墊片狀結(jié)構(gòu)接觸一個垂直引腳，并沿兩相反方向從墊片伸出以形成一條納米線。如圖12B 所示，諸納米線中第一子層的納米線彼此平行，并連接至底層計算單元的兩輸入引腳或兩 輸出引腳，其中給定子層的一條納米線至多連接至一個引腳。不連接至第一子層納米線的 垂直引腳作為覆蓋底層垂直引腳導電基底(圖12A中的1207和1209)的通路在第一子層 1214和1216中延伸。接著，如圖12C所示，將記憶電阻材料薄層1220施加于第一納米線子層1210的上 表面。這種記憶電阻材料形成第一子層納米線1210和后續(xù)步驟中添加的第二子層納米線 之間的記憶電阻納米線結(jié)。注意導電引腳通過埋入式通路1222-1225連續(xù)通過記憶電阻材 料層。接著，如圖12D所示，納米線的第二子層1230被添加在記憶電阻層1220上方。納米 線第二子層的納米線是平行的，并且每條納米線連接至單個垂直引腳。當?shù)谝患{米線子層 連接至輸出引腳時，第二納米線子層連接至輸入引腳，反之亦然。注意第二子層的納米線與 第一子層的納米線大致垂直。接著，如圖12E所示，將絕緣層1240添加到第二納米線子層 1230上方，其垂直引腳同樣通過埋入式通路1242-1245延伸。如圖12F所示，附加的納米線互連層1250可形成在第一絕緣層1240的頂部。代 表本發(fā)明諸實施例的微米級_納米級混合神經(jīng)形態(tài)集成電路可包括實質(zhì)上任意數(shù)量的互 連層，其最上方絕緣層1252使底層互連層基本完全絕緣并因此不包括用以使垂直引腳延 伸至最后絕緣層表面的埋入式通路。此外，圖12A-F從單個計算單元的角度示出制造工藝， 但對實用器件來說，在圖12A-F所示的一系列步驟中在每平方厘米襯底表面上將幾百萬、 幾千萬或幾億個計算單元制造在一起。圖13示出通過代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 的納米線互連層的納米線傳輸?shù)碾p向信號。在圖13中，第一神經(jīng)細胞1302經(jīng)由第一納米 線1306、第二納米線1308以及將第一納米線1306和第二納米線1308互連的記憶電阻納 米線結(jié)1310與第二神經(jīng)細胞1304互連。第一納米線連接至第一突觸前神經(jīng)細胞1302的 輸出引腳1312，而第二納米線1310連接至第二突觸后神經(jīng)細胞1304的輸入引腳1314。如 上所述，當突觸前神經(jīng)細胞具有大于閾值活性的活性時，突觸前神經(jīng)細胞發(fā)出在圖13中由 方向箭頭1316表示的正向信號。同樣，當突觸后神經(jīng)細胞具有高于第二閾值活性水平的活 性時，該突觸后神經(jīng)細胞發(fā)出圖13中由箭頭1318表示的通過輸入引腳向突觸前神經(jīng)細胞 1302的反向信號。神經(jīng)細胞的正向信號和反向信號兩者的發(fā)射在本發(fā)明某些實施例中均提 供如上所述對突觸行為建模的納米線結(jié)的記憶電阻材料中的狀態(tài)變化。圖14示出將突觸前神經(jīng)元和突觸后神經(jīng)元互連的記憶電阻納米線結(jié)的電導變 化。在圖14中，各信號曲線相對于時間垂直對齊，在所有情形下相對于例如時軸1402的水平時軸繪制而成。圖14中的各曲線曲線示出將第一信號線1406與第二信號線1408連接 的記憶電阻納米線結(jié)1404的信號和狀態(tài)變化。第一曲線1410示出通過第一信號線1406 傳輸?shù)恼蛐盘?，該正向信號從連接至第一信號線的突觸前節(jié)點(圖13中的1302)發(fā)出。 第二曲線1412示出通過第二信號線傳輸?shù)姆聪蛐盘?，該反向信號從連接至第二信號線的 突觸后節(jié)點(圖13中的1304)發(fā)出。第三曲線1414示出在每個時間點記憶電阻1404兩 側(cè)的電壓降，而最終曲線1416示出在每個時間點記憶電阻的電感。例如垂直虛線1418的 垂直虛線示出各曲線1410、1412、1414和1416中的每一個的某些時間點。當正向信號表現(xiàn)出正電壓波峰1422或負電壓波峰1424而反向信號平坦時，相對 小的負電壓降1426和相對小的正電壓降1428發(fā)生在記憶電阻兩側(cè)。這些小電壓降致使 記憶電阻電導相應(yīng)的小幅減少1430和小幅增長1432。當相同符號和相等幅值的電壓波峰 1434、1436、1438、1440均發(fā)生在正向和反向信號中時，在記憶電阻納米線結(jié)兩側(cè)不產(chǎn)生電 壓降1442、1444，因此記憶電阻的電導不變。然而，當正波峰1450發(fā)生在正向信號中而負波 峰1452在同一瞬時發(fā)生在反向信號中時，相對大的負電壓降1454發(fā)生在記憶電阻兩側(cè)，這 造成電導相應(yīng)大幅下降1456。同樣，正向信號中時間上與反向信號中正波峰1462相對應(yīng)的 負電壓波峰1460造成記憶電阻兩側(cè)相對大的正電壓降1464，這造成記憶電阻材料的相應(yīng) 大幅電導增加1466。因此，通過產(chǎn)生某些類型的正向和反向信號，神經(jīng)細胞可使連接記憶 電阻納米線結(jié)表現(xiàn)出如上文中數(shù)學表達的對突觸行為建模的電導變化。對正向和反向信號 使用適當波形，根據(jù)突觸行為的Hebbian學習模型可導致記憶電阻材料在緊隨前向信號通 過突觸后神經(jīng)細胞的高活性致傳輸之后突觸后神經(jīng)具有高活性時表現(xiàn)出電導的大變化。此 外，記憶納米線結(jié)的電導率反映出活性水平的過往模式以及來自相互連的突觸前和突觸后 神經(jīng)細胞的信號發(fā)射。根據(jù)本發(fā)明諸實施例，可在混合微米級_納米級神經(jīng)形態(tài)集成電路中制造包括多 個相鄰計算單元的多種不同功能模塊。圖15示出根據(jù)本發(fā)明一個實施例的六計算單元雙 極子的實現(xiàn)，其表現(xiàn)出類似于數(shù)字邏輯觸發(fā)器的模擬行為。雙極子模塊1502完全地在代表 本發(fā)明一個實施例的混合微米級-納米級神經(jīng)形態(tài)集成電路的集成電路層中制造。神經(jīng)細 胞1504、1506代表雙極子的輸入節(jié)點，而神經(jīng)細胞1508、1510代表雙極子的輸出節(jié)點。在 雙極子中，一個輸出節(jié)點在另一輸出節(jié)點具有低活性時往往具有高活性，反之亦然，而輸出 節(jié)點的活性狀態(tài)往往在對輸入節(jié)點具有恒定輸入或沒有輸入時保持恒定。因此，雙極子用 作模擬觸發(fā)器，實質(zhì)上鎖閉住輸出節(jié)點的兩種可能活性水平狀態(tài)中的一種。輸入節(jié)點1504 經(jīng)由信號線1512將刺激性信號發(fā)送至輸出節(jié)點1508，并經(jīng)由信號線1514將抑制性信號發(fā) 送至輸出節(jié)點1510。輸入節(jié)點1506遵循相似但相反的信號傳輸模式。輸出節(jié)點通過HTG 節(jié)點1524、1526將正反饋信號1518、1520輸出至輸入節(jié)點1504、1506。因此，當輸入節(jié)點 1504具有高活性時，輸出節(jié)點1408往往具有高活性，并加強輸入節(jié)點1504的高活性。當輸 入節(jié)點1506具有高活性時，輸出節(jié)點1510往往具有高活性，并加強輸入節(jié)點1506的高活 性。左列計算節(jié)點1504和1508因此與右列計算節(jié)點1506、1510爭奪高活性狀態(tài)。圖16示出可在代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 采用的第二類型的多計算單元模塊。圖16所示模塊是一種九計算單元環(huán)繞結(jié)構(gòu)，其中八個 外圍計算單元1602-1609在工作時將抑制性支線信號發(fā)送給中央計算單元1610?？稍诖?本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路中制造包括多種不同數(shù)量計算單元的多種不同類型環(huán)繞結(jié)構(gòu)。在某些情形下，小型的相鄰計算單元環(huán)可將刺激性信號 發(fā)送至中央單元，而較大的外圍計算單元環(huán)可將抑制性信號發(fā)送給中央計算單元，反之亦 然。在其它類型的環(huán)繞結(jié)構(gòu)中，可將反饋信號從中央單元發(fā)送至外圍單元，反之亦然。在某 些情形下，多個中央單元可被環(huán)繞單元的一個或多個環(huán)包圍，每個環(huán)提供不同類型或電平 的正向信號反饋。環(huán)繞結(jié)構(gòu)頻繁地用于實現(xiàn)各種類型的模式識別電路和取向圖。圖17示出代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路中的 計算單元的分層互連。圖17示出計算單元1702的24X28陣列。每個單元根據(jù)陣列下方 給出的邏輯層鑰1704分配給邏輯層。例如，諸如加陰影計算單元1706的加陰影計算單元 形成第一邏輯層。這種計算單元的分層邏輯配置可通過使用一個納米線互連層互連每層的 神經(jīng)細胞而實現(xiàn)。例如，第一層計算單元可通過第一納米線互連層中的納米線和記憶電阻 納米線結(jié)側(cè)向互連。第二邏輯層單元可類似地通過第二納米線互連層互連。另外，正向和 反饋互連可穿越多個互連層并因此在諸邏輯層之間提供信號交換。分層排序的計算單元層 適用于多種類型的模式識別神經(jīng)形態(tài)電路和從多個輸入提取推斷的推理機。圖18示出可在代表本發(fā)明一個實施例的混合微米級_納米級神經(jīng)形態(tài)集成電路 中實現(xiàn)的第二類型的邏輯結(jié)構(gòu)。圖18所示的層狀皮層可包含諸如計算單元1802的多個下 層傳感器輸入計算單元，它們均連接至例如對層狀皮層的單個單元建模的雙極子模塊1804 的雙極子模塊。雙極子模塊彼此互連并與諸如復(fù)雜細胞1806的復(fù)雜細胞互連，該復(fù)雜細胞 將信號輸出至更高層計算單元或輸出單元。層狀皮層發(fā)現(xiàn)在感知器和許多其它類型的神經(jīng) 形態(tài)電路中的用途。圖19示出層狀皮層模塊，該層狀皮層模塊可根據(jù)本發(fā)明制造并可與數(shù) 個相鄰層狀皮層模塊一起使用以實現(xiàn)層狀皮層神經(jīng)形態(tài)電路。層狀皮層模塊1902包括六 計算單元雙極子，其由六個計算單元1904-1909實現(xiàn)。輸入計算單元1910代表傳感器輸入， 而計算單元對1912、1914代表層狀皮層的復(fù)雜細胞。較大的模塊可包括附加傳感器輸入單 元以將多個傳感器輸入提供給包含計算單元1904-1909的雙極子。單元之間的互連可專門 在半導體集成電路層中制造出，或可另行采用一個或多個納米線互連層。盡管已針對特定實施例對本發(fā)明進行了描述，然而本發(fā)明不旨在受限于這些實施 例。本發(fā)明精神范圍內(nèi)的修改對本領(lǐng)域內(nèi)技術(shù)人員來說是明顯的。例如，計算單元除神經(jīng) 元、輸入單元、輸出單元和HTG單元外還可采用多種單元類型。盡管4引腳計算單元看上去 為許多種神經(jīng)形態(tài)電路提供足夠的連接性，然而在各替代性實施例中可能采用更多數(shù)量或 更少數(shù)量的輸入和輸出引腳。如前所述，根據(jù)本發(fā)明實施例可在混合微米級_納米級神經(jīng) 形態(tài)集成電路中制造附加的信號線和其它信號傳輸相關(guān)組件?？刹捎冒雽w集成電路層信 號線來提供混合微米級_納米級神經(jīng)形態(tài)集成電路中的多計算單元模塊的計算單元和其 它邏輯單元之間的額外連接?；旌衔⒚准?納米級神經(jīng)形態(tài)集成電路內(nèi)的半導體集成電路 層可使用大量集成電路制造技術(shù)中的任一種在多種不同類型半導體襯底的任一種中形成。 神經(jīng)形態(tài)集成電路可制造成不同的尺寸和面積，并包括附加功能，包括缺陷檢測、缺陷改進 和缺陷耐受功能以調(diào)節(jié)計算單元陣列中的缺陷性計算單元。神經(jīng)形態(tài)集成電路可在內(nèi)部采 用電流和電壓信號兩者，并接收和輸出多種類型的外部信號，包括基于數(shù)字分組的信號。在 本發(fā)明的許多實施例中，內(nèi)部神經(jīng)形態(tài)集成電路信號包括模擬電流和模擬電壓信號。盡管 可在神經(jīng)形態(tài)集成電路中采用模擬生物軸突尖峰的多種類型正向和反向模擬信號模式，然 而神經(jīng)形態(tài)集成電路也可基于簡單電壓電平和/或電流電平信號工作。神經(jīng)形態(tài)集成電路可包括例如時鐘信號傳輸函數(shù)的附加函數(shù)，以將定時信號提供給輸入計算單元和輸出計算 單元。神經(jīng)形態(tài)集成電路可另行包括多個集成電路層，每個集成電路層與關(guān)聯(lián)的多個納米 線互連層互連。 為了便于解釋，前面的說明使用特定術(shù)語提供對本發(fā)明的透徹理解。然而，對本領(lǐng) 域內(nèi)技術(shù)人員來說很明顯的是，這些具體細節(jié)并非實現(xiàn)本發(fā)明所必需的。前面對本發(fā)明特 定實施例的說明以解說和描述為目的。它們不是窮盡性的或?qū)⒈景l(fā)明限定于準確的形式。 許多修改和變化鑒于上述教義是可行的。實施例的描述和說明是為了以最好方式解釋本發(fā) 明及其實踐場應(yīng)用的原理，由此使本領(lǐng)域內(nèi)技術(shù)人員能最好地利用本發(fā)明和各實施例并構(gòu) 思出適于特殊用途的各種修正形式。本發(fā)明的范圍是由下面權(quán)利要求書及其等效物限定 的。
權(quán)利要求
一種神經(jīng)形態(tài)集成電路，包括在集成電路襯底上制造的模擬計算單元陣列，每個計算單元中的模擬電子電路連接至一個或多個第一類引腳和一個或多個第二類引腳，這些引腳大致垂直地從所述計算單元伸出；以及在所述模擬計算單元陣列上方的一個或多個納米線互連層，每個納米線互連層包括大致平行納米線的第一子層，所述第一子層的每條納米線連接至所述第一類的單個計算單元；記憶電阻子層；以及大致平行納米線的第二子層，所述第二子層的每條納米線連接至所述第二類型的單個計算單元引腳，所述第二子層的納米線沿不平行于所述第一子層的納米線的方向取向。
2.如權(quán)利要求1所述的神經(jīng)形態(tài)集成電路，其特征在于，所述第二子層的納米線與所 述第一子層的納米線交疊，從而形成記憶電阻納米線結(jié)，每個納米線結(jié)通過對突觸建模的 所述記憶電阻子層將第二子層納米線與第一子層納米線互連。
3.如權(quán)利要求2所述的神經(jīng)形態(tài)集成電路，其特征在于，記憶電阻納米線結(jié)實現(xiàn)一種 模型，所述模型能表示為 其中Zij是通過將突觸前神經(jīng)元i與突觸后神經(jīng)元j互連的突觸i j所產(chǎn)生的權(quán)重或增 ε是學習速度； ω是忘卻速度；f (Xj)是神經(jīng)元i活性的非線性函數(shù)； g(Xi)是神經(jīng)元j活性的非線性函數(shù)；以及 t是時間。
4.如權(quán)利要求2所述的神經(jīng)形態(tài)集成電路，其特征在于，所述計算單元包括 神經(jīng)元計算單元；輸入計算單元；以及 輸出計算單元。
5.如權(quán)利要求4所述的神經(jīng)形態(tài)集成電路，其特征在于，每個神經(jīng)元計算單元包括 將刺激性信號輸入的和輸出至所述神經(jīng)元計算單元的第一求和功能組件；將抑制性信號輸入的和輸出至所述神經(jīng)元計算單元的第二求和功能組件；將來自所述第一和第二求和功能組件的輸出合并以輸出模擬信號的信號發(fā)生功能組件；在前一時間間隔內(nèi)對所述信號發(fā)生功能組件的輸出求積分以輸出積分后信號的泄漏 積分器功能組件；以及當所述積分后信號超出一閾值時激活來自所述神經(jīng)元計算單元的輸出信號發(fā)射的取 閾值功能組件。
6.如權(quán)利要求4所述的神經(jīng)形態(tài)集成電路，其特征在于，所述神經(jīng)元計算單元實現(xiàn)一 種模型，所述模型可表示為 其中i是經(jīng)建模的神經(jīng)元；Xi是神經(jīng)元i的活性；t是時間；fJ(Xj)是神經(jīng)元j的活性的非線性函數(shù)；Zji是神經(jīng)元j和i之間的突觸的權(quán)重；gj是神經(jīng)元j的活性的非線性函數(shù)；η是通過刺激性輸入與節(jié)點i相聯(lián)的神經(jīng)元的數(shù)目；m是通過抑制性輸入與節(jié)點i相聯(lián)的神經(jīng)元的數(shù)目；A和B是常數(shù)。
7.如權(quán)利要求4所述的神經(jīng)形態(tài)集成電路，其特征在于，每個輸入計算單元包括 接收外部信號并將所接收的信號轉(zhuǎn)換成輸出到所述神經(jīng)形態(tài)集成電路的一個或多個計算單元的模擬信號的編碼電路。
8.如權(quán)利要求7所述的神經(jīng)形態(tài)集成電路，其特征在于，所述外部信號是基于數(shù)字分 組的信號，所述編碼電路將所述信號轉(zhuǎn)變成模擬電壓信號或模擬電流信號之一。
9.如權(quán)利要求4所述的神經(jīng)形態(tài)集成電路，其特征在于，每個輸出計算單元包括解碼電路，所述解碼電路將從通過所述神經(jīng)形態(tài)集成電路的一個或多個計算單元輸入 至所述輸出計算單元的模擬信號產(chǎn)生的模擬信號轉(zhuǎn)變成外部信號，所述外部信號被輸出至 所述神經(jīng)形態(tài)集成電路外部的實體。
10.如權(quán)利要求9所述的神經(jīng)形態(tài)集成電路，其特征在于，所述外部信號是基于數(shù)字分 組的信號。
11.如權(quán)利要求2所述的神經(jīng)形態(tài)集成電路，其特征在于，所述計算單元還包括習慣傳輸門單元。
12.如權(quán)利要求11所述的神經(jīng)形態(tài)集成電路，其特征在于，每個習慣傳輸門單元使用 所述神經(jīng)形態(tài)集成電路的集成電路層中的信號線互連兩個計算單元，從而將倍增增益施加 于輸入信號以產(chǎn)生輸出信號。
13.如權(quán)利要求11所述的神經(jīng)形態(tài)集成電路，其特征在于，每個習慣傳輸門單元實現(xiàn) 一種模型，所述模型能表示為 其中Zi是由習慣傳輸門施加于輸入信號的增益； t是時間；Yi是習慣傳輸門的輸入； τ是校正函數(shù)；f([T(yi)])是經(jīng)校正輸入的非線性函數(shù)；以及 A和B是常數(shù)。
14.如權(quán)利要求11所述的神經(jīng)形態(tài)集成電路，其特征在于，兩個或更多個計算單元合 并在一起以形成模塊，包括雙極子；環(huán)繞結(jié)構(gòu)；以及層狀皮層子單元。
15.如權(quán)利要求11所述的神經(jīng)形態(tài)集成電路，其特征在于，所述計算單元被組織成多 個分層結(jié)構(gòu)層，每個分層結(jié)構(gòu)層的單元通過與所述分層結(jié)構(gòu)層相對應(yīng)的納米線互連層相互通{曰。
全文摘要
本發(fā)明的實施例包括混合微米級-納米級神經(jīng)形態(tài)集成電路，該集成電路包括布置在集成電路襯底上的模擬計算單元陣列。每個計算單元中的模擬電路連接于第一類型的一個或多個引腳以及第二類型的一個或多個引腳，這些引腳大致垂直地從計算單元伸出。這些計算單元另行通過一個或多個納米線互連層互連，每個納米線互連層在記憶電阻子層的任一側(cè)具有兩個納米線子層，其中互連層的每個納米線子層中的每條納米線連接于一個計算單元引腳并連接于互連層的另一納米子層中的多條納米線。
文檔編號G05F1/00GK101889343SQ200880119663
公開日2010年11月17日 申請日期2008年5月22日 優(yōu)先權(quán)日2007年12月5日
發(fā)明者G·S·施奈德 申請人:惠普發(fā)展公司，有限責任合伙企業(yè)