用于光譜圖的視覺處理以生成觸覺效果的系統(tǒng)和方法
【專利摘要】本發(fā)明公開了用于光譜圖的視覺處理以生成觸覺效果的系統(tǒng)和方法。在一個實施例中，接收至少包括音頻信號的信號?？梢灾辽俨糠值鼗谒邮盏降男盘杹砩梢粋€或多個光譜圖?？梢灾辽俨糠值鼗谒龉庾V圖來確定一個或多個觸覺效果。例如，生成的光譜圖可以是二維圖像并且能夠分析這個圖像以確定一個或多個觸覺效果。在已確定觸覺效果后，能夠生成一個或多個觸覺輸出信號?？梢韵蛞粋€或多個數(shù)據(jù)觸覺輸出設備輸出生成的觸覺輸出信號。
【專利說明】用于光譜圖的視覺處理以生成觸覺效果的系統(tǒng)和方法
[0001] 相關申請的交叉引用
[0002] 本申請要求2013年9月6日提交、標題為"AudiotoHaptics"的美國臨時專利 申請No. 61/874, 933的優(yōu)先權，其全體通過引用的方式并入。

【技術領域】
[0003] 本公開內容一般地涉及用于光譜圖的視覺處理以生成觸覺效果的系統(tǒng)和方法。

【背景技術】
[0004] 傳統(tǒng)上，機械按鈕已將物理觸覺場景提供給手持式移動設備的用戶。然而，隨著觸 敏表面（例如，觸摸屏）在這些設備上尤其在移動電話上的普及的提高，機械按鈕不再存 在。而是，觸覺輸出設備可以被包括在這樣的設備中以輸出使用戶警覺各種事件的觸覺效 果。


【發(fā)明內容】

[0005] 實施例提供了用于光譜圖的視覺處理以生成觸覺效果的系統(tǒng)和方法。例如，一種 公開的方法包括接收信號。在一些實施例中，信號包括音頻信號、視頻信號、加速度信號、速 率信號、溫度信號、另一適合的信號或其組合。
[0006] 在一些實施例中，該方法包括：接收信號；至少部分地基于信號來生成光譜圖；至 少部分地基于光譜圖來確定觸覺效果；至少部分地基于觸覺效果來生成觸覺輸出信號，該 觸覺輸出信號被配置成使觸覺輸出設備輸出觸覺效果；以及輸出觸覺輸出信號。
[0007] 在另一實施例中，計算機可讀介質包括程序代碼以用于：接收信號；至少部分地 基于信號來生成光譜圖；至少部分地基于光譜圖來確定觸覺效果；至少部分地基于觸覺效 果來生成觸覺輸出信號，該觸覺輸出信號被配置成使觸覺輸出設備輸出觸覺效果；以及輸 出觸覺輸出信號。
[0008] 在另一實施例中，系統(tǒng)包括：輸入設備；觸覺輸出設備；以及與輸入設備和觸覺輸 出設備通信的處理器。在這個實施例中，處理器被配置用于：從輸入設備接收信號；至少部 分地基于信號來生成光譜圖；至少部分地基于光譜圖來確定觸覺效果；至少部分地基于觸 覺效果來生成觸覺輸出信號，該觸覺輸出信號被配置成使觸覺輸出設備輸出觸覺效果；以 及向觸覺輸出設備輸出觸覺輸出信號。
[0009] 提到這些說明性實施例不限制或者定義本發(fā)明，但是相反地提供示例以幫助其理 解。在提供對本發(fā)明的進一步描述的【具體實施方式】中討論說明性實施例?？梢酝ㄟ^檢查本 說明書進一步理解由本發(fā)明的各種實施例所提供的優(yōu)點。

【專利附圖】

【附圖說明】
[0010] 本專利或申請文件包含用顏色編制的至少一個圖。具有（一個或多個）顏色圖的 本專利或專利申請公開的拷貝將由事務所在必要費用的請求和支付時提供。
[0011] 被并入并構成本說明書的一部分的附圖圖示了實施例的一個或多個示例，并且連 同示例實施例的描述一起，用來說明實施例的原理和實施方式。
[0012] 圖1圖示依照實施例的用于光譜圖的視覺處理以生成觸覺效果的電子設備；
[0013] 圖2圖示依照實施例的用于光譜圖的視覺處理以生成觸覺效果的電子設備；
[0014] 圖3圖示描繪了依照實施例的用于光譜圖的視覺處理以生成觸覺效果的計算設 備的系統(tǒng)圖；
[0015] 圖4圖示依照實施例的針對用來生成觸覺效果的光譜圖的視覺處理的方法的流 程圖；
[0016] 圖5圖示依照實施例的用來生成觸覺效果的光譜圖的視覺處理的方面；以及 [0017] 圖6圖示依照實施例的用來生成觸覺效果的光譜圖的視覺處理的方面。

【具體實施方式】
[0018] 在本文中在用于光譜圖的視覺處理以生成觸覺效果的系統(tǒng)和方法的上下文中對 示例實施例進行描述。本領域的普通技術人員將認識到，以下描述是僅說明性的并且不旨 在以任何方式限制。其它實施例將容易地向受益于本公開內容的這樣的技術人員建議本 身?，F(xiàn)將對如附圖中所圖示的示例實施例的實施方式進行詳細的參考。相同的附圖標記將 在圖和以下描述中自始至終被用來指代相同的或類似的項目。
[0019] 為了清楚，并沒有示出和描述本文中所描述的實施方式的常規(guī)特征中的全部。當 然，將了解的是在任何這樣的實際實施方式的發(fā)展中，必須做出許多實施方式特定的判定 以便實現(xiàn)開發(fā)者的特定目標，諸如遵照應用和業(yè)務相關的約束，并且這些特定目標將因實 現(xiàn)不同以及因開發(fā)者不同而變化。
[0020] 說明性設備與實施例
[0021] 圖1圖示用于光譜圖的視覺處理以生成觸覺效果的電子設備100。在一些實施例 中，電子設備100接收音頻信號。例如，電子設備100可以接收待在電子設備100上播放的 歌曲的音頻信號。電子設備100能夠從存儲器或者從另一設備（諸如通過因特網(wǎng)從服務 器）接收歌曲。一旦電子設備100接收到音頻信號，電子設備100基于所接收到的音頻信 號來生成一個或多個光譜圖。電子設備100可以通過確定所接收到的音頻信號在整個音頻 信號之上的時域的時間窗（諸如l〇ms)的傅里葉變換來生成光譜圖。作為另一示例，電子 設備可以生成具有表示時間的水平軸、表示其中在特定頻率下的大小由顏色強度表示的第 一頻率范圍（例如，〇Hz至100Hz)的垂直軸的一個光譜圖和具有表示時間的水平軸、表示其 中在特定頻率下的大小由顏色強度表示的第二頻率范圍（例如，100Hz至lKHz)的垂直軸的 另一光譜圖。
[0022] 一旦已生成（一個或多個）光譜圖，一個或多個觸覺效果可以由電子設備100通 過分析所生成的（一個或多個）光譜圖來確定。例如，如果光譜圖指示以規(guī)則間隔間隔開 的區(qū)，則電子設備100可以確定區(qū)中的每一個都是節(jié)拍并且確定與節(jié)拍相對應的觸覺效 果。例如，可以確定具有有限持續(xù)時間的振動和被配置成模仿節(jié)拍的相對高的大小的觸覺 效果。作為另一示例，在光譜圖中的各區(qū)之間的改變可以指示從一種類型的聲音到另一聲 音的轉變，并且因此，電子設備100可以確定在轉變之前的觸覺效果和在轉變期間和/或之 后的不同的觸覺效果。一旦已確定（一個或多個）觸覺效果，電子設備100能夠生成（一 個或多個）觸覺輸出信號。該觸覺輸出信號能夠由電子設備100輸出給輸出所確定的（一 個或多個）觸覺效果的一個或多個觸覺輸出設備。在本文中公開了許多其它實施例并且變 化在本公開內容的范圍內。
[0023] 這個說明性示例被給出以向讀者介紹本文中所討論的通用主題。發(fā)明不限于這個 示例。以下部分描述了用于觸覺效果的參數(shù)修改的設備、系統(tǒng)以及方法的各種附加的非限 制性實施例和示例。
[0024] 說明性設備
[0025] 圖2圖示根據(jù)一個實施例的用于光譜圖的視覺處理以生成觸覺效果的電子設備 200。在圖2中所示出的實施例中，電子設備200包括外殼205、處理器210、存儲器220、觸 敏顯示器230、觸覺輸出設備240、通信接口 250以及傳感器270。此外，電子設備200與觸 覺輸出設備260通信，所述觸覺輸出設備260可以被可選地耦合到或者并入一些實施例。處 理器210與存儲器220通信，并且在這個實施例中，處理器210和存儲器220兩者都被部署 在外殼205內。觸敏顯示器230 (其包括觸敏表面或者與觸敏表面通信）被部分地部署在 外殼205內，使得觸敏顯示器230的至少一部分被暴露給電子設備200的用戶。在一些實 施例中，觸敏顯示器230可能未被部署在外殼205內。例如，電子設備200可以被連接到或 者以其它方式與部署在單獨外殼內的觸敏顯示器230進行通信。在一些實施例中，外殼205 可以包括兩個外殼，所述兩個外殼被可滑動地耦合到彼此、樞轉地耦合到彼此、或者可釋放 地耦合到彼此。在其它實施例中，外殼205可以包括任何數(shù)目的外殼。
[0026] 在圖2中所示出的實施例中，觸敏顯示器230與處理器210通信并且被配置成將 信號提供給處理器210和/或存儲器220以及配置成從處理器210和/或存儲器220接收 信號。存儲器220被配置成存儲程序代碼或數(shù)據(jù)或兩者，以用于由處理器210使用，所述處 理器210被配置成執(zhí)行存儲在存儲器220中的程序代碼以及配置成向觸敏顯示器230傳送 信號并且從觸敏顯示器230接收信號。在圖2中所示出的實施例中，處理器210與通信接 口 250通信以及被配置成從通信接口 250接收信號并且向通信接口 250輸出信號以與諸如 一個或多個電子設備的其它組件或設備進行通信。此外，處理器210與觸覺輸出設備240 和觸覺輸出設備260通信并且被進一步配置成輸出信號以使觸覺輸出設備240或觸覺輸出 設備260或兩者輸出一個或多個觸覺效果。
[0027] 此外，處理器210與傳感器270通信并且被配置成從傳感器270接收信號。例如， 處理器270可以從傳感器270接收符合與電子設備200的一個或多個交互的一個或多個信 號。例如，一個或多個傳感器信號可以由處理器210在電子設備200的用戶搖動設備200 時從傳感器270接收。作為另一示例，一個或多個傳感器信號能夠由處理器210在用戶按 觸敏顯示器230上的位置時和/或在用戶在觸敏顯示器230上做出手勢時從傳感器270接 收。在一些實施例中，處理器210能夠從一個或多個傳感器（諸如傳感器270)接收傳感器 信息，以得到或者以其它方式確定一個或多個交互。交互能夠包括但不限于接觸、一系列接 觸、手勢、高于預定閾值的接觸壓力、低于預定閾值的接觸壓力、在諸如柔性觸摸屏顯示器 的柔性觸敏表面上的接觸、振動、搖動、任何其它適合的交互或其組合。
[0028] 在一些實施例中，處理器210從集成到電子設備200中、連接到電子設備200和/ 或與電子設備200通信的一個或多個輸入設備接收一個或多個傳感器信號。例如，處理器 210可以從觸敏顯示器230的觸敏表面接收一個或多個傳感器信號。作為另一示例，處理 器210可以從諸如鍵盤、鼠標、觸摸板、軌跡球、麥克風、觸敏表面的輸入設備和/或被集成 到電子設備200中、連接到電子設備200和/或與電子設備200通信的另一適合的輸入設 備接收一個或多個傳感器信號。傳感器信號可以包括諸如一個或多個接觸、位置、壓力、手 勢、鍵按的信息，和/或指示用戶如何在與一個或多個輸入設備交互的其它信息。在一些實 施例中，傳感器信號和/或接收到的信號包括音頻信號、視頻信號、加速度信號、速率信號、 溫度信號、另一適合的信號或其組合。在本文中公開了許多其它實施例并且變化在本公開 內容的范圍內。
[0029] 處理器210然后可以利用它從一個或多個傳感器（諸如傳感器270)、一個或多個 通信接口（諸如通信接口 250)、存儲器（諸如存儲器220)和/或諸如音頻輸入設備和/ 或音頻/視頻輸入設備的另一適合的輸入設備接收到的信息來生成一個或多個光譜圖。例 如，從麥克風接收到的音頻可以被用來生成一個或多個光譜圖。作為另一示例，從存儲器接 收到的音頻文件可以被用來生成一個或多個光譜圖。在一些實施例中，通過通信接口從另 一設備接收到的音頻被用來生成一個或多個光譜圖。生成的光譜圖可以包括表示頻率的第 一軸、表示時間的第二軸以及在各種時刻的頻率的強度（諸如顏色強度或灰度強度）。在一 些實施例中，處理器210分析至少一個生成的光譜圖的至少一部分以確定一個或多個觸覺 效果。例如，處理器210可以分析光譜圖來確定是否能夠在該光譜圖中檢測到圖案。在圖案 被檢測到的一些實施例中，處理器210可以確定觸覺效果符合該圖案并且應該被輸出。在 一些實施例中，圖案（或其缺少）可以指示特定觸覺效果應該被輸出、特定觸覺效果應該停 止被輸出或者觸覺效果應該被從一個觸覺效果改變?yōu)榱硪挥|覺效果。在本文中公開了許多 其它實施例并且變化在本公開內容的范圍內。
[0030] 一旦處理器210確定應該被輸出的一個或多個效果，處理器210能夠生成一個或 多個輸出信號。例如，在一個實施例中，一個或多個輸出信號由處理器210響應于確定光譜 圖中的圖案而生成。作為另一示例，如果生成的光譜圖的一部分指示圖案正在結束則能夠 由處理器210生成一個或多個輸出信號。在本文中公開了許多其它實施例并且變化在本公 開內容的范圍內。
[0031] 圖2中所圖示的設備僅僅是說明性的，并且在各種其它實施例中，電子設備200可 以包括或者與比圖2中所示出的更少的或附加的組件和/或設備通信。例如，諸如鼠標、鍵 盤、相機和/或（一個或多個）其它輸入設備的其它用戶輸入設備可以被包括在電子設備 200內或者與電子設備200通信。作為另一示例，電子設備200可以包括或者以其它方式與 一個或多個傳感器和/或一個或多個觸覺輸出設備通信。在另一示例中，電子設備200可 以在一個實施例中不包括通信接口 250。作為又一個示例，電子設備200可以在實施例中不 與觸覺輸出設備260通信。在本文中公開了許多其它實施例并且變化在本公開內容的范圍 內。
[0032] 還可以修改各種其它組件。例如，在一些實施例中，傳感器270被部分地或完全地 部署在外殼205內。作為另一不例，傳感器270可以被部署在電子設備200的外殼205內。 在一個實施例中，電子設備200不與觸覺輸出設備260通信并且不包括通信接口 250。在另 一實施例中，電子設備200不包括觸敏顯示器230或通信接口 250,但是包括觸敏表面并且 與外部顯示器通信。在其它實施例中，電子設備200可以根本不包括或者與觸覺輸出設備 通信。因此，在各種實施例中，諸如在本文中所公開的各種實施例以及對于本領域的技術人 員將顯而易見的變化中，電子設備200可以包括或者與任何數(shù)目的組件通信。
[0033] 電子設備200可以是能夠接收用戶輸入的任何設備。例如，圖2中的電子設備200 包括包含觸敏表面的觸敏顯示器230。在一些實施例中，觸敏表面可以被重疊在觸敏顯示 器230上。在其它實施例中，電子設備200可以包括或者與顯示器和單獨的觸敏表面通信。 在仍然其它的實施例中，電子設備200可以包括或者與顯示器通信并且可以包括或者與其 它用戶輸入設備通信，所述其它用戶輸入設備諸如鼠標、鍵盤、按鈕、旋鈕、滑塊控件、開關、 輪、滾柱、其它操縱或其組合。
[0034] 在一些實施例中，一個或多個觸敏表面可以被包括在電子設備200的一個或多個 側面上或者部署在電子設備200的一個或多個側面內。例如，在一個實施例中，觸敏表面被 部署在電子設備200的后表面內或者包括電子設備200的后表面。在另一實施例中，第一 觸敏表面被部署在電子設備200的后表面內或者包括電子設備200的后表面，并且第二觸 敏表面被部署在電子設備200的側表面內或者包括電子設備200的側表面。在一些實施例 中，諸如在蛤殼布置中或在可滑動布置中，電子設備200可以包括兩個或更多個外殼組件。 例如，一個實施例包括具有其中觸摸屏顯示器被部署在蛤殼的各部分中的每一個中的蛤殼 配置的電子設備200。此外，在電子設備200在電子設備200的一個或多個側面上包括至少 一個觸敏表面的一些實施例中或在電子設備200與外部觸敏表面通信的一些實施例中，顯 示器230可以或者可以不包括觸敏表面。在一些實施例中，一個或多個觸敏表面可以具有 柔性觸敏表面。在這樣的實施例中，用戶也許能使柔性觸敏表面彎曲或者以其它方式變形 作為輸入的方法。例如，在一個實施例中，電子設備具有柔性觸摸屏顯示器并且用戶能夠通 過按柔性觸摸屏顯示器上的位置來使柔性觸摸屏顯示器變形以將信息輸入到電子設備。在 其它實施例中，一個或多個觸敏表面可以是剛性的。在各種實施例中，電子設備200可以包 括既柔性且剛性的觸敏表面。
[0035] 圖2中所示出的電子設備200的外殼205為電子設備200的組件[Y1]中的至少 一些提供保護。例如，外殼205可以是保護處理器210和存儲器220免遭諸如雨的外來物 品的塑料殼體。在一些實施例中，如果電子設備200被用戶丟棄，則外殼205保護外殼205 中的組件免遭損壞。外殼205能夠由包括但不限于塑料、橡膠或金屬的任何適合的材料制 成。各種實施例可以包括不同類型的外殼或多個外殼。例如，在一些實施例中，電子設備 200可以是便攜式設備、手持式設備、玩具、游戲控制臺、手持式視頻游戲系統(tǒng)、游戲板、游戲 控制器、臺式計算機、便攜式多功能設備，諸如手機、智能電話、個人數(shù)字助理（PDA)、電子閱 讀機、便攜式閱讀設備、手持式閱讀設備、膝上型電腦、平板計算機、數(shù)字音樂播放機、遙控 器、醫(yī)療儀器等。在一些實施例中，電子設備200可以被嵌入在諸如車輛、腕表、其它首飾、 臂帶、手套、眼鏡等的另一設備中。因此，在一些實施例中，電子設備200是可穿戴的。在實 施例中，電子設備200被嵌入在諸如例如汽車的控制臺或轉向輪的另一設備中。在本文中 公開了許多其它實施例并且變化在本公開內容的范圍內。
[0036] 在圖2中所示出的實施例中，觸敏顯示器230提供用于用戶與電子設備200交互 的機制。例如，觸敏顯示器230響應于用戶懸停在觸敏顯示器230之上、觸摸觸敏顯示器 230或者按觸敏顯示器230(其中的全部都可以在本公開內容中被稱為接觸）而檢測到用 戶的手指的位置或壓力或兩者。在一個實施例中，接觸能夠通過使用相機而發(fā)生。例如，相 機可以被用來在讀者查看在電子設備200的顯示器230上顯示的內容時候跟蹤觀眾的眼移 動。在這個實施例中，可以至少部分地基于觀眾的眼移動來觸發(fā)觸覺效果。例如，可以在做 出了觀眾正在查看在顯示器230的特定位置處的內容的確定時輸出觸覺效果。在一些實施 例中，觸敏顯示器230可以包括一個或多個傳感器、與一個或多個傳感器連接或者以其它 方式與一個或多個傳感器通信，所述一個或多個傳感器確定一個或多個接觸在觸敏顯示器 230上的位置、壓力、接觸斑的尺寸，或這些中的任一個。
[0037] 例如，在一個實施例中，觸敏顯示器230包括或者與互電容系統(tǒng)通信。在另一實 施例中，觸敏顯示器230包括或者與絕對電容系統(tǒng)通信。在一些實施例中，觸敏顯示器230 可以包括或者與電阻式面板、電容式面板、紅外線LED、光電檢測器、圖像傳感器、光學相機 或其組合通信。因此，觸敏顯示器230可以并入任何適合的技術來確定觸敏表面上的接觸， 所述任何適合的技術諸如例如電阻式、電容式、紅外線、光學、熱、耗散信號、或聲脈沖技術 或其組合。在一些實施例中，至少部分地基于交互和/或從能夠被用來確定一個或多個交 互的一個或多個傳感器接收到的其它信息來修改或者以其它方式配置確定的觸覺效果。例 如，可以基于一個或多個交互來增加或者減少觸覺效果的強度參數(shù)。在一些實施例中，顯示 器不是觸敏的。在其它實施例中，電子設備200不具有顯示器。
[0038] 在圖2中所示出的實施例中，觸覺輸出設備240和260與處理器210通信并且被 配置成提供一個或多個觸覺效果。例如，在一個實施例中，當致動信號被處理器210提供給 觸覺輸出設備240、觸覺輸出設備260或兩者時，相應的（一個或多個）觸覺輸出設備240、 260基于該致動信號來輸出觸覺效果。例如，在所示出的實施例中，處理器210被配置成向 觸覺輸出設備240傳送包括模擬驅動信號的觸覺輸出信號。在一些實施例中，處理器210 被配置成向觸覺輸出設備260傳送命令，其中該命令包括待用來生成適當?shù)尿寗有盘栆允?觸覺輸出設備260輸出觸覺效果的參數(shù)。在其它實施例中，不同的信號和不同的信號類型 可以被發(fā)送到一個或多個觸覺輸出設備中的每一個。例如，在一些實施例中，處理器可以傳 送低電平驅動信號來驅動觸覺輸出設備以輸出觸覺效果。這樣的驅動信號可以被放大器放 大，或者可以使用適合的處理器或電路從數(shù)字信號到模擬信號或者從模擬信號到數(shù)字信號 轉換以適應正被驅動的特定觸覺輸出設備。
[0039] 觸覺輸出設備（諸如觸覺輸出設備240或260)可以是能夠輸出一個或多個觸覺 效果的組件或組件的合集。例如，觸覺輸出設備可以是各種類型中的一個，包括但不限于偏 心旋轉質量（ERM)致動器、線性諧振致動器（LRA)、壓電致動器、語音線圈致動器、電活性聚 合物（EAP)致動器、記憶形狀合金、尋呼機、DC電機、AC電機、移動磁體致動器、E-磁芯致 動器、智能凝膠、靜電致動器、電觸覺致動器、可變形表面、靜電摩擦（ESF)設備、超聲摩擦 (USF)設備，或執(zhí)行觸覺輸出設備的功能或者能夠輸出觸覺效果的任何其它觸覺輸出設備 或組件的合集。多個觸覺輸出設備或不同大小的觸覺輸出設備可以被用來提供可以被逐個 地或者同時地致動的一系列振動頻率。各種實施例可以包括單個或多個觸覺輸出設備并且 可以具有相同的類型或不同類型的觸覺輸出設備的組合。在一些實施例中，一個或多個觸 覺輸出設備諸如經(jīng)由有線或無線通信直接地或間接地與電子設備通信。在一個實施例中， 電子設備能夠被放入車輛或者集成到車輛中并且一個或多個觸覺輸出設備被嵌入到該車 輛中。例如，一個或多個觸覺輸出設備可以被嵌入在車輛的座位、轉向輪、踏板等中。在一 些實施例中，代替具有觸覺輸出設備240和/或觸覺輸出設備260或者除具有觸覺輸出設 備240和/或觸覺輸出設備260之外，電子設備200具有一個或多個其它輸出設備。例如， 電子設備200可以具有揚聲器和/或顯不器。在一個實施例中，電子設備200具有一個或 多個觸覺輸出設備、一個或多個揚聲器以及一個或多個顯不器。在本文中公開了許多其它 實施例并且變化在本公開內容的范圍內。
[0040] 在各種實施例中，可以以任何數(shù)目的方式或者以方式的組合產(chǎn)生一個或多個觸覺 效果。例如，在一個實施例中，一個或多個振動可以被用來諸如通過使偏心質量旋轉或者通 過線性地振蕩質量來產(chǎn)生觸覺效果。在一些這樣的實施例中，觸覺效果可以被配置成將振 動給予給整個電子設備或者給該電子設備的僅一個表面或有限的部分。在另一實施例中， 諸如通過對移動組件施加制動例如以將阻力提供給組件的移動或者以提供轉矩，在兩個或 更多個組件之間的摩擦或在至少一個組件與至少一個觸點之間的摩擦可以被用來產(chǎn)生觸 覺效果。為了生成振動效果，許多設備利用某種類型的致動器和/或其它觸覺輸出設備。用 于此目的的已知觸覺輸出設備包括電磁致動器，諸如偏心質量在其中被電機移動的偏心旋 轉質量（"ERM"）、附連到彈簧的質量在其中被來回地驅動的線性諧振致動器（"LRA"）或 諸如壓電、電活性聚合物或形狀記憶合金的"智能材料"。
[0041] 在其它實施例中，一個或多個組件的變形能夠被用來產(chǎn)生觸覺效果。例如，可以輸 出一個或多個觸覺效果以改變表面的形狀或表面的摩擦的系數(shù)。在實施例中，通過創(chuàng)建被 用來改變表面上的摩擦的靜電力和/或超聲力來產(chǎn)生一個或多個觸覺效果。在其它實施例 中，透明變形元件的陣列可以被用來產(chǎn)生觸覺效果，諸如包括智能凝膠的一個或多個區(qū)域。 觸覺輸出設備同樣廣泛地包括非化學或非振動設備，諸如使用靜電摩擦（ESF)、超聲表面摩 擦（USF)的那些，或對超聲觸覺換能器引發(fā)超聲輻射壓力的那些，或使用觸覺基底和柔性 或可變形表面的那些，或使用空氣噴射提供諸如一陣空氣的投影觸覺輸出的那些等等。在 一些實施例中，觸覺效果是動覺效果。
[0042] 在圖2中，通信接口 250與處理器210通信并且從電子設備200向其它組件或其 它設備提供有線或無線通信。例如，通信接口 250可以在電子設備200與無線傳感器或無 線致動設備之間提供無線通信。在一些實施例中，通信接口 250可以將通信提供給一個或 多個其它設備，諸如另一電子設備200,以允許用戶在它們相應的設備處與彼此交互。通信 接口 250可以是使得多壓力觸敏輸入電子設備200能夠與另一組件或設備進行通信的任何 組件或組件的合集。例如，通信接口 250可以包括PCI網(wǎng)絡適配器、USB網(wǎng)絡適配器或以太 網(wǎng)適配器。通信接口 250可以使用包括802.lla、g、b或n標準的無線以太網(wǎng)進行通信。在 一個實施例中，通信接口 250可以使用射頻（RF)、藍牙、CDMA、TDMA、FDMA、GSM、WiFi、衛(wèi)星 或其它蜂窩或無線技術進行通信。在其它實施例中，通信接口 250可以通過有線連接進行 通信并且可以與諸如以太網(wǎng)、令牌環(huán)、USB、火線1394、光纖等的一個或多個網(wǎng)絡通信。在一 些實施例中，電子設備200包括單個通信接口 250。在其它實施例中，電子設備200包括兩 個、三個、四個或更多個通信接口。因此，在一些實施例中，電子設備200能夠通過一個或多 個通信接口與一個或多個組件和/或設備進行通信。在其它實施例中，電子設備200可以 不包括通信接口 250。
[0043] 在圖2中，傳感器270與處理器210通信并且將傳感器信息提供給處理器210。例 如，傳感器270可以將一個或多個交互提供給處理器210。傳感器270可以提供指示一個或 多個交互的輸入信號。作為另一示例，傳感器270能夠將對應于與電子設備200的一個或 多個交互的信息提供給處理器210。在一些實施例中，傳感器270向處理器210提供的信息 對應于與整個電子設備200的交互，諸如用戶搖動電子設備200。在其它實施例中，傳感器 270向處理器210提供的信息對應于與電子設備200的一部分（諸如觸敏顯示器230或另 一適合的輸入設備）的交互。
[0044] 圖2中所示出的實施例描繪了單個傳感器270。在一些實施例中，能夠使用多個傳 感器。附加地，傳感器可以被收容在與電子設備200的其它組件相同的組件中或者在單獨 的組件中。例如，在一些實施例中，處理器210、存儲器220以及傳感器270全部被包括在諸 如便攜式音樂播放機、便攜式電話和/或可穿戴設備的電子設備200中。在一些實施例中， 傳感器被放入與收容存儲器和/或處理器的另一組件分離的組件。例如，可穿戴傳感器可 以經(jīng)由有線或無線連接與處理器和存儲器或電子設備通信。
[0045] 傳感器270可以包括任何數(shù)目和/或類型的感測組件。例如，傳感器270能夠包 括加速度計和/或陀螺儀。在下面提供了傳感器和交互的示例的非限制性列表：
[0046]

【權利要求】
1. 一種方法，包括： 接收信號； 至少部分地基于所述信號來生成光譜圖； 至少部分地基于所述光譜圖來確定觸覺效果； 至少部分地基于所述觸覺效果來生成觸覺輸出信號，所述觸覺輸出信號被配置成使觸 覺輸出設備輸出所述觸覺效果；以及 輸出所述觸覺輸出信號。
2. 根據(jù)權利要求1所述的方法，其中，所述信號包括音頻信號。
3. 根據(jù)權利要求2所述的方法，其中，所述信號還包括視頻信號。
4. 根據(jù)權利要求1所述的方法，其中，所述信號包括加速度信號、速率信號或溫度信號 中的至少一個。
5. 根據(jù)權利要求2所述的方法，其中，生成所述光譜圖包括： 為所述音頻信號的至少一個段計算傅里葉變換，每個段對應于所述音頻信號在相應的 時間窗中的值。
6. 根據(jù)權利要求5所述的方法，其中，所述至少一個段包括第一段和第二段，所述第二 段至少部分地與所述第一段重疊。
7. 根據(jù)權利要求5所述的方法，其中，所述至少一個段包括第一段和第二段，所述第二 段與所述第一段不重疊。
8. 根據(jù)權利要求5所述的方法，其中，所述至少一個段包括第一段并且所述第一段的 相應的時間窗小于75毫秒。
9. 根據(jù)權利要求1所述的方法，其中，生成所述光譜圖包括： 生成與第一頻率范圍相對應的二維圖像，所述第一頻率范圍與所述信號相關聯(lián)。
10. 根據(jù)權利要求9所述的方法，其中，生成所述光譜圖還包括： 將所述二維圖像分割成多個二維圖像，在所述多個二維圖像中的每個圖像包括在所述 第一頻率范圍內的相應的頻率范圍。
11. 根據(jù)權利要求10所述的方法，其中，在所述多個二維圖像中的第一二維圖像的第 一相應的頻率范圍不同于在所述多個二維圖像中的其它二維圖像的相應的頻率范圍。
12. 根據(jù)權利要求11所述的方法，其中，所述第一相應的頻率部分地與在所述多個二 維圖像中的第二二維圖像的第二相應的頻率范圍重疊。
13. 根據(jù)權利要求1所述的方法，其中，生成所述光譜圖包括： 生成多個光譜圖，每個光譜圖符合與所述信號相關聯(lián)的相應的有區(qū)別的頻率范圍。
14. 根據(jù)權利要求13所述的方法，其中，確定所述觸覺效果包括： 對所述多個光譜圖的子集分析與預定義的觸覺效果相對應的特性；以及 響應于定位與所述預定義的觸覺效果相對應的所述特性，選擇所述預定義的觸覺效 果。
15. 根據(jù)權利要求1所述的方法，其中，確定所述觸覺效果包括： 對于多個有區(qū)別的頻率范圍中的每一個： 遍及該有區(qū)別的頻率范圍對所述光譜圖分析特性； 確定與所述特性相對應的觸覺效果；以及 響應于定位所述光譜圖中的所述特性，選擇所述觸覺效果。
16. 根據(jù)權利要求1所述的方法，其中，確定所述觸覺效果包括： 確定所述光譜圖的特性；以及 確定與所述特性相對應的觸覺效果。
17. 根據(jù)權利要求16所述的方法，其中，確定所述光譜圖的特性包括： 對于多個預定義的特性中的每一個，每個預定義的特性符合至少一個預定義的觸覺效 果： 確定所述光譜圖是否包括該預定義的特性；以及 響應于確定所述光譜圖包括該預定義的特性，選擇符合該預定義的特性的至少一個預 定義的觸覺效果作為所確定的觸覺效果。
18. 根據(jù)權利要求16所述的方法， 其中，所述光譜圖包括時間維度，并且 其中，確定所述光譜圖的特性包括在所述光譜圖的時間維度內確定圖案。
19. 根據(jù)權利要求15所述的方法， 其中，所述光譜圖包括頻率維度，并且 其中，確定所述光譜圖的特性包括在所述光譜圖的頻率維度內確定圖案。
20. 根據(jù)權利要求16所述的方法，其中，確定所述光譜圖的特性包括： 在所述光譜圖中確定第一特性與第二特性之間的轉變。
21. 根據(jù)權利要求16所述的方法，其中，確定所述光譜圖的特性包括： 對所述光譜圖應用至少一個技術來生成多個區(qū)，所述至少一個技術包括邊緣檢測、閾 值檢測、群集檢測或顏色直方圖群集檢測；以及 使所述多個區(qū)的子集與至少一個觸覺效果相匹配。
22. -種計算機可讀介質，所述計算機可讀介質包括程序代碼以用于： 接收信號； 至少部分地基于所述信號來生成光譜圖； 至少部分地基于所述光譜圖來確定觸覺效果； 至少部分地基于所述觸覺效果來生成觸覺輸出信號，所述觸覺輸出信號被配置成使觸 覺輸出設備輸出所述觸覺效果；以及 輸出所述觸覺輸出信號。
23. -種系統(tǒng)，包括： 輸入設備； 觸覺輸出設備；以及 與所述輸入設備和所述觸覺輸出設備通信的處理器，所述處理器被配置用于： 從所述輸入設備接收信號； 至少部分地基于所述信號來生成光譜圖； 至少部分地基于所述光譜圖來確定觸覺效果； 至少部分地基于所述觸覺效果來生成觸覺輸出信號，所述觸覺輸出信號被配置成使所 述觸覺輸出設備輸出所述觸覺效果；以及 向所述觸覺輸出設備輸出所述觸覺輸出信號。
【文檔編號】G06F3/01GK104423591SQ201410452683
【公開日】2015年3月18日 申請日期:2014年9月5日 優(yōu)先權日:2013年9月6日
【發(fā)明者】君·曼扭爾·克魯斯-赫南德斯, 賈邁勒·沙博恩 申請人:意美森公司