用于使用增強(qiáng)現(xiàn)實提供社交網(wǎng)絡(luò)服務(wù)的設(shè)備和方法
【專利摘要】本發(fā)明提供一種用于使用增強(qiáng)現(xiàn)實提供社交網(wǎng)絡(luò)服務(wù)的設(shè)備和方法。一種用于通過使用增強(qiáng)現(xiàn)實來提供社交網(wǎng)絡(luò)服務(wù)(SNS)的系統(tǒng)。所述系統(tǒng)包括：第一裝置，被構(gòu)造為接收第一用戶的圖像，基于接收的圖像創(chuàng)建參考圖像，并將參考圖像發(fā)送給第二裝置；和第二裝置，被構(gòu)造為從第一裝置接收參考圖像，基于參考圖像和第二用戶的當(dāng)前環(huán)境信息產(chǎn)生虛擬圖像，并在預(yù)定位置顯示虛擬圖像。
【專利說明】用于使用增強(qiáng)現(xiàn)實提供社交網(wǎng)絡(luò)服務(wù)的設(shè)備和方法
[0001]本申請要求于2012年11月13日提交的第10-2012-0128337號韓國專利申請的優(yōu)先權(quán)和利益，其全部公開為了所有目的通過引用包含于此。
【技術(shù)領(lǐng)域】
[0002]下面的描述涉及通過使用電視系統(tǒng)實現(xiàn)增強(qiáng)現(xiàn)實來提供社交網(wǎng)絡(luò)服務(wù)。
【背景技術(shù)】
[0003]隨著近來經(jīng)社交網(wǎng)絡(luò)服務(wù)(SNS)分享意見和交換信息的趨勢，已經(jīng)開始關(guān)注允許用戶在觀看相同電視(TV)節(jié)目的同時與其他用戶實時聊天的系統(tǒng)。通常，用戶需要在觀看TV的同時觀看顯示器并使用鍵盤輸入消息以繼續(xù)會話。因此，用戶難以在將其注意力集中于觀看TV的同時在鍵盤上進(jìn)行輸入。因此，通過將SNS簡單應(yīng)用于TV，TV已從家用電器演進(jìn)為由許多用戶享受的通信系統(tǒng)。然而，這些通信系統(tǒng)不提供這樣的環(huán)境:用戶可感覺到一組人實際位于同一地點(diǎn)并在一起觀看TV的同時進(jìn)行真實會話。

【發(fā)明內(nèi)容】

[0004]該“
【發(fā)明內(nèi)容】
”用于以簡化的形式介紹以下在“【具體實施方式】”中進(jìn)一步描述的概念的選擇。該“
【發(fā)明內(nèi)容】
”并不意圖識別要求保護(hù)的主題的關(guān)鍵特征或必要特征，它也不應(yīng)該用于確定要求保護(hù)的主題的范圍。
[0005]在一個總體方面，提供一種用于提供社交網(wǎng)絡(luò)服務(wù)(SNS)的系統(tǒng)，所述系統(tǒng)包括:第一裝置，被構(gòu)造為接收第一用戶的圖像，基于接收的圖像創(chuàng)建參考圖像，并將參考圖像發(fā)送給第二裝置；和第二裝置，被構(gòu)造為從第一裝置接收參考圖像，基于參考圖像和第二用戶的當(dāng)前環(huán)境信息產(chǎn)生虛擬圖像，并在預(yù)定位置顯示虛擬圖像。
[0006]第一裝置可包括:圖像傳感器，被構(gòu)造為收集第二用戶的圖像并將收集的圖像發(fā)送給第一用戶。
[0007]第一裝置可還被構(gòu)造為:接收第一用戶的第一音頻并輸出第一音頻或?qū)⒌谝灰纛l發(fā)送給第二裝置，并且接收第二用戶的第二音頻并將第二音頻發(fā)送給第一用戶。
[0008]第一裝置可還被構(gòu)造為接收一個或多個控制指令以控制第一裝置，控制指令包括用于顯示當(dāng)前正在觀看廣播節(jié)目的第二用戶的朋友的列表的指令或用于發(fā)起與第二用戶的一個或多個朋友的會話的指令。
[0009]環(huán)境信息可包括第二用戶的觀看方向和觀看角度中的至少一個。
[0010]第二裝置可還被構(gòu)造為基于環(huán)境信息和顯示虛擬圖像的位置確定虛擬圖像的形狀。
[0011]第一裝置可以是被構(gòu)造為接收并輸出TV信號的電視，并且第二裝置可以是可穿戴裝置。
[0012]虛擬圖可被顯示為與第一裝置上顯示的另一圖像重疊。
[0013]在另一總體方面，一種提供社交網(wǎng)絡(luò)服務(wù)(SNS)的方法，所述方法包括:在第一裝置接收SNS的第一用戶的圖像；基于接收的圖像創(chuàng)建參考圖像；將參考圖像發(fā)送給第二裝置；在第二裝置基于參考圖像和第二用戶的當(dāng)前環(huán)境信息產(chǎn)生虛擬圖像；以及在預(yù)定位置顯示虛擬圖像。
[0014]所述方法可還包括:接收第一用戶的第一音頻；以及輸出第一用戶的第一音頻或?qū)⒌谝灰纛l發(fā)送給第二裝置。
[0015]所述方法可還包括:將由圖像傳感器收集的第二用戶的圖像發(fā)送給第一用戶。
[0016]環(huán)境信息可包括:第二用戶的觀看方向和觀看角度中的至少一個。
[0017]產(chǎn)生虛擬圖像的步驟可包括:基于環(huán)境信息和顯示虛擬圖像的位置確定將要產(chǎn)生的虛擬圖像的形狀。
[0018]第一裝置可以是被構(gòu)造為接收并輸出TV信號的電視，并且第二裝可以是可穿戴
>J-U ρ?α裝直。
[0019]創(chuàng)建參考圖像的步驟可包括:基于接收的圖像和第一用戶的默認(rèn)圖像創(chuàng)建參考圖像。
[0020]默認(rèn)圖像可基于 第一用戶的情緒狀態(tài)和第一用戶的臉部表情中的至少一個。 [0021]默認(rèn)圖像可被存儲在默認(rèn)圖像數(shù)據(jù)庫中，并且可包括虛擬化身、名人的圖像、第一用戶的真實圖像和與第一用戶關(guān)聯(lián)的圖像中的至少一個。
[0022]顯示虛擬圖像的步驟可包括:將虛擬圖像顯示為與第一裝置上顯示的另一圖像重疊。
[0023]顯示虛擬圖像的步驟可包括:顯示第一用戶的虛擬圖像的一部分。
[0024]在另一總體方面，一種裝置包括:至少一個圖像傳感器，所述圖像傳感器被構(gòu)造為收集第一用戶的圖像；第一通信單元，被構(gòu)造為將第一用戶的圖像發(fā)送給第二用戶并且接收第二用戶的圖像；圖像創(chuàng)建單元，被構(gòu)造為基于接收的第二用戶的圖像創(chuàng)建參考圖像；和第二通信單元，被構(gòu)造為將參考圖像發(fā)送給第二裝置，并且使用參考圖像產(chǎn)生將要被顯示給第一用戶的虛擬圖像。
[0025]所述裝置可還包括:用戶識別單元，被構(gòu)造為識別第一用戶；和指令處理單元，被構(gòu)造為從第一用戶接收各種控制指令并響應(yīng)于控制指令處理相應(yīng)操作。
[0026]控制指令可包括以下各項中的至少一個:顯示所有朋友的列表、顯示當(dāng)前正在觀看廣播節(jié)目的朋友的列表、和發(fā)起與特定朋友的會話。
[0027]所述裝置可還包括:語音輸出單元，被構(gòu)造為輸出通過第一通信單元接收的第二用戶的音頻；和語音接收單元，被構(gòu)造為接收第一用戶的音頻并通過第一通信單元將第一用戶的音頻發(fā)送給第二用戶。
[0028]所述裝置可還包括:默認(rèn)圖像數(shù)據(jù)庫(DB)，被構(gòu)造為存儲用于創(chuàng)建參考圖像的默認(rèn)圖像，其中，所述圖像創(chuàng)建單元被構(gòu)造為基于接收的第二用戶的圖像選擇一個默認(rèn)圖像以創(chuàng)建參考圖像。
[0029]在另一總體方面，一種第二裝置包括:通信單元，被構(gòu)造為從第一裝置接收第二用戶的參考圖像；環(huán)境識別單元，被構(gòu)造為識別正在觀看第一裝置上顯示的內(nèi)容的第一用戶的當(dāng)前環(huán)境信息；渲染單元，被構(gòu)造為基于接收的圖像和環(huán)境信息產(chǎn)生虛擬圖像；和顯示單元，被構(gòu)造為在預(yù)定位置顯示產(chǎn)生的虛擬圖像。
[0030]所述第二裝置可還包括:圖像傳感器，被構(gòu)造為創(chuàng)建第一用戶的圖像；以及所述環(huán)境識別單元分析第一用戶的圖像并產(chǎn)生包括該用戶的觀看方向和觀看角度中的至少一個的環(huán)境信息。
[0031]渲染單元可還被構(gòu)造為基于環(huán)境信息和顯示虛擬圖像的位置確定虛擬圖像的形狀。
[0032]所述第二裝置可還包括:語音輸出單元，被構(gòu)造為輸出通過通信單元從第一裝置接收的第二用戶的講話語音；和語音接收單元，被構(gòu)造為接收第一用戶的講話語音并通過通信單元將接收的語音發(fā)送給第一裝置。
[0033]第二裝置可以是可穿戴裝置。
[0034]通過下面的詳細(xì)描述、附圖和權(quán)利要求，其它特點(diǎn)和方面將會變得清楚。
【專利附圖】

【附圖說明】
[0035]圖1是示出用于提供社交網(wǎng)絡(luò)服務(wù)的設(shè)備的示例的示圖。
[0036]圖2是示出用于提供社交網(wǎng)絡(luò)服務(wù)的設(shè)備的示例的示圖。
[0037]圖3A至圖3C是示出顯示用戶朋友的圖像的示例的示圖。
[0038]圖4是示出提供社交網(wǎng)絡(luò)服務(wù)的方法的示例的示圖。
[0039]圖5是示出第一裝置的示例的示圖。
[0040]圖6是示出第一裝置的操作的示例的示圖。
[0041]圖7是示出第二裝置的示例的示圖。
[0042]圖8是示出第二裝置的操作的示例的示圖。
[0043]在貫穿附圖和詳細(xì)描述中，除非另外描述，否則相同標(biāo)號將會始終被理解為表示相同元件、特點(diǎn)和結(jié)構(gòu)。為了清楚、說明和方便，這些元件的相對尺寸和描述可被夸大。
【具體實施方式】
[0044]提供下面的描述以幫助閱讀者獲得對這里描述的方法、設(shè)備和/或系統(tǒng)的全面理解。因此，對于本領(lǐng)域普通技術(shù)人員而言，這里描述的方法、設(shè)備和/或系統(tǒng)的各種改變、變型和等同物將會是清楚的。此外，為了更加清楚和簡潔，公知功能和構(gòu)造的描述可被省略。
[0045]圖1是示出用于提供社交網(wǎng)絡(luò)服務(wù)的設(shè)備I的示例的示圖。參照圖1，系統(tǒng)I可包括第一裝置100和第二裝置200。僅作為非窮舉說明，第一裝置100可以是任何類型的裝置，諸如例如2D/3D智能TV、高清晰度電視(HDTV)、連接到智能盒的TV、連接到機(jī)頂盒的TV、游戲控制臺、裝備有TV調(diào)諧器卡的計算機(jī)、移動電話、智能電話、可穿戴智能裝置(諸如例如，手表、眼鏡等)、平板個人計算機(jī)(PC)、個人數(shù)字助手(PDA)、數(shù)字照相機(jī)、便攜式游戲控制臺和MP3播放器、便攜式/個人多媒體播放器(PMP)、手提式電子書、超移動個人計算機(jī)(UMPC)、便攜式膝上型PC、全球定位系統(tǒng)(GPS)和能夠使用戶享受各種內(nèi)容(諸如例如，廣播節(jié)目、游戲、視頻、電影、音頻和音樂)的裝置(諸如，桌上型PC、光盤播放器、機(jī)頂盒、電器等)。為了方便描述，具有TV接收器功能的裝置被用作用于描述第一裝置100的構(gòu)造的示例。
[0046]第一裝置100能夠使用戶在觀看TV的同時實時地與朋友通信。第一裝置100將朋友列表提供給用戶，將會話請求發(fā)送給從朋友列表選擇的朋友的第一裝置，并且能夠使用戶向接受會話請求的朋友發(fā)起實時會話。第一裝置100可從接受會話請求的朋友的第一裝置接收朋友的圖像。第一裝置100可使用圖像傳感器110收集用戶的圖像并且將收集的圖像發(fā)送給從朋友列表選擇的用戶朋友?？商峁┮粋€或多個圖像傳感器110，并且每個圖像傳感器Iio可創(chuàng)建2D圖像、3D圖像、高清晰度3D圖像或全息圖。第一裝置100可接收并輸出用戶朋友的語音，并且可將用戶的語音發(fā)送給用戶朋友的第一裝置，由此能夠使用戶在觀看TV的同時進(jìn)行實時音頻會話。
[0047]第二裝置200可通過有線或無線通信網(wǎng)絡(luò)與第一裝置100連接，并且可能夠發(fā)送和接收各種數(shù)據(jù)。第二裝置200可顯示朋友的虛擬圖像。例如，如圖1中所示，第二裝置200可以是具有眼鏡形式的可穿戴裝置，該眼鏡具有鏡框21和鏡片24。在另一非窮舉示例中，第二裝置200可以是具有單屏或多屏顯示器的智能手表。上述第二裝置200的示例僅是非窮舉說明，并且能夠創(chuàng)建并顯示圖像并且與第一裝置100通信的所有其它類型的第二裝置200被視為全部落在本公開的范圍內(nèi)。
[0048]第二裝置200可基于由第一裝置100接收的用戶朋友的圖像產(chǎn)生將要顯示給用戶的虛擬圖像。第二裝置200可在用戶所希望的位置顯示虛擬圖像。參照圖1，第二裝置200可包括圖像傳感器22，諸如例如可捕捉用戶的移動和位置的相機(jī)。第二裝置200可還包括顯示單元23以在特定位置顯示產(chǎn)生的虛擬圖像。僅在另一非窮舉示例中，顯示單元23可在鏡片24上顯示用戶朋友的虛擬圖像。圖像傳感器22可還檢測用戶的移動以識別用戶的狀態(tài)(諸如例如，用于識別用戶的所希望的位置的用戶的眼睛位置或觀看角度)。
[0049]圖2是示出用于提供SNS的設(shè)備的示例的示圖。圖1的描述也適用于圖2，因此，將不會在這里被重復(fù)。參照圖2，系統(tǒng)I可包括第一裝置100和第二裝置200。第一裝置100可包括:圖像傳感器110、外部通信單元120、圖像創(chuàng)建單元130、內(nèi)部通信單元140和語音處理單元150。如上所述，圖像傳感器110可收集用戶的圖像。
[0050]外部通信單元120可發(fā)送和接收實時SNS活動所需的各種數(shù)據(jù)。例如,外部通信單元120可經(jīng)有線或無線連接與用戶朋友的第一裝置連接。僅作為另一非窮舉說明，外部通信單元120還可經(jīng)有線或無線連接與用戶朋友的第一裝置的外部通信單元連接。外部通信單元120可能夠諸如例如在接收到來自用戶的請求時執(zhí)行各種任務(wù)，外部通信單元120可將會話發(fā)起請求消息發(fā)送給其它裝置。僅作為其它非窮舉說明，外部通信單元120可從其它裝置接收會話接受信息，外部通信單元120可從其它裝置接收圖像、音頻和視頻，并且外部通信單元120可將圖像或用戶的語音發(fā)送給其它參與裝置。
[0051]圖像創(chuàng)建單元130可基于通過外部通信單元120接收的參與會話的用戶朋友的圖像創(chuàng)建參考圖像。例如，參考圖像可以是從用戶的朋友接收的圖像。僅作為另一非窮舉說明，參考圖像可以是針對用戶的每個朋友預(yù)先確定的默認(rèn)圖像。默認(rèn)圖像可被存儲在默認(rèn)圖像數(shù)據(jù)庫(DB)(未示出)中。默認(rèn)圖像DB可存儲用戶及其朋友的各種圖像，包括但不限于虛擬化身、名人的圖像、參與會話的用戶的真實圖像以及與用戶及其朋友關(guān)聯(lián)的圖像。
[0052]當(dāng)用戶的朋友接受會話請求時，圖像創(chuàng)建單元130可檢查默認(rèn)圖像DB是否包含分配給用戶朋友的默認(rèn)圖像。如果默認(rèn)圖像存在于默認(rèn)圖像DB中，則圖像創(chuàng)建單元130可基于默認(rèn)圖像創(chuàng)建參考圖像。僅在另一非窮舉示例中，響應(yīng)于接收到用戶朋友的圖像，圖像創(chuàng)建單元130可向第一裝置100的顯示器或第二裝置200的顯示器提供多個默認(rèn)圖像，并且從默認(rèn)圖像選擇的圖像可被用作參考圖像。
[0053]用戶可基于接收的圖像識別用戶朋友的情緒狀態(tài)(例如，高興、悲傷、憤怒等)，并選擇與情緒狀態(tài)相關(guān)的默認(rèn)圖像(例如，具有高興的臉部表情的默認(rèn)圖像、具有悲傷的臉部表情的默認(rèn)圖像、具有憤怒的臉部表情的默認(rèn)圖像等)。用戶還可根據(jù)用戶的心情為用戶朋友選擇具有不同臉部表情的默認(rèn)圖像。例如，如果用戶對特定會話參與者感到憤怒，則用戶可為該用戶選擇具有不愉快的臉部表情的默認(rèn)圖像。作為另一非窮舉示例，如果用戶對另一會話參與者抱有贊許的感覺，則用戶可為該會話參與者選擇具有友好的臉部表情的默認(rèn)圖像。
[0054]內(nèi)部通信單元140可將每個會話參與者的參考圖像發(fā)送給第二裝置200。內(nèi)部通信單元140可經(jīng)無線通信網(wǎng)絡(luò)(諸如例如，無線移動網(wǎng)絡(luò)、WiMAX, WiF1、藍(lán)牙、近場通信(NFC))或經(jīng)有線通信網(wǎng)絡(luò)(諸如例如，以太網(wǎng)、通用串行總線(USB))與第二裝置200連接。內(nèi)部通信單元140可將數(shù)據(jù)發(fā)送給第二裝置200以及從第二裝置200接收數(shù)據(jù)。例如，響應(yīng)于在會話中從用戶朋友接收到數(shù)據(jù)(諸如，語音)，內(nèi)部通信單元140可將該語音發(fā)送給第二裝置200并且可從第二裝置200接收用戶的響應(yīng)。
[0055]語音處理單元150可輸出通過外部通信單元120接收的用戶朋友的語音。語音處理單元150還可接收用戶的語音并通過外部通信單元120將其發(fā)送給用戶朋友的第一裝置。
[0056]第一裝置100可從用戶接收各種控制指令，并響應(yīng)于接收的指令執(zhí)行操作。例如，當(dāng)?shù)谝谎b置100接收到用于顯示正在觀看同一廣播節(jié)目的人的列表的控制指令時，第一裝置100可將當(dāng)前正在觀看同一廣播節(jié)目的用戶朋友的列表輸出到顯示器。僅作為其它非窮舉示例，當(dāng)?shù)谝谎b置100從用戶接收到用于發(fā)起與特定人的會話的控制指令時，第一裝置100通過外部通信單元120將會話發(fā)起請求信息發(fā)送給從該列表選擇的用戶朋友。
[0057]系統(tǒng)I可還包括中繼服務(wù)器(未示出)。中繼服務(wù)器可實現(xiàn)用戶的不同的SNS活動并且中繼用戶和用戶朋友之間的數(shù)據(jù)發(fā)送/接收。例如，中繼服務(wù)器可響應(yīng)于來自外部通信單元120的請求而提供用戶朋友的列表。僅作為另一非窮舉示例，中繼服務(wù)器可提供關(guān)于用戶朋友的活動的信息(例如，每個朋友當(dāng)前正在觀看的廣播節(jié)目)。僅作為另一非窮舉示例，中繼服務(wù)器可將會話發(fā)起請求發(fā)送給由用戶選擇的朋友，或者中繼服務(wù)器可將來自參與會話的朋友的圖像和/或語音信息發(fā)送給用戶。
[0058]圖3A至圖3C是示出顯示另一用戶的圖像的示例的示圖。參照圖2以及圖3A至圖3C描述社交網(wǎng)絡(luò)服務(wù)系統(tǒng)I的第二裝置200。第二裝置200可包括:內(nèi)部通信單元210、環(huán)境識別單元220、渲染單元230和顯示單元240。
[0059]內(nèi)部通信單元210從第一裝置100接收參考圖像、語音或其它數(shù)據(jù)，并將用戶的語音發(fā)送給第一裝置100。
[0060]環(huán)境識別單元220識別用戶的當(dāng)前環(huán)境(context)情況并產(chǎn)生環(huán)境信息。環(huán)境識別單元220基于識別的用戶的視覺(諸如例如，用戶的當(dāng)前觀看方向或觀看角度)創(chuàng)建環(huán)境信息。環(huán)境識別單元220可從用戶的移動的圖像識別用戶的觀看方向或觀看角度?？捎傻谝谎b置100的圖像傳感器110捕捉并產(chǎn)生用戶的移動的圖像，并且內(nèi)部通信單元210可從第一裝置100接收該圖像。僅在另一非窮舉示例中，如圖1中所示，第二裝置200可包括圖像傳感器22以捕捉并產(chǎn)生用戶的移動的圖像。圖像傳感器22可捕捉包括用戶的臉的用戶的移動以產(chǎn)生環(huán)境信息。
[0061]渲染單元230可渲染參考圖像以產(chǎn)生用戶的虛擬圖像。渲染單元230可基于由環(huán)境識別單元220創(chuàng)建的環(huán)境信息渲染參考圖像。渲染單元230可使用關(guān)于用戶的觀看方向和觀看角度的信息確定將要渲染的虛擬圖像的形狀。
[0062]圖3A和圖3B是示出在任意位置顯示用戶朋友(朋友I和朋友2)的虛擬圖像的示例的示圖。圖3A是示出用戶筆直觀看TV顯示器的正面的示例的示圖。在這個示例中，環(huán)境識別單元220識別出用戶筆直從正面觀看TV。在這種情況下，觀看角度可以是45度(45度是普通人的觀看角度)或者是可由第二裝置200提供的給定值。
[0063]圖3C是示出在用戶可感覺到用戶朋友的虛擬圖像緊挨著該用戶的位置處顯示虛擬圖像的示例的示圖。這里，用戶可分配顯示虛擬圖像的位置。例如，當(dāng)用戶坐在地板上觀看TV時，用戶朋友的虛擬圖像可被顯示在第二裝置中的任意位置，或者當(dāng)用戶坐在沙發(fā)上觀看TV時，該圖像可被顯示在第二裝置中的這樣的位置，該位置使用戶可感覺到就好像用戶朋友正坐在用戶旁邊。
[0064]渲染單元230可確定顯示虛擬圖像的位置，并使用關(guān)于確定的位置和用戶的觀看角度的信息確定渲染的虛擬形狀。例如，如圖3A中所示，當(dāng)用戶的眼睛筆直向前看時，渲染單元230可通過在觀看角度內(nèi)分別僅渲染朋友I的參考圖像的左側(cè)和朋友2的參考圖像的右側(cè)來產(chǎn)生虛擬圖像。如圖3B或圖3C中所示，渲染單元230可在用戶將其眼睛轉(zhuǎn)向右側(cè)時通過渲染落在用戶的觀看角度內(nèi)的朋友2的整個參考圖像來產(chǎn)生虛擬圖像。
[0065]顯示單元240可按照重疊(overlap)方式在給定位置顯示由渲染單元230創(chuàng)建的虛擬圖像。如圖1中所示，如果用戶正在通過鏡片24觀看給定位置處的實際圖像，則顯示單元240可將虛擬圖像顯示為與在第一裝置上顯示的給定位置的實際圖像重疊，由此提供增強(qiáng)現(xiàn)實能力。
[0066]因為可創(chuàng)建用戶朋友的逼真的圖像并且由此允許用戶感覺到就好像用戶朋友正坐在與用戶相同的地點(diǎn)的給定位置，所以當(dāng)用戶朋友由于時間或空間的限制而不能位于相同地點(diǎn)時，在以上示例中描述的裝置可向用戶提供有用的社交環(huán)境。
[0067]環(huán)境識別單元220可實時地識別用戶的環(huán)境情況，并且根據(jù)用戶的觀看方向創(chuàng)建實時環(huán)境信息。環(huán)境識別單元220可將關(guān)于前一觀看方向的信息與新創(chuàng)建的觀看方向信息進(jìn)行比較，并且如果觀看方向的移動超出預(yù)定義的范圍則可控制渲染單元230再次渲染參考圖像。
[0068]第二裝置200可包括語音處理單元(未示出)，以輸出從第一裝置100接收的語音，并且接收用戶的語音并將其發(fā)送給第一裝置100。該語音處理單元可包括用于輸出語音的揚(yáng)聲器和用于接收語音的麥克風(fēng)。
[0069]圖4是示出根據(jù)本發(fā)明的示例性實施例的提供社交網(wǎng)絡(luò)服務(wù)的方法的示例的示圖?？砂凑杖鐖D中所示的順序和方式執(zhí)行圖4中的操作，但在不脫離描述的說明性示例的精神和范圍的情況下，可改變一些操作的順序或者省略一些操作。可并行地或同時執(zhí)行圖4中示出的許多操作。圖1至圖3C的描述也適用于圖4，因此，將不會在這里重復(fù)。
[0070]參照圖1和圖4描述提供社交網(wǎng)絡(luò)服務(wù)的方法。
[0071]在410，第一裝置100接收用戶朋友的圖像。想要在觀看例如TV上的廣播節(jié)目的同時實時地與朋友進(jìn)行會話的用戶可在朋友接受會話的請求時從朋友的第一裝置接收朋友的圖像或語音信息。用戶的朋友可以(但未必)正在觀看相同的廣播節(jié)目。
[0072]在420，基于接收的用戶朋友的圖像創(chuàng)建將向用戶顯示的參考圖像。在430，參考圖像被發(fā)送給第二裝置200。第一裝置100可如上所述創(chuàng)建參考圖像。參考圖像經(jīng)有線或無線通信網(wǎng)絡(luò)被發(fā)送給第二裝置200。如果接收到用戶朋友的語音，則第一裝置100可輸出接收的語音或?qū)⑵浒l(fā)送給第二裝置200。
[0073]當(dāng)從第一裝置100接收到參考圖像時，在440，第二裝置200基于當(dāng)前環(huán)境信息渲染參考圖像。以上解釋了用戶的當(dāng)前環(huán)境信息的細(xì)節(jié)。可基于可由第一裝置100的圖像傳感器110或第二裝置200的圖像傳感器22收集的用戶的實時移動(包括但不限于臉部移動)的圖像創(chuàng)建當(dāng)前環(huán)境信息。第二裝置200通過基于環(huán)境信息渲染參考圖像來創(chuàng)建虛擬圖像。如參照圖3A至圖3C所述，可基于用戶的當(dāng)前觀看方向和觀看角度確定虛擬圖像的形狀，并且可通過根據(jù)確定的虛擬圖像渲染參考圖像來創(chuàng)建虛擬圖像。
[0074]在450，在給定位置顯示創(chuàng)建的虛擬圖像。通過將虛擬圖像顯示為與在第一裝置上顯示的給定位置的真實圖像重疊，用戶可體驗增強(qiáng)現(xiàn)實。
[0075]圖5是示出第一裝置的示例的示圖。圖5中示出的第一裝置500是用于提供SNS的系統(tǒng)I中的第一裝置100的另一非窮舉示例。圖1至圖4的描述也適用于圖5，因此，將不會在這里重復(fù)。
[0076]參照圖5，第一裝置500可包括:圖像傳感器501、用戶識別單元502、指令處理單元503、外部通信單元504、圖像創(chuàng)建單元505、內(nèi)部通信單元506語音輸出單元507、語音接收單元508、顯示單元509和TV信號接收單元510。參照圖2充分描述了圖像傳感器501、外部通信單元504、圖像創(chuàng)建單元505和內(nèi)部通信單元506，因此，將不會重復(fù)這些單元的詳細(xì)描述。
[0077]用戶識別單元502識別當(dāng)前觀看TV的用戶。用戶識別單元502可通過從用戶接收用戶識別信息(例如，ID或密碼)來識別用戶。用戶識別單元502可通過將臉部識別方法應(yīng)用于由圖像傳感器501收集的用戶的臉部的圖像來識別用戶。用戶識別單元502可使用任何其它生物計量識別技術(shù)識別用戶，并且這種用戶識別單元502被視為完全落在本公開的范圍內(nèi)。
[0078]TV信號接收單元510可接收TV信號并通過顯示單元509輸出該信號。
[0079]指令處理單元503可從用戶接收各種控制指令，并響應(yīng)于指令執(zhí)行操作。例如，指令處理單元503可響應(yīng)于用戶通過輸入裝置(諸如例如，遙控器、鍵盤或智能電話)輸入的對菜單的請求而通過顯示單元509輸出菜單。如果用戶從輸出的菜單選擇將要聊天的朋友的列表，則用戶識別單元502可將預(yù)先存儲的與用戶關(guān)聯(lián)的朋友的列表輸出到顯示單元509。僅作為非窮舉示例，響應(yīng)于對當(dāng)前正在觀看用戶觀看的相同TV節(jié)目的朋友的列表的請求，指令處理單元503可收集關(guān)于先前顯示的列表中的用戶朋友當(dāng)前正在觀看的TV節(jié)目的信息，并將正在觀看與用戶相同的TV節(jié)目的朋友的列表提供給顯示單元509。第二列表可被單獨(dú)顯示或與先前顯示的用戶朋友的列表一起顯示。
[0080]響應(yīng)于用戶從提供的列表選擇特定朋友，指令處理單元503可創(chuàng)建會話發(fā)起請求信息并通過外部通信單元504將其發(fā)送給選擇的朋友的第一裝置。響應(yīng)于從用戶的朋友接收到會話接受信息，指令處理單元503可控制圖像傳感器501創(chuàng)建用戶的圖像，并且指令處理單元503可控制外部通信單元504將捕捉的用戶的圖像發(fā)送給接受會話請求的用戶朋友的第一裝置。
[0081]響應(yīng)于通過外部通信單元504從用戶的朋友接收到圖像，圖像創(chuàng)建單元505可創(chuàng)建參考圖像并通過內(nèi)部通信單元506將其發(fā)送給第二裝置。
[0082]語音接收單元505可接收用戶的語音信息并通過外部通信單元504將其發(fā)送給用戶朋友的第一裝置。當(dāng)外部通信單元504從用戶朋友的第一裝置接收到語音信息時，語音輸出單元509可將接收的語音信息輸出到輸出裝置，諸如揚(yáng)聲器或頭戴式耳機(jī)。作為另一非窮舉示例，語音輸出單元509可將接收的語音輸出到第二裝置200。
[0083]圖6是示出第一裝置的操作的示例的示圖?？砂凑杖鐖D中所示的順序和方式執(zhí)行圖6中的操作，但在不脫離描述的說明性示例的精神和范圍的情況下，可改變一些操作的順序或者省略一些操作。可并行地或同時執(zhí)行圖6中示出的許多操作。圖1至圖5的描述也適用于圖6，因此，將不會在這里重復(fù)。
[0084]在610，識別當(dāng)前觀看TV節(jié)目的用戶。可通過用戶識別信息(例如，ID和密碼)或者通過將臉部識別方法應(yīng)用于由圖像傳感器收集的用戶的臉部圖像來識別用戶。還可通過其它生物計量識別方法來識別用戶。
[0085]在620，從識別的用戶接收各種控制指令。如果用戶希望與朋友進(jìn)行會話，則在630，第一裝置可將朋友的列表提供給用戶。在640，當(dāng)用戶從列表選擇特定朋友時，會話發(fā)起請求信息被發(fā)送給該朋友的裝置。
[0086]在650，從用戶的朋友接收到會話接受信息，并且第一裝置接收到朋友的圖像。在660，第一裝置使用圖像傳感器收集用戶的圖像并將收集的圖像發(fā)送給用戶的朋友。
[0087]在670，使用朋友的圖像和/或預(yù)先存儲的默認(rèn)圖像創(chuàng)建將要被顯示給用戶的參考圖像。在680，創(chuàng)建的參考圖像被發(fā)送給第二裝置。
[0088]圖7是示出第二裝置的示例的示圖。圖7中示出的第二裝置700是圖1中示出的系統(tǒng)I的第二裝置200的另一示例。第二裝置700可以是具有眼鏡的形式的可穿戴裝置。圖1至圖6的描述也適用于圖7，因此，將不會在這里重復(fù)。
[0089]參照圖7，可穿戴第二裝置700可包括:圖像傳感器710、內(nèi)部通信單元720、環(huán)境識別單元730、渲染單元740、顯示單元750、語音接收單元760和語音輸出單元770。
[0090]第二裝置700的圖像傳感器710可以是能夠產(chǎn)生2D圖像、3D圖像、高清晰度3D圖像或全息圖的照相機(jī)。圖像傳感器710可實時監(jiān)測用戶的移動和位置，產(chǎn)生移動圖像，并且可識別深度信息。如果用戶穿戴像眼鏡的第二裝置700，則圖像傳感器710可根據(jù)用戶的頭移動來拍攝用戶觀看的場景的照片，并產(chǎn)生場景的圖像。
[0091]以上分別參照圖2的單元220、230和240描述了環(huán)境識別單元730、渲染單元740和顯示單元750。環(huán)境識別單元730可基于由圖像傳感器710或第一裝置的圖像傳感器產(chǎn)生的用戶的移動的圖像來識別用戶的觀看方向或觀看角度。渲染單元740和顯示單元750可如參照圖2所述渲染并顯示參考圖像的虛擬圖像。
[0092]語音接收單元760可通過安裝在第二裝置700的預(yù)定義區(qū)域中的麥克風(fēng)接收用戶的語音，并通過內(nèi)部通信單元720將其發(fā)送給第一裝置。響應(yīng)于通過內(nèi)部通信單元720從第一裝置接收到用戶的語音，語音輸出單元770可將接收的語音輸出到安裝在第二裝置700的預(yù)定義區(qū)域中的揚(yáng)聲器。
[0093]圖8是示出第二裝置的操作的示例的示圖?？砂凑杖鐖D中所示的順序和方式執(zhí)行圖8中的操作，但在不脫離描述的說明性示例的精神和范圍的情況下，可改變一些操作的順序或者省略一些操作。可并行地或同時執(zhí)行圖8中示出的許多操作。圖1至圖7的描述也適用于圖8，因此，將不會在這里重復(fù)。
[0094]在810，從第一裝置接收用戶朋友的參考圖像。在820，第二裝置700識別用戶的當(dāng)前環(huán)境情況并產(chǎn)生環(huán)境信息，諸如用戶的觀看方向或觀看角度?？苫谟脩舻囊苿拥膱D像產(chǎn)生用戶的環(huán)境信息，并且可由第二裝置700的圖像傳感器創(chuàng)建移動圖像或者從第一裝置接收移動圖像。
[0095]在830，接收的參考圖像基于接收的用戶的環(huán)境信息而被渲染為虛擬圖像。在840，產(chǎn)生的虛擬圖像被顯示為在顯示單元中在給定位置重疊。
[0096]上述方法可被編寫為計算機(jī)程序、一條代碼、指令或其某一組合，以用于獨(dú)立地或共同地指示或配置處理裝置以如所希望的那樣操作。軟件和數(shù)據(jù)可被永久或暫時實施于任何類型的機(jī)器、部件、物理或虛擬裝備、計算機(jī)存儲介質(zhì)或能夠提供指令或數(shù)據(jù)或由處理裝置解釋的裝置。軟件還可分布在聯(lián)網(wǎng)的計算機(jī)系統(tǒng)上，從而以分布方式存儲并執(zhí)行軟件。特別地，軟件和數(shù)據(jù)可由一個或多個非暫態(tài)計算機(jī)可讀記錄介質(zhì)存儲。非暫態(tài)計算機(jī)可讀記錄介質(zhì)可包括任何可存儲其后可由計算機(jī)系統(tǒng)或處理裝置讀取的數(shù)據(jù)的數(shù)據(jù)存儲裝置。非暫態(tài)計算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機(jī)存取存儲器(RAM)、致密盤只讀存儲器(CD-ROM)、磁帶、USB、軟盤、硬盤、光學(xué)記錄介質(zhì)(例如，CD-ROM或DVD)和PC接口(例如，PC1、PC1-express、WiFi等)。另外,用于實現(xiàn)這里公開的示例的功能程序、代碼和代碼段可由本領(lǐng)域程序員基于這里提供的附圖的流程圖和方框圖及其對應(yīng)描述來解釋。
[0097]可使用硬件部件實現(xiàn)這里描述的設(shè)備和單元。硬件部件可包括例如控制器、傳感器、處理器、發(fā)生器、驅(qū)動器和其它等同的電子部件。可使用一個或多個通用或?qū)Ｓ糜嬎銠C(jī)(諸如例如，處理器、控制器和算術(shù)邏輯單元、數(shù)字信號處理器、微型計算機(jī)、現(xiàn)場可編程陣列、可編程邏輯單元、微處理器或能夠以定義的方式響應(yīng)于指令并執(zhí)行指令的任何其它裝置)實現(xiàn)硬件部件。硬件部件可運(yùn)行操作系統(tǒng)(OS)和在OS上運(yùn)行的一個或多個軟件應(yīng)用。硬件部件還可響應(yīng)于軟件的執(zhí)行而訪問、存儲、操縱、處理和創(chuàng)建數(shù)據(jù)。為了簡潔的目的，處理裝置的描述被用作單數(shù)；然而，本領(lǐng)域技術(shù)人員將理解，處理裝置可包括多個處理元件和多種類型的處理元件。例如，硬件部件可包括多個處理器或一個處理器和控制器。另外，可實現(xiàn)不同的處理構(gòu)造，諸如并行處理器。
[0098]以上描述了許多示例。然而，應(yīng)該理解，可做出各種修改。例如，如果以不同的順序執(zhí)行描述的技術(shù)和/或如果以不同的方式組合描述的系統(tǒng)、架構(gòu)、裝置或電路中的部件，和/或以其他部件或其等同物替換或補(bǔ)充描述的系統(tǒng)、架構(gòu)、裝置或電路中的部件，則可實現(xiàn)合適的結(jié)果。因此，其它實現(xiàn)方式落在權(quán)利要求的范圍內(nèi)。
【權(quán)利要求】
1.一種用于提供社交網(wǎng)絡(luò)服務(wù)SNS的系統(tǒng)，所述系統(tǒng)包括: 第一裝置，被構(gòu)造為接收第一用戶的圖像，基于接收的圖像創(chuàng)建參考圖像，并將參考圖像發(fā)送給第二裝置；和 第二裝置，被構(gòu)造為從第一裝置接收參考圖像，基于參考圖像和第二用戶的當(dāng)前環(huán)境信息產(chǎn)生虛擬圖像，并在預(yù)定位置顯示虛擬圖像。
2.如權(quán)利要求1所述的系統(tǒng)，其中，所述第一裝置包括:圖像傳感器，被構(gòu)造為收集第二用戶的圖像并將收集的圖像發(fā)送給第一用戶。
3.如權(quán)利要求1所述的系統(tǒng)，所述第一裝置還被構(gòu)造為:接收第一用戶的第一音頻并輸出第一音頻或?qū)⒌谝灰纛l發(fā)送給第二裝置，并且接收第二用戶的第二音頻并將第二音頻發(fā)送給第一用戶。
4.如權(quán)利要求1所述的系統(tǒng)，其中，所述第一裝置還被構(gòu)造為接收一個或多個控制指令以控制第一裝置，控制指令包括用于顯示當(dāng)前正在觀看廣播節(jié)目的第二用戶的朋友的列表的指令或用于發(fā)起與第二用戶的一個或多個朋友的會話的指令。
5.如權(quán)利要求1所述的系統(tǒng)，其中，所述環(huán)境信息包括第二用戶的觀看方向和觀看角度中的至少一個。
6.如權(quán)利要求5所述的系統(tǒng)，其中，所述第二裝置還被構(gòu)造為基于環(huán)境信息和顯示虛擬圖像的位置確定虛擬圖像的形狀。
7.如權(quán)利要求1所述的系 統(tǒng)，其中，所述第一裝置是被構(gòu)造為接收并輸出TV信號的電視，并且第二裝置是可穿戴裝置。
8.如權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬圖像被顯示為與第一裝置上顯示的另一圖像重疊。
9.一種提供社交網(wǎng)絡(luò)服務(wù)SNS的方法，所述方法包括: 在第一裝置接收SNS的第一用戶的圖像； 基于接收的圖像創(chuàng)建參考圖像； 將參考圖像發(fā)送給第二裝置； 在第二裝置基于參考圖像和第二用戶的當(dāng)前環(huán)境信息產(chǎn)生虛擬圖像；以及 在預(yù)定位置顯示虛擬圖像。
10.如權(quán)利要求9所述的方法，還包括: 接收第一用戶的第一音頻；以及 輸出第一用戶的第一音頻或?qū)⒌谝灰纛l發(fā)送給第二裝置。
11.如權(quán)利要求9所述的方法，還包括:將由圖像傳感器收集的第二用戶的圖像發(fā)送給第一用戶。
12.如權(quán)利要求9所述的方法，其中，所述環(huán)境信息包括第二用戶的觀看方向和觀看角度中的至少一個。
13.如權(quán)利要求12所述的方法，其中，所述產(chǎn)生虛擬圖像的步驟包括:基于環(huán)境信息和顯示虛擬圖像的位置確定將要產(chǎn)生的虛擬圖像的形狀。
14.如權(quán)利要求9所述的方法，其中，所述第一裝置是被構(gòu)造為接收并輸出TV信號的電視，并且第二裝置是可穿戴裝置。
15.如權(quán)利要求9所述的方法，其中，所述創(chuàng)建參考圖像的步驟包括:基于接收的圖像和第一用戶的默認(rèn)圖像創(chuàng)建參考圖像。
16.如權(quán)利要求15所述的方法，其中，所述默認(rèn)圖像與第一用戶的情緒狀態(tài)和第一用戶的臉部表情中的至少一個相關(guān)聯(lián)。
17.如權(quán)利要求15所述的方法，其中，所述默認(rèn)圖像被存儲在默認(rèn)圖像數(shù)據(jù)庫中并包括虛擬化身、名人的圖像、第一用戶的真實圖像和與第一用戶關(guān)聯(lián)的圖像中的至少一個。
18.如權(quán)利要求9所述的方法，其中，所述顯示虛擬圖像的步驟包括:將虛擬圖像顯示為與第一裝置上顯示的另一圖像重疊。
19.如權(quán)利要求9所述的方法，其中，所述顯示虛擬圖像的步驟包括:顯示第一用戶的虛擬圖像的一部分。
20.一種裝置,包括: 至少一個圖像傳感器，所述圖像傳感器被構(gòu)造為收集第一用戶的圖像； 第一通信單元，被構(gòu)造為將第一用戶的圖像發(fā)送給第二用戶并且接收第二用戶的圖像； 圖像創(chuàng)建單元，被構(gòu)造為基于接收的第二用戶的圖像創(chuàng)建參考圖像；和第二通信單元，被構(gòu)造為將參考圖像發(fā)送給第二裝置，并且使用參考圖像產(chǎn)生將要被顯示給第一用戶的虛擬圖像。
21.如權(quán)利要求20所述的裝置，還包括: 用戶識別單元，被構(gòu)造 為識別第一用戶；和 指令處理單元，被構(gòu)造為從第一用戶接收各種控制指令并響應(yīng)于控制指令處理相應(yīng)操作。
22.如權(quán)利要求21所述的裝置，其中，所述控制指令包括以下各項中的至少一個:顯示所有朋友的列表、顯示當(dāng)前正在觀看廣播節(jié)目的朋友的列表，和發(fā)起與特定朋友的會話。
23.如權(quán)利要求20所述的裝置，還包括: 語音輸出單元，被構(gòu)造為輸出通過第一通信單元接收的第二用戶的音頻；和語音接收單元，被構(gòu)造為接收第一用戶的音頻并通過第一通信單元將第一用戶的音頻發(fā)送給第二用戶。
24.如權(quán)利要求20所述的裝置，還包括: 默認(rèn)圖像數(shù)據(jù)庫DB，被構(gòu)造為存儲用于創(chuàng)建參考圖像的默認(rèn)圖像， 其中，所述圖像創(chuàng)建單元被構(gòu)造為基于接收的第二用戶的圖像選擇一個默認(rèn)圖像以創(chuàng)建參考圖像。
25.—種第二裝置，包括: 通信單元，被構(gòu)造為從第一裝置接收第二用戶的參考圖像； 環(huán)境識別單元，被構(gòu)造為識別正在觀看第一裝置上顯示的內(nèi)容的第一用戶的當(dāng)前環(huán)境信息； 渲染單元，被構(gòu)造為基于接收的圖像和環(huán)境信息產(chǎn)生虛擬圖像；和 顯示單元，被構(gòu)造為在預(yù)定位置顯示產(chǎn)生的虛擬圖像。
26.如權(quán)利要求25所述的第二裝置，還包括: 圖像傳感器，被構(gòu)造為創(chuàng)建第一用戶的圖像；以及 所述環(huán)境識別單元分析第一用 戶的圖像并產(chǎn)生包括該用戶的觀看方向和觀看角度中的至少一個的環(huán)境信息。
27.如權(quán)利要求26所述的第二裝置，其中，所述渲染單元還被構(gòu)造為基于環(huán)境信息和顯示虛擬圖像的位置確定虛擬圖像的形狀。
28.如權(quán)利要求25所述的第二裝置，還包括: 語音輸出單元，被構(gòu)造為輸出通過通信單元從第一裝置接收的第二用戶的講話語音；和 語音接收單元，被構(gòu)造為接收第一用戶的講話語音并通過通信單元將接收的語音發(fā)送給第一裝置。
29.如權(quán)利要求2 5所述的裝置，其中，所述第二裝置是可穿戴裝置。
【文檔編號】G06K9/62GK103812761SQ201310573278
【公開日】2014年5月21日 申請日期:2013年11月13日 優(yōu)先權(quán)日:2012年11月13日
【發(fā)明者】文珉暎, 鄭隱成 申請人:三星電子株式會社