果是存在附加 圖像拍攝的請求時,控制器501通過上述操作生成與附加拍攝的一個或多個圖像數(shù)據(jù)相對 應(yīng)的一個或多個坐標(biāo),并基于坐標(biāo)和圖像處理方案將附加拍攝圖像數(shù)據(jù)與組合圖像數(shù)據(jù)組 合,以生成和顯示新的組合圖像數(shù)據(jù)。當(dāng)沒有做出附加圖像拍攝的請求時,控制器501結(jié)束 全景模式。
[0138] 當(dāng)不存在不連續(xù)區(qū)域時,控制器501確定用戶是否做出存儲部分圖像以存儲組合 圖像的部分區(qū)域的請求。
[0139] 當(dāng)做出存儲部分圖像的請求時,控制器501存儲用戶選擇的組合圖像數(shù)據(jù)的部分 區(qū)域,并結(jié)束全景模式。例如,如圖2所示,當(dāng)用戶選擇組合圖像數(shù)據(jù)的部分區(qū)域203時,控 制器501可以存儲選擇的部分區(qū)域203。當(dāng)沒有做出存儲部分區(qū)域的請求時,控制器501結(jié) 束全景模式。
[0140] 在顯示圖像數(shù)據(jù)或組合圖像數(shù)據(jù)后,控制器501確定用戶是否做出附加圖像拍攝 的請求。當(dāng)確定的結(jié)果是做出附加圖像拍攝的請求時,控制器501執(zhí)行全景模式。全景模 式指的是從全部場景中生成包括角度范圍內(nèi)場景的圖像的模式。
[0141] 此外,控制器501確定用戶是否做出拍攝圖像數(shù)據(jù)的請求。當(dāng)確定的結(jié)果是做出 拍攝圖像數(shù)據(jù)的請求時,控制器501生成與從攝像機(jī)509輸入的圖像數(shù)據(jù)相對應(yīng)的坐標(biāo),并 存儲與輸入圖像數(shù)據(jù)相對應(yīng)的生成坐標(biāo)。
[0142] 這時,控制器501將參考坐標(biāo)與顯示的圖像數(shù)據(jù)或組合圖像數(shù)據(jù)相匹配。參考坐 標(biāo)指的是作為虛擬空間的參考點(diǎn)的坐標(biāo),例如(x,y)坐標(biāo)的(〇,〇)。例如,如圖11所示,當(dāng) 用戶做出附加圖像拍攝的請求時,控制器501可以將參考坐標(biāo)(0,0)分配給顯示的組合數(shù) 據(jù)。
[0143] 當(dāng)圖像數(shù)據(jù)是第一圖像數(shù)據(jù)之后拍攝的第二圖像數(shù)據(jù)時,控制器501從運(yùn)動檢測 器511接收運(yùn)動信息,基于接收的運(yùn)動信息生成坐標(biāo),并將該坐標(biāo)與第二圖像數(shù)據(jù)相匹配。 運(yùn)動信息指的是關(guān)于從拍攝第一圖像數(shù)據(jù)的時間點(diǎn)至做出拍攝第二圖像數(shù)據(jù)請求的時間 點(diǎn)的便攜終端運(yùn)動的信息,并且包括便攜終端的移動方向和移動角度。
[0144] 通過使用第一至第六種方法,控制器501生成與在第二圖像數(shù)據(jù)之后生成的第三 和第四圖像數(shù)據(jù)相對應(yīng)的坐標(biāo)??刂破?01基于對應(yīng)于先前圖像數(shù)據(jù)的坐標(biāo)生成對應(yīng)于當(dāng) 前圖像的坐標(biāo)。
[0145] 此外,控制器501基于對應(yīng)于多個生成的圖像數(shù)據(jù)的多個坐標(biāo)將多個圖像數(shù)據(jù)組 合,以生成組合圖像數(shù)據(jù)。這時,在基于多個坐標(biāo)將多個圖像數(shù)據(jù)放置在虛擬坐標(biāo)系上后, 控制器501將圖像數(shù)據(jù)組合。
[0146] 例如,如圖11所示,基于與組合圖像數(shù)據(jù)1103和多個圖像數(shù)據(jù)1105相對應(yīng)的坐 標(biāo),控制器501可以將組合圖像數(shù)據(jù)1103和多個圖像數(shù)據(jù)1105放置在虛擬坐標(biāo)系1101上, 并將放置的組合圖像數(shù)據(jù)1103和放置的多個圖像數(shù)據(jù)1105組合,以生成如圖4A和4B的 屏幕417中所示的組合圖像數(shù)據(jù)。
[0147] 控制器501確定用戶是否做出結(jié)束圖像拍攝的請求。當(dāng)確定的結(jié)果是做出結(jié)束圖 像拍攝的請求時,控制器501顯示組合圖像數(shù)據(jù)。
[0148] 圖12是示出根據(jù)本公開第一實(shí)施例的在便攜終端中生成組合圖像數(shù)據(jù)的處理的 流程圖。
[0149] 參考圖12,在操作1201中,控制器501確定用戶是否做出全景模式的請求。全景 模式指的是從全部場景中生成包括角度范圍內(nèi)場景的圖像的模式。
[0150] 這時,在步驟1201中,當(dāng)用戶做出執(zhí)行攝像機(jī)功能的請求時("是"),控制器501 驅(qū)動攝像機(jī)509并激活預(yù)覽模式,以將從攝像機(jī)509順序輸入的圖像數(shù)據(jù)輸出給顯示單元 503。預(yù)覽模式指的是預(yù)先顯示通過攝像機(jī)509輸入以拍攝用戶期望對象的圖像數(shù)據(jù)的模 式。當(dāng)顯示包括攝像機(jī)模式菜單的多個菜單并且用戶從多個顯示菜單中選擇攝像機(jī)菜單 時,控制器501顯示包括一般拍攝模式和全景模式的菜單。當(dāng)用戶從顯示菜單中選擇全景 模式時,控制器501確定做出全景模式的請求。
[0151] 當(dāng)確定的結(jié)果是做出全景模式的請求時,控制器501前進(jìn)到操作1203。否則 ("否"),在操作1201中控制器501重復(fù)執(zhí)行操作1201。
[0152] 控制器501在操作1203中執(zhí)行全景模式,并且在操作1205中確定用戶做出拍攝 圖像數(shù)據(jù)的請求。當(dāng)確定的結(jié)果是在操作1205中做出拍攝圖像數(shù)據(jù)的請求時,控制器501 前進(jìn)到操作1207。否則("否"),在操作1205中控制器501前進(jìn)到操作1211。
[0153] 在操作1207中,控制器501生成與從攝像機(jī)509輸入的圖像數(shù)據(jù)相對應(yīng)的坐標(biāo), 并存儲與輸入圖像數(shù)據(jù)相對應(yīng)的生成坐標(biāo),然后前進(jìn)到操作1209。
[0154] 當(dāng)圖像數(shù)據(jù)對應(yīng)于執(zhí)行全景模式時拍攝的第一圖像數(shù)據(jù)時,控制器501將參考坐 標(biāo)與第一圖像數(shù)據(jù)相匹配。參考坐標(biāo)指的是作為虛擬空間的參考點(diǎn)的坐標(biāo),例如(X,y)坐 標(biāo)的(〇,〇)。例如,如圖7A和7B所示,當(dāng)便攜終端接收用戶在第一位置701處拍攝圖像的 請求時,控制器501可以生成第一圖像數(shù)據(jù)并生成與第一圖像數(shù)據(jù)相對應(yīng)的參考坐標(biāo)(0, 0)703〇
[0155] 當(dāng)圖像數(shù)據(jù)是第一圖像數(shù)據(jù)之后拍攝的第二圖像數(shù)據(jù)時,控制器501從運(yùn)動檢測 器511接收運(yùn)動信息,基于接收的運(yùn)動信息生成坐標(biāo),并將該坐標(biāo)與第二圖像數(shù)據(jù)相匹配。 運(yùn)動信息指的是關(guān)于從拍攝第一圖像數(shù)據(jù)的時間點(diǎn)至做出拍攝第二圖像數(shù)據(jù)請求的時間 點(diǎn)的便攜終端運(yùn)動的信息,并且包括便攜終端的移動方向和移動角度。
[0156] 具體地,通過使用以下三種方法,控制器501生成與第二圖像數(shù)據(jù)相對應(yīng)的坐標(biāo)。
[0157] 第一種方法基于便攜終端執(zhí)行旋轉(zhuǎn)平移時的加速度傳感器分辨率來生成坐標(biāo)。旋 轉(zhuǎn)平移指的是基于用戶的便攜終端的旋轉(zhuǎn)移動。加速度傳感器分辨率指的是加速度傳感器 可以識別的最小移動角。例如,加速度傳感器分辨率可以是0. 3度。
[0158] 這時,控制器501將加速度傳感器分辨率設(shè)置為參考坐標(biāo)單位并使用移動方向和 移動角度來生成坐標(biāo),從而識別柱坐標(biāo)系709,如圖7A和7B所示。柱坐標(biāo)系709的基本坐 標(biāo)單位指的是坐標(biāo)系中沿X軸或y軸移動一個加速度傳感器分辨率的坐標(biāo)單元。例如,基 本坐標(biāo)單位可以是一格。
[0159] 例如,當(dāng)便攜終端在右方向上旋轉(zhuǎn)0. 3度,因而從第一位置701移動到第二位置 705,并且用戶在第二位置705處做出拍攝圖像的請求時,控制器501可以生成圖像數(shù)據(jù),從 運(yùn)動檢測器511接收包括移動方向(右方向)和移動角度(0. 3度)的便攜終端運(yùn)動信息, 并基于該運(yùn)動信息生成與第二圖像數(shù)據(jù)相對應(yīng)的坐標(biāo)(1,〇)。備選地,當(dāng)控制器501接收對 應(yīng)于左方向和3度的包括移動方向和移動角度的便攜終端運(yùn)動信息時,控制器501可以生 成與第二圖像數(shù)據(jù)相對應(yīng)的坐標(biāo)(_1〇,〇)。
[0160] 第二種方法基于便攜終端執(zhí)行旋轉(zhuǎn)平移和水平平移時的加速度傳感器分辨率和 地磁傳感器分辨率來生成坐標(biāo)。旋轉(zhuǎn)平移指的是基于用戶的便攜終端的旋轉(zhuǎn)移動,水平平 移指的是通過用戶的便攜終端的水平移動。加速度傳感器分辨率指的是加速度傳感器可以 識別的最小移動角。例如,加速度傳感器分辨率可以是〇. 3度。地磁傳感器分辨率指的是 地磁傳感器可以識別的最小移動距離。例如,地磁傳感器分辨率可以是lcm。
[0161] 這時,控制器501將加速度傳感器分辨率和地磁傳感器分辨率分別設(shè)置為參考坐 標(biāo)單位,并且通過使用移動方法、移動角和移動距離來生成坐標(biāo),以實(shí)現(xiàn)長圓坐標(biāo)系809,如 圖8A和8B所示。長圓坐標(biāo)系809中的基本參考單位指的是坐標(biāo)系中從參考坐標(biāo)(0,0)803 沿X軸或y軸移動一個加速度傳感器分辨率或地磁傳感器分辨率的坐標(biāo)單位。例如,基本 參考單位可以是一格。
[0162] 例如,如圖8A和8B所示,當(dāng)便攜終端在右方向上旋轉(zhuǎn)0. 3度并移動1cm,因而從第 三位置801移動到第四位置805,并且用戶在第四位置805處做出拍攝圖像的請求時,控制 器501可以生成第二圖像數(shù)據(jù),從運(yùn)動檢測器511接收包括移動方向(右方向)、移動角度 (0.3度)和移動距離(Icm)的便攜終端運(yùn)動信息,并基于該運(yùn)動信息生成與第二圖像數(shù)據(jù) 相對應(yīng)的坐標(biāo)(2,0)807。備選地,當(dāng)控制器501接收對應(yīng)于左方向、3度和5cm的包括移動 方向、移動角度和移動距離的便攜終端運(yùn)動信息時,控制器501可以生成與第二圖像數(shù)據(jù) 相對應(yīng)的坐標(biāo)(-15,0)。
[0163] 第三種方法基于便攜終端執(zhí)行旋轉(zhuǎn)平移時加速度傳感器分辨率以及用戶901與 便攜終端903之間的距離905來生成坐標(biāo)。旋轉(zhuǎn)平移指的是基于用戶的便攜終端的旋轉(zhuǎn)移 動。加速度傳感器分辨率指的是加速度傳感器可以識別的最小移動角。例如,加速度傳感 器分辨率可以是0.3度。
[0164] 控制器501可以接收從包括在攝像機(jī)509中的前置攝像機(jī)輸入的包括用戶的圖像 數(shù)據(jù),并分析所接收的圖像數(shù)據(jù)的用戶圖像以估計(jì)用戶和便攜終端之間的距離,或者通過 使用包括在運(yùn)動檢測器511中的接近傳感器來估計(jì)用戶和便攜終端之間的距離。
[0165] 控制器501基于用戶和便攜終端之間的距離來計(jì)算加速度傳感器分辨率和對應(yīng) 于加速度傳感器分辨率的基本坐標(biāo)單位。例如,控制器501可以使用上文數(shù)學(xué)式1來計(jì)算 基本坐標(biāo)單位。
[0166] 這時,控制器501將加速度傳感器分辨率設(shè)置為參考坐標(biāo)單位,并使用移動方向 和移動角來生成坐標(biāo),以實(shí)現(xiàn)圓坐標(biāo)系907,如圖9A和9B所示。
[0167] 例如,當(dāng)便攜終端在右方向上旋轉(zhuǎn)0. 3度,因而從第五位置移動到第六位置,并且 用戶在第六位置處做出拍攝圖像的請求時,控制器501可以生成第二圖像數(shù)據(jù),從運(yùn)動檢 測器511接收包括移動方向(右方向)和移動角度(0.3度)的便攜終端運(yùn)動信息,估計(jì)用 戶和便攜終端之間的距離(IOcm),并基于運(yùn)動信息和估計(jì)距離生成與第二圖像數(shù)據(jù)相對應(yīng) 的坐標(biāo)(〇· 105,0)。
[0168] 如上所述,通過使用第一至第三種方法,控制器501生成與在第二圖像數(shù)據(jù)之后 生成的第三和第四圖像數(shù)據(jù)相對應(yīng)的坐標(biāo)??刂破?01基于對應(yīng)于先前圖像數(shù)據(jù)的坐標(biāo)生 成對應(yīng)于當(dāng)前圖像的坐標(biāo)。例如,當(dāng)便攜終端生成第二圖像數(shù)據(jù),在右方向上旋轉(zhuǎn)0. 3度, 并接收拍攝第三圖像數(shù)據(jù)的請求時,控制器501可以基于第二圖像數(shù)據(jù)在坐標(biāo)系中的坐標(biāo) (1,〇)確定便攜終端在X軸上移動一格,并且可以生成對應(yīng)于第三圖像數(shù)據(jù)的坐標(biāo)(2,0)。 通過重復(fù)執(zhí)行上述操作,控制器501基于對應(yīng)于第三圖像數(shù)據(jù)的坐標(biāo)來生成對應(yīng)于第四圖 像數(shù)據(jù)的坐標(biāo)。
[0169] 此外,在操作1209中,控制器501基于與多個生成的圖像數(shù)據(jù)相對應(yīng)的多個坐標(biāo) 將多個圖像數(shù)據(jù)組合,以生成組合圖像數(shù)據(jù),并前進(jìn)到操作1211。這時,在基于多個坐標(biāo)將 多個圖像數(shù)據(jù)放置在虛擬坐標(biāo)系上后,控制器501將圖像數(shù)據(jù)組合。
[0170] 例如,如圖6所示,當(dāng)?shù)谝恢恋谒膱D像數(shù)據(jù)的坐標(biāo)是(0,0)、(6,4)、(7, -2)、(12, 2) 時,控制器501可以將第一至第四圖像數(shù)據(jù)603、605、607、609放置在虛擬坐標(biāo)系601上,并 將放置的第一至第四圖像數(shù)據(jù)603、605、607、609組合,以生成組合圖像數(shù)據(jù),如圖1的屏幕 101所示。備選地,如圖10所示,當(dāng)?shù)谝缓偷诙D像數(shù)據(jù)的坐標(biāo)是(0,0) 1003和(12,2) 1005 時,如圖11所示,控制器501可以將第一和第二圖像數(shù)據(jù)1103和1105放置在虛擬坐標(biāo)系 1101上,并將放置的第一和第二圖像數(shù)據(jù)1103和1105組合,以生成組合圖像數(shù)據(jù),如圖3 的屏幕301所示。
[0171] 在操作1211中,控制器501確定用戶是否做出結(jié)束拍攝圖像的請求。當(dāng)確定的結(jié) 果是做出結(jié)束拍攝圖像的請求時("是"),在操作1211中控制器501前進(jìn)到操作1213。否 則("否"),在操作1211中控制器501前進(jìn)到操作1205。
[0172] 在操作1213中,控制器501顯示組合圖像數(shù)據(jù),并前進(jìn)到操作125。例如,控制器 501可以顯示如圖1的屏幕101所示的組合圖像數(shù)據(jù)。備選地,控制器501可以顯示如圖3 的屏幕310所示的組合圖像數(shù)據(jù)。
[0173] 控制器501通過分析組合圖像數(shù)據(jù)識別組合圖像數(shù)據(jù)中是否存在不連續(xù)區(qū)域。不 連續(xù)區(qū)域指的