數(shù)據(jù)處理裝置和數(shù)據(jù)處理程序的制作方法
【專利說(shuō)明】
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)基于2014年3月24日遞交的日本專利申請(qǐng)No. 2014-060026并且要求享 有該專利申請(qǐng)的權(quán)益；通過(guò)引用將其全部?jī)?nèi)容并入本申請(qǐng)。
技術(shù)領(lǐng)域
[0003] 本申請(qǐng)描述的實(shí)施例通常設(shè)及數(shù)據(jù)處理裝置和數(shù)據(jù)處理程序。
【背景技術(shù)】
[0004] 近年來(lái)，根據(jù)針對(duì)真實(shí)對(duì)象的感測(cè)技術(shù)和針對(duì)CG(計(jì)算機(jī)圖形）的呈現(xiàn)技術(shù)，已經(jīng) 出現(xiàn)了用于經(jīng)過(guò)被稱為VR(虛擬現(xiàn)實(shí)）或AR(增強(qiáng)現(xiàn)實(shí)）的虛擬化表示來(lái)執(zhí)行各種場(chǎng)景的 仿真的應(yīng)用。應(yīng)用的示例包括虛擬適合仿真和虛擬設(shè)置仿真。
[0005] 在虛擬適合仿真中，從真實(shí)視頻感測(cè)人體的體形和姿勢(shì)W生成人體模型。衣服模 型根據(jù)該人體模型的形狀進(jìn)行變形并且與該人體模型組合。結(jié)果，人可W具有虛擬體驗(yàn)，如 同該個(gè)人實(shí)際上在試穿衣服。在虛擬設(shè)置仿真中，從真實(shí)視頻感測(cè)諸如桌子或床的家具或 寢具W生成家具或?qū)嬀吣Ｐ?。桌布、床單等等的模型根?jù)該家具或?qū)嬀吣Ｐ瓦M(jìn)行變形并且 與該家具或?qū)嬀吣Ｐ徒M合。結(jié)果，人可W具有虛擬體驗(yàn)，如同該個(gè)人實(shí)際上改變了房間的內(nèi) 部。當(dāng)要被組合的對(duì)象（人體、桌子、床等）與組合的對(duì)象（衣服、桌布、床單等）通過(guò)CG 進(jìn)行可視化時(shí)，實(shí)現(xiàn)了VR表示。當(dāng)要被組合的對(duì)象被實(shí)際拍攝并且組合的對(duì)象通過(guò)CG進(jìn) 行可視化時(shí)，實(shí)現(xiàn)了AR表示。
[0006] 在該樣的應(yīng)用中，用于根據(jù)要被組合的對(duì)象的模型形狀來(lái)虛擬地使組合的對(duì)象的 模型變形的技術(shù)是必要的。使模型變形的方法的示例包括根據(jù)將組合的對(duì)象的機(jī)械特性、 重力等等考慮在內(nèi)的物理仿真來(lái)使模型變形的方法，W及提前假定要被組合的多種對(duì)象、 計(jì)算當(dāng)組合的對(duì)象被匹配到要被組合的對(duì)象時(shí)發(fā)生的變形、累積計(jì)算的結(jié)果、W及當(dāng)要被 組合的對(duì)象實(shí)際出現(xiàn)時(shí)選擇最接近要被組合的真實(shí)對(duì)象的計(jì)算結(jié)果。
[0007] 然而，通過(guò)物理仿真的方法要求許多計(jì)算機(jī)資源和長(zhǎng)的計(jì)算時(shí)間。提前累積計(jì)算 結(jié)果的方法提前要求事先的大量仿真并且使用通過(guò)使用與要被組合的實(shí)際對(duì)象不同的要 被組合的對(duì)象獲得的計(jì)算結(jié)果。因此，計(jì)算的精確度趨向于惡化。
【附圖說(shuō)明】
[000引圖1是說(shuō)明根據(jù)第一實(shí)施例的數(shù)據(jù)處理裝置的框圖；
[0009] 圖2是示意性說(shuō)明在根據(jù)第一實(shí)施例的數(shù)據(jù)處理方法中的數(shù)據(jù)的改變的圖；
[0010] 圖3是說(shuō)明根據(jù)第一實(shí)施例的數(shù)據(jù)處理方法的流程圖；
[0011] 圖4是說(shuō)明在第一實(shí)施例中的衣服模型的圖；
[0012] 圖5是說(shuō)明紋理格式的控制權(quán)重信息的圖；
[0013]圖6是說(shuō)明將間隙信息指定為絕對(duì)值的圖；
[0014] 圖7是說(shuō)明將間隙信息指定為相對(duì)值的圖；
[0015] 圖8是說(shuō)明人體模型的圖；
[0016] 圖9是說(shuō)明根據(jù)第二實(shí)施例的數(shù)據(jù)處理裝置的框圖；
[0017] 圖10A是說(shuō)明在時(shí)間（t-1)處的變形歷史的圖；圖10B是說(shuō)明在時(shí)間t處的控制 點(diǎn)計(jì)算方法的圖；
[0018] 圖11是說(shuō)明根據(jù)第二實(shí)施例的數(shù)據(jù)處理方法的時(shí)間圖；W及
[0019] 圖12是說(shuō)明根據(jù)第二實(shí)施例的數(shù)據(jù)處理方法的流程圖。
【具體實(shí)施方式】
[0020] 根據(jù)實(shí)施例的數(shù)據(jù)處理裝置包括控制點(diǎn)計(jì)算單元和變形處理單元?？刂泣c(diǎn)計(jì)算單 元基于代表第一對(duì)象的形狀的第一模型、代表第一對(duì)象的變形特性的變形參數(shù)、W及代表 第二對(duì)象的形狀的第二模型來(lái)計(jì)算目標(biāo)位置坐標(biāo)。目標(biāo)位置坐標(biāo)是當(dāng)?shù)谝粚?duì)象根據(jù)第二對(duì) 象變形時(shí)第一模型的點(diǎn)根據(jù)第二模型應(yīng)該移動(dòng)到的坐標(biāo)。變形處理單元計(jì)算到達(dá)位置坐標(biāo) W最小化目標(biāo)位置坐標(biāo)與所述點(diǎn)到達(dá)的到達(dá)位置坐標(biāo)之間的差的絕對(duì)值的和。通過(guò)將所述 點(diǎn)的重要性級(jí)別考慮在內(nèi)來(lái)獲得所述和。
[0021] (第一實(shí)施例）
[0022] 下面參照附圖來(lái)描述本發(fā)明的實(shí)施例。
[0023] 首先描述第一實(shí)施例。
[0024] 在該實(shí)施例中，具體描述了用于根據(jù)要被組合的對(duì)象（第二對(duì)象）的形狀使組合 的對(duì)象（第一對(duì)象）的模型變形的一系列數(shù)據(jù)處理。在隨后的解釋中，要被組合的對(duì)象的 示例是人體并且組合的對(duì)象的示例是衣服。具體地，詳細(xì)描述了變形參數(shù)的內(nèi)容和使用該 變形參數(shù)的方法。
[0025] <數(shù)據(jù)處理裝置〉
[0026] 根據(jù)該實(shí)施例的數(shù)據(jù)處理裝置是該樣一種數(shù)據(jù)處理裝置：當(dāng)將組合的對(duì)象應(yīng)用到 要被組合的對(duì)象時(shí)，仿真在組合的對(duì)象根據(jù)要被組合的對(duì)象變形的變形之后的形狀。更具 體地，數(shù)據(jù)處理裝置是當(dāng)衣服被虛擬地穿在人體上時(shí)仿真該衣服的變形的裝置。在該說(shuō)明 書中，"將組合的對(duì)象應(yīng)用到要被組合的對(duì)象"指的是使組合的對(duì)象的形狀變形W適合要被 組合的對(duì)象的形狀，并且是例如包括"將衣服穿在人體上"的構(gòu)思。
[0027] 圖1是說(shuō)明根據(jù)該實(shí)施例的數(shù)據(jù)處理裝置的框圖。
[002引如在圖1中示出的，根據(jù)該實(shí)施例的數(shù)據(jù)處理裝置1包括衣服模型獲取單元11、人 體模型獲取單元12、變形參數(shù)獲取單元13、控制點(diǎn)計(jì)算單元14W及變形處理單元15。
[0029] 將作為組合的模型（第一模型）的衣服模型D1、作為要被組合的模型（第二模型） 的人體模型D2W及衣服模型的變形參數(shù)D3輸入到數(shù)據(jù)處理裝置1。衣服模型D1是代表衣 服的形狀的數(shù)據(jù)，該衣服是組合的對(duì)象。變形參數(shù)D3是代表衣服的變形特性的數(shù)據(jù)。人體 模型D2是代表人體的形狀的數(shù)據(jù)，該人體是要被組合的對(duì)象。下面詳細(xì)描述衣服模型D1、 人體模型D2W及變形參數(shù)D3的細(xì)節(jié)。
[0030] 衣服模型獲取單元11從數(shù)據(jù)處理裝置1的外側(cè)獲取衣服模型D1。人體模型獲取 單元12從數(shù)據(jù)處理裝置1的外側(cè)獲取人體模型D2。變形參數(shù)獲取單元13從數(shù)據(jù)處理裝置 1的外側(cè)獲取變形參數(shù)D3。
[0031] 控制點(diǎn)計(jì)算單元14基于衣服模型D1、人體模型D2W及變形參數(shù)D3來(lái)計(jì)算當(dāng)將衣 服穿在人體上時(shí)，衣服模型D1的點(diǎn)根據(jù)人體模型D2應(yīng)該移動(dòng)到的目標(biāo)位置坐標(biāo)。
[0032] 變形處理單元15計(jì)算到達(dá)位置坐標(biāo)W最小化衣服模型D1的點(diǎn)的目標(biāo)位置坐標(biāo)與 所述點(diǎn)實(shí)際到達(dá)的到達(dá)位置坐標(biāo)之間的差的絕對(duì)值的和，即，通過(guò)將所述點(diǎn)的重要性級(jí)別 考慮在內(nèi)所獲得的和。衣服的變形受到衣服的點(diǎn)、衣服材料的擴(kuò)展和收縮的可允許量等等 之間的關(guān)系限制。因此，衣服模型中的點(diǎn)在變形之后的到達(dá)位置坐標(biāo)可能與目標(biāo)位置坐標(biāo) 不同。經(jīng)過(guò)上述的處理，能夠仿真衣服模型D1作為整體是如何變形的。
[0033] 例如，數(shù)據(jù)處理裝置1可W通過(guò)專用硬件實(shí)現(xiàn)。在該情況下，衣服模型獲取單元 11、人體模型獲取單元12、變形參數(shù)獲取單元13、控制點(diǎn)計(jì)算單元14W及變形處理單元15 可W被彼此分別地配置。
[0034] 數(shù)據(jù)處理裝置1可W通過(guò)使通用個(gè)人計(jì)算機(jī)執(zhí)行計(jì)算機(jī)程序來(lái)實(shí)現(xiàn)。在該情況 下，衣服模型獲取單元11、人體模型獲取單元12W及變形參數(shù)獲取單元13可W通過(guò)例如光 驅(qū)、LAN(局域網(wǎng)）終端或USB(通用串行總線）終端、CPU(中央處理單元）和RAM(隨機(jī)存 取存儲(chǔ)器）的協(xié)作來(lái)實(shí)現(xiàn)?？刂泣c(diǎn)計(jì)算單元14和變形處理單元15可W通過(guò)CPU和RAM來(lái) 實(shí)現(xiàn)。
[0035] <數(shù)據(jù)處理方法〉
[0036] 描述根據(jù)實(shí)施例的數(shù)據(jù)處理裝置1的操作，即數(shù)據(jù)處理方法。
[0037] <數(shù)據(jù)處理方法的概述〉
[003引首先，與創(chuàng)建在數(shù)據(jù)處理中使用的衣服模型D1、人體模型D2W及變形參數(shù)D3的方 法一起描述了數(shù)據(jù)處理方法的概述。
[0039] 圖2是示意性說(shuō)明在根據(jù)該實(shí)施例的數(shù)據(jù)處理方法中的數(shù)據(jù)的改變的圖。
[0040] 圖3是說(shuō)明根據(jù)該實(shí)施例的數(shù)據(jù)處理方法的流程圖。
[0041] 如在圖2中示出的，根據(jù)該實(shí)施例的數(shù)據(jù)處理方法是仿真衣服化1的變形的方法， 該衣服化1是當(dāng)將衣服化1虛擬地穿在人體化2上時(shí)發(fā)生的組合的對(duì)象，該人體化2是要 被組合的對(duì)象。
[00創(chuàng)在數(shù)據(jù)處理之前，創(chuàng)建代表衣服化1的形狀的衣服模型D1。衣服模型D1例如通 過(guò)使用CG建模軟件、CAD軟件等等的操作者創(chuàng)建。也能夠使用附接有深度傳感器的諸如照 相機(jī)或紅外線照相機(jī)的拍照裝置來(lái)為衣服化1拍照W獲取衣服圖像G1并且利用CG建模軟 件、CAD軟件等等基于衣服圖像G1來(lái)創(chuàng)建衣服模型D1。衣服模型D1可W通過(guò)根據(jù)深度數(shù) 據(jù)估計(jì)=維結(jié)構(gòu)來(lái)自動(dòng)生成。代表衣服模型D1的變形特性的變形參數(shù)D3根據(jù)衣服化1來(lái) 創(chuàng)建。
[0043] 在另一方面，通過(guò)附接有深度傳感器的拍照裝置來(lái)對(duì)人體化2進(jìn)行拍照，W獲取 人體圖像G2。基于人體圖像G2來(lái)生成代表人體化2的形狀的人體模型D2。
[0044] 如在圖3中的步驟S101中示出的，數(shù)據(jù)處理裝置1的衣服模型獲取單元11獲取 衣服模型D1。
[0045] 隨后，如在步驟S102中示出的，人體模型獲取單元12獲取人體模型D2。
[0046] 如在步驟S103中示出的，變形參數(shù)獲取單元13獲取變形參數(shù)D3。
[0047] 如在步驟S104中示出的，控制點(diǎn)計(jì)算單元14基于衣服模型D1、變形參數(shù)D3化及 人體模型D2計(jì)算目標(biāo)位置坐標(biāo)，該目標(biāo)位置坐標(biāo)是通過(guò)將衣服穿在人體上，當(dāng)衣服根據(jù)人 體變形時(shí)，衣服模型D1的點(diǎn)根據(jù)人體模型D2應(yīng)該移動(dòng)到的位置。
[0048] 如在步驟S105中示出的，在變形后，變形處理單元15計(jì)算衣服模型的點(diǎn)的到達(dá)位 置坐標(biāo)。變形處理單元15調(diào)整該到達(dá)位置坐標(biāo)W最小化目標(biāo)位置坐標(biāo)與到達(dá)位置坐標(biāo)之 間的差的絕對(duì)值的和，即通過(guò)將衣服模型D1的點(diǎn)的重要性級(jí)別考慮在內(nèi)獲得的和。
[0049] 結(jié)果，獲得了變形之后的衣服模型D4。如下文描述的，能夠提前計(jì)算并且在變形參 數(shù)D3中包括能夠W用于仿真的計(jì)算公式中的衣服模型D1和變形參數(shù)D3為基礎(chǔ)來(lái)計(jì)算的 該計(jì)算結(jié)果的至少一部分。結(jié)果，能夠W高的速度實(shí)現(xiàn)仿真。
[0化0] 之后，在人體圖