OmniFabric、単一画像から衣服3D素材を生成

研究の概要

Ding-Jiun Huang氏、Fernando De la Torre氏らの研究チームは、単一の衣服画像から制作現場で使用可能な3D衣服資産を自動生成する手法「OmniFabric」を発表した。この手法は、物理シミュレーションや再照明に耐える高品質なテクスチャを生成することを目指している。従来の手法では、撮影時の照明や影がテクスチャに焼き込まれてしまい、衣服全体での柄や構造の一貫性を保つことが難しかった。そのため、得られた資産は実際の業務での利用において制約があった。

OmniFabricの特徴は、3D空間ではなく2Dの縫製パターン（UV空間）上でテクスチャを合成する点にある。このプロセスは二段階で構成されている。第一段階では、参照画像から推定された3Dメッシュと視覚言語モデル（VLM）の生成的な事前知識を用いて、展開された縫製パターン全体に粗いが欠損のないテクスチャの初期値を作成する。第二段階では、自動化された合成データエンジンを使用し、3Dの位置特徴を条件とする専用の​拡散トランスフォーマー​を用いて、この初期値を正準UV領域上で精緻化する。このプロセスにより、歪みや焼き込まれたアーティファクトが除去され、元の衣服デザインを保った正規化済みのテクスチャマップが得られる。著者らは、広範な実験を通じて、最先端のベースラインを大きく上回る写実的な3D衣服を得ることに成功したと報告している。

しくみをやさしく

OmniFabricは、単一の衣服画像を基に、衣服の3Dモデルを生成する技術である。まず、衣服の画像から3Dメッシュを推定し、その情報をもとにテクスチャを生成する。テクスチャは、衣服のデザインやパターンを忠実に再現するために、2Dの縫製パターン上で合成される。これにより、従来の手法で問題となっていた照明や影の影響を受けずに、物理シミュレーションや再照明に適した高品質な3D衣服資産が得られる。特に、拡散トランスフォーマーを用いることで、初期の粗いテクスチャを精緻化し、最終的な品質を向上させることが可能となる。

ビジネスへの示唆

この技術が特に影響を与えるのは、アパレル業界である。現在、3D衣服を用いたデジタルサンプルの作成には、パターンナーや3Dアーティストによる手作業のテクスチャ整備が不可欠である。もし、撮影済みの商品画像や競合商品の参考画像から​照明を含まないテクスチャ付きの3D衣服​を自動生成できるならば、この工程の工数を大幅に削減できる可能性がある。

具体的な影響が見込まれる部門と指標は以下の通りである。

• 商品企画・デザイン部門：サンプル試作の回数や、企画から意思決定までのリードタイムの短縮
• EC・マーケティング部門：撮影コストや商品1点あたりの画像制作費、バーチャル試着導入によるコンバージョン率や返品率の改善
• 生産管理部門：試作に伴う素材の廃棄量やサンプル製作費の削減

また、ゲーム、映像、メタバースなどのデジタルコンテンツ産業でも広範な用途が考えられる。衣装アセットの制作は工数がかかるため、再照明に対応したテクスチャがあれば、異なるシーンの照明環境にそのまま配置できる。このことは、アセット1点あたりの制作単価や内製比率の改善につながる可能性がある。物理シミュレーションが可能な資産は、布の動きを伴うアニメーションやバーチャルファッションショーへの転用にも適している。

ただし、これらの効果は技術の特性に基づく予測であり、実際の業務でどれだけ工数やコストが削減できるかは、各社の検証を待つ必要がある。

現場での導入イメージ

仮にOmniFabricを導入支援する場合、以下のようなプロセスを経ることが考えられる。

1. ​棚卸し​：現在のデジタルサンプル制作工程を棚卸しし、どの工程にOmniFabricを組み込むかを検討する。目指す到達点は、現行プロセスの可視化と、改善点の特定である。

2. ​差し込み先の設計​：既存のツールや業務フローにOmniFabricをどのように組み込むかを設計する。新たなツールを増やさず、現実的な解決策を見出すことを目指す。

3. ​小さく試す（PoC）​：実際に小規模なプロジェクトでOmniFabricを試し、その効果を測定する。目指す到達点は、初期導入のフィードバックを得て、技術の実用性を確認することである。

4. ​運用と横展開​：PoCの結果をもとに、OmniFabricを本格的に運用し、他のプロジェクトや部門へ横展開する。目指す到達点は、全社的なデジタルサンプル制作の効率化である。

このようなプロセスを経ることで、最終的にはデジタルサンプル制作のコスト構造を見直し、業務の効率化を図ることが期待される。企業にとって、デジタル化を進める良い機会となる可能性がある。