3D人体モデル生成AI、伝送コスト大幅削減へ

研究の概要

浙江大学・研究チームが開発した「PointSplat」は、複数視点の画像から3D人体表現を高速かつコンパクトに生成する新手法である。従来の「ビュー中心型」アプローチでは、複数カメラが同一の被写体を重複してエンコードするため、データ冗長性が高く計算コストが膨らむ課題があった。

PointSplatはこの問題を「3D空間中心の予測」によって解決する。まず入力点群から粗い幾何形状を推定し、レイキャスティングによって不要な点を除去する。続いて独自のPoint-Image Transformerを用いて外観情報と幾何情報を統合し、「ガウシアン属性」を一度の順伝播処理で出力する。この設計により、予測対象を前景の人体領域のみに絞り込み、生成されるガウシアン数を大幅に削減しながら新規視点レンダリングの品質を向上させた。

複数のベンチマークデータセットを用いた実験では、視点数や画像解像度が変化してもロバストに機能することが確認されており、実運用環境での安定性も実証されている。

ビジネスへの示唆

この技術が直接的に影響を与える産業・部門は多岐にわたる。

• エンターテインメント・スポーツ配信：プロスポーツや音楽ライブの没入型中継において、伝送帯域幅の削減はインフラコスト圧縮に直結する。スタジアム設置カメラ数を抑えつつ自由視点映像を提供できれば、OTTプラットフォームの配信コストKPIを改善できる。
• アパレル・ECサイト運営部門：ユーザーが自身の体型データをスキャンし、仮想試着をリアルタイムで体験するサービスへの応用が期待される。コンバージョン率や返品率といったEコマースKPIへの好影響が見込まれる。
• 遠隔医療・リハビリ：患者の3D姿勢をクリニック側でリアルタイム再現し、理学療法士がフォームを確認するユースケースで、低帯域環境下でも高精度な映像品質を維持できる。診察あたりの所要時間や診断精度が評価指標となる。
• メタバース・XRプラットフォーム開発部門：アバターのリアルタイム生成において、レンダリング遅延の短縮とサーバー負荷低減が同時に達成できる点は、ユーザー体験品質（QoE）の向上に寄与する。

コスト面では、ガウシアン数の削減はGPUメモリ消費量の低下を意味し、クラウドレンダリング費用の直接的な削減につながる。エッジデバイスでの動作可能性も高まるため、モバイル端末向けARアプリケーションの開発コスト構造も変化しうる。

今後の展望

現状の手法は人体に特化した設計であるが、研究チームが示した「3D空間中心の予測」という設計思想は、車両・建物など他カテゴリのオブジェクトへの拡張も技術的に可能とみられる。自動車業界の遠隔監視や建設現場のデジタルツイン構築など、隣接領域への波及が期待される。

商用化に向けた課題としては、現実の撮影環境における照明変動や部分的な遮蔽への対応強化、および既存の映像配信パイプラインへの統合コストが挙げられる。とはいえ、リアルタイム性とコンパクト性の両立という本技術の核心的優位性は、帯域幅と計算コストが恒常的な制約となるモバイル・ライブ配信市場において、近い将来に実装事例が登場する可能性が高い。標準化団体や主要クラウドベンダーの動向とあわせて注視が必要である。