米大学とMeta、長尺動画の全点3D追跡に成功

研究の概要

米カーネギーメロン大学やMeta Reality Labs等の研究者は、動画中の全ての点を3次元空間で長時間にわたり追跡できる新手法「​TrackEverything​」を発表した。この技術は、動画を「3次元世界の2次元投影」と捉え直すことで、従来の点追跡技術の制約を克服している。従来の技術では、少数の指定点を長時間追跡するか、全ての点を短い動画区間でのみ追跡するという二者択一が求められていたが、TrackEverythingはこの課題を解決する。

この新手法の設計は、モデルの計算量を動画の長さではなく、シーン固有の物理的な形状の複雑さに依存させることで実現されている。技術の核心は、以下の三点に集約される。第一に、スライディングウィンドウの境界で​ボクセル化​に基づく重複除去処理を行い、同一表面の繰り返し観測による軌跡の冗長な蓄積を防ぐ。第二に、各点の到達地点と静止・動的の分類を予測する処理と、動的な点のみに絞って密な軌跡を復元する軽量処理を分離している。第三に、メモリを大量消費する​4D相関ボリューム​に代えて、シーン点群上で効率的に特徴を取得する「3D WAFT」を導入した。

この結果、TrackEverythingは​40GB​のGPUメモリで1000フレームを超える動画の全可視点を追跡できる、初の3Dトラッカーとなった。ベンチマークTAPVid-3Dでは、短い動画区間でオープンソースの全フレーム密3Dトラッカーを精度指標APDで​20%以上​上回り、長時間動画でも追跡点数がはるかに多いにもかかわらず、最先端のスパーストラッカーに匹敵する性能を示している。

しくみをやさしく

TrackEverythingは、動画内の全点を3D空間で追跡するための新しいアプローチを採用している。具体的には、動画を3次元空間の持続的なシーンとして捉え、各点の動きを正確に追跡するために、ボクセル化技術を用いている。これにより、同じ表面を繰り返し観測する際の冗長性を排除し、必要なデータのみを効率的に処理することが可能となる。また、動的な点に特化した軽量処理を行うことで、計算資源の効率的な使用が実現されている。さらに、メモリ消費を抑えつつ、シーンの特徴を効果的に取得する新しい手法「3D WAFT」が導入されている。

ビジネスへの示唆

TrackEverythingの技術は、映像から3次元世界の動きを長時間・低コストで復元できるため、複数の産業において実用的な意味を持つ。特に、以下のような業務においては、導入の可能性が高い。

• ​ロボティクス​: 倉庫のピッキングロボットや組立ラインのロボットが対象物を見失わずに3D追跡できれば、把持成功率や工程停止時間の改善が期待できる。

• ​AR/VR​: ヘッドセット向けの空間認識やアバター表示の安定化に寄与し、仮想オブジェクトのドリフト低減はアプリ滞在時間などのKPI向上につながる。

• ​自動運転​: 車載カメラ映像から歩行者や他車両の3D軌跡を長時間安定して追跡できれば、ADAS認識部門の誤検知率低減に寄与する可能性がある。

• ​製造業の外観検査​: ベルトコンベア上を流れる部品の3D位置を連続追跡することで、不良検知率の向上が期待できる。

• ​映像制作・スポーツ分析​: マーカーレスでの選手動作解析やVFX制作のコスト削減にもつながる可能性がある。

これらの業務において、どのようにTrackEverythingを活用できるのかを考えることが重要である。自部署で該当する業務は何か、いま誰がどれだけ手をかけているかを明確にし、KPIの観点からも分析を行う必要がある。

現場での導入イメージ

仮に導入支援に入るなら、以下のステップで進めることが考えられる。

1. ​棚卸し​: 現在の業務プロセスや使用しているツールを洗い出し、TrackEverythingの導入がどのように業務に影響を与えるかを評価する。目指す到達点は、現状の業務フローの理解と、改善の余地を特定することである。

2. ​差し込み先の設計​: 既存のツールや業務プロセスにTrackEverythingをどのように組み込むかを設計する。新ツールを増やさない現実解を考慮し、どの業務にどのように適用するかを明確にする。目指す到達点は、導入後の業務フローがスムーズに機能するようにすることである。

3. ​小さく試す（PoC）​: 限定的な範囲でTrackEverythingを試験的に導入し、効果や課題を検証する。目指す到達点は、実際の業務における有効性を確認し、必要な調整を行うことである。

4. ​運用と横展開​: 本格的な運用を開始し、他の業務や部門への展開を図る。目指す到達点は、TrackEverythingを活用した業務の効率化と、全社的な普及を目指すことである。

このように、TrackEverythingの導入は、業務の効率化や精度向上を実現するための重要なステップとなる。最終的には、業務全体のパフォーマンス向上を目指すことが目標である。