研究チーム、逆走査の二重撮像でHDR復元を実現

研究の概要

Xiang Ji氏を中心とする5人の研究チームは、CMOSセンサー特有のローリングシャッター（RS）効果とダイナミックレンジ（明暗の表現幅）の圧縮という二つの課題を同時に緩和する手法「HaRP」を、論文投稿サイトarXivで発表した。

CMOSセンサーは、スマートフォンなどのモバイル撮影に広く利用されているが、行ごとに時間差で露光するRS方式のため、動く被写体に対して幾何学的な歪みや動きのアーティファクトが発生する。近年登場したグローバルリセット付きローリングシャッター（RSGR）モードは、歪みの一部を抑えることが可能になったが、撮影速度の低下やダイナミックレンジの圧縮といった副作用が課題であった。

研究チームは、通常のRSGR画像と走査方向を反転させたRSGR画像を同期して取得する​二重逆走査​という新たな構成を提案した。この二つの画像は行ごとの露光が互いに補完し合い、一方で露光が不足する領域を他方が補うことができる。この特性により、RSGRの弱点を補うだけでなく、動きの激しい場面でのHDR（ハイダイナミックレンジ）フォトシーケンシング、すなわち連続した高ダイナミックレンジ画像の再構成が可能となる。

再構成用のネットワークは二段階構成で、第一段では行単位の補完関係を利用し、​行適応型の特徴整列​によって二つの画像間の視覚的なずれを補正する。第二段の補完生成モジュールでは、相関誘導型のミックスアテンションブロックを用いて、相互に強化された特徴を統合し、欠落した細部を復元する。さらに、同チームは同軸の撮像系を構築し、実世界のデータセットを収集することで、数値シミュレーションにとどまらない学習と評価を実現した。実験では、RSGRの制約緩和とHDR再構成技術の前進という二重の効果が示された。

しくみをやさしく

本研究で提案された「HaRP」は、二種類のRSGR画像を同期取得することで、動きの激しい場面でも高品質な画像を生成する手法である。通常、CMOSセンサーは行ごとに露光を行うため、動体に対して歪みが生じるが、二重逆走査を用いることで、互いに補完し合うことが可能になる。これにより、明暗差が大きいシーンでも、より正確なHDR画像を再構成することができる。

ビジネスへの示唆

本手法は、撮像素子の読み出し方式と画像処理を組み合わせて画質を向上させる点が特徴であり、明暗差が大きく、被写体が動く現場を抱える複数の産業において重要な示唆を提供する。具体的には、以下のような業務において導入が期待される。

• ​スマートフォン・カメラ機器メーカー​（商品企画・画像処理開発部門）：逆光や夜景での画質評価スコア、動体撮影時の歪み発生率、連写性能
• ​自動車メーカー・部品サプライヤー​（先進運転支援システム開発部門）：トンネル出入口や対向車のヘッドライト下での物体認識精度、誤検知率
• ​製造業の外観検査・ロボティクス​（生産技術・品質保証部門）：高速搬送ラインでの欠陥検出率、見逃し率、検査タクトタイム
• ​警備・インフラ点検​（ドローン運用部門）：夜間や高コントラスト環境での映像の判読性、再撮影率

これらの分野では、動体の歪みや白飛び・黒つぶれが認識精度や検査品質に大きな影響を与える共通の要因である。撮影後の画像処理で補正できる範囲が広がることで、高価な高速センサーや専用照明への依存を抑え、部材コストや設備投資の削減が期待される。

自部署で該当する業務は何か、いま誰がどれだけ手をかけているかを考えることが重要である。たとえば、製造業においては、外観検査の精度が向上すれば、検査タクトタイムの短縮や見逃し率の低下が期待できる。これにより、全体の生産性向上が図れる可能性がある。

現場での導入イメージ

仮に導入支援に入るなら、以下の4つのステップで進めることが考えられる。

1. ​棚卸し​
   現在の撮影システムや画像処理フローを把握し、どのような課題が存在するかを明確にする。目指す到達点は、現状の問題点を洗い出し、改善の余地を特定することである。

2. ​差し込み先の設計​
   既存のツールや業務のどこに新手法を組み込むかを検討する。新たなツールを増やさずに、現実的な解決策を模索する。目指す到達点は、導入後の運用がスムーズに行えるようにすることである。

3. ​小さく試す（PoC）​
   限定的な環境で新手法を試験的に導入し、実際の効果を検証する。目指す到達点は、実用性や効果を確認し、必要な調整を行うことである。

4. ​運用と横展開​
   成功した試験結果を基に、全社的に新手法を展開する。目指す到達点は、全体の業務効率を向上させ、コスト削減を実現することである。

この一連の流れを通じて、最終的な目標は、動体撮影時の歪みやHDR再構成の精度を向上させ、業務全体の生産性を高めることである。

今後の展望

今後の焦点は、二重逆走査をどこまで低コストで実装できるかにある。センサーメーカーが逆方向読み出しに対応した設計を採用すれば、光学的な分岐機構を用いずに同等の情報を得られる余地が生じる。その場合、モバイル端末の高画質化競争において、新たな差別化要素となり得る。

産業用途では、既存の検査カメラやロボットビジョンに対する追加投資の妥当性が問われる。導入効果は、検出率の改善幅と再検査や不良流出に伴う損失の削減額を比較して判断することになる。研究チームが公開した実世界データセットは、こうした比較検証の土台として、各社の評価に活用される可能性がある。

ハードウェアとアルゴリズムを一体で設計するアプローチは、画像センシング分野の潮流の一つである。本研究の成果が製品化に結びつくかどうかは、実装コストと処理速度の両面で、実用水準に達するかにかかっている。