TOPPAN 3D ToFセンサによるハイダイナミックレンジ技術 (日本語)

3D Time of Flight (ToF) センサで実現できるハイダイナミックレンジ（HDR）技術の一つを紹介したいと思います。

TOPPAN ToF’s HDR

イメージセンサのHDR技術は通常、異なる露光時間で撮影した複数の画像（フレーム）を合成して、単一のHDR画像（フレーム）を作成する技術です。以下はその例になります。

同様に、3D ToFセンサもフレーム合成技術に基づくHDR技術が広く使用されています。しかし、フレーム合成によるHDRの欠点は、合成に使用するフレーム数(画像の枚数)に応じてフレームレートが低下することです。例えば、30fpsで動作するToFカメラは、2フレーム合成により15fpsに低下します。これは、動的な深度解像度が半分に落ちることを意味し、合成するフレーム数が多い場合、高速移動する物体の3Dセンシングが難しくなります。

この課題に対処するため、当社の3D ToFセンサは、「ラインビニング」方式によるHDRを採用しています。この方式では、3D ToFセンサの画素アレイのライン毎に異なる露光時間のデータをキャプチャし、それらを組み合わせてHDRデータを生成します。

このアプローチは、フレーム合成方式によるHDRと比較して静的な深度解像度を低下させる可能性がありますが、フレームレートを低下させることはありません。つまり、動的な深度解像度を維持したまま高速な3Dセンシングを可能にします。したがって、ラインビニング方式によるHDRは、広範囲にわたって高速移動する物体をセンシングすることがより重要な自律ロボットや人物/物体認識システムなどのアプリケーションにおいて非常に効果を発揮します。

HDRデモ環境

・カメラから壁までの距離は約7メートル
・箱を持った人が7メートル離れたところからカメラの近くまで移動

実証デモの様子

実証実験

通常の操作（対象：壁 @ 7m、人 @ 約1m）

左の画像：ポイントクラウド画像
右の画像：赤外線画像

人がカメラに近づくにつれて、IR信号の飽和が原因で距離の計算が不正確になり、深度データの劣化が発生します。

HDR操作（対象：壁 @ 7m、人 @ 約1m）

この実験は、HDRモードが近距離での深度エラー（= IR信号の飽和）を効果的に減少させると同時に、約7メートルまでのセンシングも可能にすることを示しています。

私たちは現在、このHDR機能のパフォーマンスと品質を向上させるために努力しています。TOPPAN ToFセンサに関してご興味がありましたらお気軽にお問い合わせください。
TOPPAN TOF SENSOR AND CAMERA