JAJSQ13C February 2023 – June 2024 AM69 , AM69A
PRODMIX
デバイスごとのパッケージ図は、PDF版データシートをご参照ください。
深度およびモーション処理アクセラレータ (DMPAC) は、電力効率の優れたハードウェア アクセラレータであり、カメラ入力から高密度ステレオ デプス マップ (深度) と高密度オプティカル フロー ベクトル (モーション) を計算します。
イメージ / ビデオ センサをベースとする環境認識 (シーン理解とも呼ばれます) は、車載用、産業用、およびコンシューマ エレクトロニクスの分野で、新しい多くのアプリケーションの中核になります。通常、この手法では、1 つまたは多数の関連する入力ビデオ ストリームを分析して、シーン内にあるすべての物体の検出と、観察者または自動車に対する 3D 位置およびモーションの検出が必要になります。さまざまなコンピュータ ビジョン アルゴリズムを使用して、これらのタスクを実現しています。
画像から 3D 深度を取得する非常に堅牢な方法は、ステレオ設定で 2 台のカメラを使用することです。すなわち、相対位置とカメラパラメータが既知である 2 台のカメラです。2 つの異なるカメラのポーズ / 視点からキャプチャされた同じシーンの 2 つの画像を分析し、画像内のすべてのピクセル位置の差を見つけて分析します。これを「ステレオ視差マップ」と呼んでいます。各ピクセルの視差値を使って、それらが属する物体/空間の 3D 位置を三角測量により取得できます。
一方、1 台のカメラで撮影した 2 つの異なる時間インスタンス (すなわち、ビデオ内の 2 つの時間フレーム) の画像を分析することにより、過去のフレームの各ピクセルが将来のフレームのどこに移動したかを判断できます。これを「オプティカル フロー ベクトル」と呼んでいます。各ピクセル位置のフローベクトルを使用して、シーンの 3D 構造を取得し、動いている物体を識別し、物体の相対速度と移動方向を決定できます。
DMPAC は、前述の画像処理タスク専用です。ステレオおよびオプティカル フローの処理は、デンス オプティカル フロー (DOF) エンジンおよびステレオ視差エンジン (SDE)という 2 つの最上位レベルのサブブロックに分割されています。DOF ブロックと SDE ブロックは、共通の共有ローカルメモリ、DMA、外部メッセージング、および制御インフラストラクチャを共有します。
詳細については、デバイスのテクニカル リファレンス マニュアルで「プロセッサおよびアクセラレータ」の章にある「深度およびモーション認識アクセラレータ (DMPAC)」セクションを参照してください。