今回は、画像から立体物を特定する技術に関する発明を紹介します。今日も一緒に勉強しましょう。
従来、白飛びや黒つぶれがあると立体物の特定がうまくいかない問題があります。
この発明では、距離画像中の信頼度が高いブロックを使って合成して立体物を特定します。これにより、広いダイナミックレンジで立体物を特定できます。
白飛びや黒つぶれがあると立体物の特定がうまくいかない問題
従来、車両の前方にある立体物を特定する技術があります。例えば、車両の前方にある立体物(車両や人など)を検出し衝突を回避する技術(衝突回避制御)や、車両の前方にある車両と安全な距離を保って走行する技術(クルーズコントロール)などに使われています。
このような技術では、車両の前方をカメラで撮影して、撮影した画像から立体物の特定や距離の計測をします。
一方、取得した画像の中に白飛びや黒つぶれ(黒沈み)が発生して階調が正しく表現されないことがあります。その場合、広いダイナミックレンジで階調を表現する技術(HDR技術)があります。
しかし、取得した画像の中に白飛びや黒つぶれ(黒沈み)がある場合、その画像に基づく立体物の特定がうまくいかないことがあるという問題があります。
距離画像中の信頼度が高いブロックを使って合成して立体物を特定
この発明の装置は、広いダイナミックレンジで立体物を特定できます。
まず、距離計測のための画像、例えば、左右に並べられたカメラで適度な露光時間で撮影して画像を取得します。次に、その露光時間より短い露光時間で撮影して画像を取得します。
取得した画像それぞれから距離画像を生成します。距離画像というのは、もとの画像の各画素に映っている対象物までの距離を示している画像です。
最後に、生成した2つの距離画像を合成します。このとき、画像内のブロックごとに、信頼度が高いほうのブロックを使って合成画像を生成します。
信頼度の算出をするときには、当該ブロックとの距離が近いブロックの数が多いほど信頼度を高く算出します。ブロック間の距離というのは、おそらく、画像に映っている実際の対象物における距離だと思います。
このようにすることで、HDR技術を使って広いダイナミックレンジを有する画像を使って、立体物を特定することができます。
特許第6701253号 株式会社SUBARU
出願日:2020年5月8日 登録日:2020年5月8日
ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定することが可能な車外環境認識装置を提供する。
【請求項1】
コンピュータが、
位置を異にする複数の撮像装置において所定の第1露光時間で撮像した複数の第1輝度画像を取得する第1輝度画像取得部と、
前記複数の撮像装置において前記第1露光時間より短い第2露光時間で撮像した複数の第2輝度画像を取得する第2輝度画像取得部と、
前記複数の第1輝度画像をパターンマッチングして第1距離画像を生成する第1距離画像生成部と、
前記複数の第2輝度画像をパターンマッチングして第2距離画像を生成する第2距離画像生成部と、
前記第1距離画像の任意のブロック、および、前記任意のブロックに対応する前記第2距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成部、
として機能し、
前記ブロックとの距離が距離閾値以下であるブロック数が所定数以上である場合、前記ブロックとの距離が距離閾値以下であるブロック数が所定数未満である場合と比べ、前記距離の信頼度が高い車外環境認識装置。
今日のみどころ
左右に離れたカメラで取得した2つの画像から距離画像を生成する技術や、異なる露光時間で取得した2つの画像からHDR画像を生成する技術はすでにありますが、これらを組み合わせて、さらに、どちらの画像を選択するかの判断にひと工夫を入れた技術といえます。
どちらの画像を選択するかの判断のところが、おそらく他にない技術と認められたのだと思います。
こんな感じで、従来ある技術、または、従来ある技術の組合せにひと工夫をいれて特許をとるというのも、良い戦略です。