特許第5832850号(P5832850)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アルパイン株式会社の特許一覧

<>
  • 特許5832850-車線監視システム及び車線監視方法 図000017
  • 特許5832850-車線監視システム及び車線監視方法 図000018
  • 特許5832850-車線監視システム及び車線監視方法 図000019
  • 特許5832850-車線監視システム及び車線監視方法 図000020
  • 特許5832850-車線監視システム及び車線監視方法 図000021
  • 特許5832850-車線監視システム及び車線監視方法 図000022
  • 特許5832850-車線監視システム及び車線監視方法 図000023
  • 特許5832850-車線監視システム及び車線監視方法 図000024
  • 特許5832850-車線監視システム及び車線監視方法 図000025
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5832850
(24)【登録日】2015年11月6日
(45)【発行日】2015年12月16日
(54)【発明の名称】車線監視システム及び車線監視方法
(51)【国際特許分類】
   G08G 1/16 20060101AFI20151126BHJP
   G06T 1/00 20060101ALI20151126BHJP
   B60R 21/00 20060101ALN20151126BHJP
【FI】
   G08G1/16 C
   G06T1/00 330A
   !B60R21/00 621C
【請求項の数】4
【全頁数】18
(21)【出願番号】特願2011-230603(P2011-230603)
(22)【出願日】2011年10月20日
(65)【公開番号】特開2013-89111(P2013-89111A)
(43)【公開日】2013年5月13日
【審査請求日】2014年9月25日
(73)【特許権者】
【識別番号】000101732
【氏名又は名称】アルパイン株式会社
(74)【代理人】
【識別番号】100099748
【弁理士】
【氏名又は名称】佐藤 克志
(72)【発明者】
【氏名】橋本 真也
(72)【発明者】
【氏名】小幡 喜重郎
(72)【発明者】
【氏名】棟方 康介
(72)【発明者】
【氏名】酒井 重之
(72)【発明者】
【氏名】櫛田 敏夫
【審査官】 根本 徳子
(56)【参考文献】
【文献】 特開2008−059324(JP,A)
【文献】 特開2003−036500(JP,A)
【文献】 特開2007−018451(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00−99/00
G06T 1/00
B60R 21/00
(57)【特許請求の範囲】
【請求項1】
自動車に搭載された車線監視システムであって、
前記自動車後方を撮影する車載カメラと、
前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出手段と、
前記垂線データ算出手段が算出した各垂線データに基づいて、円の中心から前記基準方向について前記奥行距離離れた当該円の円弧上の位置における当該円の接線の垂線の方向が前記垂線方向であるものとして求めた当該円の半径を前記車線境界線の曲率半径として算出する曲率半径算出手段とを有することを特徴とする車線監視システム。
【請求項2】
請求項1記載の車線監視システムであって、
前記曲率半径算出手段は、前記垂線データ算出手段が、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出することを特徴とする車線監視システム。
【請求項3】
自動車に搭載される車線監視システムにおいて、前記自動車後方を撮影する車載カメラが撮影した自動車後方の画像に基づいて、走行中の車線境界線を認識する車線監視方法であって、
前記車線監視システムが、前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出ステップと、
前記車線監視システムが、前記垂線データ算出ステップで算出した各垂線データに基づいて、円の中心から前記基準方向について前記奥行距離離れた当該円の円弧上の位置における当該円の接線の垂線の方向が前記垂線方向であるものとして求めた当該円の半径を前記車線境界線の曲率半径として算出する曲率半径算出ステップとを有することを特徴とする車線監視方法。
【請求項4】
請求項3記載の車線監視方法であって、
前記曲率半径算出ステップにおいて、前記垂線データ算出ステップで、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出することを特徴とする車線監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術に関するものである。
【背景技術】
【0002】
車載カメラで撮影した自動車後方の画像に基づいて車線を認識する技術としては、車載カメラで撮影した自動車後方の画像に基づいて自動車が走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識すると共に、走行中の車線が直進している車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線(白線)を近似した直線として車線境界線を認識し、走行中の車線がカーブしている車線であると認識した場合には、車載カメラで撮影した自動車後方の画像に含まれる車線境界線を近似した円として車線境界線を認識する技術が知られている(特許文献1)。
【0003】
ここで、この技術では、車載カメラで撮影した現在の画像と直近に撮影した画像との間の、画像中の白線の自動車左右方向の位置ずれ量を横方向移動速度として、横方向移動速度がほぼ0の場合に、走行中の車線が直進している車線と判定し、他の場合に走行中の車線がカーブしている車線と判定する。しかしながら、このような判定法は、走行中の車線がカーブしている車線であってもカーブの曲率が一様であって自動車が車線に沿って走行している場合には、横方向移動速度は生じず、また、走行中の車線が直進している車線であっても自動車が車線に沿って走行していない場合には横方向移動速度が発生するために、これらの場合に有効に働くことはない。
【0004】
また、走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識する技術に関連する技術としては、各時点において車載カメラで撮影した画像中の白線上の点の座標を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換し、変換した座標を曲線に近似することにより、走行中の車線の曲率を算出する技術が知られている(たとえば、特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007-200191号公報
【特許文献2】特開2007-264714号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
各時点において車載カメラで撮影した画像中の白線上の点の座標を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換し、変換した座標を曲線に近似することにより、走行中の車線の曲率を算出する技術によれば、当該曲率より、走行中の車線が直進している車線とカーブしている車線とのうちのいずれであるかを認識したり、車線境界線を曲線で近似することができるが、自動車の車速やヨーレートを検出して、自動車の車速やヨーレートから自動車の位置や向きの変化を精度良く算出したり、白線上の点の実空間上の座標より曲率を算出する、比較的複雑な特段の構成が必要となる。
【0007】
そこで、本発明は、走行中の車線がカーブしている車線であるか否かの判定や、カーブしている車線境界線の認識を、簡易な構成において行えるようにすることを課題とする。
【課題を解決するための手段】
【0008】
前記課題達成のために、本発明は、自動車に搭載された車線監視システムに、前記自動車後方を撮影する車載カメラと、前記車載カメラが撮影した自動車後方の画像に基づいて、当該画像に写り込んだ自動車後方の車線境界線上の異なる複数の位置である各着目位置について、自動車側方の車線境界線上の位置である側方位置における車線境界線の方向である基準方向に対する、当該着目位置における車線境界線の垂線の方向である垂線方向と、当該着目位置までの前記側方位置からの前記基準方向の距離である奥行距離とを、当該着目位置の垂線データとして生成する垂線データ算出手段と、前記垂線データ算出手段が算出した各垂線データに基づいて、中心から前記着目方向について前記奥行距離離れた円弧上の位置における円の接線の垂線の方向が前記垂線方向であるものとして求めた円の半径を前記車線境界線の曲率半径として算出する曲率半径算出手段とを備えたものである。
【0009】
ここで、以上のような車線監視システムは、前記曲率半径算出手段において、前記垂線データ算出手段が、過去直近の複数の時点で前記車載カメラが撮影した複数の画像のそれぞれに基づいて生成した前記垂線データに基づいて前記円の半径を算出するようにすることが好ましい。
【0010】
このような車載システムによれば、各時点において車載カメラで撮影した画像から算出した検出値を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換する処理を含まないので、自動車の位置や向きの変化を算出する比較的複雑な構成を必要とすることなく、走行中の車線の車線境界線の曲率半径を算出し、走行中の車線がカーブしている車線であるか否かの識別や、車線境界線形状の認識を行うことができるようになる。
【0011】
なお、以上のような車線監視システムには、さらに、前記曲率半径算出手段で算出した曲率半径が所定のしきい値より小さい場合に、走行中の車線が直進する車線であると識別し、前記曲率半径検出ステップで算出した曲率半径が所定のしきい値より小さくない場合に、走行中の車線がカーブする車線であると識別する識別手段を備えるようにしてもよい。
【0012】
または、以上のような車線監視システムには、さらに、前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さい場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する直線を車線境界線形状として認識し、前記曲率半径検出手段が算出した曲率半径が所定のしきい値より小さくない場合に、前記車載カメラが撮影した自動車後方の画像に写り込んだ自動車後方の車線境界線を近似する円を前記車線境界線形状として認識する車線認識手段とを備えるようにしてもよい。
【0013】
また、この場合には、さらに、前記車線認識手段が認識した車線境界線形状に基づいて、前記自動車の走行中車線からの逸脱を予測する逸脱予測手段を設けることも好ましい。
【発明の効果】
【0014】
以上のように、本発明によれば、走行中の車線がカーブしている車線であるか否かの判定や、カーブしている車線境界線の認識を、簡易な構成において行うことができる。
【図面の簡単な説明】
【0015】
図1】本発明の実施形態に係る車載システムの構成を示すブロック図である。
図2】本発明の実施形態に係る車線監視処理を示すフローチャートである。
図3】本発明の実施形態に係る曲率半径算出処理を示すフローチャートである。
図4】本発明の実施形態に係る車線監視処理の処理例を示す図である。
図5】本発明の実施形態に係る曲率半径算出処理の処理例を示す図である。
図6】本発明の実施形態に係る曲率半径算出処理の処理例を示す図である。
図7】本発明の実施形態に係る曲率半径算出処理の処理例を示す図である。
図8】本発明の実施形態に係る車線監視処理の処理例を示す図である。
図9】本発明の実施形態に係る車線監視処理の処理例を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について説明する。
図1aに、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されるシステムであり、図1bに示すように自動車後部に配置され自動車後方を撮影する後方カメラ1と、後方カメラ1が撮影した画像フレームを格納するフレームメモリ2、車線監視装置3、車線監視装置3が作業に用いるワークメモリ4、スピーカ5、表示装置6などを備えている。
【0017】
なお、図示は省略したが、後方カメラ1の撮影した映像は、後進して行う駐車の支援などにも用いられる。
次に、このような構成において車線監視装置3が行う車線監視処理について説明する。
図2に、この車線監視処理の手順を示す。
さて、図2に示すように、この処理では、まず、後方カメラ1が後方を撮影した最新の画像フレームをフレームメモリ2から取得し(ステップ202)、画像フレームに写り込んでいる後方の白線上の特徴点の座標を算出する(ステップ204)。
ここで、このステップ204で行う画像フレームに写り込んでいる後方の白線上の特徴点の座標の算出は以下のように行う。
すなわち、図4aに示すように、自動車の左右前後方向の中心Gを原点とし、自動車の右方向を正のY0方向とし、自動車の後方向を正のX0方向とするX0-Y0座標系を設定する。
そして、後方カメラ1で撮影された図4bに示すような画像フレームに対して、ノイズ除去などの前処理を施した上で、輝度勾配などに基づいて画像フレームに写り込んでいる白線の領域301を抽出する。
そして、抽出した白線の領域301を、図4cに示すようにX0-Y0座標系に射影変換する。そして、X0方向について所定間隔毎にX0-Y0座標系に射影変換した白線の領域302のY0方向の中点に特徴点qiを設定し、各特徴点qiのX0-Y0座標系上の座標(xqi,yqi)を、後方の白線上の特徴点qiの座標として算出する。
【0018】
さて、図2に戻り、以上のようにして特徴点の座標を算出したならば、曲率半径算出処理を行って(ステップ206)、曲率半径rを算出する。
ここでステップ206で行う曲率半径処理の手順を図3に示す。
図示するように、この曲率半径算出処理では、まず、図4dに示すように、X0-Y0座標系上でX0=0となる白線上の位置における当該白線の向き、すなわち自動車の重心Gの左右方向の位置における白線の方向に対する、自動車の後方すなわちX0方向の角度θを求める。そして、図4eに示すように、X0-Y0座標系を原点Gを中心としてθ回転したX1-Y1座標系を設定し、X1-Y1座標系上の各特徴点qiを特徴点piと表すこととして、各X1-Y1座標系上の各特徴点piの座標(xpi,ypi)を求める(ステップ302)。
【0019】
ここで、θは、図4dに示すように、後述する車線監視処理のステップ210または212で過去直近に求めた白線近似線をH(-1)として、H(-1)のX0=0となる点における接線に対するX0方向の角度として求めることができる。
または、このθは、図5に示すように、自動車の車速をVx、後述する車線監視処理の214で過去所定期間内に求めた距離Dの時間微分dD/dtとして求まる白線方向への自動車の移動速度をVdとして、tan-1(Vd/-Vx)として求めることもできる。
ここで、このようにして求めたX1-Y1座標系上の各特徴点piは、X0方向、すなわち、自動車の後ろ方向が、自動車の重心Gの左右方向の位置における白線の方向と一致していた場合に、後方カメラ1で撮影した画像より求まるX0-Y0座標系上の各特徴点qiに一致するものとなる。
【0020】
さて、図3に戻り、このようにして、各特徴点piの座標(xi,yi)を算出したならば(ステップ302)、図6aに示すように、隣接する特徴点piとpi+1とを結ぶ直線の接線の傾きをai=(xpi+1-xpi) /(ypi+1-ypi)として求めると共に、特徴点piとpi+1との中点のX座標をxi=(xpi+xpi+1)/2として求める。但し、特徴点pjとpj+1との間の距離が所定距離以上大きいjについては、aj、xjは算出しないようにする。
【0021】
そして、図6bのように、算出した各(xi、ai)を傾きデータQiとする(ステップ304)。
次に、今回ステップ304で算出した傾きデータQi、もしくは、過去直近の所定期間内に後方カメラ1が撮影した1または複数の画像フレームに対する曲率半径算出処理のステップ304で算出した全ての傾きデータQiに基づいて、円の中心を原点するX-Y座標系上の円の半径を、各傾きデータQiが示すai を、円弧上のX=xi の位置における垂線の傾きを表すものと見なして算出し、算出した円の半径を曲率半径rとし(ステップ306)、曲率半径算出処理を終了する。
【0022】
ここで、ステップ306の円の半径の算出は、具体的には以下のように行う。
すなわち、まず、円の中心Cが、X1-Y1座標系でX1=0となる白線上の位置における白線方向の垂線の方向であるX1方向に存在するものとして、図7に示すように、X1-Y1座標系をX1方向に、原点が円の中心Cに一致するように移動したX-Y座標系を仮定する。
すると、X-Y座標において、円は式1によって表すことができる。
【0023】
【数1】
【0024】
また、この円の円弧上の各位置における円の接線の垂線は、当該垂線の傾きをaとして式2によって表すことができる。
【0025】
【数2】
【0026】
式2を式1に代入してyを消去すると、式3を得ることができ、式3は式4に変形することができる。
【0027】
【数3】
【0028】
【数4】

ここで、自動車後方の白線の形状が円であるものとすれば、図7に示すように、各傾きデータQiが示すai は、円弧上のX=xi となる位置の接線の垂線の傾きを表すので、式5が成立する。
【0029】
【数5】
【0030】
よって、式6に示す、各傾きデータQiについての自乗誤差Eを最小とするrを求めれば、これが求める円の半径rとなる。
【0031】
【数6】
【0032】
そして、式7のように、Ai、Rをおくと、式6は式8によって表すことができ、式8は式9のように変形することができる。
【0033】
【数7】
【0034】
【数8】
【0035】
【数9】
【0036】
そして、式9のRの偏微分が0となるRが式9の自乗誤差Eを極小値とするので、自乗誤差Eを極小値とするRに対して式10が成立し、これより式11が得られる。
【0037】
【数10】
【0038】
【数11】
【0039】
したがって、式11より、式12によってrを求めることができ、ステップ306では、このrを求める曲率半径rとする。
【0040】
【数12】
【0041】
以上、曲率半径算出処理について説明した。
さて、図2の車線監視処理に戻り、以上のような曲率半径算出処理によって曲率半径rを算出したならば(ステップ206)、曲率半径rが所定距離Thr(Thrは、たとえば300m)より小さいかどうかを判定し(ステップ208)、小さければ、走行中の車線が直進している車線であると見なして、図4cに示した各特徴点qiの座標に基づいて、後方の白線を直線y=ax+bに近似し、近似した直線y=ax+bを現在の白線近似線H(0)とする(ステップ210)。
【0042】
この直線y=ax+bへの近似は、各特徴点qiの座標を直線上の座標として持つ直線として、最も尤もらしい直線を求めることにより行う。
より具体的には、この近似は、たとえば、最小自乗法によって、各特徴点qiについて求めた、yi-(axi+b)の自乗の合計をEとして、Eを最小とするa、bを算出することにより求める。
【0043】
一方、曲率半径rが所定距離Thrより小さくなければ(ステップ208)、走行中の車線がカーブしている車線であると見なして、後方の白線を円(x-cx)2+(y-cy)2=r2に近似し、近似した円(x-cy)2+(y-cy)2=r2を現在の白線近似線H(0)とする(ステップ212)。
【0044】
ここで、このステップ212における白線近似線H(0)とする円(x-cx)2+(y-cy)2=r2の算出は次のように行う。
すなわち、図8に示すように、上述した曲率半径算出処理で求めた曲率半径rを半径とする円のX1-Y1座標系上における中心座標を(0,cy1)として、X1-Y1座標系上の円の式:(x)2+(y-cy)2=r2に、同X1-Y1座標系上の特徴点p1の座標(xp1,yp1)を、当該円の円弧上に特徴点pnが存在するものとして代入してcy1を算出することにより求める。
【0045】
すなわち、曲率半径算出処理のステップ306で曲率半径rの算出に用いた傾きデータQiのうちのx1が自車後方近傍の位置であることを表している(たとえば、x1<5m)傾きデータQiのaiが負、であれば、cy1はY1軸の正側にあるので式13によってcy1を求める。また、曲率半径算出処理のステップ306で曲率半径rの算出に用いた傾きデータQiのうちのx1が自車後方近傍の位置であることを表している(たとえば、x1<5m)傾きデータQiのaiが正であれば、cy1はY1軸の負側にあるので式14によってcy1を求める。
【0046】
【数13】
【0047】
【数14】
【0048】
ここで、cy1の算出に用いる特徴点pnは、曲率半径算出処理のステップ306で曲率半径rの算出に用いた、いずれかの傾きデータQiの算出に用いられた特徴点piである。なお、特徴点pnとしては、xiが最小の特徴点piを用いるようにすることが好ましい。または、曲率半径算出処理のステップ306で曲率半径rの算出に用いた傾きデータQiの算出に用いられた複数の特徴点piについて、cy1をそれぞれ求め、その平均を最終的なcy1として決定するようにしてもよい。
【0049】
そして、このようにして、曲率半径rを半径とする円のX1-Y1座標系上における中心座標(0,cy1)が求まったならば、X0-Y0座標系上の半径rの円の中心座標(cx,cy)を、上述したθを用いて、
cx= cy1sin(-θ)
cy= cy1cos(-θ)
として求め、白線近似線H(0):(x-cx)2+(y-cy)2=r2を得る。
さて、図2に戻り、以上のようにして直線、または、円として現在の白線近似線H(0)が求まったならば(ステップ210、212)、白線近似線H(0)に従って、白線と自動車前方白線側(右側)端Tとの距離Dを求める(ステップ214)。
【0050】
すなわち、図9に示すように、自動車中心Gから自動車前端までのX方向の距離(自動車の全長の半分)をL、自動車中心Gから自動車白線側端までのY方向の距離(自動車の前幅の半分)をWとすれば、端T最寄りの白線上の点Kの座標は
Ky=D+Wとして、(-L、Ky)となる。
【0051】
点Kが、白線近似線H(0)上の点であることより、
白線近似線H(0)式のxに-Lを代入すれば、Kyが求まり、これより距離Dが求まる。
より具体的には、白線近似線H(0)が直線y=ax+bである場合には、
Ky =a(-L)+b が成り立ち、
D= a(-L)+b -Wとして、距離Dが求まる。
また、白線近似線H(0)が円 (x-cx)2+(y-cy)2=r2である場合には、
r2=(-L-cx)2+(Ky-cy)2が成り立ち、
これと、Ky=D+Wより、式15によって、距離Dが求まる。
【0052】
【数15】
【0053】
さて、図2に戻り、求めた自動車前方の白線と自動車前方白線側端Tとの距離Dを求めたならば、求めた距離Dが、所定のしきい値ThDより小さく、かつ、自動車が白線側に移動しているかどうかを調べ(ステップ216)、そうでなければステップ202からの処理に戻り、そうであれば自動車の走行中車線からの逸脱の発生を予測し、スピーカ5や表示装置6から、自動車の車線から逸脱を警告する出力をドライバに対して行った上でステップ202からの処理に戻る。
【0054】
なお、自動車が白線側に移動しているかどうかは、求めた自動車前方の白線と自動車前方白線側端Tとの距離Dが、前回距離Dを求めたときの距離Dの値より減少している場合に、自動車が白線側に移動していると判定することなどにより行うことができる。
以上、車線監視装置3が行う車線監視処理について説明した。
以上のように、本実施形態によれば、各時点において車載カメラで撮影した画像から算出した検出値を、自動車の車速やヨーレートから求まる撮影時から現在までの自動車の位置や向きの変化に基づいて、現時点における自動車位置を原点とする実空間上の座標に変換する処理を含まないので、自動車の位置や向きの変化を算出する比較的複雑な構成を必要とすることなく、走行中の車線の車線境界線の曲率半径を算出し、走行中の車線がカーブしている車線であるか否かの識別や、車線境界線形状の認識を行うことができるようになる。
【0055】
なお、以上の実施形態は、自動車の右側の白線を検出する場合について示したが、自動車の左側の車線を検出する場合についても本実施形態は同様に適用可能である。
また、以上では、便宜上、白線を認識対象とするものとして説明したが、本実施形態は、黄線その他の任意の車線境界線についても、同様に認識するものとすることができる。
【符号の説明】
【0056】
1…後方カメラ、2…フレームメモリ、3…車線監視装置、4…ワークメモリ、5…スピーカ、6…表示装置。
図1
図2
図3
図4
図5
図6
図7
図8
図9