特徴点マッチングによる多眼式マルチスペクトルカメラの位置ずれ補正プログラム

要約

ドローン空撮で利用されている多眼式マルチスペクトルカメラで撮影した画像のバンド間の位置ずれを共通の特徴点をマッチングして補正するレジストレーション処理プログラムである。本プログラムにより、定点観測や空撮で撮影した単一シーンの画像のバンド間の位置ずれが補正できる。

  • キーワード : 多眼式マルチスペクトルカメラ、レジストレーション、ドローン、単一シーン画像、植生指数
  • 担当 : 基盤技術研究本部・農業情報研究センター・AI研究推進室・画像認識ユニット
  • 代表連絡先 :
  • 分類 : 研究成果情報

背景・ねらい

近年の小型無人航空機(UAV:Unmanned aerial vehicle、以下ドローン)の普及に伴い、ドローンに搭載可能な軽量型やドローン一体型のマルチスペクトルカメラの利用が農業分野でも拡大しつつある。これらのカメラは、いずれもカメラ本体に各バンドのイメージングセンサーが並べて配置された多眼式であり、同時に同じ被写体を撮影した画像(単一シーン画像)でも各バンド間に視差が生じる。そのため、その位置ずれを補正するレジストレーション処理が必要である。本研究では、マルチスペクトル画像のバンド間における位置ずれを補正する方法の開発を目的とする。特徴点マッチング技術による画像間位置ずれの補正処理プログラムを開発し、補正結果に影響を与える要因について評価する。また、本プログラムを使用することで、地理情報システム(GIS)ソフトウェアで扱えるよう、位置ずれ補正済みの画像と撮影画像のメタデータを用いて、デジタルナンバー(DN)を反射率に変換した後に植生指数を算出し、位置情報と共に出力(保存)する方法を構築する。

成果の内容・特徴

  • 本プログラムにより、Structure from Motion(Sfm)ソフトの使用ができない多眼式マルチスペクトルカメラにより撮影した単一シーンの画像において、OpenCV(Open Source Computer Vision Library)の特徴点マッチング技術による位置ずれの補正ができる(図1)。なお、本プログラムは農業分野で広く利用されている3種類の多眼式マルチスペクトルカメラ(Parrot社製のSEQUOIA+(SQ+)、MicaSense社製のRedEdge-3(RE3)、DJI社製のP4 Multispectral(P4M))の撮影画像において検証したものである。
  • 本プログラムにより位置ずれの補正だけではなく、各カメラのレンズ効果補正、撮影画像のDNから放射輝度や反射率への変換、植生指数を算出でき、これらの処理結果を元画像のメタデータなどを使用して算出した空間解像度で位置情報付きのGeoTIFF画像で保存することができ、GISソフトによる解析に活用可能となる(図2)。
  • 本プログラムによる処理にあたり、被写体の違いによる画像の特徴量が位置合わせの成功率と処理時間に大きく影響を与え、画像の特徴量が多いほど位置合わせの成功率が高くなり、その処理時間が短くなる傾向がある(図3)。
  • 特徴点マッチングで使用する参照バンドと特徴点検出器のアルゴリズムの違いによる位置合わせの成功率を比較した結果、参照バンドとして、緑、レッドエッジ、青、近赤外、レッドの順で成功率が高い傾向がある(図3(b))。特徴点検出器は、SIFT、AKAZE、SURF、BRISK、ORBの順に成功率が高い(図3(c))。SIFTとAKAZEは、緑バンドを参照バンドとした場合、全ての特徴量が異なる画像において89%以上の成功率である。

成果の活用面・留意点

  • 本プログラムにより、Sfmソフトの使用ができない多眼式マルチスペクトルカメラで撮影した単一シーンの画像において、位置ずれの補正、DN画像から反射率への変換、植生指数を算出した位置情報付きのGeoTIFF画像に保存することで、GISソフトによる解析に活用可能となる。
  • 本プログラムは、3種類の多眼式マルチスペクトルカメラ、MicaSense社製RedEdge-3、Parrot社製Sequoia+、DJI社製P4Multispectralで取得した画像で検証したものである。
  • 本プログラムを農地のような植物が多い画像で使用するには、なるべく道路などを含む特徴量が多い画像を選定し、参照バンドを緑に、特徴点検出器をAKAZEまたはSIFTにすると位置合わせの成功率が高くなる。推定した位置合わせ補正行列は、同高度で撮影した別のシーンの位置合わせ補正に使用可能である。なお、異なる環境では安定的な補正結果を出す参照バンドや特徴点検出のアルゴリズムが異なる可能性がある。
  • 本プログラムにより生成したGeoTIFF画像は、GISソフトで幾何補正を行うことで位置精度を向上させることが可能である。

具体的データ

図1 本プログラムによる多眼式マルチスペクトルカメラの画像処理の例,図2 (a)位置ずれ補正済み画像から算出した植生指数(NDVI)の空間解像度を撮影高度から計算して地理情報付き画像に出力(保存)した例、(b)(a)の画像をGISソフトで幾何補正し、位置精度を更に向上した例,図3 (a)特徴点検出器のアルゴリズムと処理画像の特徴量が処理時間に与える影響、(b)参照バンドと処理画像の特徴量が位置合わせの成功率に与える影響、(c)特徴点検出器のアルゴリズムと処理画像の特徴量が位置合わせの成功率に与える影響

その他

  • 予算区分 : 交付金、文部科学省(科研費)
  • 研究期間 : 2021～2023年度
  • 研究担当者 : 林志炫、石原光則、杉浦綾、常松浩史
  • 発表論文等 :
    • 林ら(2023)日本リモートセンシング学会誌、43:86-96
    • 林ら(2021)職務作成プログラム「マルチスペクトル画像処理プログラム」、機構-ZC5