等間隔な配置を利用した画像からの作物検出手法
要約
作物がほ場の中で直線的かつ等間隔に配置されていることを利用して、画像中の作物を検出する手法である。従来の多くの作物検出手法と異なり、機械学習に重要な作物・雑草の形状や色などの特徴量の分布に関する事前知識や、学習用画像の確保とアノテーションを必要としない特長がある。
- キーワード : 画像処理、作物検出、雑草、除草
- 担当 : 農業機械研究部門・無人化農作業研究領域・小型電動ロボット技術グループ
- 代表連絡先 :
- 分類 : 研究成果情報
背景・ねらい
農薬の使用量低減のため、除草剤を利用した雑草防除から除草剤を使用しない機械除草への転換が求められている。しかし、作物と雑草の混在する作物列内(株間等)の機械除草を実現するためには、作物と雑草を識別するシステムが不可欠である。作物と雑草を識別するシステムには、これまでに教師有り学習を用いて画像から作物・雑草を検出する方法が多く行われてきた。しかし現実的には、それらの利用に当たって不可欠な正解ラベル付きの学習用画像の確保が困難である場合がある。その問題に対応するためには、正解ラベル付きの作物と雑草の画像を用いなくても使用可能な作物及び雑草の検出方法が必要である。
そこで、本研究では、作物がほ場内で直線的かつ等間隔に存在することを利用して、画像中の作物を検出する手法を提案する。
成果の内容・特徴
- 本手法はRGB-Dカメラによって撮影したRGB画像と深度画像を入力とし、入力画像中に存在する作物を検出するものである。
- 処理プロセスは作物列検出、植物検出、形状特徴を利用した作物列上の植物の教師無し作物・雑草分類、等間隔な配置を利用した分類結果の更新の4段階からなる(図1)。作物列検出は、畝の凹凸を利用して、深度画像に対して周期的な波形曲面をフィッティングすることで行う(図1①)。植物検出は、RGB画像のGチャンネルに対して、単色画像を2値化する閾値を自動決定する方法である大津の方法を適用することで行う(図1②)。形状特徴を利用した作物列上の植物の教師無し作物・雑草分類には、k-means法を利用する(図1③)。
- 等間隔な配置を利用した分類結果の更新処理では、前段階で実施した形状特徴による分類結果をある程度保存しつつ、等間隔に存在する植物が作物として分類されるよう分類結果を更新する(図1④)。分類結果の更新には、遺伝的アルゴリズムによる探索を用いる。遺伝的アルゴリズムでは、作物列上の全植物に2値のクラスラベル(雑草は0、作物は1)を割当てる(図2)。前段階で実施した形状特徴による分類結果をベースに、クラスラベルの割当て方を100通り生成し、交叉・突然変異を伴う世代交代を100回繰り返し、最良の解を採用する。
- 定植後3～14日のキャベツほ場で撮影した画像に対する本手法のF1スコアは、0.44～0.91である。
成果の活用面・留意点
- 本手法を用いることで作物・雑草の形状や色などの特徴量の分布に関する事前知識や、正解ラベル付きの学習用画像を用いずに画像中の作物を検出可能である。
- 一般的なノートPCを使用した場合、本手法の処理には画像(縦640ピクセル×横360ピクセル)1枚当たり平均14秒を要するため、リアルタイム処理には適さない。
- 本手法で植物の間隔を計算する際には、画像上での各植物の重心間距離を使用している。このため、作物の傾きが大きい場合には、実際の植付位置が等間隔であっても画像上での重心は等間隔でなくなり、適切な分類ができない。
具体的データ
その他
- 予算区分 : 農林水産省(国際競争力強化技術開発プロジェクト)
- 研究期間 : 2021～2022年度
- 研究担当者 : 太田薫平、Pham Thi Quynh Anh、吉田隆延
- 発表論文等 : 太田ら(2023)精密工学会誌、89(2)