カメラによる危険エリアへの手の進入検出手法とポテトハーベスタ選別作業への適用
要約
カメラ1台で撮影した映像から作業者の関節座標をAIで推定し、予め設定した危険エリアへの手の進入をリアルタイムに検出する手法である。この手法をポテトハーベスタに適用し、検出結果を警告灯で運転者に報知することで、選別作業者の危険状態を認識できる割合が向上する。
- キーワード : ポテトハーベスタ、選別作業、手検出、骨格推定、協調安全
- 担当 : 農業機械研究部門・システム安全工学研究領域・協調安全システムグループ
- 代表連絡先 :
- 分類 : 研究成果情報
背景・ねらい
ポテトハーベスタに関係する負傷事故は北海道で年間約40件発生しており、はさまれ・巻き込まれはポテトハーベスタでの総事故の60%を占めている。特に搬送・選別部のコンベア・ローラ上では、総事故の32%を占め、事故リスクの低減が必要である。しかし、運転者はコンベアや選別者が見えない位置でトラクタを操作しているため、選別作業中の危険な状況を十分に把握できない。そこで、本研究では、選別者の状態をモニタリングし、危険エリアへの手の進入が発生した際にリアルタイムに運転者への警告を行うことで、安全な作業を支援する協調安全技術を開発し、農機における適用方法を明らかにする。
成果の内容・特徴
- 本手法では、演算部およびモニタ上で、危険エリアを任意の多角形で設定できる。人の関節座標をAIを活用した骨格推定技術でリアルタイムに推定することで、危険エリアへの手の進入を検出できる。画像からの手検出には、物体検出と比較して正確に身体部位の位置を推定可能な骨格推定技術を用いる。特に、リアルタイム性能に優れ、画像中の人数が増えても処理時間が大きく増加しないSingle-Stage手法(人物検出と骨格推定を同時に行う方法)を用いる(表1)。
- 本手法をポテトハーベスタ選別作業へ適用する装置(図1)は、カメラ1台(Xacti CX-WE100、防水・防塵・強力な手振れ補正機能を持つ)、演算部(NVIDIA Jetson Orin NX)、警告灯、モニタで構成される(表1)。カメラはポテトハーベスタの搬送・選別部上の日よけテントの支柱等への設置を想定し、選別者の手が重ならずに画角が入るようにコンベアの上方に下向きに設置する。演算部、警告灯、モニタはトラクタキャビン内に設置され、運転者は複数の選別者の行動を同時にモニタリングできる。
- 検出結果は警告灯の点灯およびブザーの鳴動でトラクタ運転者に通知される。危険エリアは3か所まで設定可能で、それぞれエリアへの手の進入に連動して3色の警告灯の異なる色を点灯できる。同時に、運転者はカメラ映像にオーバーレイされた進入危険エリアを確認することができる。
- 2名乗りの小型ポテトハーベスタでの実作業(30m×4試験区)での精度検証の結果では、危険エリアでの手の検出精度は、機械学習における評価指標であるF値で97%である(表2)。また、処理速度は約17fpsである。
- 選別者の手が危険エリアに進入したことを運転者が認識できた割合(認識率)は、「モニタのみ」65%(n=191)、「目視」39%(n=193)に対して、「本手法」96%(n=195)と高い(図2)。
成果の活用面・留意点
- 本手法は、ポテトハーベスタ以外にもオニオンタッパーのような調製機や、コンベアによる搬送部を有する野菜収穫機に適用することで、選別者の手の危険エリアへの進入の見落としが減少し巻き込まれ事故の低減に寄与することが期待できる。
- 本手法の各種収穫機械の安全装置としての組み込みに向けては、現地作業条件下にてカメラ配置や照明条件も含めた最適化と検証が必要である。
具体的データ
その他
- 予算区分 : 交付金、文部科学省(科研費)
- 研究期間 : 2023～2025年度
- 研究担当者 : 小林慶彦、西川純、菊池豊、梅野覚、田中正浩、向霄涵、紺屋秀之、松本将大
- 発表論文等 :
- 小林ら(2023)農作業研究、58:129-137
- 田中ら、特願(2024年6月26日)
- 小林(2025)職務作成プログラム「ポテトハーベスタ選別作業者の進入検知および動作定量化プログラム」、機構-Y19