可視光目標検出は覆われたり、光が弱いなどの複雑な環境で、特徴の豊富さが影響を受けやすく、目標検出の正確性が低下する問題があります。本論文では、可視光画像の不足を補うために赤外線モード画像を導入し、可視光と赤外線の特徴を自動融合した多モード目標検出方法を提案します。この方法では、基本的なネットワークとしてYOLOv8目標検出フレームワークを使用して多スケールの特徴情報を抽出します。さらに、可視光画像がより豊富なテクスチャ特徴を持つ一方で赤外線画像はより明確なエッジ輪郭を持つ特徴があるため、複数のモードの混合注意力モジュールを構築し、さまざまな照明条件での優れた特徴を実現するためにモード間の情報の重み付けが行われます。そして、可視光モードの豊富さと環境の光の強度の関係を利用し、環境の光の強度を指標とした可視光赤外線重みの動的な配分モジュールを設計し、重みを参考に融合モジュールに組み込み、多モード特徴の自動融合を実現します。最後に、公開されている街景データセットM3FDおよび航空撮影車両データセットDroneVehicleで実験を行います。実験の結果、既存の単一モードおよび多モード目標検出アルゴリズムと比較して、この提案手法はより高い検出精度を達成することができます。

目標検出;多モード;畳み込みニューラルネットワーク;特徴融合;注意力メカニズム;可視光画像;赤外画像;深層学習