摘要
可視光の対象検出は、遮蔽や弱光などの複雑な環境下で特徴の豊富さが影響を受けやすく、対象検出の精度が低下する問題に対して、本論文では赤外線モダリティ映像を導入して可視光映像の不足を補い、赤外線と可視光の特徴を自適応的に融合するマルチモーダル対象検出手法を提案する。本手法は、YOLOv8対象検出フレームワークを基盤ネットワークとして多尺度特徴情報を抽出する。これに基づき、可視光映像がより豊富なテクスチャ特徴を持ち、赤外線映像はテクスチャよりも輪郭が明瞭である点に着目し、マルチモーダル混合注意モジュールを構築して異なるモダリティ間で情報重みの交換および再構築を行い、異なる照明条件下での優位な特徴を実現する。次に、可視光モダリティ特徴の豊富さと環境光強度の関係を利用し、環境光強度を指標とした可視光―赤外線重み動的配分モジュールを設計し、その重みを参照としてマルチモーダル特徴融合モジュールに組み込み自適応融合を実現し、マルチモーダル特徴融合に基づく対象検出を達成する。最後に、公開されている街角データセットM3FDおよび航空機搭載車両データセットDroneVehicleで実験を行った。結果は、既存の単一モダリティおよびマルチモダリティ対象検出アルゴリズムに比べて、本手法がより高い検出精度を獲得できることを示した。
关键词
対象検出;マルチモーダル;畳み込みニューラルネットワーク;特徴融合;注意機構;可視光映像;赤外映像;深層学習