夜间感知新突破！北航等提出红外主导的高效目标检测方案 | ECCV'26

　　（来源：新智元 新智元）

　　新智元报道  

　　【新智元导读】在复杂视觉场景中，红外目标检测至关重要。传统方法依赖RGB与红外融合，但RGB在低照度或恶劣天气下可能退化，影响检测效果。北航等团队提出InfraNet，以红外为主，利用质量感知机制控制RGB引导，提升鲁棒性。

　　在夜间感知、安防监控、无人机巡检与自动驾驶等复杂视觉场景中，红外目标检测具有重要应用价值。

　　传统RGB-IR多模态检测方法通常默认RGB与红外信息互补，并在训练和推理阶段同时融合两种模态。然而，在低照度、雾天、强逆光等真实场景下，RGB图像可能严重退化，不但难以提供有效补充，反而可能将噪声引入红外表示，造成检测性能下降。

　　针对这一问题，Beihang University等机构提出一种面向高效红外目标检测的质量感知RGB引导框架InfraNet。

　　InfraNet采用IR-centric设计，将红外分支作为主路径，RGB分支作为训练阶段的可靠性受控辅助信号，并提出QualGate模块自适应抑制不可靠RGB引导、补偿红外特征。

论文链接：https://arxiv.org/abs/2607.03795

　　基于该框架，InfraNet同时支持RGB-IR双模态推理和IR-only单模态部署。

　　在LLVIP、FLIR-Aligned、M3FD和DroneVehicle四个RGB-IR检测基准上，InfraNet取得强竞争力结果，其中LLVIP上YOLOv8 RGB-IR达到70.5mAP、IR-only达到68.8 mAP，FLIR-Aligned上YOLOv5 RGB-IR达到89.5 mAP50、IR-only达到88.1 mAP50，DroneVehicle上YOLOv12-IR达到84.7 AP50和63.9mAP。

　　该工作表明，在复杂环境感知中，多模态学习不应只是无条件融合更多信息，更关键的是让模型学会判断何时相信RGB、何时回到更稳定的红外模态。

　　RGB一定有帮助吗？

　　RGB-IR多模态目标检测的直觉很自然：RGB图像提供颜色、纹理和空间细节，红外图像提供热辐射信息，二者结合应当比单一模态更稳健。

　　但在真实复杂环境中，这个假设并不总成立。RGB图像高度依赖环境光。在夜间、雾天、强光、低照度或雨雪场景下，RGB可能出现严重噪声、过暗、过曝和结构缺失。此时，如果模型仍然把RGB与IR当作同等可靠的输入进行融合，退化RGB特征可能会污染红外表示，导致误检和漏检。

　　换句话说，RGB并不总是「增强信息」，有时也可能成为噪声源。

　　InfraNet让红外做主

　　InfraNet的核心思想是IR-centric：让红外分支作为主路径，负责提取多尺度红外特征并完成检测；RGB分支则作为训练阶段的辅助路径，为红外表示学习提供可靠性受控的跨模态引导。

　　这与传统RGB-IR对称融合不同。传统方法通常要求训练和推理阶段都同时输入RGB与IR，而InfraNet不把RGB视作必须依赖的推理模态，而是将其作为训练期辅助信息。这样，模型可以在训练时学习RGB中有价值的结构线索，但在部署时不一定被RGB绑定。

　　基于这一思想，InfraNet包含两种形态：

• 　　InfraNet-IR：训练时使用RGB辅助红外分支学习，推理时移除RGB分支和融合模块，只使用红外图像完成检测。

• 　　InfraNet-RGB-IR：训练和推理阶段都使用RGB与IR，适合双模态传感器均稳定可用的场景。

　　QualGate

　　什么时候相信/抑制RGB

　　InfraNet的关键模块是QualGate，不是简单地将RGB和IR特征相加，而是学习一个与检测任务相关的可靠性控制信号，用来调节RGB对红外分支的影响。

　　当RGB特征可靠时，QualGate允许其提供更多跨模态引导；当RGB特征退化时，QualGate会降低RGB贡献，避免噪声传播到红外表示中。同时，QualGate会增强IR特征，使模型在RGB不可靠时更加依赖稳定的红外信息。

　　具体来看，QualGate包含两个互补方向：

• 　　RGB suppression：抑制不可靠RGB引导，减少低质量RGB带来的负迁移。

• 　　IR amplification：补偿并增强红外特征，使红外主路径在复杂环境下保持稳定。

　　这使得InfraNet关注的不是RGB图像在视觉上是否「好看」，而是RGB特征对当前检测任务是否真正有帮助。

　　实验结果

　　论文在LLVIP、FLIR-Aligned、M3FD和DroneVehicle四个RGB-IR检测数据集上进行了系统实验，覆盖行人检测、车载热成像、多场景检测和无人机车辆检测等任务。

　　这些结果说明，InfraNet 不只是构建了一个更复杂的双模态融合模型，更重要的是验证了「训练时利用 RGB，推理时可只用红外」的有效性。对于真实部署场景来说，这一点很关键：红外传感器在夜间和恶劣天气中通常更加稳定，而 RGB 图像质量会随光照条件大幅波动。

　　在 M3FD 可视化结果中，InfraNet-IR 在不同照明条件下能够产生更紧凑的检测框和更少的误检。相比部分传统融合方法，InfraNet-IR 在 RGB 退化场景中仍能保持较稳定的定位能力。

　　进一步的特征可视化表明，InfraNet-IR 能够产生更目标对齐的响应，并减少背景区域激活。这说明训练阶段的质量感知 RGB 引导可以帮助红外分支学习更稳健的表示，而部署阶段仍然保持 IR-only 推理。

　　多模态学习不只是「融合更多信息」

　　InfraNet 的意义不只是提升红外目标检测指标，更在于重新审视多模态学习中的模态关系。

　　传统多模态方法通常强调如何融合更多信息，但真实世界中的传感器并不总是可靠。

　　RGB 可能因为夜间、眩光、雾天或设备问题退化；不同模态也可能出现缺失、不同步或质量不一致。因此，一个鲁棒的多模态感知系统，不仅要学会利用多模态信息，也要学会拒绝不可靠模态。

　　InfraNet 的思路正是如此：当 RGB 可靠时，利用它帮助红外表示学习；当 RGB 不可靠时，抑制它对检测过程的干扰；当部署环境更适合红外时，则允许模型只使用红外图像完成推理。

　　对于自动驾驶、无人机巡检、夜间安防和智慧交通等场景，这种「质量感知、红外主导、部署灵活」的设计提供了一种更贴近真实复杂环境的红外目标检测方案。

　　参考资料：

　　https://arxiv.org/abs/2607.03795

　　编辑：LRST