2. EfficientDet:
以其效率和准确性而闻名,利用 EfficientNet 作为骨干。
EfficientDet 是由 Google Brain 的研究人员于 2020 年提出的,是一种最先进的物体检测模型,它在模型大小和推理速度方面非常高效,同时实现了高精度。
EfficientDet 背后的关键思想包括:
复合模型缩放: EfficientDet 使用复合缩放,即使用简单的复合系数均匀缩放模型的所有维度(深度、宽度、分辨率)。这比传统的缩放方法效率更高。
BiFPN(双向特征金字塔网络):引入加权双向特征金字塔网络,可以轻松实现准确的多尺度特征融合。
EfficientNet 主干: EfficientDet 利用强大的 EfficientNet 主干,与 ResNet 等传统主干相比,它具有更高的准确性和效率。
模型自动化: EfficientDet 模型使用神经架构搜索自动开发,以最大限度地平衡复合评分指标的准确性和效率。
EfficientDet 架构的工作原理如下:
EfficientNet 主干从输入图像中提取多尺度特征。
BiFPN 以双向、自上而下和自下而上的方式集成这些多尺度特征。
集成的特征被输入到框/类预测网络中以输出最终的检测。
EfficientDet 模型(例如 EfficientDet-D7)在具有挑战性的 COCO 数据集上实现了最佳准确率,同时比 Faster R-CNN 等之前的检测器小一个数量级且速度更快。它们在移动设备等各种资源受限的环境中都能很好地工作。
复合缩放方法可以简单地扩展 EfficientDet 模型以提高准确率,或缩小模型以加快移动部署速度。这种灵活性与一流的性能相结合,使 EfficientDet 成为许多物体检测应用的热门选择。
3. RetinaNet:
引入焦点损失 (Focal Loss) 来处理类别不平衡问题。
RetinaNet 是由 Facebook AI Research 的研究人员于 2017 年提出的,是一种高效且准确的单阶段物体检测模型。它解决了 YOLO 和 SSD 等之前的单阶段检测器的几个缺点。
RetinaNet 的关键创新包括:
Focal Loss: RetinaNet 引入了一种名为 Focal Loss 的新型损失函数,用于解决训练期间的前景-背景类别不平衡问题。这将训练重点放在困难的、错误分类的示例上,并防止简单的负样本压倒损失。
特征金字塔网络(FPN):它利用结合低级和高级特征图的特征金字塔网络来有效地检测大范围内的物体。
两步过滤: RetinaNet 采用两个过滤步骤 - 第一个步骤过滤整个图像以识别可能包含物体的区域,第二个步骤过滤剩余区域以检测最终的边界框。
RetinaNet 架构的工作原理如下:
像 ResNet 这样的主干网络从输入图像中提取特征图。
特征金字塔网络以自上而下和横向的方式组合这些多尺度特征图。
并行地,两个子网络预测不同尺度的对象分类和边界框回归。
焦点损失 (Focal Loss) 应用于预测分类,以关注困难示例。
RetinaNet 在推出时就在 COCO 基准上取得了最佳成绩,其准确率超过了之前的一阶段和两阶段检测器,同时速度也比两阶段模型更快。它能够稳健地检测小型和大型物体,因此适合各种实际应用。
虽然最近的架构已经取得了进一步的进步,但 RetinaNet 的影响源于它对单阶段检测中的关键挑战(如类别不平衡和多尺度感知)的优雅解决方案。其改进表示和监督的设计原则影响了许多后续的物体检测器。
4.更快的R-CNN:
使用区域提议网络(RPN)的高精度模型。
Faster R-CNN 由 Shaoqing Ren 等人于 2015 年提出,是一种极具影响力的两阶段目标检测模型,与 R-CNN 和 Fast R-CNN 等前辈相比有显著改进。
Faster R-CNN 的关键创新包括:
区域提议网络 (RPN):该神经网络组件有效地提出可能包含对象的兴趣区域 (ROI),取代了以前使用的缓慢选择性搜索算法。
基于区域的 CNN:与 Fast R-CNN 类似,Faster R-CNN 使用来自整个图像的卷积特征对每个提出的 ROI 进行分类和回归边界框。
端到端训练: RPN 和基于区域的 CNN 均使用多任务损失以端到端的方式联合训练。
Faster R-CNN 架构的工作原理如下:
基础卷积网络(例如 VGG-16、ResNet)从输入图像中提取特征图。
区域提议网络 (RPN) 处理这些特征图以提出候选对象边界框 (ROI)。
使用 RoIPool/RoIAlign 将 ROI 汇集到固定大小的特征图中。
这些池化特征被传递到单独的全连接网络,以预测类和边界框偏移。
Faster R-CNN 在推出时就在 PASCAL VOC 和 MS COCO 等基准测试中实现了最先进的物体检测准确率,同时比其前代 R-CNN 速度快得多。其两阶段设计可以精确定位物体。
尽管在速度方面被 YOLO 和 SSD 等较新的单阶段模型所取代,但 Faster R-CNN 为许多后续的基于区域的 CNN 检测器奠定了基础。其影响力被 Mask R-CNN(例如分割)等有影响力的后续模型及其对其他视觉任务的扩展所放大。
Faster R-CNN 的准确性和架构创新巩固了其作为推动物体检测和视觉识别领域发展的里程碑模型的地位。
5.Mask R-CNN:
Faster R-CNN 的扩展,添加了用于预测分割蒙版的分支。
Mask R-CNN 由 Kaiming He 等人于 2017 年提出,是针对实例分割任务而提出的非常成功的 Faster R-CNN 模型的扩展。它不仅可以像 Faster R-CNN 一样预测物体周围的边界框,还可以为每个实例生成逐像素掩码。
Mask R-CNN 的关键创新包括:
实例分割:除了边界框识别之外,Mask R-CNN 还在现有的分类和边界框回归分支的基础上增加了一个用于预测对象掩码的分支。
RoIAlign:它引入了 RoIAlign,这是 Faster R-CNN 中使用的 RoIPool 的改进版本,可以正确地将提取的特征与输入对齐,从而提高 mask 质量。
并行分支:该模型有三个并行分支 - 分别用于分类、边界框回归和掩码预测 - 使其成为一个多任务模型。
Mask R-CNN 架构的工作原理如下:
CNN 主干从输入图像中提取特征图。
区域提议网络 (RPN) 提出候选对象边界框(感兴趣区域或 ROI)。
使用 RoIAlign 将 ROI 汇集到固定大小的特征中。
并行分支预测每个 ROI 的类标签、边界框偏移量和二进制掩码。
Mask R-CNN 在推出后便在极具挑战性的 COCO 实例分割基准上取得了最佳结果,远远优于之前的方法。它能够生成高质量的蒙版和边界框,非常适合需要精确实例分割的应用。
除了实例分割之外,Mask R-CNN 还扩展到人体姿势估计等其他领域(例如,Mask R-CNN + Keypoint R-CNN),显示出其作为对象检测和分割任务的通用框架的多功能性。
Mask R-CNN 的准确性、稳健的设计和广泛的采用巩固了其作为实例级识别领域最具影响力的模型之一的地位,也是先进计算机视觉系统开发的重要里程碑。
6.DETR(检测变压器):
使用变压器进行物体检测,为该任务提供一种新方法。
DETR 是 DEtection TRansformer 的缩写,是 Facebook AI Research 的研究人员于 2020 年提出的一种开创性物体检测模型。这是第一篇以简单有效的方式成功将 Transformer 架构应用于物体检测任务的论文。
DETR 背后的关键思想包括:
Transformer 编码器-解码器: DETR 采用神经机器翻译中的 Transformer 编码器-解码器设计,利用它来处理输入图像并直接并行输出最终预测。
集合预测: DETR 不是独立预测边界框,而是使用全局注意力来联合推理预测/对象集。
二分匹配损失:它引入了一种新的损失函数,在预测对象和地面真实对象之间执行最佳二分匹配。
DETR 架构的工作原理如下:
CNN 主干从输入图像中提取紧凑的特征图。
变换器编码器处理该特征图,构建丰富的表示。
然后,变压器解码器会关注编码器输出并并行生成最终的预测集。
预测包括类标签、边界框和辅助输出,如掩码系数。
DETR 在推出时就与成熟的 Faster R-CNN 检测器的性能相当,同时更简单且更易于并行化。它展示了 Transformer 在图像分类以外的高级计算机视觉任务中的潜力。
虽然 DETR 比传统检测器慢,但它激发了一系列后续工作,以提高其速度和准确性,并将其扩展到全景分割等任务。可变形 DETR、高效 DETR 和 Anchor DETR 都建立在其核心的基于 Transformer 的检测理念之上。
DETR 强大的基于集合的全局推理能力以及与掩码/关键点等辅助输出的无缝集成,实现了优雅、统一的视觉转换器框架。其影响不仅限于物体检测,还引发了转换器在各种视觉任务中的更广泛应用。
概括
本文介绍了几种流行的物体检测模型并进行了比较。
如何选择?
实时性要求高:选择YOLO系列。
有限资源(例如移动设备):EfficientDet。
精度要求高:选择Faster R-CNN、Mask R-CNN。
需要同时进行检测和分割:选择Mask R-CNN。
复杂场景和全局关系建模:选择DETR。
根据具体的应用需求和硬件配置,选择最合适的型号,可以实现性能和效率的最佳平衡。
如果你对最新的研究进展感兴趣,还可以关注计算机视觉和模式识别领域的重要会议,如CVPR(计算机视觉与模式识别会议)和ICCV(国际计算机视觉会议),这些会议经常发布物体检测模型的最新进展和新应用。