破解遥感目标的形状与尺度难题，PKINet二代推理提速近4倍！

新智元报道

【导读】卫星与航空影像中的破解目标检测长期面临两大挑战：目标尺度跨度极大（从微小车辆到广阔运动场），且朝向任意旋转。遥感传统卷积核难以同时兼顾细长结构（如桥梁、目标船舶）的形度难t代规则目标。南京理工大学、状尺浙江大学等团队提出的题P推理提速 PKINet-v2，通过创新的近倍多尺度方形卷积与条带卷积融合技术，实现了复杂形状与尺度变化的破解统一处理，在保持高精度的遥感同时，将推理速度提升近4倍。目标

遥感影像的形度难t代独特挑战：几何与空间的双重复杂性

与自然图像中相对稳定的拍摄视角不同，遥感影像具有极高的状尺非结构化特征：
* 几何复杂性：目标长宽比变化剧烈，细长目标（如桥梁、题P推理提速船舶）需要沿主轴方向聚合信息，近倍而规则目标（如储罐、破解建筑）则需要二维空间连贯性。
* 空间复杂性：尺度跨度极大，小目标可能不足10像素，大目标则覆盖大面积区域。模型需在保留小目标纹理细节与捕捉大范围上下文之间取得平衡。

传统方案的局限性：
* 仅用条带卷积：虽利于描述细长结构，但易破坏规则目标的二维连贯性，并丢失微小目标局部细节。
* 仅用方形大核：虽能扩大感受野，但易在细长目标周围引入背景噪声。

遥感检测亟需一种能随目标形态和尺度动态协同的“观察窗口”，而非固定形状的“放大镜”。长期以来，提升检测精度往往伴随计算量的激增，而追求速度则牺牲复杂场景下的精度。PKINet-v2 成功打破了这一权衡。

论文链接：
* PKINet-v2: https://arxiv.org/pdf/2603.16341
* PKINet-v1: https://arxiv.org/abs/2403.06258
* 项目代码: https://github.com/NUST-Machine-Intelligence-Laboratory/PKINet

核心性能：精度与速度的双重飞跃

在 CVPR 2024 前作 PKINet 的基础上，PKINet-v2 将条带卷积与多尺度方形卷积统一，并通过异构核重参数化（HKR）技术，将训练时的多分支结构等价折叠为部署时的单个大核。

关键指标对比（基于 Oriented R-CNN 统一设置）：

通用性验证：
PKINet-v2 的提升不依赖于特定检测头。接入 Rotated FCOS、R3Det、S²ANet、RoI Transformer、Rotated Faster R-CNN 等主流旋转检测器后，相比 PKINet-v1，mAP 分别获得 1.75 ~ 2.70个百分点的提升。

注：速度数据基于单张 NVIDIA A100-40G GPU 测试环境，虽不等同于边缘设备实际帧率，但证明了新骨干在统一硬件下显著降低了推理开销。

技术演进：从 PKINet 到 PKINet-v2

PKINet-v1 通过无空洞并行多尺度方形卷积和 Context Anchor Attention (CAA) 验证了 Poly-Kernel 路线的有效性。PKINet-v2 在此基础上完成了四项关键升级：

1. 建模升级：从“多尺度建模”转向“几何与空间协同建模”。引入横向/纵向条带卷积，兼顾细长目标的主轴依赖与规则目标的二维结构。
2. 感受野优化：从“密集大核”转向“层次化渐密感受野”。组合全跨度条带、稀疏膨胀方形和稠密局部分支，由外向内逐步增加采样密度，减少冗余。
3. 部署优化：从“多分支直接推理”转向“训练多分支、部署单分支”。通过严格等价变换，将多种卷积分支融合为单个 19×19 逐通道卷积，消除 GPU 算子调用与内存读写开销。
4. 效率平衡：在统一设置下，mAP 提升 2.07%，FPS 提升 3.9 倍，且参数量与 FLOPs 未增加。

核心技术解析：让卷积核既会“拉长看”，也会“向外看”

PKINet-v2 采用四阶段层次化骨干，核心创新在于 PKS 模块（Poly-Kernel Scope）与 HKR 机制（Heterogeneous Kernel Re-parameterization）。

1. PKS：五条分支，覆盖不同形状和尺度

PKS 模块被设计为一套“异形镜头组”，输入特征经 5×5 逐通道卷积后，进入五条并行分支：

• 轴向条带分支：由 1×19 和 19×1 卷积串联，专注捕捉桥梁、船舶等狭长结构的长距离依赖。
• 稀疏方形分支：三条核尺寸分别为 7×7、5×5、3×3 的分支，以低成本扩大上下文范围。
• 稠密局部分支：3×3 卷积，保留中心区域纹理及微小目标细节。

这种组合形成了“层次化渐密”的感受野：外围覆盖广，中心采样密，既看清整体结构，又不丢失局部细节。

图2 PKINet-v2总体结构，包括四阶段骨干、PKINet-v2 Block和PKS模块

2. HKR：训练时五路并行，部署时合成一路

多分支虽利于学习，但推理时会导致多次 kernel launch 和内存访问。HKR 通过以下步骤实现严格等价变换：

1. BN融合：将每条卷积分支与 Batch Normalization 层融合。
2. 网格映射：将不同尺寸、膨胀率的方形核映射到统一的 19×19 网格。
3. 条带转换：横向/纵向条带分支通过逐通道外积转换为等价的 19×19 卷积核。
4. 权重叠加：所有权重与偏置相加，生成单个单分支大核。

图3 左侧为PKS的层次化渐密感受野，右侧为HKR等价融合过程

关键点：HKR 不是模型压缩或近似，而是计算图的等价变换。因此，推理阶段的输出精度与训练阶段完全一致，速度收益纯粹来自执行效率的提升。

实验结果：精度与速度的同步前进

1. DOTA-v1.0：基准测试表现优异

• 整体精度：PKINet-v2-S 达到 80.46 mAP，超越 Strip RCNN-S (80.06) 和 PKINet-v1-S (78.39)。
• 变体性能：官方提供的 PKINet-v2-S-Sqrt5 配置在单尺度设置下达到 80.75 mAP。
• 类别突破：
• Bridge：从 55.81 提升至 57.72。
• Small Vehicle：达到 81.21。
• Soccer Ball Field：达到 71.97。
  证明模型能同时处理高长宽比、密集小目标和大尺度目标。

论文表3 DOTA-v1.0单尺度训练与测试结果

2. 泛化能力：船舶与更广泛场景

• DOTA-v1.5：mAP 达 73.57(+2.10 vs v1)。
• DIOR-R：mAP 达 69.40(+2.37 vs v1)。
• HRSC2016（船舶检测）：mAP(07) 达 90.75，mAP(12) 达 98.84。尽管提升幅度小于 DOTA，但仍证实了混合核对细长船舶目标的有效性。

论文表5-6 PKINet-v2在HRSC2016与DIOR-R上的结果

3. 困难样本分析：越“奇形怪状”，提升越明显

按长宽比和面积分桶分析显示：
* 高长宽比目标：在长宽比 3-4 和 6-7 区间，mAP 分别提升 8.62和 6.58个百分点。
* 极端尺寸：最小目标 mAP 从 12.98 升至 13.43；最大目标从 69.50 升至 71.39。
* 定性结果：在可视化对比中，PKINet-v2 在狭长目标、密集小目标及多尺度混合场景下的漏检率显著低于 PKINet-v1、Strip RCNN 和 LSKNet。

论文表8 不同目标长宽比与相对尺寸区间的性能分析

图4 DOTA-v1.0可视化对比：上半部分对应几何复杂性，下半部分对应空间复杂性

消融实验：混合核负责精度，HKR 负责速度

• 核形态贡献：
• 仅 Dense: 78.57 mAP
• 仅 Strip: 79.62 mAP
• 仅 Sparse: 79.36 mAP

• Hybrid (三者组合): 80.11 mAP
  证明条带核与方形核在不同形态上形成互补，而非简单堆叠。

• HKR 贡献：

• PKINet-v2-T FPS: 46.2 → 58.0
• PKINet-v2-S FPS: 43.4 → 54.6
• mAP 保持不变。
  验证了 HKR 在不损失精度的前提下显著提升部署效率。

论文表9 核形态、膨胀率、分支数量和HKR的消融实验

总结与应用展望

PKINet-v2 将复杂几何建模、多尺度上下文聚合和高效部署统一于同一骨干网络。
* 方法创新：PKS 提供适应细长与规则目标的混合感受野；HKR 将训练复杂性折叠为部署期的高效单分支算子。
* 应用场景：为航空/卫星影像中的飞机、船舶、车辆、桥梁、港口及运动场检测提供基础支撑，服务于城市规划、环境监测、灾害管理及遥感自动解译。

局限性与未来方向：
当前模型在极小目标、严重模糊、显著遮挡、紧密排列及外观高度相似的目标上仍可能出现漏检或误分类。未来工作将聚焦于：
1. 提升困难样本的细粒度特征建模能力。
2. 验证在语义分割、变化检测、场景分类等任务中的适用性。
3. 在无人机、边缘设备及星上平台等具体硬件环境中进行部署验证。

参考资料：
https://arxiv.org/pdf/2603.16341

编辑：LRST

(责任编辑：娱乐)