AI 边缘推理框架对比：RKNN vs TensorRT vs OpenVINO vs ONNX Runtime

随着 AIoT 的迅速发展，越来越多的深度学习推理任务从云端迁移到了边缘设备。不同的硬件平台催生了不同的推理框架。本文将对目前最主流的四大边缘推理框架进行全面的横向对比。

1. 框架概览

框架	开发者	目标硬件	开源协议
RKNN	Rockchip	RK3588/RK3568/RV1126 NPU	部分开源
TensorRT	NVIDIA	Jetson Nano/Xavier/Orin GPU	闭源
OpenVINO	Intel	x86 CPU / Movidius VPU / Arc GPU	Apache 2.0
ONNX Runtime	Microsoft	跨平台 (CPU/GPU/NPU)	MIT

2. 模型转换流程对比

RKNN-Toolkit2 (Rockchip)

PyTorch → ONNX → rknn-toolkit2 → .rknn

from rknn.api import RKNN
rknn = RKNN()
rknn.config(target_platform='rk3588')
rknn.load_onnx(model='model.onnx')
rknn.build(do_quantization=True, dataset='calibration.txt')
rknn.export_rknn('model.rknn')

TensorRT (NVIDIA)

PyTorch → ONNX → trtexec → .engine / .plan

trtexec --onnx=model.onnx \
        --saveEngine=model.engine \
        --fp16 \
        --workspace=1024

OpenVINO (Intel)

PyTorch → ONNX → Model Optimizer → .xml + .bin

mo --input_model model.onnx \
   --output_dir ./ir_model \
   --data_type FP16

ONNX Runtime (Microsoft)

PyTorch → ONNX → 直接加载（无需额外转换）

import onnxruntime as ort
session = ort.InferenceSession('model.onnx',
    providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])
result = session.run(None, {'input': input_data})

3. 量化支持对比

特性	RKNN	TensorRT	OpenVINO	ONNX Runtime
INT8 PTQ	✅	✅	✅	✅
INT8 QAT	❌	✅	✅	✅
FP16	✅	✅	✅	✅
混合精度	✅	✅	✅	✅
每层精度分析	✅	✅	⚠️ 有限	❌
量化校准集	需要	需要	需要	需要

PTQ = Post-Training Quantization（训练后量化） QAT = Quantization-Aware Training（量化感知训练）

4. 性能基准测试

以 YOLOv8s (640×640, INT8) 为例，测试各平台的推理延迟：

平台	芯片	推理延迟	功耗
Orange Pi 5	RK3588 NPU	~28ms	~8W
Jetson Orin Nano	Orin GPU	~12ms	~15W
Intel N100	x86 CPU (OpenVINO)	~45ms	~10W
Raspberry Pi 5	A76 CPU (ONNX RT)	~180ms	~6W

需要注意的是，上述数据仅供参考，实际性能受模型结构、输入分辨率、前后处理等因素影响。

5. 算子支持与兼容性

这是选型时最容易踩坑的地方：

• RKNN：对自定义算子支持较弱，复杂的 Attention 机制（如 Transformer）需要手动拆分
• TensorRT：通过 Plugin 机制支持自定义算子，但学习曲线陡峭
• OpenVINO：对 Transformer 支持较好，可以直接从 Hugging Face 导入
• ONNX Runtime：兼容性最广，基本上 ONNX 标准的算子都支持

5.1 典型兼容性问题

⚠️ RKNN 不支持的常见算子：
  - GridSample (用于可变形卷积)
  - ScatterND (用于某些后处理)
  - 动态 Shape (需固定输入尺寸)

⚠️ TensorRT 常见问题：
  - NMS 插件版本不兼容
  - 动态 Batch 需要 Profile 配置

6. 如何选择？

决策树：

你的硬件是什么？
├── Rockchip (RK3588/3568) → RKNN
│     优势：性价比高，NPU 算力强
│     劣势：算子限制，社区较小
│
├── NVIDIA Jetson → TensorRT
│     优势：性能最强，生态完善
│     劣势：功耗和价格较高
│
├── Intel x86 / VPU → OpenVINO
│     优势：部署简单，Transformer 友好
│     劣势：推理性能中等
│
└── 需要跨平台 → ONNX Runtime
      优势：一次导出到处运行
      劣势：硬件加速有限

7. 总结

没有”最好”的推理框架，只有”最适合”的。选择时应综合考虑以下因素：

1. 硬件限制：项目采用什么芯片决定了框架选择范围
2. 模型复杂度：简单的 CNN 各框架都支持，但 Transformer 需要注意兼容性
3. 量化需求：如果精度敏感，优先选择支持 QAT 和混合精度的框架
4. 部署成本：Rockchip 方案在 ¥200~600 价格区间内性价比最高
5. 长期维护：NVIDIA 和 Intel 的生态更成熟，文档和社区支持更好