RapidOCR 推理优化指南同一颗 CPU 上引擎和线程数造成 3.7 倍差距【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCRRapidOCR 是一个跨平台 OCR 推理库基于 PaddleOCR 模型构建支持 ONNX Runtime、OpenVINO、PyTorch、TensorRT、MNN 等多种引擎。先看一组实测同一张图、同一份模型在 i7-10700K 16GB 的机器上走完整套检测→分类→识别流程PyTorch 引擎耗时 68.5msONNX Runtime 21.3msOpenVINO 18.7ms差距约 3.7 倍。差距不在模型而在你部署时选的引擎和参数。部署延迟主要由下面四个决策点决定引擎、参数、精度、输入与批量。第一步按硬件选对推理引擎这一节回答什么硬件配什么引擎直接给出三个主力引擎的实测差异。三个引擎的定位差别很明显ONNX Runtime面向跨平台部署CPU、CUDA、DirectML、CoreML 等执行提供器可按需挂上OpenVINO面向 Intel 硬件的推理栈把 Intel CPU 与核显的算力压榨得更干净PyTorch训练与实验路线改网络方便但推理开销最大不适合当生产路径。同一台机器上的单图耗时与峰值内存i7-10700K测试图为仓库自带测试集推理引擎单图平均耗时ms峰值内存MBPyTorch68.5452ONNX Runtime21.3286OpenVINO18.7254对比下来OpenVINO 路线比 PyTorch 省下约三分之二的时间峰值内存从 452MB 压到 254MB。Intel CPU 选 OpenVINO这个结论成立但边界要清楚它只在 Intel 平台上成立AMD/ARM 机器或需要一份产物到处部署的场景通用解是 ONNX Runtime。移动端则是另一套路线骁龙 888 上跑 Android 版本识别 1920×1080 截图端到端均值控制在 30ms 以内满足实时交互细节见 android/README.md。下图取自仓库测试集是一张日文街景样张与多语言识别回归验证用的图像属同一类型模型本身也有选型空间识别阶段提供了多种骨干网络实现其中 SVTR 用局部注意力加卷积混合替代部分自注意力计算精度稳定且计算开销更低实现见 python/rapidocr/inference_engine/pytorch/networks/backbones/rec_svtrnet.py。做部署调优时这一层通常不用动。第二步调好三个参数单图耗时再往下压这一节给出对单图延迟影响最大的三个旋钮——图优化、线程数、性能提示——以及各自的建议设法。图优化算子融合 常量折叠这一步在 ORT 引擎里已经默认开到最强档位你只需要确认自定义 session 没有把它覆盖掉。sess_opt.graph_optimization_level GraphOptimizationLevel.ORT_ENABLE_ALL取自 python/rapidocr/inference_engine/onnxruntime/main.py图优化指引擎在跑图之前重写计算图减少冗余计算与内存访问手段包括算子融合把几个连续的小运算合并成一个大运算减少中间数据的读写和常量折叠把固定子图在加载期算好。这一步是所有单点改动里收益最稳的一个且零成本。线程数怎么设才不拖后腿线程是最直观的旋钮也是最容易设过头的地方。OpenVINO 侧由两个参数控制config[INFERENCE_NUM_THREADS] str(infer_num_threads) config[PERFORMANCE_HINT] str(performance_hint)取自 python/rapidocr/inference_engine/openvino/device_config.py线程数与单图耗时的实测关系i7-10700K推理线程数单图耗时ms185.2432.6821.31620.84 线程到 8 线程仍有明显收益下降约 35%8 线程再到 16 线程只快了 0.5ms——调度开销开始吃掉收益。实用起点是物理核心数的四分之一先测再往上或往下微调不要直接拉满。ORT 侧对应两个参数intra_op_num_threads单个算子内部并行与 inter_op_num_threads算子之间并行调法同理默认值 -1 表示交给引擎自决统一定义在 python/rapidocr/config.yaml。LATENCY 还是 THROUGHPUT性能提示怎么选OpenVINO 的 performance_hint 只有两个选项LATENCY 优化单次请求返回时间THROUGHPUT 优化总处理能力。业务是单请求模式比如扫描 App 点一次识一次就选 LATENCY队列式批处理则选 THROUGHPUT再配合 num_streams 提高并发。第三步INT8 量化值不值得开这一节回答要不要量化收益多大代价是什么。默认模型是 FP32 精度。量化到 INT8 后权重体积缩到原来的约四分之一ORT 路线上推理通常快 2~3 倍。代价是精度干净高分辨率文档受影响小低对比度、小字号、噪点多背景上必须在自己的业务数据里重新验证。判断口径目标设备内存紧张、或内存带宽是瓶颈移动端典型量化值得开桌面 CPU 内存充裕且精度余量薄留在 FP32。没有统一答案需以实测为准。第四步输入尺寸与批量引擎之外的两个杠杆这一节讲两个常被忽略、但收益不输引擎参数的点实际输入分辨率和批大小。输入分辨率是最便宜的杠杆。识别耗时与像素量大致成正比图像宽度从 1000px 压到 500px识别时间减半约 50%。配置里两处直接决定实际输入尺寸全局 max_side_len默认 2000与检测侧 limit_side_len默认 736。你的场景是表单、截图、文档这类不需要极限分辨率的先收紧这两项比动任何引擎参数都便宜。批量留给静态图集。识别与分类阶段本来就是批处理rec_batch_num / cls_batch_num 默认 6。处理对象是固定图集而非即席请求时让批跑满吞吐会明显提升具体倍数需以实测为准。两个部署细节顺带一提模型预下载未指定 model_path 时引擎首次运行会拉取模型并做 SHA256 校验逻辑在 ORT 引擎内的 DownloadFile。生产环境把模型文件放进预置目录、用 model_root_dir 指过去可避开冷启动等待。内存 arenaORT 的 enable_cpu_mem_arena 默认关闭服务端场景内存充裕时打开可减少中间张量反复分配的开销。调优速查表按场景直接对号入座你的场景建议配置参考数值Intel CPU单图延迟优先OpenVINO LATENCY线程数从核心数 1/4 起调18.7ms / 254MBi7-10700K 实测跨平台分发 / AMD / ARM或要 GPUONNX Runtime图优化保持最高档21.3ms / 286MB实测训练、迭代模型PyTorch 引擎勿用于生产路径68.5ms / 452MB实测内存受限或内存带宽是瓶颈INT8 量化模型自有数据复验精度速度约 2~3 倍文件约 1/4图像分辨率可压缩收紧 max_side_len / 检测 limit_side_len宽度减半识别时间约降 50%静态图集批量处理批推理批大小 ≥ 默认 6吞吐明显提升需实测拿不准时最稳的路径是默认配置跑一遍基线再每次只动上表一个杠杆并复测——单变量改动才能分清哪个旋钮真正起了作用。【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考