RapidOCR多引擎OCR：一套库离线跑遍CPU、GPU和移动端

RapidOCR多引擎OCR一套库离线跑遍CPU、GPU和移动端【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR客户给的是一套内网系统没网服务器是台老Intel CPU边缘盒子上还挂着GPU单张图留给识别的时间预算就几百毫秒。我用的就是RapidOCR的多引擎推理支持同一套代码配置里换推理后端CPU、GPU、移动端都能跑。跑起来快速体验pip install rapidocr onnxruntime之后就能开始首次调用会自动下载默认的PP-OCRv6检测和识别模型并缓存到本地from rapidocr import RapidOCR engine RapidOCR() result engine(ch_en_num.jpg) print(result.txts, result.scores)它到底快在哪RapidOCR多引擎推理切换推理引擎切换一行配置换后端RapidOCR包了6种后端onnxruntime默认、openvino、paddle、torch、tensorrt、mnn。det/cls/rec三个环节各自有独立的engine_type检测可以走ONNX Runtime、识别同时走TensorRT。对使用者意味着一套业务代码覆盖整个机房换硬件只改配置不改代码。默认值和全部可调项在默认配置里。engine RapidOCR(params{ Det.engine_type: onnxruntime, Rec.engine_type: tensorrt, })ONNX Runtime线程调优线程数只认合理范围默认开启ORT_ENABLE_ALL全量图优化说白了就是把图里重复的算子合并成大算子、加载时预先算好常量。intra_op_num_threads和inter_op_num_threads默认-1交给库自己选。注意这里代码会用os.cpu_count()校验你填的值超过核心数会被静默忽略不报任何错所以设越大越快不成立。EngineConfig.onnxruntime: intra_op_num_threads: 8 inter_op_num_threads: 4TensorRTFP16默认开INT8量化是可选开关TensorRT后端会从ONNX现场构建序列化引擎并写进cache_dir之后直接加载首次构建要几分钟。use_fp16默认true显卡支持就自动启用FP16想再压可以开INT8量化但精度要自己验证。构建开销是一次性的适合同一批图反复跑的场景。EngineConfig.tensorrt: use_fp16: true use_int8: false cache_dir: ./trt_cacheOpenVINOperformance_hint在延迟和吞吐间二选一OpenVINO是Intel CPU的专属选项。配置里暴露了performance_hint实时单张处理填LATENCY批量填THROUGHPUT另外还有INFERENCE_NUM_THREADS、超线程开关这些细项。纯Intel机器跑OCR可以优先试这个引擎看数字再决定要不要换。竖排、透明背景、歪照片预处理基本都兜住了输入若是宽矮长条宽高比超过8或高度不足30像素检测前会自动上下letterbox补齐到宽高比8让文字行高度足够、检测不漏裁剪出的文字行如果高宽比超过1.5会被判定为竖排并自动旋转90度再送识别带EXIF旋转的照片读取时自动摆正方向。不用自己处理竖排和横置截图预处理逻辑集中在process_img。实测数据仓库未公布benchmark先看这张表推理引擎适用硬件默认精度单图推理耗时(ms)峰值吞吐(张/秒)ONNX Runtime通用CPU / CUDA GPUFP32暂无公开数据暂无公开数据OpenVINOIntel CPUFP32暂无公开数据暂无公开数据TensorRTNVIDIA GPUFP16暂无公开数据暂无公开数据PaddlePaddleCPU / GPUFP32暂无公开数据暂无公开数据PyTorchCPU / CUDA / MPSFP32暂无公开数据暂无公开数据MNN移动端FP32暂无公开数据暂无公开数据仓库没有发布官方benchmark上面两个指标列全是暂无公开数据请以自己机器实测为准。从配置看差异最大的地方是ONNX Runtime线程数是否调到合理范围、TensorRT是否启用FP16、Intel CPU上是否加了performance_hint。开发中容易踩的坑首次调用慢到以为服务卡死我最初以为是CPU推理慢后来发现其实是三个模型在首次调用时从模型库下载并做sha256校验。离线机器提前下好指向本地路径params{Det.model_path: /models/det.onnx}。intra_op_num_threads设成16延迟没变化也没报错。我最初以为是引擎不生效后来发现代码会按os.cpu_count()校验线程数超范围直接静默丢弃。修法intra_op_num_threads: 8且必须不超过物理核心数。手机截图上检测框整体歪掉我最初以为是检测模型的问题后来发现照片带EXIF旋转cv2.imread不读这个信息而RapidOCR的LoadImage会做exif_transpose。修法直接传路径engine(photo_path)别自己解码成ndarray。RapidOCR多引擎推理适不适合你的场景纯Intel CPU、想省事默认ONNX Runtime或切OpenVINO并加performance_hint。有NVIDIA显卡、追单图延迟上TensorRT接受首次构建引擎的几分钟。做移动端App选MNN对应格式模型已在内置列表里。只识别单条文字、不需要定位框use_detFalse, use_clsFalse省掉两个模型的耗时。要用自己的数据微调在PaddleOCR侧调好转成ONNX后填进model_path即可。回头看RapidOCR多引擎OCR最值钱的点是把选推理框架变成了一件配置的事同一套API、6种后端、模型自动下载校验离线环境提前下好模型即可。配合det/cls/rec分环节开关和按次传参调优空间留得很足。代码和文档都是开源的git clone https://gitcode.com/GitHub_Trending/ra/RapidOCR就能看到完整实现。【免费下载链接】RapidOCR Awesome OCR multiple programing languages toolkits based on ONNX Runtime, OpenVINO, MNN, PaddlePaddle, TensorRT and PyTorch.项目地址: https://gitcode.com/GitHub_Trending/ra/RapidOCR创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考