简介一份面向熟悉Python且关注工程图纸解析的技术人员与开发者的入门级识别方案聚焦PDF和PNG两种格式的图纸内容提取与自动分类适用于施工图纸审查、档案数字化及工业绘图识别产品预研。方案以PyMuPDF解析PDF页面、OpenCV处理PNG图像再结合Tesseract OCR完成文字抓取并将结果初步归为图符类、沟槽和线缆类、表格类三大类。资源包共1个docx文件压缩后仅15KB内含可运行的完整Python代码与逐段说明代码分别实现process_png、process_pdf和process_image等函数并给出Tesseract路径配置与基础图像灰度化处理逻辑。读者可据此搭建一套可复用的图纸OCR识别调用链为后续引入边缘检测、目标检测或深度学习模型预留清晰扩展点。已有130人学习浏览。1. 为什么图纸识别要从PDF和PNG两个格式同时入手图纸在工程与设计流程里有两个典型存在形式CAD/设计工具导出的PDF往往带矢量线稿和文本层而扫描件、手机拍摄件、看图软件截图则基本是PNG这类位图。做内容识别时只处理PDF会漏掉大量旧图纸和外部协作图纸只处理PNG又丢掉了PDF自带的文字坐标。我的经验是把PDF按页面渲染成PNG把两种格式统一到同一套图像流水线里再做OCR与分类。这套做法适合图档管理、工程归档、图纸分发场景也适合想快速验证“我手里的图纸库里到底有什么”的开发者在本地跑通。2. 用PyMuPDF与OpenCV把PDF图纸转成可分析的PNG并完成预处理2.1 PDF有文本层为什么不直接读文本很多PDF图纸确实带文字用PyMuPDF的page.get_text()可以直接抽标题栏文字。但问题在于图纸里的图形元素、线条粗细、图框位置、图元比例这些信息都在矢量绘图指令里文字只是其中一小部分而且扫描型PDF根本没有文本层。所以常见做法是先将PDF按一定DPI渲染成PNG再做图像分析。这样PDF和PNG就共用同一套“图档图片”处理流程。我一般把渲染DPI定在150到200。DPI太低会导致细线断掉OCR也容易失败太高让文件体积增加几倍处理速度变慢对识别精度的提升却有限。下面是一个最小渲染用例import fitz # PyMuPDF import cv2 import numpy as np pdf_doc fitz.open(sample_drawing.pdf) page pdf_doc[0] zoom 200 / 72 # 200 DPI mat fitz.Matrix(zoom, zoom) pix page.get_pixmap(matrixmat, alphaFalse) # 保存为PNG pix.save(page_0.png) # 或直接在内存中转成OpenCV的BGR数组 img np.frombuffer(pix.samples, dtypenp.uint8).reshape(pix.height, pix.width, pix.n) img_bgr cv2.cvtColor(img, cv2.COLOR_RGB2BGR)这里zoom是缩放倍数PDF的单位是点1/72英寸200 DPI对应系数200/72。alphaFalse可以去掉透明通道让后续OpenCV处理更省心。pix.n是每像素通道数一般渲染结果是3。用cv2.cvtColor转成BGR只是为了和OpenCV接口保持一致如果你用PIL只需要Image.frombytes。2.2 按DPI渲染PDF页面并导出PNG的具体实现如果要批量处理整个PDF我倾向把每一页都导出成独立PNG文件用零填充页码方便后续按页回溯。具体代码可以这样写import fitz import pathlib def pdf_to_png_dir(pdf_path, out_dir, dpi200, start_page0, end_pageNone): out_dir pathlib.Path(out_dir) out_dir.mkdir(parentsTrue, exist_okTrue) doc fitz.open(pdf_path) if end_page is None: end_page len(doc) for pgno in range(start_page, min(end_page, len(doc))): page doc[pgno] scale dpi / 72 pix page.get_pixmap(matrixfitz.Matrix(scale, scale), alphaFalse) output_path out_dir / fpage_{pgno:04d}.png pix.save(output_path) print(output_path)注意end_page是开区间跟Python的切片行为一致。图纸PDF经常有超大页面比如A0加长幅面如果只渲染当前视口get_pixmap默认会按页面完整尺寸输出不要手动去裁剪否则图框外标记会丢失。遇到个别页面渲染后尺寸超过几千像素建议先把页面旋转校正再做降采样避免内存峰值。2.3 图纸图像的降噪、倾斜校正与二值化参数图纸扫描件最容易遇到三个问题杂点、倾斜、灰度背景。杂点来自扫描仪的噪点和打印的网点倾斜来自进纸偏差灰度背景则是纸张底色不均匀。我通常按固定顺序处理灰度化 → 去噪 → 找最大轮廓求倾斜角 → 仿射变换校正 → 二值化。import cv2 import numpy as np def preprocess_drawing(img_gray): # 1. 中值滤波去椒盐噪声核大小选3或5 denoised cv2.medianBlur(img_gray, 3) # 2. 二值化用于找轮廓 _, bin_img cv2.threshold(denoised, 180, 255, cv2.THRESH_BINARY_INV) # 3. 找外接矩形面积最大的轮廓通常是图框 contours, _ cv2.findContours(bin_img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return img_gray, 0 largest max(contours, keycv2.contourArea) rect cv2.minAreaRect(largest) angle rect[2] # 4. 角度规整到[-45, 45] if angle 45: angle - 90 if angle -45: angle 90 # 5. 旋转校正 h, w img_gray.shape matrix cv2.getRotationMatrix2D((w // 2, h // 2), angle, 1.0) rotated cv2.warpAffine(img_gray, matrix, (w, h), flagscv2.INTER_CUBIC, borderModecv2.BORDER_REPLICATE) # 6. 自适应二值化保留线条blockSize要设为奇数 binary cv2.adaptiveThreshold(rotated, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 31, 15) return binary, angle几个关键参数说明THRESH_BINARY_INV配合自适应二值化时线条与文字为黑色背景为白色这样findContours才能拿到实体轮廓minAreaRect返回的角度在(-90, 0]区间聚焦到图框这类长矩形时角度换算为旋转角度BORDER_REPLICATE可避免旋转后黑边干扰。adaptiveThreshold的blockSize为31、C为15时对多数扫描图纸效果不错但如果你处理的是蓝图纸建议先把蓝色通道单独提出来再二值化否则线条和底色可能连成一片。这里有一个容易踩的坑如果最大轮廓不是图框而是图纸边缘的阴影线旋转校正会跑偏。我一般会在找轮廓前先对二值图做一次形态学开运算去掉细线噪声kernel cv2.getStructuringElement(cv2.MORPH_RECT, (5, 5)) bin_img cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)开运算会去掉小于结构元素的细节但图框线宽通常有0.3mm以上在200DPI下约等于2到3像素用5x5核不会直接影响图框。如果你发现自己的图纸标题栏非常密开运算核不要超过3x3。预处理之后的图片质量直接决定后续OCR和模型分类的上限这一步值得反复测。参数推荐值说明DPI150 ~ 200太低丢线太高体积大且提速无收益medianBlur ksize3 或 5奇数抗椒盐噪声adaptiveThreshold blockSize31奇数需大于线条宽度adaptiveThreshold C15值越大二值化后白色区域越多morph open kernel(3,3) ~ (5,5)去除孤立细线保留图框3. 基于OCR与图形特征的内容识别提取标题栏、图框与图元比例3.1 图纸内容识别的核心标题栏与图框定位图纸与普通图片的明显差异在于它有固定的信息承载区标题栏右下角、图框线、明细栏、技术要求文字块。不同专业的图纸标题栏内容高度相似真正区分专业的是图面元素机械图以粗实线轮廓、剖面线和尺寸标注为主电气图以线条连接、方框符号和单线/多线符号为主建筑图以墙线、门窗符号和轴线网格为主。因此识别要做两件事一是读出标题栏文字用于归档字段二是分析图面特征用于类别判断。定位标题栏最朴素也最稳定的做法是利用图框右下角区域。大部分图纸标题栏都在图框的内部、右下角区域。我们可以按图像短边的比例切出右下角矩形再做OCR。比例一般取宽和高各30%到40%如果标题栏特别宽用35%比较稳。def crop_title_block(binary_img, ratio0.35): h, w binary_img.shape x0 int(w * (1 - ratio)) y0 int(h * (1 - ratio)) return binary_img[y0:h, x0:w]这个裁剪对标准图框有效但也要求前一步倾斜校正尽量精确。如果你的图纸库里有倒置的图框建议用轮廓方向判断图框的旋转方向避免把右下角裁到左上角。还可以根据图框线交叉点来定位用霍夫直线检测找出最长的横线和竖线取交点定位四个角点再做透视变换提取标题栏。这个方案更抗旋转我偶尔会用在倾斜严重的扫描件上。3.2 用PaddleOCR提取文字并按区域聚合文字识别上我优先用PaddleOCR而不是Tesseract因为图纸上的字体有长仿宋体字号又小Tesseract默认的英文训练数据对中文标题栏表现很一般。PaddleOCR的ocr接口直接返回“文本框坐标 文字 置信度”对后续按区域聚合很友好。下面是提取标题栏文本的示例from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) def extract_title_block_text(img_bgr): crop_img crop_title_block(img_bgr, ratio0.35) result ocr.ocr(crop_img, clsTrue) texts [] for line in result[0]: box line[0] text line[1][0] conf line[1][1] if conf 0.5: texts.append(text) return .join(texts)use_angle_clsTrue会让OCR先判断文本方向应对倒置的图纸langch表示中文模型show_logFalse让控制台安静输出。line[1][0]是识别出的字符串line[1][1]是置信度。拿到texts后再按“设计”“审核”“比例”“图号”等关键词匹配就能把标题栏字段抽出来。比如import re def match_title_field(text_content, field): # 例如 field比例匹配“比例 1:10”或“比例1:10” pattern rf{field}\s*[:]?\s*([^\s]) m re.search(pattern, text_content) return m.group(1) if m else None这个字段抽取在实测里会遇到OCR把“比例”识别成“比侧”把“审核”识别成“申核”。我的对策是维护一个同音字/形近字映射表比如{比侧: 比例, 审图: 审核, 件数: 数量}在正则匹配前先做一次替换。不要迷信OCR图纸字体识别不了就是识别不了宁可返回空也不要抽成一个错误的关键字进数据库。3.3 用轮廓特征区分机械图、电气图与建筑图文字线索有时不够用尤其图纸标题栏里没有专业名称。我一般会从整页二值图提取一组几何特征用规则来做第一次粗分类。最简单的有用特征包括黑色像素占比、连通域数量、平均连通域面积、直线的长宽比分布、角点数量。以机械图和电气图为例电气图主要由大量线段和符号组成连通域小而多黑色像素占比偏小机械图的剖面线、尺寸线形成密集纹理角点数量明显更多。import numpy as np def geometry_features(binary): h, w binary.shape black_ratio np.sum(binary 0) / (h * w) contours, _ cv2.findContours(binary, cv2.RETR_CCOMP, cv2.CHAIN_APPROX_SIMPLE) areas [cv2.contourArea(c) for c in contours if cv2.contourArea(c) 4] if areas: avg_area float(np.mean(areas)) cnt_count len(areas) else: avg_area 0 cnt_count 0 # 角点检测 corners cv2.goodFeaturesToTrack(binary, maxCorners200, qualityLevel0.05, minDistance8) corner_count 0 if corners is None else len(corners) return { black_ratio: black_ratio, avg_area: avg_area, cnt_count: cnt_count, corner_count: corner_count, }然后做一个简单的决策树分类def classify_by_rule(feat): # 经验阈值来自几十张样例图的统计 if feat[corner_count] 80 and feat[black_ratio] 0.18: return mechanical elif feat[cnt_count] 300 and feat[avg_area] 20: return electrical elif feat[black_ratio] 0.25: return architectural else: return unknown这一层规则不用调得很准目的是把明显类型的图纸先分掉减少后续模型预测的类别数。注意goodFeaturesToTrack输入二值图时图纸线条密集容易把一条线上的每个交叉点都算成角点所以minDistance我建议不小于5。特征机械图倾向电气图倾向建筑图倾向black_ratio中0.15~0.25低0.05~0.15高0.25cnt_count中高中avg_area中小大corner_count高中中低这个表格里的趋势来自不同图幅的统计不同公司出图规范不一样建议收集100张样图重新统计阈值而不是照搬任何人的经验值。4. 从规则分类到模型分类训练轻量级图纸分类器4.1 为什么规则分类不够需要训练一个模型规则分类的硬伤在于阈值不通用。改一个图幅A4到A0、换一种CAD出图线宽、或者出现电气原理图和电气接线图统计分布都会变。我见过把电气接线图的高密度网格误判成机械图的案例就是因为角点数量超过了阈值。工程图纸分类的长期方案还是训练一个图像分类模型让模型自己去学习“什么样的线条组合像机械图”。常见做法有两条路线一是把上一节算出的几何特征向量喂给XGBoost等多分类模型可解释性好适合样本量小的场景二是直接用ResNet18、MobileNetV3这类轻量CNN在图纸图像上微调。我倾向于用后者因为图纸的判别特征往往是局部符号而不是全局统计量。CNN能直接看到标题栏、图框、图元符号的组合方式。这不像是把标题栏文字向量化后交给语言模型分类那会丢掉图面图形信息。下面是准备训练数据的代码把每张PNG缩放成224×224from torch.utils.data import Dataset from PIL import Image import torchvision.transforms as T class DrawingDataset(Dataset): def __init__(self, image_paths, labels, label_to_idx): self.paths image_paths self.labels [label_to_idx[l] for l in labels] self.transform T.Compose([ T.Resize((224, 224)), T.ToTensor(), T.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) def __len__(self): return len(self.paths) def __getitem__(self, idx): img Image.open(self.paths[idx]).convert(RGB) img self.transform(img) label self.labels[idx] return img, label注意缩放会丢失线条细节所以如果你是在原始大图上切patch训练效果通常比整图缩放好。但是patch切分会给数据标注带来复杂度先整图跑通流程再优化patch才是正确顺序。4.2 数据准备与图像分类模型选择图纸分类的训练数据不一定要很多。我实际用过每类300张左右的样本ResNet18微调就能到90%以上的准确率。关键是类别定义要统一机械图、电气图、建筑图、管道图四大类起步不要一上来就分“机械装配图”“机械零件图”这种二级类别否则模型收敛慢且难评估。模型选择上ResNet18比VGG16轻量很多适合在CPU机器上推理有GPU就用torchvision里预训练的resnet18(weightsResNet18_Weights.IMAGENET1K_V1)。预训练权重在ImageNet上学会的底层边缘、纹理特征能直接迁移到图纸线条上不需要完全从头训练。如果设备连GPU都没有那就退一步用XGBoost跑几何特征也是一个能用的底线方案。下面是微调模型结构import torch.nn as nn import torchvision.models as models def build_model(num_classes, pretrainedTrue): weights models.ResNet18_Weights.IMAGENET1K_V1 if pretrained else None model models.resnet18(weightsweights) in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return model训练时一般只更新最后一层和最后几个残差块前面层冻结可以显著减少过拟合。我用冻结前9层、只训练最后两层的方式在每类300张图的数据集上也能稳定收敛。def freeze_except_last(model, freeze_before_layer9): for idx, (name, param) in enumerate(model.named_parameters()): if idx freeze_before_layer: param.requires_grad False这个freeze_before_layer索引要根据你实际打印的层序调整不必教条。优化器用Adam学习率1e-4batch size 16基本够。如果你的显存紧张把输入分辨率降成160×160也行代价是准确率掉2%以内。这里有一个容易踩的坑图纸长宽比差异很大A4竖版和A1横版的宽高比完全不同直接Resize到正方形会严重形变。我一般会先用T.Resize((256, 256))再T.CenterCrop(224)避免整张图被压扁。4.3 训练、评估与混淆矩阵分类评估的几个关键指标训练完不能只盯着总体准确率。图纸分类中类别不均衡很常见比如机械图占70%电气图占20%建筑图占10%模型只要全猜机械图也能达到70%这种模型没有意义。因此要输出每个类别的精确率、召回率和F1。下面这段代码用scikit-learn直接给出分类报告和混淆矩阵from sklearn.metrics import classification_report, confusion_matrix all_preds [] all_labels [] # 在验证集上推理假设 model 已经进入 eval 模式 with torch.no_grad(): for img, label in val_loader: out model(img) pred out.argmax(dim1) all_preds.extend(pred.cpu().tolist()) all_labels.extend(label.cpu().tolist()) print(classification_report(all_labels, all_preds, target_names[mechanical, electrical, architectural])) cm confusion_matrix(all_labels, all_preds) print(cm)配合混淆矩阵你能一眼看到哪些类别互相打架。比如电气图被识别成机械图大概率是细密网格线导致的。这时候有两个手段一是增加该类别难例的采样权重二是在后处理中叠加规则特征当CNN预测机械图但黑色像素占比很低时强制改判为电气图。这种“模型规则”的混合置信度策略在工程落地时比纯模型更受业务方信任因为你能解释为什么会给这个分类。指标计算公式图纸场景中的关注点准确率(TPTN)/(TPFPTNFN)只看这个指标会被类别不均衡骗过精确率TP/(TPFP)分类为机械图的样本里真正是机械图的比例召回率TP/(TPFN)所有机械图里被找出来的比例F12PR/(PR)综合看误报和漏报分类评估中我还会关注“未知类”的处理。模型输出的softmax概率即使只有0.4它也会硬分到某一个类。我一般设定一个阈值比如最大概率低于0.6就归为unknown避免把空白页、封面页、图例页硬塞到图纸类别里。这个阈值要在验证集上根据精确率-召回率曲线去调不要拍脑袋。5. 应用场景落地的三个关键技巧批量归档、置信度阈值与误报回滚图纸内容识别最终要落在图档管理系统或自动归档流程里。我经历过最典型的场景是一家设计院有几十万张历史PDF和PNG图纸需要按“机械、电气、建筑、管道”分类后迁入新系统。批量跑的时候最怕的不是分类慢而是错分。一旦电气图被归到机械图目录下游工程师就找不到图纸比不分类还要糟。针对这个问题我会做三件事。第一在归档入库前设置置信度阈值。分类置信度低于阈值的不入库进人工复核队列。阈值通常选0.7如果业务要求高选0.8优先级是“宁可不分不要错分”。第二做类别互斥校验。比如建筑图不可能同时有大量电气符号用第3章的几何特征做个反向过滤conflict标记超过2条就降级为待复核。第三是误报回滚。分类模型上线后记录每个文件的模型版本、计算特征值快照、分类结果和置信度。如果业务反馈某批次图纸分类错乱可以直接用当时的特征值和模型快照复现分类快速判断是数据漂移还是模型版本问题。def archive_record(pdf_path, page_no, category, confidence, feat_snapshot, model_version): record { source: pdf_path, page: page_no, category: category, confidence: round(confidence, 3), feature_black_ratio: feat_snapshot.get(black_ratio), feature_corner_count: feat_snapshot.get(corner_count), model_version: model_version, } return record这个记录结构可以直接写入Elasticsearch或PostgreSQL JSON字段。用归档时间范围加分类类别做查询就能把一次批量任务的分布拉出来例如“这个月建筑图多了多少置信度有没有下降”这是图档系统里很实用的运维视角。还有一个技巧值得单独说对PNG格式的历史图纸不要直接喂全图。很多PNG是CAD导出时把白底透明化图片里既有白色背景又有透明图层。统一先做透明通道填充把透明区域填成白色from PIL import Image def png_to_white_bg(path): img Image.open(path).convert(RGBA) bg Image.new(RGBA, img.size, (255, 255, 255, 255)) bg.paste(img, (0, 0), maskimg.split()[3]) return bg.convert(RGB)透明通道不处理OpenCV读出来是0值二值化后整个背景会变成黑色特征统计直接失真。这类问题在批量处理时非常隐蔽我会把它写进预处理的单元测试里任意输入一张带透明区域的PNG输出图像四周像素都必须接近255。验证方法做到这个程度后面跑几十万张图纸才敢过夜执行。本文还有配套的精品资源点击获取