1. 项目背景与核心挑战为什么甲骨文识别这么难甲骨文作为三千多年前商代先民刻写在龟甲兽骨上的文字是汉字的源头也是研究中国古代历史、文化、语言的第一手珍贵资料。然而对它的研究长期依赖于古文字学家“手工作业”——人工比对、摹写、考释效率低且主观性强。随着数字化技术的普及大量甲骨拓片被扫描成图像为计算机辅助研究打开了大门。2024年mathorcup数学建模B题正是瞄准了这一前沿交叉领域要求参赛者从最基础的“单字分割”与“识别”做起构建一个智能化的甲骨文处理流程。这听起来像是经典的图像分割与分类问题但实际操作起来你会发现它比处理现代印刷体文字、甚至手写体都要复杂得多。核心难点在于甲骨文本身的特性首先载体破损严重。龟甲兽骨历经数千年断裂、残缺、纹理干扰是常态拓片图像背景噪声极大。其次字形结构独特且多变。甲骨文是象形文字同一个字在不同时期、不同刻手笔下形态差异可能很大笔画粘连、交叉、断裂现象普遍。最后拓片质量参差不齐。墨色浓淡不均、纸张褶皱、背景污渍等都给自动处理带来了巨大挑战。因此这个项目远不止是调用一个现成的深度学习模型那么简单它要求我们对图像预处理、传统图像处理算法与深度学习模型的结合有深刻的理解和灵活的应用。2. 解题思路总览从原始拓片到单字识别的完整Pipeline面对这样一道题一个清晰的、模块化的解题思路至关重要。我们不能指望一个端到端的模型吞下一张复杂的拓片图就直接吐出所有单字和其释义。合理的策略是构建一个多阶段的处理流水线Pipeline将大问题分解为多个可管理、可调试的子问题。整体流程可以规划为以下四个核心阶段第一阶段图像预处理与增强。这是所有后续工作的基石。目标是将原始的、质量不一的拓片图像处理成更适合计算机“阅读”的形式。核心任务包括灰度化、对比度增强如CLAHE、噪声滤除如非局部均值去噪或小波去噪、二值化这里需要特别小心简单的全局阈值如Otsu很可能失效需要采用自适应阈值或基于梯度的方法以及可能的形态学操作如闭运算连接断笔开运算去除小噪点。第二阶段单字自动分割。这是本项目的第一个核心难点也是区分方案优劣的关键。目标是从预处理后的图像中精准地定位并切分出每一个独立的甲骨文字符。由于字符间可能存在粘连、背景有干扰纹理直接使用投影法水平/垂直投影效果会很差。更可行的思路是结合连通域分析与基于深度学习的检测模型。例如可以先使用传统方法如MSER最大稳定极值区域初步找出候选字符区域再利用一个轻量级的目标检测网络如YOLO的变种或FCN对这些区域进行精修和筛选最终得到每个单字的边界框Bounding Box。第三阶段单字图像标准化。分割出来的单字图像大小、长宽比、旋转角度各不相同直接送入识别网络会导致性能下降。因此需要建立一个标准化模块。通常包括将单字图像置于一个固定大小的画布中心如64x64并进行归一化处理。这里需要注意保留字符的原始纵横比避免严重形变有时轻微的旋转校正基于主成分分析PCA也能提升效果。第四阶段单字智能识别。这是第二个核心难点即分类问题。我们需要构建或训练一个分类模型将标准化后的单字图像映射到其对应的现代汉字或编号上。由于公开的、标注好的甲骨文数据集非常稀缺且规模小如“甲骨文单字数据库”可能只有数千张样本数百个类别直接训练一个大型深度学习模型极易过拟合。因此策略可能包括1数据增强对有限的样本进行旋转、缩放、弹性形变、添加噪声等模拟甲骨文的多样变化2迁移学习利用在大型汉字数据集如CASIA-HWDB上预训练的模型进行微调Fine-tuning因为汉字与甲骨文在结构上有一定的传承关系3设计更轻量、更抗过拟合的网络结构如加入Dropout、BatchNorm层或使用SqueezeNet、MobileNet等轻量级骨干网络。3. 核心环节一基于混合策略的甲骨文单字分割实战单字分割是承上启下的关键一步分割质量直接决定识别阶段的输入质量。单纯的传统算法或单纯的深度学习模型在此场景下都可能“翻车”。下面我结合自己的实验经验分享一个行之有效的混合策略。3.1 预处理为分割奠定坚实基础在分割之前必须把图像处理干净。对于一张典型的甲骨拓片我推荐的预处理流程如下灰度化与对比度受限的自适应直方图均衡化CLAHE直接使用RGB或灰度图效果不佳。先转为灰度图然后应用CLAHE。与普通的直方图均衡化相比CLAHE能限制局部对比度过度增强在提升文字区域对比度的同时不会过度放大背景噪声和纹理。import cv2 import numpy as np def preprocess_image(image_path): # 读取图像 img cv2.imread(image_path) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 使用CLAHE增强对比度 clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) enhanced clahe.apply(gray) return enhanced针对性二值化这是最大的坑点之一。全局阈值如cv2.THRESH_OTSU在面对不均匀光照和复杂背景时几乎总会失败。我的经验是采用局部自适应阈值或者更高级的Sauvola阈值算法后者特别适合处理背景亮度变化大的文档图像。from skimage.filters import threshold_sauvola from skimage import img_as_ubyte def sauvola_binarization(image): # Sauvola阈值处理 thresh_sauvola threshold_sauvola(image, window_size25, k0.2) binary_sauvola image thresh_sauvola binary_sauvola img_as_ubyte(binary_sauvola) # 转换为0-255图像 # 确保文字为白色前景背景为黑色 if np.mean(binary_sauvola) 127: binary_sauvola cv2.bitwise_not(binary_sauvola) return binary_sauvola注意window_size和k是关键参数需要根据图像中字符的大小和对比度进行调整。字符越大、对比度越低window_size可以适当增大k值可以减小。形态学后处理二值化后字符笔画可能断裂或者背景有一些离散的噪点。可以使用形态学操作进行修复。对于甲骨文常见的断笔采用闭运算先膨胀后腐蚀来连接相邻的白色区域对于小噪点采用开运算先腐蚀后膨胀来消除。def morphological_ops(binary_image): kernel cv2.getStructuringElement(cv2.MORPH_RECT, (3,3)) # 闭运算连接断笔 closed cv2.morphologyEx(binary_image, cv2.MORPH_CLOSE, kernel, iterations1) # 开运算去除小噪点 opened cv2.morphologyEx(closed, cv2.MORPH_OPEN, kernel, iterations1) return opened3.2 传统方法与深度学习结合的混合分割经过稳健的预处理我们得到了一张相对“干净”的二值图像。接下来是分割的核心。步骤A传统方法初筛——连通域分析使用OpenCV的findContours或connectedComponentsWithStats函数可以找到图像中所有的白色连通区域。我们可以根据连通域的面积、宽高比、占空比等几何特征过滤掉明显不是字符的区域如巨大的背景块、极小的噪点。def connected_component_analysis(binary_image, min_area50, max_area5000, aspect_ratio_range(0.2, 5)): num_labels, labels, stats, centroids cv2.connectedComponentsWithStats(binary_image, connectivity8) candidate_bboxes [] for i in range(1, num_labels): # 跳过背景标签0 x, y, w, h, area stats[i] aspect_ratio w / float(h) if h ! 0 else 0 # 根据经验设置过滤条件 if min_area area max_area and aspect_ratio_range[0] aspect_ratio aspect_ratio_range[1]: candidate_bboxes.append((x, y, w, h)) return candidate_bboxes这一步可以得到一批候选字符框但它无法解决字符粘连的问题两个或多个字被识别为一个连通域。步骤B深度学习精修——解决粘连与误检这是提升分割精度的关键。我们可以训练一个简单的语义分割模型如U-Net或目标检测模型如YOLOv5n轻量级。但考虑到比赛时间和数据量更可行的方案是使用预训练模型进行微调或者采用一个弱监督或自监督的思路。一个实用的技巧是将传统方法得到的候选框以及其周围区域裁剪出来送入一个二分类CNN模型判断这个框内是否“包含一个完整的、居中的甲骨文字符”。这个模型相对容易训练只需要人工标注一小部分“好框”和“坏框”坏框包括包含多个字符的粘连框、只包含字符部分的框、背景框等。# 伪代码基于CNN的框过滤与精修 class CharValidator(nn.Module): # 一个简单的CNN分类器 def forward(self, x): # x: 裁剪出的图像块resize到固定大小 # 输出是有效单字的概率 pass # 使用流程 validator CharValidator() validator.load_state_dict(torch.load(validator.pth)) refined_bboxes [] for bbox in candidate_bboxes: patch crop_image(original_enhanced_image, bbox) # 注意用增强后的灰度图不是二值图 patch standardize_patch(patch) # 标准化 with torch.no_grad(): prob validator(patch) if prob 0.5: # 置信度阈值 refined_bboxes.append(bbox) # 甚至可以在这里让模型预测一个更精确的回归框如果模型有此功能对于粘连字符可以在候选框内部利用投影直方图的局部最小值或者基于笔画骨架的切割点分析进行二次分割。但这部分规则复杂泛化能力弱。更优的做法是如果数据允许直接训练一个能够输出字符实例分割掩码的模型如Mask R-CNN但这需要像素级标注成本很高。步骤C结果整合与排序最终我们得到一系列精修后的边界框。由于甲骨文阅读顺序通常是从上到下、从右到左我们需要对这些框进行排序以便后续识别和输出。一个常用的方法是先按纵坐标y进行聚类将同一行的框归为一组然后在每一组内按横坐标x从大到小排序右起左行。这可以通过简单的聚类算法如DBSCAN或基于y坐标的阈值分组来实现。4. 核心环节二数据匮乏下的甲骨文单字识别模型构建分割出的单字终于可以送入识别模型了。但正如前文所述我们面临“小样本学习”的经典困境。以下是我在实验中总结出的有效策略组合。4.1 数据准备与增强创造“虚拟”样本假设我们有一个包含N类每类只有几十张图片的数据集。直接训练必过拟合。基础增强对每一张训练图像应用随机但合理的变换。包括小幅度的旋转±15°以内因为甲骨文一般不会大幅度倾斜、缩放0.9-1.1倍、平移10%以内、添加高斯噪声或椒盐噪声模拟拓片不清、模拟墨色浓淡不均调整对比度和亮度。from torchvision import transforms train_transform transforms.Compose([ transforms.ToPILImage(), transforms.RandomAffine(degrees15, translate(0.1, 0.1), scale(0.9, 1.1)), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5]) # 灰度图归一化 ])高级增强弹性形变与笔画扰动。甲骨文字形本身就不固定我们可以模拟这种变化。使用弹性变换Elastic Transform它能产生类似笔画局部扭曲的效果。此外可以模拟笔画断裂随机擦除或笔画粘连随机膨胀让模型对这些噪声更鲁棒。# 弹性变换示例 (使用albumentations库) import albumentations as A elastic_transform A.ElasticTransform(alpha50, sigma5, alpha_affine10, p0.5) # 随机擦除 random_erase A.CoarseDropout(max_holes3, max_height5, max_width5, fill_value0, p0.3)4.2 模型选型与训练技巧骨干网络Backbone选择放弃庞大的ResNet-50/101。优先考虑轻量级且性能不错的网络如MobileNetV2、EfficientNet-B0或ShuffleNetV2。它们在参数较少的情况下仍能提取良好的特征有助于防止小数据过拟合。如果担心特征提取能力不足可以使用在ImageNet上预训练的权重进行初始化这是至关重要的。迁移学习与微调这是本项目的核心策略。我们可以在大型的手写汉字数据集如CASIA-HWDB上预训练一个模型。汉字与甲骨文虽然形态迥异但在笔画、结构等中层特征上存在共享表示。预训练模型已经学会了如何从图像中提取有用的轮廓和结构特征。然后我们冻结骨干网络的前面大部分层只解冻最后几层并替换掉分类头用我们的小规模甲骨文数据集进行微调。这样可以极大减少需要训练的参数数量同时利用预训练知识。import torchvision.models as models import torch.nn as nn # 加载预训练模型以MobileNetV2为例 model models.mobilenet_v2(pretrainedTrue) # 冻结所有层 for param in model.parameters(): param.requires_grad False # 替换分类器假设我们的甲骨文类别数为num_classes model.classifier[1] nn.Linear(model.last_channel, num_classes) # 只训练新添加的分类层 # 训练几轮后可以解冻部分高层特征层进行进一步微调 for param in model.features[-5:].parameters(): # 解冻最后5个模块 param.requires_grad True训练策略与正则化学习率使用较小的学习率进行微调如1e-4并配合学习率预热Warmup和余弦退火Cosine Annealing调度器。优化器AdamW通常比Adam表现更好因为它解耦了权重衰减。正则化除了Dropout标签平滑Label Smoothing在小样本分类中非常有效它可以防止模型对训练标签过于自信提升泛化能力。MixUp或CutMix等数据混合增强技术也能进一步正则化模型。损失函数标准的交叉熵损失即可。对于类别极度不均衡的数据如果有可以考虑Focal Loss。4.3 集成学习与后处理单个模型的性能可能不稳定可以采用集成学习来提升最终预测的鲁棒性。同质集成使用相同的网络结构但用不同的随机种子初始化、或在不同数据增强子集上训练多个模型预测时取它们的平均概率或投票结果。异质集成使用不同结构的网络如一个MobileNetV2一个EfficientNet-B0进行集成多样性更强。后处理可以利用甲骨文的先验知识。例如如果识别任务是在一段已知的卜辞文本中进行可以利用语言模型n-gram对识别结果进行纠错。或者对于形状极其相似的字可以建立一个“易混淆字对”列表在模型输出置信度接近时引入额外的特征如笔画数、特定结构是否存在进行二次判断。5. 方案实现中的关键细节与避坑指南在实际编码和调试过程中以下几个细节决定了方案的成败也是我踩过坑的地方。5.1 评估指标的选择与自定义比赛通常会有官方评价指标但自己在本地验证时需要设计合理的指标。分割阶段不能只看IoU交并比。对于甲骨文一个更实用的指标是检测率Recall和分割精度Precision。我们需要定义什么样的分割结果是“正确的”例如边界框与真实框的IoU 0.7且一个框只包含一个字符。同时要统计粘连字符未分割开和一个字符被误切成多个部分的错误案例。识别阶段就是标准的Top-1准确率。但对于模型要密切关注其在验证集和测试集上的表现差异防止过拟合。绘制混淆矩阵分析哪些字经常被认错针对性地补充数据或调整模型。5.2 处理极端案例的策略严重残缺的字预处理时如果笔画断裂太严重连通域分析可能失效。可以考虑在二值化前使用图像修复Inpainting或基于深度学习的图像补全技术进行初步修复但这难度很高。一个更实际的策略是在识别阶段将这些残缺字视为一个特殊的“未知”或“残缺”类别或者尝试匹配其剩余部分与完整字形的相似度。背景纹理与字体重叠有时甲骨裂纹或兽骨纹理恰好穿过文字。在预处理中尝试使用频域滤波如傅里叶变换后滤除特定方向/频率的纹理可能有效。另一种思路是在训练分割或识别模型时特意在数据增强中加入类似的背景纹理提高模型抗干扰能力。非文字标记拓片上可能有钻孔、划痕等非文字标记。这些需要在分割阶段通过形状规则如圆形度、面积或通过上述的“字符验证器”模型将其过滤掉。5.3 代码效率与可复现性数学建模比赛时间有限代码效率很重要。管道化将预处理、分割、标准化、识别四个模块写成独立的函数或类通过管道串联。这样便于单独调试和优化每个模块。缓存中间结果预处理和分割通常比较耗时。对于固定的测试集可以将处理后的中间结果如二值图、边界框坐标保存下来避免每次运行都重复计算。设置随机种子在数据加载、增强、模型初始化时固定所有随机种子如random,numpy,torch确保每次运行结果一致便于调试和对比。可视化调试这是最重要的调试手段。在每一个关键步骤后如二值化、找到候选框、最终分割结果都将图像可视化出来。用OpenCV的cv2.rectangle画出边界框保存图片查看。肉眼观察往往比指标更能发现问题。6. 参考代码框架与核心模块示例以下提供一个高度概括但可直接扩展的Python代码框架集成了上述思路的核心模块。import cv2 import numpy as np import torch import torch.nn as nn from torchvision import transforms, models from sklearn.cluster import DBSCAN import albumentations as A from albumentations.pytorch import ToTensorV2 import matplotlib.pyplot as plt class OracleBoneRecognitionPipeline: def __init__(self, seg_model_path, cls_model_path, devicecuda): self.device device # 初始化分割验证器模型示例 self.seg_validator self._load_seg_model(seg_model_path) # 初始化分类模型 self.cls_model self._load_cls_model(cls_model_path) self.cls_transform self._get_cls_transform() def _load_seg_model(self, path): # 加载训练好的单字区域验证CNN模型 model SimpleCNN() # 需自定义 model.load_state_dict(torch.load(path)) model.to(self.device).eval() return model def _load_cls_model(self, path): # 加载预训练并微调好的分类模型 model models.mobilenet_v2(pretrainedFalse) model.classifier[1] nn.Linear(model.last_channel, NUM_ORACLE_CLASSES) # 替换分类头 model.load_state_dict(torch.load(path)) model.to(self.device).eval() return model def _get_cls_transform(self): # 识别阶段的图像变换需与训练时一致 return transforms.Compose([ transforms.ToPILImage(), transforms.Resize((64, 64)), transforms.ToTensor(), transforms.Normalize([0.5], [0.5]) ]) def preprocess(self, image): 图像预处理 gray cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8,8)) enhanced clahe.apply(gray) # 使用Sauvola二值化 from skimage.filters import threshold_sauvola thresh threshold_sauvola(enhanced, window_size25, k0.2) binary (enhanced thresh).astype(np.uint8) * 255 # 形态学操作 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (3,3)) binary cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel) binary cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) return enhanced, binary # 返回增强灰度图和二值图 def segment_chars(self, enhanced_img, binary_img): 混合策略单字分割 # 1. 连通域分析获取候选框 num_labels, labels, stats, centroids cv2.connectedComponentsWithStats(binary_img, connectivity8) candidate_boxes [] for i in range(1, num_labels): x, y, w, h, area stats[i] # 简单几何过滤 if 100 area 5000 and 0.2 w/h 5: candidate_boxes.append((x, y, w, h)) # 2. 深度学习验证器精修 refined_boxes [] for box in candidate_boxes: x, y, w, h box patch enhanced_img[y:yh, x:xw] patch cv2.resize(patch, (32, 32)) # 调整到验证器输入尺寸 patch_tensor torch.tensor(patch, dtypetorch.float32).unsqueeze(0).unsqueeze(0).to(self.device) / 255.0 with torch.no_grad(): prob self.seg_validator(patch_tensor) if prob.item() 0.7: # 置信度阈值 refined_boxes.append(box) # 3. 按行排序从上到下从右到左 if refined_boxes: boxes_np np.array(refined_boxes) # 使用y坐标中心点进行行聚类 y_centers boxes_np[:, 1] boxes_np[:, 3] / 2 clustering DBSCAN(eps20, min_samples1).fit(y_centers.reshape(-1, 1)) labels clustering.labels_ sorted_boxes [] for label in np.unique(labels): row_boxes boxes_np[labels label] # 按x坐标从大到小排序右起 row_boxes row_boxes[row_boxes[:, 0].argsort()[::-1]] sorted_boxes.extend(row_boxes.tolist()) return sorted_boxes return [] def recognize_chars(self, enhanced_img, boxes): 识别分割出的单字 results [] for box in boxes: x, y, w, h map(int, box) char_patch enhanced_img[y:yh, x:xw] # 标准化 char_patch_pil self.cls_transform(char_patch) char_patch_tensor char_patch_pil.unsqueeze(0).to(self.device) with torch.no_grad(): outputs self.cls_model(char_patch_tensor) _, predicted torch.max(outputs, 1) confidence torch.nn.functional.softmax(outputs, dim1)[0][predicted].item() results.append({ bbox: box, char_id: predicted.item(), confidence: confidence }) return results def visualize(self, original_img, boxes, results): 可视化结果 vis_img original_img.copy() for res in results: x, y, w, h map(int, res[bbox]) cv2.rectangle(vis_img, (x, y), (xw, yh), (0, 255, 0), 2) # 可以在图上标注识别结果 label fID:{res[char_id]}({res[confidence]:.2f}) cv2.putText(vis_img, label, (x, y-5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 0, 0), 1) plt.imshow(cv2.cvtColor(vis_img, cv2.COLOR_BGR2RGB)) plt.show() # 使用示例 if __name__ __main__: pipeline OracleBoneRecognitionPipeline(seg_validator.pth, cls_model.pth, devicecpu) img cv2.imread(oracle_bone_rubbing.jpg) enhanced, binary pipeline.preprocess(img) boxes pipeline.segment_chars(enhanced, binary) results pipeline.recognize_chars(enhanced, boxes) pipeline.visualize(img, boxes, results)这个框架提供了一个完整的骨架。其中SimpleCNN和模型训练部分的代码需要根据实际情况实现。最关键的是segment_chars函数中的混合策略以及recognize_chars函数中使用的迁移学习模型。在实际比赛中你需要花费大量时间在数据准备、模型训练和参数调优上。尤其是分割验证器模型的训练数据需要手动标注一批“好框”和“坏框”这是提升分割精度的关键投入。识别模型的性能则严重依赖于数据增强的质量和迁移学习的技巧。记住没有一劳永逸的参数针对不同的数据集预处理中的阈值、形态学核大小、分割过滤条件等都需要反复实验调整。这个过程本身就是数学建模竞赛的精髓——将实际问题抽象为数学模型并通过实验不断迭代优化。