【免费下载链接】europeana_newspapers_images项目地址https://ai.gitcode.com/hf_mirrors/biglam/europeana_newspapers_images点击查看免费下载europeana_newspapers_images 数据集收录了 98,877 张 17–20 世纪欧洲历史报纸页面图像10 种语言、8 家欧洲图书馆每行数据都配好了 OCR 全文、ALTO XML以及已换算到图像像素坐标的行框lines、词框words和逐词置信度wc——这是它和大多数 OCR 数据集最大的不同。下面按字段拆解它们到底怎么用。上图中蓝色框就是lines[].bbox直接画在页面图像image上的效果——坐标已经是图像像素无需再换算。一、数据集整体结构先看三个位置位置内容用途data/ 下的 parquet 分片完整数据页面图像 文本 行/词框 ALTO XML正式训练、裁剪metadata/metadata.parquet约 7 MB 的轻量索引每页一行无图像先筛选、后按需下载README.md字段说明、采样策略、质量提示本文章的依据 核心思路图像每页约 3 MB先看metadata配置挑页再只读取需要的分片能省掉大量下载和内存开销。二、一行数据里的 25 个字段分组理解一行 一张报纸页面。字段可以分成 5 组基础信息idEuropeana 页面编号、title报纸名、date出版日期、language、decade年代int32、collectionEuropeana 集合 ID、data_provider馆藏图书馆、rights均为 Public Domain Mark 1.0、page_iiif_url图像与几何image图书馆 IIIF 服务器原始分辨率页面图未重编码、width、height像素、alto_unitpixel或mm10、alto_page_size、alto_image_aspect_diff、box_alignment文本与质量text整页 OCR 文本、mean_ocr页面级平均词置信度核心布局lines、words、alto_xml本文重点采样记账stratum、stratum_rank、tier记录抽样分层一般不用管三、lines 字段怎么用行级 OCR 的第一手材料lines列表中每个元素对应 ALTO 里的一个TextLine包含三个子字段text这一行 OCR 识别出的文字bbox[x0, y0, x1, y1]已经是图像像素坐标mean_wc这一行所有词的置信度均值最直接的用法是做行级 OCR 训练/评估数据从image里按bbox裁出单行图配对text作为标签。官方示例README 中给出的最小写法row next(iter(ds)) line_img row[image].crop(row[lines][0][bbox]) # 裁出第一行⚠️ 记住官方提醒这些文字标签是当年图书馆数字化时的历史 OCR 结果silver银标不是人工校对的金标。适合预训练和找难页不适合直接当基准测试的标准答案。一行裁剪图配它的 OCR 文本即使mean_wc高达 0.79识别结果仍可能有误Prineipals 实为 Principals——文本当银标用。四、words 字段与置信度wc 到底怎么读words列表中每个元素对应 ALTO 里的一个String一个词text词文本bbox词的像素坐标框wc该词的 OCR 置信度0–1 之间line这个词属于lines中的第几行索引三个粒度的置信度要分清字段粒度典型用途mean_ocr整页快速筛掉整页都差的样本lines[].mean_wc行定位差行决定是否重跑 OCRwords[].wc词精确找到不可靠的词剔除或补识别words[].bbox按words[].wc着色红色低置信度、绿色高置信度。一眼就能看出页面里哪些区域 OCR 最不可靠。❗ 一个容易踩的坑不同集合collection之间的wc不可直接比较。同一印刷质量在不同集合里可能差很多因为当年各馆用的引擎参数不同ABBYY FineReader 65,636 页CCS docWorks 33,241 页。正确做法是在同一集合内部比较置信度。五、alto_xml什么时候才需要它alto_xml是该页原始 ALTO v2 格式的 XML 字符串信息量最大但也最重。lines/words已经把最常用的信息抽出来并换算成像素坐标了所以做行/词级训练、裁剪、置信度过滤 → 用lines/words就够了需要版面结构、阅读顺序块、栏、标题层级→ 解析alto_xml里面有lines/words没有的 Block 层级信息多栏历史报纸的版面分析基本都要回到alto_xml里取结构。六、裁剪前必查box_alignmentbbox的坐标是用图像尺寸 ÷ ALTO 页面尺寸缩放 ALTO 坐标得到的。绝大多数页面对齐良好但有637 页多为奥地利国家图书馆扫描件图像与 ALTO 的宽高比相差超过 2%框会漂到文字外面。这些页面被标记为box_alignment unverified。因此凡是按框裁剪的流程先加一行过滤条件box_alignment ok基本就不会踩坑。配合alto_image_aspect_diff还能自己复核对齐程度。七、低成本选页metadata 配置的正确打开方式metadata/metadata.parquet 每页一行且不含图像包含id、title、date、language、mean_ocr、mean_wc、box_alignment、行列数、data_file该页所在的 parquet 分片名。推荐工作流在 metadata 上按语言、置信度、box_alignment等条件筛选出目标页只读取这些页所在的少数几个 data 分片超过约 1000 页时先把子集落成本地 parquet 再加载避免占满内存八、常见用途速查行级 OCR 训练/评估裁lines[].bbox配lines[].text覆盖 Fraktur、西里尔、希腊字母等多种字体OCR 质量估计用words[].wc、lines[].mean_wc定位差区域局部重跑而非整页重跑新旧 OCR 对比在同一批页面上跑现代 OCR 或视觉语言模型按语言、年代、集合与历史 OCR 对比版面与阅读顺序lines/words坐标 alto_xml的块结构 最后提醒许可证为 Public Domain Mark 1.0但 1910s–1940s 的材料在部分司法辖区可能仍在版权期内商用前请自行确认。完整的字段说明与采样策略见 README.md。赞分享【免费下载链接】europeana_newspapers_images项目地址https://ai.gitcode.com/hf_mirrors/biglam/europeana_newspapers_images点击查看免费下载相关推荐SvalbardIdeaVault 数据字段全解析从problem_definition到proposal_masked每个字段到底意味着什么SvalbardIdeaVault 数据字段全解析从problem_definition到proposal_masked每个字段到底意味着什么 Svalbatasksource-jev-typed-decisions字段详解state、question、options、target到底怎么用附代码示例清单tasksource jev typed decisions字段详解state、question、options、target到底怎么用附代码示例清单数据集NLP机器学习上万条 reference_only 数据怎么用?humanizer-data 无文本行的字段结构详解上万条 reference_only 数据怎么用?humanizer data 无文本行的字段结构详解 humanizer data 是 humanizer h上一篇FreeStreamer - 高效、易用的音频流媒体播放器下一篇B站自动签到工具 BiliBiliToolProDocker 部署与多账号管理完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考