【免费下载链接】humanizer-data项目地址https://ai.gitcode.com/hf_mirrors/jialinyyzz/humanizer-data点击查看免费下载humanizer-data 是为 12B 文本重写模型 humanizer v2 准备的训练语料集其中reference_only分片因版权限制不含原文文本。本文带你完整读懂官方重建脚本rebuild_reference_only.py它如何按上游数据源逐条找回被扣下的原文并用 SHA-256 校验确认取回的正是训练时用过的那份文本帮助新手快速掌握训练数据重建的方法。为什么 reference_only 里没有原文humanizer-data 把语料按许可证分成三个分片split分片内容说明redistributable公版或开放许可文本完整文本可自由再分发noncommercialCC BY-NC-SA 文本完整文本仅限非商业、须相同方式共享reference_only许可不允许转发文本的来源不含正文只留“找回线索”reference_only的三套文件共约 2.8 万行见 rewrite_sft/reference_only.jsonl、dpo/reference_only.jsonl、rl_prompts/reference_only.jsonl。每一行都保留了四个关键线索字段upstream_dataset来源数据集如MedRAG/pubmed、OpenPipe/hacker-newsupstream_id记录在来源中的定位 IDupstream_url可人工打开的原始页面地址original_sha256/original_chars训练所用文本的 SHA-256 哈希与字符数所以“重建” 拿着这些线索回到公开来源取回原文再用哈希验证。README 中对此有明确说明详见 README.md。脚本总览一条流水线四步走整个脚本只有约 260 行 Python核心流程在 main() 中读入行从 Hugging Face 加载reference_only分片或读入本地 jsonl路由按upstream_dataset前缀匹配到对应的抓取器fetcher抓取 校验取回原文做归一化后与original_sha256比对逐行写出输出 jsonl每行记录抓取结果、是否哈希匹配、或错误信息第一步健壮的 HTTP 抓取所有网络请求都经过 http() 封装固定 User-Agent最多重试 5 次遇 429限流会等 45 秒404 直接抛出。对新手来说这是处理公开 API 时非常值得借鉴的重试写法——用指数式退避3 * (a1)秒避免把上游打挂。抓取 Hugging Face 数据集的一行数据则靠 hf_row()调用 datasets-server 的/rowsAPI按行号取一条。它还处理了一个坑rows API 会截断超大单元格遇到truncated_cells会提示你改下 parquet 文件。行 ID 的解析在 parse_rowid()形如default/train:3204的 ID 表示“数据集某 config 某 split 的第 N 行”从 0 开始。第二步RECIPES 路由表——一个前缀一个抓取器这是脚本的精髓见 RECIPES 列表一个“(upstream_dataset 前缀, 抓取函数)”元组列表resolve() 按顺序前缀匹配把每行数据交给最合适的抓取器。不同来源的数据形态差异极大脚本为它们分别写了策略通用行号索引get_rowindex()适用于 aeslc、COIG-CQIA、imdb 等 Hugging Face 数据集按行号直接取指定列Hacker News 评论get_hn()用帖子 ID 查 Firebase APIPubMed 摘要get_pubmed()优先解析 MedRAG 分块文件找不到时回退到 NCBI E-utilitiesCRS 国会报告get_crs()先拉报告索引 CSV再下载 HTML 并做去标签清洗pipermail 邮件列表get_pipermail()按“列表|日期|主题”从 mbox 大文件中定位具体邮件带内存缓存避免重复下载注意脚本大量使用了模块级字典_medrag、_small、_mbox等做缓存同一个上游文件只下载一次后续行直接查内存效率很高。第三步取不到的来源怎么办manual 兜底有些数据需要手动下载或先同意条款Kaggle 数据、Enron 邮件归档、大型语料库等。脚本用 manual() 生成一个会抛出NotImplementedError的抓取器异常消息里直接写明“该怎么做”例如manual(large: stream allenai/peS2o (v2) and filter by id; collect all ids first and scan once)这样跑脚本不会中途崩溃而是把操作指引写进输出文件新手照着提示手动补齐即可。完全匹配不到 RECIPES 的行也会兜底为 manual提示你打开upstream_url人工查找。第四步哈希校验为什么经常是 false校验逻辑在 main()norm() 把文本转小写、压缩空白后再算 SHA-256与行里的original_sha256比对写入sha256_match字段脚本头部的注释特别提醒训练用的文本往往是上游记录的清洗后节选去掉了引文回复、签名、硬换行等所以即使取回的是正确的记录sha256_match也可能为false。它是“确认证据”不是“成功标准”。实战三条命令跑通重建依赖只有四个来自 脚本用法说明pip install datasets requests pyarrow huggingface_hub常用跑法# 重建整个 rewrite_sft 的 reference_only 分片 python scripts/rebuild_reference_only.py --config rewrite_sft --out rebuilt_sft.jsonl # 只重建某个来源前缀匹配并限制行数——强烈建议先这样小范围试跑 python scripts/rebuild_reference_only.py --config rewrite_sft --out rebuilt.jsonl --only MedRAG/pubmed --limit 100 # 直接处理本地下载的 reference_only.jsonl 副本 python scripts/rebuild_reference_only.py --input reference_only.jsonl --out rebuilt.jsonl参数一览参数作用--config三选一rewrite_sft/dpo/rl_prompts从 HF 加载对应分片--input改用本地 jsonl与--config二选一--out输出文件路径必填--only只处理upstream_dataset以该前缀开头的行--limit最多处理 N 行适合先试跑输出长什么样每行一个 JSON 对象例如{id: dpo_2fae..., upstream_dataset: MedRAG/pubmed, upstream_id: pubmed23n0006_11585, how: MedRAG/pubmed, text: ..., sha256_match: false}失败时则是text: null加一个截断到 300 字符的error字段最后终端会打印N rows, M fetched汇总。注意事项重建前必读的三点合规优先这些行是 reference-only 是有原因的抓取和使用请遵守每个来源的许可证与条款脚本 docstring 专门强调了这一点别被 false 吓到如上所述sha256_match为 false 很常见需人工抽查文本内容确认上游可能变动README 的 Limitations 一节点明重建依赖上游站点持续在线且训练文本多经过整理重建结果可能与原始训练文本略有差异行号型 ID 对应的是上游数据集的 0 基位置上游数据更新后行号可能漂移小结rebuild_reference_only.py是一份教科书级的“数据找回”范例前缀路由 来源专属抓取器 内存缓存 manual 兜底 归一化哈希校验。理解这套机制后你面对任何“只留引用不留正文”的训练语料都能设计出类似的可重建方案。重建脚本scripts/rebuild_reference_only.py分片说明与数据来源README.md三份 reference_only 语料rewrite_sft/reference_only.jsonl · dpo/reference_only.jsonl · rl_prompts/reference_only.jsonl赞分享【免费下载链接】humanizer-data项目地址https://ai.gitcode.com/hf_mirrors/jialinyyzz/humanizer-data点击查看免费下载相关推荐上万条 reference_only 数据怎么用?humanizer-data 无文本行的字段结构详解上万条 reference_only 数据怎么用?humanizer data 无文本行的字段结构详解 humanizer data 是 humanizer h深度解析Windows内核工具5大核心功能实战指南深度解析Windows内核工具5大核心功能实战指南 Kernel Driver Utility KDU 是一个强大的Windows内核工具专为安全研究者和系网络安全开发工具pnpm 重建已安装包构建脚本深入解析 pnpm/building.after-installpnpm 重建已安装包构建脚本深入解析 pnpm/building.after install pnpm/building.after install 是包管理器开发工具CLI创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考