简介红宝书托福词汇是面向托福备考者与英语进阶学习者的词汇速查文档针对词汇量大、释义分散、缺乏系统归类的痛点按语言、学术、社会、文化等主题梳理核心词汇。压缩包内为1个docx文件体积约71KB以单词加词性与中文释义的条目形式编排如abandon、abstract、accelerate、accommodate、acquire等均附音标层级外的简明释义便于导入笔记软件或打印背诵。内容覆盖从abundance、adolescent到aesthetic、aggressive等高频词兼顾基础词与学术场景用词适合按主题分批记忆或考前集中排查盲点。该资源已有206人学习使用可用作托福阅读与听力词汇积累的辅助材料也可配合真题练习进行查漏补缺。1. 从 docx 到词表先别急着 CtrlA拿到「红宝书托福词汇.docx」多数人的第一反应是 CtrlA 拷进记事本结果页码、页眉和换行全糊在一起。反直觉的是.docx 根本不是文本文件它是个 ZIP 包正文躺在word/document.xml里每个词条被拆成若干 run页面底部的「红宝书托福词汇」和行尾数字也作为普通段落混进正文流。复制粘贴拿到的是渲染结果不是数据。这份词表从 abandon 排到 compaction几百个词条里既有 abundant、administration 这种重复词头也有 airborne 这种释义串行的脏行。下面按「解析文档 → 正则切片 → 结构化落库 → 导出复习 → 词族归并」的顺序走一遍。2. 解析层用 python-docx 把文档拆成可过滤的段落流2.1 .docx 的物理结构与正文位置先把文件当 ZIP 拆开看一眼比直接上代码更省时间。一个标准 docx 里word/document.xml存正文段落word/header*.xml和word/footer*.xml存页眉页脚word/styles.xml定义样式。词条文字只可能来自前两者页眉页脚是纯噪声源。# 列出包内文件确认正文与页眉页脚的实际路径 unzip -l 红宝书托福词汇.docx | grep -E document|header|footer # 抽主文档前 3000 字节看段落与 run 的嵌套关系 unzip -p 红宝书托福词汇.docx word/document.xml | head -c 3000-p表示输出到标准输出不解压落盘head -c按字节截断避免几 MB 的 XML 直接刷屏。看这段输出重点确认两件事词条文本是被w:p整段包住的还是被w:r拆成好几截。如果同一个词头被拆到两个 run 里后面走 python-docx 取paragraph.text就没事但如果你打算自己解析 XML就必须做 run 拼接。2.2 按段落读取并与样式信息一起落表python-docx 的Document.paragraphs只覆盖主文档流不含页眉页脚这正好省掉一轮过滤。读取时把段落序号一起留下后面定位脏行、回溯原文都要靠它。from docx import Document doc Document(红宝书托福词汇.docx) rows [] for idx, p in enumerate(doc.paragraphs): text p.text.strip() # 空段落不参与后续判断但保留计数用于核对总量 rows.append({idx: idx, text: text, style: p.style.name}) total len(rows) blank sum(1 for r in rows if not r[text]) print(f段落总数{total} 空段落{blank} 有效段落{total - blank})p.text已经把该段下所有 run 的文本按顺序拼好这是它比自己解析 XML 省事的关键。p.style.name一般是Normal但如果原文档给词头用了自定义样式这里会暴露出来可以据此做二次分类。段落序号 idx 是稳定主键导入数据库时作为src_line存下来排查解析异常时能一键回到原文位置。2.3 页眉、页码与粘连行的识别规则先量化噪声再决定过滤规则。经验上 docx 转出来的页码段是纯数字页眉段是和文档标题一字不差的常量最麻烦的是「上一页最后一个词条的释义」和「页码 页眉」粘在同一段里比如原文里的土墙1红宝书托福词汇。import re from collections import Counter RUNNING_HEAD 红宝书托福词汇 PAGE_NO re.compile(r^\d{1,3}$) heads [r for r in rows if r[text] RUNNING_HEAD] pages [r for r in rows if PAGE_NO.fullmatch(r[text])] glued [r for r in rows if RUNNING_HEAD in r[text] and r[text] ! RUNNING_HEAD] print(页眉段:, len(heads), 纯数字段:, len(pages), 粘连段:, len(glued)) print(粘连样例:, [r[text][:40] for r in glued[:5]])三类判定分别是全等匹配抓页眉正则全匹配抓页码子串匹配抓粘连。前两类直接丢粘连段不能整段丢因为它前半截是真词条。做法是把RUNNING_HEAD和其后的数字一起截掉只留前面部分再交给下一章的正则处理。段落形态原文样例判定方式处理动作正常词条行abandon vt. 放弃含拉丁字母且含中文保留待切片重复页眉红宝书托福词汇与常量全等丢弃页码12^\d{1,3}$全匹配丢弃页眉页码粘连土墙1红宝书托福词汇含页眉且非全等尾部截断后保留空段空字符串strip 后为空丢弃中文释义换行续行意为在空中无拉丁字母并入上一行2.4 解析失败的兜底先统计再决定要不要人工过滤完跑一次形态统计输出「能匹配词条正则」和「不能匹配」两堆的数量比。比例低于 95% 就别急着往下走先看不能匹配的那堆长什么样。这个环节最大的价值是避免你在错误的规则上继续投入。提示不要在第一步就写复杂的清洗规则。先把原始段落完整落一份 JSONL 备份后面每一版清洗规则都能拿同一份输入重跑对比否则改错规则时无法回溯。3. 切片层一条正则从「词头 词性 释义」里拆三件套3.1 词条行的六种形态红宝书这类词表看着规整实际形态比想象中杂。动正则之前先归类比直接写一坨表达式然后无限打补丁高效得多。行形态原文样例切片要点单词性单义项abandon vt. 放弃主分支一次拆净单词性多义项acute a. 敏锐的, 严重的剧烈的逗号、分号都可能是分隔符一个词头多词性advocate vt. 提倡,n. 提倡者拥护者需按词性标记二次切分无词性标注all-star 由明星演员(或运动员)组成的词性字段留空不能报错释义以括号开头billion num. (英德)万亿不能要求释义首字符是中文释义串行的脏行airborne airbear 的过去分词意为在空中正则命中但结果无意义需人工3.2 主正则的构造与参数取舍关键是词头部分别用贪婪匹配。[A-Za-z][A-Za-z\- ]{0,28}?里的?让它非贪婪配合后面的\s引擎才能正确停在词头与词性之间的空白上。import re CJK \u4e00-\u9fff # 词性标记托福词表里出现过的全部缩写 POS_PAT r(?:a|ad|n|v|vt|vi|prep|num|conj|pron|int) ENTRY re.compile( rf^(?Phead[A-Za-z][A-Za-z\- ]{{0,28}}?) rf\s rf(?:(?Ppos{POS_PAT})\.\s*)? rf(?Pgloss.)$ ) def parse_line(line: str): m ENTRY.match(line.strip()) if not m: return None head m.group(head).strip() pos (m.group(pos) or ).lower() gloss m.group(gloss).strip( ,;) # 释义里至少要有 1 个中文字符否则判为解析残留 if sum(1 for ch in gloss if CJK[0] ch CJK[-1]) 1: return None return {head: head, head_norm: head.lower(), pos: pos, gloss: gloss} for s in [abandon vt. 放弃, acute a. 敏锐的, 严重的剧烈的, all-star 由明星演员(或运动员)组成的]: print(parse_line(s))三个参数要盯住{0,28}是词头长度上限复合词child-care、back-breaking都在 15 字符以内28 足够太长会让正则在大段英文噪声上白跑\s不能改成\s*否则引擎会把词头切碎POS_PAT用非捕获组并加?让无词性的行也能落到 fallback 分支而不是整体失配。释义末尾的strip是必需的原文不少行以分号或逗号收尾。3.3 一个词头挂多个词性二次切分advocate vt. 提倡,n. 提倡者拥护者这种行主正则只能把整串释义吐出来得再切一刀。用前瞻断言在词性标记前断开且要求标记前一个字符是中文、逗号或右括号避免误伤释义中间的正常英文缩写。SPLIT re.compile(rf(?[{CJK},;、)\w])(?(?:{POS_PAT})\.)) def split_senses(gloss: str): parts [p.strip( ,;) for p in SPLIT.split(gloss)] # 丢掉不含中文的残片例如 ad. 漂浮着(的) 切出来的 return [p for p in parts if any(CJK[0] ch CJK[-1] for ch in p)] print(split_senses(提倡,n. 提倡者拥护者))前瞻断言(?...)只判断位置不消耗字符所以n.本身会留在后半段里方便你后面再抽一次词性。(?...)里的\w是为了兼容airbear这类被污染的英文尾巴。切完必过的过滤是不含中文的残片一律丢afloat那行会切出孤零零的留着只会污染数据库。3.4 重复词头与多义项的合并策略原文里 abundant 出现两次丰富的 / 充足的富裕的acquire 出现两次获得 / 习得administration、associate、campaign、catalog 同样如此。这些不是错误是词表按字母序排版时的正常重复。合并原则只有一条完全相同的释义去重不同的释义保留为独立义项。from collections import defaultdict buckets defaultdict(list) for rec in records: # records 是上一节 parse 的输出 buckets[rec[head_norm]].append(rec) merged [] for head_norm, group in buckets.items(): seen set() for rec in group: key (rec[pos], rec[gloss]) if key in seen: continue seen.add(key) merged.append(rec) dups {k: len(v) for k, v in buckets.items() if len(v) 1} print(存在重复词头的数量:, len(dups)) print(重复最多的几个:, sorted(dups.items(), keylambda x: -x[1])[:5])key用(词性, 释义)二元组而不是只用释义是因为同一个词的不同词性下释义文字可能偶然相同合并掉会丢信息。buckets用head_norm小写做键处理Antarctic与antarctic这类大小写不一致的分组。3.5 必须人工兜底的脏行清单有一批行正则能命中但结果不可信必须列清单人工过。典型是airborne airbear 的过去分词意为在空中词头被切成了 airborne但释义主体是错的正确形态应该是形容词「空运的在空中」。另一类是airtight vt. 捆绑捆扎airtight 是形容词「密封的」而「捆绑」对应的是 bundle属于排版串行。注意这类行不要试图用规则自动修。规则越复杂误伤正常词条的概率越高一份几百词的清单人工过一遍只要十几分钟比调试规则便宜得多。4. 存储与导出SQLite 落库 Anki TSV4.1 中间层用 JSONL不用 CSV切片结果先落 JSONL。理由很实际释义里既有中文逗号也有英文逗号还有括号和斜杠CSV 的引号转义在 Excel 和 Anki 之间来回倒会反复出问题JSONL 一行一条、天然支持嵌套字段、还能 diff。import json with open(toefl_words.jsonl, w, encodingutf-8) as f: for rec in merged: rec_out dict(rec) rec_out[src] 红宝书托福词汇 f.write(json.dumps(rec_out, ensure_asciiFalse) \n)ensure_asciiFalse让它直接写中文而不是\uXXXX产物用git diff看变更时才有可读性。rec_out[src]是为多词表合并预留的来源字段将来再导入第二本词表时靠它区分同一词头的出处。4.2 建表、唯一索引与幂等写入SQLite 单文件、零部署几百到几十万词条完全够用。唯一索引建在(head_norm, pos, gloss)上重复导入同一份文件不会产生脏数据。字段类型可空说明idINTEGER否自增主键headTEXT否原始词头保留大小写与连字符head_normTEXT否小写归一化用于分组和关联posTEXT是词性缩写无标注时为空串glossTEXT否单条释义多义项已拆开src_lineINTEGER是原文档段落序号便于回溯CREATE TABLE IF NOT EXISTS word ( id INTEGER PRIMARY KEY, head TEXT NOT NULL, head_norm TEXT NOT NULL, pos TEXT, gloss TEXT NOT NULL, src_line INTEGER ); CREATE UNIQUE INDEX IF NOT EXISTS ux_word ON word(head_norm, pos, gloss); CREATE INDEX IF NOT EXISTS ix_head ON word(head_norm);写入时用INSERT OR IGNORE配合唯一索引重复运行脚本不报错也不增行这是幂等的前提。ix_head单独建是因为按词头查是最频繁的操作而ux_word的前缀虽然是head_norm但索引顺序受pos、gloss影响单列查询走它不如走专用索引快。import sqlite3, json conn sqlite3.connect(toefl.db) with open(toefl_words.jsonl, encodingutf-8) as f: for line in f: r json.loads(line) conn.execute( INSERT OR IGNORE INTO word(head, head_norm, pos, gloss, src_line) VALUES (?,?,?,?,?), (r[head], r[head_norm], r[pos], r[gloss], r.get(src_line)), ) conn.commit() print(总行数:, conn.execute(SELECT COUNT(*) FROM word).fetchone()[0])4.3 四条 SQL 抽检脚本解析质量靠抽检而不是靠感觉。下面四条覆盖了实际最常出问题的四类。-- 1. 无词性标注的行多为复合词或脏行 SELECT head, gloss FROM word WHERE pos IS NULL OR pos ; -- 2. 同一词头挂了 3 个以上释义值得人眼过一遍 SELECT head_norm, COUNT(*) AS c FROM word GROUP BY head_norm HAVING c 2 ORDER BY c DESC; -- 3. 释义里混进拉丁字母基本是切分残留 SELECT head, gloss FROM word WHERE gloss GLOB *[A-Za-z]*; -- 4. 词头长度异常可能把两个词粘在一起了 SELECT head, LENGTH(head) AS n FROM word WHERE LENGTH(head) 18 ORDER BY n DESC;第 3 条最有用。GLOB 的字符类语法比 LIKE 更适合这种单字符集合判断能一次性捞出提倡,n. 提倡者这种没切干净的行。第 4 条抓的是词头粘连一般源于原文某一行缺了空白分隔。4.4 导出 Anki 可导入的 TSVAnki 导入认 Tab 分隔的纯文本字段顺序就是卡片正反面。关键在于关闭 csv 模块的引号包裹因为 Anki 会把引号当字面量显示出来。import csv, sqlite3 conn sqlite3.connect(toefl.db) rows conn.execute( SELECT head, pos, gloss FROM word ORDER BY head_norm, id ).fetchall() with open(toefl_anki.tsv, w, encodingutf-8, newline) as f: w csv.writer(f, delimiter\t, quotingcsv.QUOTE_NONE, escapechar\\) for head, pos, gloss in rows: back f{pos}. {gloss} if pos else gloss w.writerow([head, back, 红宝书托福词汇])QUOTE_NONE加escapechar\\的组合保证字段里出现的引号被反斜杠转义而不是被包起来newline防止 Windows 下写出\r\r\n。第三列直接当 Anki 的 tag导入时在「字段 3 映射到标签」里勾一下后面就能按词表来源筛卡。导入界面选「制表符」分隔字段 1 正面、字段 2 背面即可。5. 进阶词族归并与复习排程5.1 用前缀锚点加编辑距离把同族词归堆词表里同族词分散在不同字母段掐头去尾之后其实高度相关。accumulate 与 accumulation、accelerate 与 acceleration、adapt 与 adaptation/adaptable把它们归到一族背一个等于背一串。规则很简单前缀锚点先命中命中不了再用编辑距离兜。from difflib import SequenceMatcher def same_family(a: str, b: str, anchor: int 6, ratio: float 0.75) - bool: # 前 anchor 个字符完全一致直接判同族 if len(a) anchor and len(b) anchor and a[:anchor] b[:anchor]: return True # 兜底整体相似度达阈值主要覆盖前缀较短的同族词 return SequenceMatcher(None, a, b).ratio() ratio heads [r[0] for r in rows] for i, h in enumerate(heads[:40]): for j in range(i 1, min(i 40, len(heads))): if same_family(h.lower(), heads[j].lower()): print(h, -, heads[j])anchor6是关键参数设太小会把 acquire 和 acquaintance 这种词义无关的词黏在一起设太大会漏掉 adapt/adaptable 这类前缀只有 5 个字符的组合。ratio0.75是 SequenceMatcher 的经验值低于它基本是噪声。实际跑的时候先用 anchor 扫一遍看误报率再决定是否开兜底分支。5.2 干扰项生成与简化版 SM-2 排程有结构化数据之后选择题干扰项可以自动生成同词性优先、拼写相似度落在 0.5 到 0.75 之间的词做干扰项难度刚好。排程用简化版 SM-2只保留三个变量。变量含义初始值更新规则ef难度因子2.5答对时ef 0.1答错时ef - 0.2n连续答对次数0答对加 1答错清零iv下次间隔天1iv 1 if n2 else round(iv * ef)def review(state, correct: bool): ef, n, iv state if correct: n 1 ef round(ef 0.1, 2) iv 1 if n 2 else max(1, round(iv * ef)) else: n 0 ef max(1.3, round(ef - 0.2, 2)) iv 1 return (ef, n, iv)ef的下限锁在 1.3否则连续答错会让间隔被压到接近 0卡片天天出现反而打击复习节奏。iv用round而不是直接截断避免浮点累积误差把间隔算成 0 天。把这个函数的结果写回数据库的next_review字段每天只查next_review 今天的词条一份几百词的词表不用任何第三方记忆软件也能跑自己的复习队列。本文还有配套的精品资源点击获取