简介这份韩语词汇表资源包面向韩语学习者、词典研究与自然语言处理开发者提供可直接用的韩语词条原始数据与结构化词典。压缩包内共五份文件含两个JSON词典文件、两个TXT单词列表和一份Markdown说明文档整体体积约28.37MB。wordslist.txt收录完整单词列表包含重复项wordslistUnique.txt为去重后的单词集合两个JSON文件分别对应整理前后的词条与释义描述结构清晰便于用Python、JavaScript等语言直接解析。资源还附带README使用说明并给出查询国立韩国语标准韩语词典的示例链接方便用户核验词条拼写、释义及来源也可借此扩展更多词条。目前已有391人学习下载适合需要构建韩语词库、制作背词应用、进行词汇频率统计或基础文本分析的学习者与开发者可显著减少数据收集与清洗的时间成本。1. korean_wordlist 是什么一份干净的韩语词库能帮你做什么做韩语学习工具或者文本处理的时候最先拦住你的往往不是算法而是一份能直接用的韩语词汇表。korean_wordlist 这个韩语词汇表项目就是把散落在 TOPIK 考纲、教材单词表和语料库里的韩语词条整理成带读音、词性、释义和等级的 JSON 词库让拿到手的人省掉写爬虫和清洗数据的体力活。如果你正准备做背单词 App、词典查询接口、歌词或新闻生词标记这个方向值得先评估清楚再投入。这类词汇表的价值不在于“有多少个词”而在于字段是否规范、等级是否可排序、词元是否做了原形归一。我见过不少从零爬词表的团队光清洗就耗掉两周最后还被“同词多义”“活用形态匹配不上”这些细节卡住。这篇笔记会先把词表的结构讲明白再给出加载、筛选、导出和覆盖率分析的脚本最后列几个我实际踩过、你大概率也会碰到的坑。2. 词汇表的数据组织方式字段设计、来源与清洗逻辑把韩语词汇表当普通词表用最容易翻车的点就是字段不统一。有的词条只有韩语和中文没有词性没有等级连读都没有这种数据只能做最粗糙的词典展示一旦要做等级筛选或者按词性分组立刻歇菜。所以拿到任何一份 korean_wordlist先搞清楚它的字段设计再决定怎么接入自己的业务。2.1 一个词条该有哪几个字段词元、读音、等级与释义的取舍一个最少可用、能支撑大部分场景的词条至少需要五个字段word 存韩语原形romanization 存罗马音meaning 存中文释义pos 标词性level 标难度等级。这五个字段已经足够覆盖“查词、背单词、按等级筛词”三件事。如果要做更深的 NLP 处理建议再加 example 例句和 vtype 动词活用类型。词元的选择直接决定后续匹配效率。韩语词典按原形收录词条比如“가다”是原形而“갑니다”“가요”“갔어요”都是它的活用形态。词表里必须存原形查询阶段再通过活用映射或词形还原把文本归一到原形。如果当初存的是“갑니다”用户查“가다”就永远匹配不到这是词汇表项目最常见的硬伤。等级字段建议直接用“TOPIK1”到“TOPIK6”这种可排序字符串不要用“初级”“中级”“高级”这种模糊标签。原因是字符串可以按字典序或自定义映射做筛选而“初级”这类标签无法直接参与排序逻辑。下面是一个典型词条结构{ word: 하다, romanization: hada, pos: verb, level: TOPIK1, meaning: 做进行, example: 숙제를 하다. }这个 JSON 示例里example 字段不是必选。做纯查询工具可以不要但做学习类 App 最好保留因为例句能帮用户理解上下文。另外一个取舍是 romanization如果你只做韩语文本分析罗马音是冗余字段如果你面向初学者这个字段就是刚需因为不是所有用户都熟练韩文读写。2.2 从原始词表到干净词库清洗和去重的三个关键步骤常见词表来源有三类TOPIK 官方公布的考纲词、教材单元词汇表、从语料库按词频抽出的高频词。官方考纲词干净但字段少教材词表带着单元编号和课文例句语料库词表则混入大量人名地名。三类数据合并之后清洗工作基本逃不掉。清洗经验可以归纳为三步。第一步做格式规范化把全角半角、多余空白、行尾符号统一处理第二步以 word 字段为主键去重同一个词元的多条释义用分号合并第三步削除空值条目比如没有释义、没有读音的“死词”。import re from collections import defaultdict def normalize_text(text: str) - str: 规范化文本去除两端空白把连续空格折叠为单个 return re.sub(r\s, , text.strip()) def dedup_entries(entries: list[dict]) - list[dict]: 以 word 为主键去重并把同一词元的释义合并 merged defaultdict(list) for entry in entries: word entry.get(word, ).strip() if word: merged[word].append(entry) result [] for word, items in merged.items(): base items[0].copy() meanings [item.get(meaning, ) for item in items if item.get(meaning)] if meanings: base[meaning] .join(meanings) result.append(base) return resultnormalize_text 里的正则\s会把换行、Tab 和连续空格统一折叠成单个空格这是清洗的基本功。dedup_entries 的主键默认是 word如果你的词表里有同词形不同词性的条目比如“하다”既是动词也是助动词的搭配那主键就要改成 (word, pos) 二元组否则会错误合并。这个细节是最容易被忽视的。2.3 韩语词元化为什么动词必须和词尾分开存韩语动词和部分形容词的活用形态非常丰富。以“가다”为例常见变体有“가요”口语体、“갑니다”正式礼貌体、“갔어요”过去时。如果词表只存原形“가다”在文本里遇到“갑니다”时做字符串完全匹配是必定失败的而做包含匹配也匹配不上因为“갑니다”的字符序列里并没有连续的“가다”。严谨做法是对文本做形态分析把“갑니다”还原成词干“가”再去词表比对。但这依赖韩语 NLP 库对纯词汇表项目来说偏重。折中方案是把常用活用形态直接预置进词表用 forms 字段枚举出来查询时先查原形、再查 forms兼顾了精度和实现成本。def search_word(words: list[dict], text_word: str): 先匹配原形再匹配 forms 里的活用形态 for w in words: if text_word w.get(word): return w if text_word in w.get(forms, []): return w return None这段代码假定词表在清洗时已经补齐了 forms 字段比如“가다”的条目下挂着[갑니다, 가요, 갔어요]。实际构建时forms 数据可以来自教材自带的变化表也可以自己写脚本收集常见活用。成本不高但能解决学习工具里大部分“搜不到”的困扰。如果你对精度要求高、不介意依赖再上形态分析器也不迟。3. 用 Python 操作 korean_wordlist加载、筛选与查询的实用脚本这一章写给想立刻跑起来的读者。我统一用 JSON 格式的 korean_wordlist 作为输入脚本保持最小依赖只用到标准库。三个小节分别解决“读取文件”“按等级筛选”“模糊查询”三个日常动作脚本可以直接抄进项目里改参数用。3.1 把 JSON 词汇表加载成 Python 对象的最小脚本加载词汇表本身不复杂但有几个细节会坑人文件路径不存在、JSON 最外层是字典而不是列表、文件编码不是 UTF-8。一个健壮的加载函数应该把这三件事都处理掉而不是等到出错再排查。import json from pathlib import Path DEFAULT_PATH Path(korean_wordlist.json) def load_vocabulary(path: Path DEFAULT_PATH) - list[dict]: 加载词表 JSON兼容最外层为列表或字典两种结构 if not path.exists(): raise FileNotFoundError(f未找到词表文件: {path}) with path.open(r, encodingutf-8) as f: data json.load(f) return data if isinstance(data, list) else data.get(words, [])path 参数是 Python 3.6 引入的 pathlib.Path 类型用字符串路径也能隐式转换。encoding 参数写“utf-8”是因为绝大多数 korean_wordlist 项目都按 UTF-8 发布如果你从 Windows 拿到旧数据可能要用“utf-8-sig”才能去掉 BOM 头。返回值统一成列表是考虑到后续筛选、统计逻辑只依赖列表结构。加载之后建议先看几条样本确认字段名和自己的预期一致。我常用的调试方式是打印一条load_vocabulary()[0]如果word和meaning的键名对不上后边所有脚本都会报 KeyError。3.2 按 TOPIK 等级筛选词汇的三个参数等级筛选是所有学习类功能里最常用的操作用户说“我只想背初级词”你就要把 TOPIK1 和 TOPIK2 的词都拉出来。这里提供一个带三个参数的筛选函数分别是 level、include_higher 和 limit。def filter_by_level( words: list[dict], level: str TOPIK2, include_higher: bool False, limit: int | None None ) - list[dict]: 筛选指定等级词条可包含更高等级可限制返回数量 valid_levels {level} if include_higher: level_no int(level.replace(TOPIK, )) valid_levels {fTOPIK{i} for i in range(level_no, 7)} filtered [w for w in words if w.get(level) in valid_levels] if limit: filtered filtered[:limit] return filteredlevel 参数传“TOPIK2”是精确匹配include_higher 设为 True 时会返回 TOPIK2 到 TOPIK6 的全部词条适合做“进阶”功能。limit 是给调试用的先看 10 条确认数据结构再放开全量。注意level.replace(TOPIK, )依赖等级字段命名规范如果你的词表用的是“topik2”小写需要先做一次 upper() 归一。实际项目中这三个参数足够覆盖绝大多数筛选需求。如果你需要按词性过滤可以在函数里再加一个 pos 参数逻辑完全一致只是判断条件从w.get(level)换成w.get(pos)。3.3 模糊查询与词干匹配处理搜索不到的常见原因词汇表接入搜索功能时用户输入的词往往和词表里的原形不完全一致。最常见的情形是输入了活用形态比如输入“갑니다”但词表存的是“가다”。这类问题有两条路一是先做活跃形式匹配二是用字符串相似度做模糊搜索兜底。Python 标准库里的 difflib.SequenceMatcher 可以完成简单的相似度评分对韩语这种音节文字效果一般但作为兜底已经够用。下面的函数返回按相似度排序的结果列表from difflib import SequenceMatcher def fuzzy_search(words: list[dict], query: str, threshold: float 0.6) - list[dict]: 基于序列相似度的模糊查询返回按匹配分数排序的词条 results [] for w in words: score max( SequenceMatcher(None, query, w.get(word, )).ratio(), SequenceMatcher(None, query, w.get(romanization, )).ratio() ) if score threshold: results.append((score, w)) results.sort(keylambda x: x[0], reverseTrue) return [w for _, w in results]threshold 参数控制严格程度0.6 能容忍明显的拼写差异但也会把无关词放进来0.8 以上基本只留同根词。建议在 UI 层把 threshold 设成可调节的滑条搜索无结果时自动降低到 0.5 再查一次。和上一章的 forms 匹配组合使用搜索体验会好很多。这个函数对短词的匹配效果一般因为“가다”和“가요”的长度只有两三个字符SequenceMatcher 的评分区分度不足。所以我的习惯是优先走原形和 forms 的精确匹配模糊搜索只作为最后的兜底。4. 把 korean_wordlist 接进学习工具与文本分析三个可直接跑的方案词汇表本身不产生价值接进实际场景才有价值。这一章讲三个最常见的落地路径导出 Anki 卡片、做文本覆盖率分析、作为本地词典服务的词库源。每段都会给出可直接运行的脚本和参数调整方法。4.1 生成 Anki 卡片导入 CSV让词汇表变成每日任务Anki 是很多背词类工具的事实标准而 korean_wordlist 正好可以当作卡片数据源。常见的做法是把筛选后的词条导出成一个 CSV再通过 Anki 的文件导入功能建立牌组。脚本的关键是把字段顺序固定下来并且用 utf-8-sig 编码避免 Excel 打开乱码。import csv def export_to_anki( words: list[dict], output_path: str korean_deck.csv, fields: tuple (word, romanization, meaning, level) ) - None: 导出 Anki 可导入的 CSV 文件字段顺序由 fields 控制 with open(output_path, w, encodingutf-8-sig, newline) as f: writer csv.writer(f) writer.writerow(fields) for w in words: row [w.get(field, ) for field in fields] writer.writerow(row)用 utf-8-sig 而不是 utf-8是因为 Excel 打开 UTF-8 文件时默认按 GBK 解析中文和韩文会直接乱码。newline是 Windows 下避免 CSV 每行后边多一个空行的关键参数很多人在这一步栽过。fields 元组的顺序就是 Anki 导入时的字段映射顺序默认四列已经够用。导入 Anki 前记得在 Anki 的导入对话框里勾选“允许 HTML”并把第一行是否包含标题设为“否”。如果不希望出现标题行可以把writer.writerow(fields)那一行删掉Anki 会按顺序自动映射到卡片模板的字段。4.2 做文本覆盖度分析用词表判断一篇韩语文章的水平文本覆盖度分析是“这篇文章我能不能读下来”的量化方法把文章分词后统计有多少比例的韩语词条命中词表。命中率越高说明文章越接近你掌握的词汇范围。做法很简单用正则把韩文音节块切出来再和词表的 word 集合做交并集计算。import re def coverage_ratio(text: str, words: list[dict]) - float: 估算文本中命中词表的词条比例返回 0 到 1 的小数 tokens re.findall(r[가-힣], text) if not tokens: return 0.0 word_set {w[word] for w in words} hits sum(1 for t in tokens if t in word_set) return hits / len(tokens)正则[가-힣]覆盖了 Korean Unicode 音节块的全部范围能切出“가”“갑”“한”这类单个音节。注意这个逻辑是把每个连续韩文片段当成一个 token不会做真正的形态分析所以“갑니다”会被当做一个整体最终覆盖率会比实际偏低。要改善的话可以配合上一章的 forms 字段做展开匹配。这个函数适用于评估文本难度比如 0.9 以上说明文章对当前等级用户很友好0.5 以下则明显超纲。你也可以在词表里只有 TOPIK1 和 TOPIK2 时用它判断一篇新闻稿对初学者是否可读。做阅读辅助工具的话这是最能立竿见影的功能。4.3 作为本地词典查询服务的词库源如果你的应用需要毫秒级查询响应就不要每次都扫描整个列表。常见做法是在进程启动时把词表加载成内存索引word 和 romanization 各建一个倒排映射。Python 的 dict 自带哈希索引对几千条词来说查询耗时可以忽略不计。class KoreanDict: 基于词汇表构建的内存词典支持双键查询 def __init__(self, words: list[dict]): self.by_word {w[word]: w for w in words if w.get(word)} self.by_romanization {} for w in words: rom w.get(romanization) if rom: self.by_romanization[rom] w def lookup(self, key: str) - dict | None: 按韩语原形或罗马音查询词条查不到返回 None return self.by_word.get(key) or self.by_romanization.get(key)这个类的内存开销大约等于词表大小的两倍因为词条对象被两个 dict 引用但 Py 的对象引用本身很轻几千条词完全无压力。查询时先试韩语键再试罗马音键两者都失败返回 None接口简单清晰。如果词表规模到了十万级考虑换 SQLite FTS5用 SQL 的 LIKE 查询做前缀匹配。我实际用它做过一个命令行查词工具启动时加载词表不到 0.2 秒之后每次查询都在 1 毫秒内体验远好于每次调用都重读 JSON。这个方案唯一要注意的是词表更新机制建议用版本号加缓存清理策略避免旧数据长期驻留。5. korean_wordlist 踩坑记录五个高频问题与排查方法这一章不写泛泛的“注意编码”之类建议而是按“现象 → 原因 → 解决”的格式记录我在实际使用 korean_wordlist 过程中真正遇到过的问题。每一条都短小直接你可以直接对照自己的症状来排查。5.1 韩文在终端或 Excel 里变成乱码现象Python 打印词条时终端显示一串问号或者打开导出的 CSV 后韩文乱码。原因多数情况是 Windows 控制台默认代码页是 GBK而词表文件是 UTF-8 编码两者不匹配。另一种情况是 CSV 导出的编码用了 utf-8 而不是 utf-8-sigExcel 按本地编码解析出现乱码。解决在运行脚本前执行chcp 65001切换终端到 UTF-8 代码页或在 Python 启动时手动设置标准输出编码。导出 CSV 时一律用encodingutf-8-sig这是和 Excel 兼容最简单的方式。5.2 搜索单词原形找不到文本里的活用形式现象词表里有“가다”用户输入“갑니다”或“가요”时查询结果为空覆盖率分析的结果明显偏低。原因词表按原形收录而实际文本中大量出现活用形态字符串完全匹配必然失败。解决先用原形查一遍失败后再去 forms 字段里找。如果词表里没有 forms 字段可以在查询函数里对输入词做最常见活用映射比如把结尾“습니다”“ㅂ니다”去掉再匹配。形态分析是最终方案但如果只是做学习工具预置 forms 的成本更低。5.3 同一词条出现在多个 TOPIK 等级里现象按等级统计词数时总词数比去重后的词条数多出不少用户背完初级词表后发现结果里混入了高级词。原因清洗时只按 word 去重没有考虑同一词元在多个来源里被标成了不同等级后写入的数据覆盖了前一条。解决把去重逻辑改成“保留最低等级”或“保留最高等级”取决于业务目标。建议在清洗脚本里增加一个等级合并策略参数默认保留更常用的较低等级并把高等级数据合并到 forms 字段里。5.4 一个词对应多个不同释义筛选逻辑被搞乱现象查“가다”返回“去进行通向”时想过滤“去”这个释义的用户被其他释义干扰按释义统计时词条被重复计数。原因词汇表把一词多义合并到一个字段用分号分隔。做展示时没问题做选择和统计时字符串包含判断会把不相关语义也命中。解决在数据清洗阶段把多义词拆成多条记录每条带一个 sense_id 字段区分词义或者查询时返回全部释义让上层业务自行消歧。如果只是做背单词卡片保留合并状态是可以接受的但做语义搜索就一定要拆分。5.5 清洗后的词库仍有空字段导致后续解析报错现象json.load成功但执行w[meaning]时抛出 KeyError或w.get(level)在排序时因为 None 报错。原因部分词条缺少某个字段而后续代码用了硬索引而不是get方法。词表文件本身可能有空行、注释行或结构不完整的条目。解决在加载函数之后加一道 schema 校验把必填字段缺失的条目剔除或补默认值。代码里统一使用w.get(field, )避免 KeyError。校验脚本建议放在数据构建阶段而不是业务运行时否则每次错误都是在运行时才暴露。6. 进阶技巧把词汇表变成一份按难度渐进的学习清单把 korean_wordlist 当作静态数据用只是发挥了一半价值。进阶用法是把词表按 TOPIK 等级和词性重新排序生成一份可以直接照着背的渐进式学习清单。这个输出可以是一份 Markdown 学习计划也可以继续导成 Anki 牌组配合每日 20 词的学习节奏使用。def build_study_plan( words: list[dict], words_per_day: int 20, group_by_pos: bool True ) - str: 生成按等级优先、词性分组的每日学习清单 level_order {fTOPIK{i}: i for i in range(1, 7)} ordered sorted( words, keylambda w: level_order.get(w.get(level), 99) ) if group_by_pos: pos_order {noun: 0, verb: 1, adjective: 2, adverb: 3} ordered.sort(keylambda w: pos_order.get(w.get(pos), 9)) lines [] for i in range(0, len(ordered), words_per_day): day_no i // words_per_day 1 lines.append(f## Day {day_no}) for w in ordered[i:i words_per_day]: lines.append( f- {w[word]} ({w.get(romanization, )}) {w.get(meaning, )} ) return \n.join(lines)words_per_day 参数直接控制学习节奏我一般取 20 到 30 之间低于 10 会让战线拉得过长超过 50 则不适合长期坚持。group_by_pos 开启后同一天的词条会按名词、动词、形容词、副词分组呈现这样针对性更强特别是动词和形容词对韩语活用学习最重要。生成结果可以直接存成study_plan.md配合 Anki 的批量导入做两轮复习。我自己的习惯是每隔两周重新跑一次这个脚本因为词表更新或等级调整后学习路线也跟着变。早期我拿到新词表总急着写业务逻辑结果在乱码和空字段上耗到半夜。后来养成的固定动作是先清洗、再统计等级分布、最后才写查询和服务代码。这个顺序能省下大量调试时间希望对正在评估这个方向的你也有帮助。本文还有配套的精品资源点击获取