TF-IDF 是什么?把中文文本变成模型能读的数字
上一课我们把中文句子切成了词。现在要解决下一个问题模型只能处理数字不能直接处理词语。所以文本分类必须做特征提取。TF-IDF 就是一种经典、好用、适合入门的文本特征方法。从词频开始理解最直观的方法是统计一个词在文本里出现了几次。比如我 喜欢 机器学习 机器学习 很 有用词频可能是词出现次数我1喜欢1机器学习2很1有用1如果只看词频机器学习权重最高因为出现了两次。这就是 TF也就是 Term Frequency词频。只看词频有什么问题有些词出现很多但不一定重要。比如在很多文章里“我们”“这个”“可以”进行都可能频繁出现。它们出现多不代表它们能帮助分类。TF-IDF 的核心思想是一个词在当前文本里出现越多越重要 但如果它在很多文本里都出现就没那么特殊。也就是说TF-IDF 不只看当前文本里的词频还会看这个词在整个语料库里是不是常见。IDF衡量一个词有多稀有IDF 是 Inverse Document Frequency逆文档频率。可以粗略理解为一个词出现在越少的文档里它越有区分度。比如在一个技术博客数据集里词出现范围区分度这个很多文章都有低模型很多 AI 文章都有中交叉验证少数文章出现高TF-IDF特定主题文章出现高TF-IDF 会提高交叉验证“TF-IDF这种更能代表主题的词降低这个”可以这种泛化词。TF-IDF 的公式不用一开始死记公式可以先记住直觉TF-IDF 词在当前文本的重要程度 × 词在全局语料里的稀有程度正式写法是TF-IDF ( t , d ) TF ( t , d ) × IDF ( t ) \text{TF-IDF}(t, d) \text{TF}(t, d) \times \text{IDF}(t)TF-IDF(t,d)TF(t,d)×IDF(t)两个分量的含义分量全称计算含义TFTerm Frequency词在当前文档中的次数 / 文档总词数这个词在当前文档里频繁吗IDFInverse Document Frequencylog ⁡ 总文档数 包含该词的文档数 1 \log \frac{\text{总文档数}}{\text{包含该词的文档数} 1}log包含该词的文档数1总文档数​这个词在整个语料里稀有吗用一个算例体会一下。5 篇文档词的在全部 5 篇里都出现词机器学习只在 2 篇里出现“的”TF 可能很高但 IDF log ⁡ ( 5 / ( 5 1 ) ) ≈ 0 \log(5 / (51)) \approx 0log(5/(51))≈0所以 TF-IDF 接近 0被压低“机器学习”TF 不一定高但 IDF log ⁡ ( 5 / ( 2 1 ) ) ≈ 0.51 \log(5 / (21)) \approx 0.51log(5/(21))≈0.51所以 TF-IDF 有分量被保留。这就是 IDF 自动压制高频泛化词的方式不需要手动维护一份停用词表。用 sklearn 做 TF-IDF在 sklearn 里可以用TfidfVectorizer。英文文本通常可以直接交给它分词但中文最好先自己分词再把词用空格拼起来。importjiebafromsklearn.feature_extraction.textimportTfidfVectorizer texts[我喜欢机器学习,机器学习可以做文本分类,这个功能不好用,]texts_cut[ .join(jieba.lcut(text))fortextintexts]vectorizerTfidfVectorizer()Xvectorizer.fit_transform(texts_cut)print(X.shape)print(vectorizer.get_feature_names_out())X就是模型可以使用的数字矩阵形状通常是样本数 × 词表大小。如果有 1000 条文本、词表 5000 个词矩阵就是1000 × 5000。输出为什么是稀疏矩阵每条文本只会用到词表中的一小部分词。比如词表有 5000 个词但一条短信可能只有 20 个词剩下 4980 个位置都是 0。所以 sklearn 默认使用稀疏矩阵存储节省内存。这也是为什么打印X时你看到的不是普通二维数组而是类似坐标和值的结构。常用参数TfidfVectorizer有几个常用参数参数作用max_features最多保留多少个词min_df低于多少文档频率的词不要max_df高于多少文档频率的词不要ngram_range是否加入连续词组合sublinear_tf用1 log ⁡ ( TF ) 1 \log(\text{TF})1log(TF)代替原始 TF抑制超高频词norm对每行做 L2 归一化推荐保留例如vectorizerTfidfVectorizer(max_features5000,min_df2,max_df0.9,ngram_range(1,2),sublinear_tfTrue,norml2,)这表示最多保留 5000 个特征至少出现在 2 篇文档里的词才保留出现在 90% 以上文档里的词过滤掉同时考虑单个词和连续两个词对超高频词做对数压缩每行向量做 L2 归一化。和 Pipeline 结合TF-IDF 通常不要单独散着写而是和模型放进 Pipeline。fromsklearn.pipelineimportPipelinefromsklearn.linear_modelimportLogisticRegressionfromsklearn.feature_extraction.textimportTfidfVectorizer pipePipeline([(tfidf,TfidfVectorizer(max_features5000)),(model,LogisticRegression(max_iter1000)),])pipe.fit(X_train_text,y_train)predpipe.predict(X_test_text)这样训练、验证、调参和上线时都使用同一条流程能减少数据泄漏和预处理不一致。如果是中文文本可以先把分词结果拼成空格字符串再传给 Pipeline。TF-IDF 的局限TF-IDF 只看词频不理解语义遇到下面这些情况就会力不从心同义词TF-IDF 把美丽和漂亮当成两个完全不同的词无法识别它们意思相近上下文歧义苹果很好吃和苹果发布了 iPhone里的苹果是同一个词权重却一样长文本语义TF-IDF 只统计词频完全不知道句子在说什么。这些问题需要词向量Word2Vec或预训练语言模型BERT来解决。这一课先记住TF-IDF 的本质是给词分配权重。它会提高当前文本常出现、全局又不太泛滥的词降低到处都出现的普通词。对中文文本分类来说一条经典入门路线是中文分词 - 停用词处理 - TF-IDF - 逻辑回归/朴素贝叶斯下一批内容会继续把 TF-IDF 接进模型训练完成一个可运行的中文文本分类 baseline。在线阅读点击这里阅读博客原文原文地址https://bestsdz.xyz/posts/tfidf-for-chinese-text/

相关新闻

【Cursor开发提效核心】:1行命令自动注入全局PATH,3步完成跨项目环境隔离配置

【Cursor开发提效核心】:1行命令自动注入全局PATH,3步完成跨项目环境隔离配置

更多请点击: https://kaifayun.com 第一章:Cursor开发提效核心概述 Cursor 是一款基于 VS Code 构建、深度集成大语言模型(LLM)的智能编程编辑器,其核心价值在于将 AI 能力无缝嵌入日常开发流程——从代码补全、重构、…

2026/11/22 2:16:59 阅读更多 →
Kimi K3 技术拆解:2.8万亿参数开源模型背后的KDA+AttnRes架构创新

Kimi K3 技术拆解:2.8万亿参数开源模型背后的KDA+AttnRes架构创新

写在前面 2026年7月16日,月之暗面在WAIC开幕前夜发布Kimi K3——2.8万亿参数、全球最大开源模型,Frontend Code Arena编程榜1679分登顶世界第一。本文从工程和技术角度拆解它的架构设计。一、架构总览:MoE KDA AttnRes配置项数值总参数2.8万…

2026/11/7 0:55:42 阅读更多 →
2026市政绿化杆直销怎么选?看准这三点不踩坑

2026市政绿化杆直销怎么选?看准这三点不踩坑

随着新型城镇化与生态修复工程持续推进,市政绿化、河道治理、园林景观等领域对杉木桩的需求持续走高。进入2026年,市场上的杉木桩产品品类愈发丰富,但质量参差不齐的问题依然存在。面对直销模式下价格战与宣传话术漫天飞的现状,采…

2026/11/10 5:11:02 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻