Word2Vec
Word2Vec 是需要训练的模型它和我们平时调用 ChatGPT 那种现成预训练好的大模型 API完全不同。一、它训练的是什么Word2Vec 本质是一个浅层神经网络目标不是做分类或生成而是把每个词学成一个稠密向量embedding使得语义相近的词在向量空间里距离更近。它有两种训练架构CBOW连续词袋用上下文词预测中心词。Skip-gram用中心词预测上下文词。你代码里这句就是在训练model word2vec.Word2Vec(sentences, vector_size100, window3, min_count1)这里sentences你的segment_*.txt分词语料就是训练数据。模型从随机初始化开始在语料上反复迭代调整神经网络参数最终让每个词对应一个 100 维向量。二、为什么必须训练词向量不是算出来的而是从数据中学出来的。同一个词如孙悟空在不同语料里学到的向量会不同——在《西游记》里它和唐僧/猪八戒接近在另一本小说里可能和别的词接近。训练就是最小化预测上下文的损失函数反向传播更新词向量权重。迭代越多、语料越大向量质量越好。你代码里model2.save(./models/word2Vec.model)就是把训练好的参数词向量矩阵持久化到磁盘下次用Word2Vec.load()直接加载不必重训。三、和预训练大模型的区别Word2Vec现代大模型如 GPT是否要训练要在自己的语料上训通常直接用厂商训好的学什么只学词 → 向量映射学语言生成、理解等通用能力参数量很小词数 × 向量维度巨大 billions 级产物一张词向量查找表能对话/生成的模型所以Word2Vec 是模型但它小且通常需要在你自己的语料上训练才能得到贴合该语料的词向量。训练完得到的.model文件就是那张词 → 向量的表之后similarity/most_similar都是在这张表上做向量运算不再训练。补充一点如果你不想自己训也可以下载别人训好的中文 Word2Vec 模型直接load来用——那就变成用现成的了。但课程里这一步的用意正是让你亲手从《西游记》语料训出一个专属词向量模型。

相关新闻

极验滑动验证码破解原理与工程实践

极验滑动验证码破解原理与工程实践

1. 滑动验证码的工作原理与常见破解误区第一次遇到极验滑动验证码时,我像大多数人一样,以为这就是个简单的图片比对问题。直到真正深入研究才发现,这套系统远比表面看起来复杂得多。典型的滑动验证码由三部分组成:背景图、滑块图和…

2026/10/5 3:03:50 阅读更多 →
GIS 室专用 SF6 气体报警器布置点位设计方案

GIS 室专用 SF6 气体报警器布置点位设计方案

关键词GIS室, 六氟化硫气体报警器, 布置点位, 设计方案, 济南开元科技发展有限公司, 瑞智开元描述本文详细介绍了GIS室专用六氟化硫气体报警器的布置点位设计方案,提供了具体的布点建议和实际案例,帮助用户更好地理解和实施。济南开元科技发展有限公司的…

2026/10/10 3:52:53 阅读更多 →
搜yinheit-从 Vibe Coding 到 Harness × SDD 全栈开发实战-学习记录

搜yinheit-从 Vibe Coding 到 Harness × SDD 全栈开发实战-学习记录

从Vibe Coding到Harness SDD:AI全栈开发的范式跃迁与工程化落地一、Vibe Coding的浪漫与残酷2025年初,Andrej Karpathy提出了一个引爆技术圈的概念——Vibe Coding(氛围编程)。它的本质是:你不再逐行写代码&#xff0…

2026/10/10 11:12:10 阅读更多 →

最新新闻

Activiti并行网关详解:BPMN设计、XML配置与并发执行避坑指南

Activiti并行网关详解:BPMN设计、XML配置与并发执行避坑指南

工作流引擎里若是排一个“让人又爱又恨的节点榜”,并行网关大概率能进前三。爱它,是因为它能一次把流程拆成多条并发分支,几个没有先后依赖的任务同时跑,整体耗时从“几个任务之和”变成“最慢的那条分支”;恨它&#…

2026/10/12 19:55:13 阅读更多 →
Cursor 设置中文回复:把 Base URL 改到 TaoToken 后界面仍英文的排查清单

Cursor 设置中文回复:把 Base URL 改到 TaoToken 后界面仍英文的排查清单

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 19:55:13 阅读更多 →
Java爬虫实战:用Jsoup+Selenium抓取动态短视频页面数据

Java爬虫实战:用Jsoup+Selenium抓取动态短视频页面数据

先说结论:这个项目标题里提到的“西瓜小视频”,我在这里把它当成一个纯演示用的虚构站点,数据也都是模拟数据,不特指任何真实平台。整篇文章分享的是用 Java 配合 Jsoup 和 Selenium 抓取一个动态渲染的短视频列表页,把…

2026/10/12 19:55:13 阅读更多 →
Invoice Builder报价单完全指南:从创建报价到一键转发票

Invoice Builder报价单完全指南:从创建报价到一键转发票

【免费下载链接】invoice-builder Invoice and quotation builder desktop app with PDF export, designed for small businesses and freelancers. Create, manage, and export invoices and quotes easily using a local database in an Electron-based app. 项目地址&#x…

2026/10/12 19:55:13 阅读更多 →
生态观察:Laya 刷榜一周,中文社区的教程、微调、部署内容正在全面开花

生态观察:Laya 刷榜一周,中文社区的教程、微调、部署内容正在全面开花

生态观察:Laya 刷榜一周,中文社区的教程、微调、部署内容正在全面开花 【免费下载链接】laya 项目地址: https://ai.gitcode.com/hf_mirrors/convaiinnovations/laya 开源一周,Laya 在中文技术社区的内容密度已经远超多数同类项目一个…

2026/10/12 19:55:13 阅读更多 →
AnyPS5项目解析:从命名歧义看技术代号规范的重要性

AnyPS5项目解析:从命名歧义看技术代号规范的重要性

项目标题为“AnyPS5”,但提供的输入内容中,项目正文、关键词、摘要描述等核心字段全部为空,相关热搜词与网络搜索内容也未给出实质性信息(仅显示空代码块)。在无任何有效上下文、领域指向、功能描述或技术线索的前提下…

2026/10/12 19:54:12 阅读更多 →

日新闻

复古胶片颗粒感噪点合成器:Canvas ImageData 像素高斯杂色注入算法

复古胶片颗粒感噪点合成器:Canvas ImageData 像素高斯杂色注入算法

在数码相机、高清显示屏与现代矢量图形技术高度发达的今天,画面可以做到绝对的锐利、平滑与无瑕。然而,当一张秋日手账插画或拍立得照片过于“平整无瑕”时,往往会散发出一种冰冷生硬的“数码塑料感(Digital Plasticity&#xff0…

2026/10/12 0:00:59 阅读更多 →
活字印刷古籍线装排版:Canvas 竖排文字与栏线自适应算法

活字印刷古籍线装排版:Canvas 竖排文字与栏线自适应算法

在现代网页与移动端设计中,横排(Horizontal Layout)早已经成为了绝对的主流。然而,当我们翻开泛黄的线装古籍、宋版木刻诗集,或是欣赏一张茶道雅集的手写便签时,那种**自上而下纵向书写、自右向左逐列铺展&…

2026/10/12 0:00:59 阅读更多 →
周日晚间的“精神松绑减震器”:无压力情绪倾倒箱与温和轻声陪伴

周日晚间的“精神松绑减震器”:无压力情绪倾倒箱与温和轻声陪伴

每到周日的晚上八点到十点,很多人心里都会悄悄亮起一盏警示灯。 在心理学上,这种现象有一个专门的称谓——“周日夜晚焦虑症(Sunday Scaries)”。明天又是周一,闹钟又要重新在七点响彻卧房;脑海里仿佛有一个…

2026/10/12 0:00:59 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/12 0:16:30 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/12 0:16:38 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/12 0:16:43 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/11 10:45:37 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 14:48:49 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 18:11:17 阅读更多 →