Word2Vec
Word2Vec 是需要训练的模型它和我们平时调用 ChatGPT 那种现成预训练好的大模型 API完全不同。一、它训练的是什么Word2Vec 本质是一个浅层神经网络目标不是做分类或生成而是把每个词学成一个稠密向量embedding使得语义相近的词在向量空间里距离更近。它有两种训练架构CBOW连续词袋用上下文词预测中心词。Skip-gram用中心词预测上下文词。你代码里这句就是在训练model word2vec.Word2Vec(sentences, vector_size100, window3, min_count1)这里sentences你的segment_*.txt分词语料就是训练数据。模型从随机初始化开始在语料上反复迭代调整神经网络参数最终让每个词对应一个 100 维向量。二、为什么必须训练词向量不是算出来的而是从数据中学出来的。同一个词如孙悟空在不同语料里学到的向量会不同——在《西游记》里它和唐僧/猪八戒接近在另一本小说里可能和别的词接近。训练就是最小化预测上下文的损失函数反向传播更新词向量权重。迭代越多、语料越大向量质量越好。你代码里model2.save(./models/word2Vec.model)就是把训练好的参数词向量矩阵持久化到磁盘下次用Word2Vec.load()直接加载不必重训。三、和预训练大模型的区别Word2Vec现代大模型如 GPT是否要训练要在自己的语料上训通常直接用厂商训好的学什么只学词 → 向量映射学语言生成、理解等通用能力参数量很小词数 × 向量维度巨大 billions 级产物一张词向量查找表能对话/生成的模型所以Word2Vec 是模型但它小且通常需要在你自己的语料上训练才能得到贴合该语料的词向量。训练完得到的.model文件就是那张词 → 向量的表之后similarity/most_similar都是在这张表上做向量运算不再训练。补充一点如果你不想自己训也可以下载别人训好的中文 Word2Vec 模型直接load来用——那就变成用现成的了。但课程里这一步的用意正是让你亲手从《西游记》语料训出一个专属词向量模型。

相关新闻

极验滑动验证码破解原理与工程实践

极验滑动验证码破解原理与工程实践

1. 滑动验证码的工作原理与常见破解误区第一次遇到极验滑动验证码时,我像大多数人一样,以为这就是个简单的图片比对问题。直到真正深入研究才发现,这套系统远比表面看起来复杂得多。典型的滑动验证码由三部分组成:背景图、滑块图和…

2026/10/5 3:03:50 阅读更多 →
GIS 室专用 SF6 气体报警器布置点位设计方案

GIS 室专用 SF6 气体报警器布置点位设计方案

关键词GIS室, 六氟化硫气体报警器, 布置点位, 设计方案, 济南开元科技发展有限公司, 瑞智开元描述本文详细介绍了GIS室专用六氟化硫气体报警器的布置点位设计方案,提供了具体的布点建议和实际案例,帮助用户更好地理解和实施。济南开元科技发展有限公司的…

2026/10/10 3:52:53 阅读更多 →
搜yinheit-从 Vibe Coding 到 Harness × SDD 全栈开发实战-学习记录

搜yinheit-从 Vibe Coding 到 Harness × SDD 全栈开发实战-学习记录

从Vibe Coding到Harness SDD:AI全栈开发的范式跃迁与工程化落地一、Vibe Coding的浪漫与残酷2025年初,Andrej Karpathy提出了一个引爆技术圈的概念——Vibe Coding(氛围编程)。它的本质是:你不再逐行写代码&#xff0…

2026/10/10 11:12:10 阅读更多 →

最新新闻

基于COMSOL的输变电工程工频电磁场仿真与环评应用实践

基于COMSOL的输变电工程工频电磁场仿真与环评应用实践

最近在做某输变电工程的环评支撑时,正好碰到一段三相高压电缆要从居住区地下穿过。评审专家和住户最关心的就一件事:电缆埋在地下,地面的人站久了到底有没有影响?这个问题落到技术层面,其实是两个量:电缆运…

2026/10/12 19:58:15 阅读更多 →
大模型能力爆发:界面生成、合规监管与端侧部署的实战解析

大模型能力爆发:界面生成、合规监管与端侧部署的实战解析

10月的AI圈像是被按了快进键。我早上还在刷一组产品更新,下午就看到三条消息前后脚占据了讨论区:新一代(第六代)旗舰大模型全面开放,还突然“长出了界面”;某头部AI公司在一个海外市场公开道歉,…

2026/10/12 19:58:15 阅读更多 →
Qt触摸屏滑动卡死:QScroller与事件冲突的排查与优化

Qt触摸屏滑动卡死:QScroller与事件冲突的排查与优化

1. 触摸屏滑动卡死:一个让Qt桌面端开发者头疼的经典问题如果你做过带触摸屏的Qt桌面项目,尤其是那种跑在工控机、自助终端、医疗设备或者车载中控上的应用,大概率遇到过这个场景:手指在QTableView、QTableWidget或者QListWidget上…

2026/10/12 19:58:15 阅读更多 →
open-code-review:一种提升代码可理解性与可维护性的评审方法论

open-code-review:一种提升代码可理解性与可维护性的评审方法论

1. “open-code-review”不是开源项目,而是一套可落地的代码评审实践方法论“open-code-review”这个词乍看像某个 GitHub 上的新仓库名,或是某款刚发布的开源工具——但实际翻遍主流代码托管平台、技术社区和工具索引库,都找不到一个以该名称…

2026/10/12 19:58:15 阅读更多 →
YOLO抽烟目标检测数据集:从标注校验到训练避坑全指南

YOLO抽烟目标检测数据集:从标注校验到训练避坑全指南

简介:面向计算机视觉目标检测项目与YOLO系列算法学习者,这份数据集聚焦公共场所吸烟行为识别,提供训练模型所需的原始图像与标定数据。压缩包内共594个文件,由297张jpg图片和297个xml标注文件一一对应组成;xml中记录目…

2026/10/12 19:58:15 阅读更多 →
在手机上玩转 Claude Code:用 Termux 把安卓变成「掌上 IDE」(含国内模型配置)

在手机上玩转 Claude Code:用 Termux 把安卓变成「掌上 IDE」(含国内模型配置)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 19:57:15 阅读更多 →

日新闻

复古胶片颗粒感噪点合成器:Canvas ImageData 像素高斯杂色注入算法

复古胶片颗粒感噪点合成器:Canvas ImageData 像素高斯杂色注入算法

在数码相机、高清显示屏与现代矢量图形技术高度发达的今天,画面可以做到绝对的锐利、平滑与无瑕。然而,当一张秋日手账插画或拍立得照片过于“平整无瑕”时,往往会散发出一种冰冷生硬的“数码塑料感(Digital Plasticity&#xff0…

2026/10/12 0:00:59 阅读更多 →
活字印刷古籍线装排版:Canvas 竖排文字与栏线自适应算法

活字印刷古籍线装排版:Canvas 竖排文字与栏线自适应算法

在现代网页与移动端设计中,横排(Horizontal Layout)早已经成为了绝对的主流。然而,当我们翻开泛黄的线装古籍、宋版木刻诗集,或是欣赏一张茶道雅集的手写便签时,那种**自上而下纵向书写、自右向左逐列铺展&…

2026/10/12 0:00:59 阅读更多 →
周日晚间的“精神松绑减震器”:无压力情绪倾倒箱与温和轻声陪伴

周日晚间的“精神松绑减震器”:无压力情绪倾倒箱与温和轻声陪伴

每到周日的晚上八点到十点,很多人心里都会悄悄亮起一盏警示灯。 在心理学上,这种现象有一个专门的称谓——“周日夜晚焦虑症(Sunday Scaries)”。明天又是周一,闹钟又要重新在七点响彻卧房;脑海里仿佛有一个…

2026/10/12 0:00:59 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/12 0:16:30 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/12 0:16:38 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/12 0:16:43 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/11 10:45:37 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 14:48:49 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/12 18:11:17 阅读更多 →