大语言模型基础核心概念1. Token令牌1.定义中文1 个汉字≈2 个 Token英文1 个短单词≈1 个 Token长单词会被拆分符号、数字、空格单独占 Token。2.关键作用后端重点上下文窗口由 Token 限制比如模型 8K、32K、128K代表单次输入 输出总 Token 上限计费标准所有云厂商大模型按输入 Token、输出 Token 分开收费RAG 知识库切片、历史会话存储都要控制 Token超长文本会截断丢失信息。3.开发痛点会话历史过长、知识库一次性灌入海量文本会触发截断机制问答丢失上下文信息后端必须做 Token 计数、文本截断工具。2. Context Window上下文窗口1.含义模型单次对话能记住的全部文本总 Token 容量包含系统提示词 用户历史问答 当前提问 模型返回内容。2.分类小窗口4K/8K适合简单单次问答大窗口32K/128K/1M适合长文档解读、完整知识库对话、长代码分析。3.后端工程意义做 AI 会话模块必须实现窗口滑动清理超出 Token 上限时自动丢弃最早的历史对话否则接口直接报错、问答失效。3. Hallucination幻觉1.定义大模型无依据编造不存在的内容、接口、表字段、文档数据、SQL 语句看似逻辑通顺但完全虚假。2.常见场景后端高频踩坑让 AI 查数据库编造不存在的表名、字段解读内部业务文档虚构文档中未定义的规则生成第三方 API编造不存在的请求参数RAG 检索不到内容时凭空编造知识库信息。3.后端解决方案强制开启引用溯源要求 AI 回答必须附带检索文档片段提示词约束无匹配资料直接回复 “暂无相关信息”禁止编造校验层AI 生成的 SQL、接口代码、数据统一二次校验再执行。4. Temperature温度-生成随机性参数1.取值范围 01越接近 0输出稳定、固定、重复度低适合代码生成、数据查询、结构化 JSON 输出后端业务首选 0.1~0.3越接近 1创意高、随机性强适合文案、聊天、创意内容不适合业务系统。2.后端开发规范企业 AI 中台统一默认温度 0.2仅开放配置入口给前端运营禁止随意调高防止返回结果不稳定。5. Top-P核采样配合 Temperature 控制输出多样性一般和温度二选一调节后端业务场景固定 0.1 即可无需动态调整。Embedding 向量化RAG、知识库核心1. 什么是 Embedding嵌入向量将文字、句子、文档通过专门的向量模型转换成一串浮点数字数组向量文本语义越相似两组向量数字距离越近。文字本身计算机无法计算相似度向量可以通过数学公式快速对比语义。2. 向量维度不同向量模型输出维度不同512 维、768 维、1024 维、1536 维维度越高语义表达越精准存储、检索开销越大。3. 相似度计算方式后端必须懂1.余弦相似度 Cosine最常用适合文本语义匹配向量库默认算法2.欧氏距离、点积少量向量库场景使用。4. 两类模型区分后端选型关键1.大语言模型Chat 模型负责对话、总结、逻辑推理、代码生成2.Embedding 向量模型只做文本转向量不具备对话能力专门用于知识库检索。5. 后端落地要点知识库文档必须分段后再向量化整份长文档向量语义混杂检索精度极差向量持久化存入向量数据库不能每次问答实时生成向量性能差、耗钱新增 / 删除文档需要同步新增 / 删除对应向量保证数据一致性。RAG 检索增强生成企业 AI 系统标配1. RAG 完整定义Retrieval-Augmented Generation检索增强生成。解决大模型两大痛点1.模型知识有时间截止无法读取企业私有文档、实时业务数据2.容易产生幻觉回答脱离企业内部资料。2. 标准完整执行链路后端 SpringAI 开发核心流程1.文档加载读取 PDF、Word、Markdown、数据库业务数据2.文本切分切片长文档拆分成固定长度文本块设置重叠片段保证上下文连贯3.Embedding 向量化文本块调用向量模型生成向量4.向量入库文本块原文 向量存入向量数据库5.用户提问用户输入问题同样生成问题向量6.相似度检索在向量库匹配 Top-N 最相似的文档片段7.拼接 Prompt把检索到的真实企业资料 用户问题 系统指令合并发给大模型8.模型生成回答AI 基于检索到的真实资料作答大幅减少幻觉。3. RAG 核心优势业务价值不用微调大模型低成本接入企业私有知识库知识可实时更新新增文档立刻生效可控性强回答来源可追溯适合客服、内部资料问答、业务查询。4. 后端常见优化点切片大小调优、重叠值配置、多路召回、重排序、过滤无关检索片段、Token 压缩。Function Calling 函数调用AI 对接后端业务接口核心1. 定义大模型识别用户需求后主动调用后端预先定义好的接口 / 工具函数获取实时业务数据再整合数据回复用户。示例场景用户问 “本月订单总额”→AI 识别需要调用订单微服务接口→后端执行 SQL 查询→把订单数据传给 AI→AI 整理数字回答用户。2. 完整流程1.后端向模型注册工具定义函数名称、功能描述、入参结构、数据类型2.用户提问传入模型3.模型判断是否需要调用工具不需要直接生成文字回答需要返回结构化 JSON包含调用函数名、所需参数4.后端解析 JSON本地执行对应业务接口5.将接口返回数据回传给大模型6.模型结合实时业务数据生成最终自然语言答复。3. 后端开发价值打通 AI 和现有微服务体系让 AI 具备查询数据库、操作业务系统、调用第三方服务的能力是智能中台必备能力。4. 安全风险后端重点管控必须做参数校验、权限拦截防止 AI 越权查询数据禁止 AI 直接拼接 SQL 执行杜绝注入风险工具调用日志全量留存方便审计。Prompt 提示词工程所有人必备软实力1. 什么是 Prompt发给大模型的全部指令文本包含角色、规则、任务、输入数据、输出约束直接决定 AI 输出质量2. 标准结构化 Prompt 万能模板后端业务通用【角色】你是企业后端智能助手严谨、只基于提供资料回答禁止编造内容【任务】根据下方参考文档回答用户问题【约束规则】无匹配资料直接回复暂无相关资料不要捏造信息回答输出JSON格式包含answer、source文档来源两个字段禁止输出多余解释、 markdown格式【参考资料】 {rag检索到的文档片段}【用户问题】 {用户输入}3. 三大 Prompt 技术1.Zero-shot 零样本只给任务不给示例简单场景使用2.Few-shot 少样本指令中附带 2~3 条输入输出示例大幅提升结构化输出准确率后端生成 JSON、SQL 必用3.思维链 CoT引导 AI 分步思考复杂计算、多条件业务查询时使用减少逻辑错误。4.后端系统级 Prompt 设计规范系统提示词System Prompt全局固定定义 AI 身份、全局规则、输出格式永久携带动态提示变量RAG 检索内容、用户问题、会话历史动态填充统一封装 PromptTemplate 工具类SpringAI 原生支持统一管理所有业务提示词便于运营修改、版本管理。5.提示词注入漏洞安全重点恶意用户输入特殊字符、指令覆盖系统预设规则诱导 AI 泄露数据、执行危险逻辑。防护方案后端统一转义用户输入、隔离用户输入与系统指令区块、关键词过滤。主流模型分类与选型区分后端做中台必备1. 对话大模型LLM通义千问、文心一言、GPT 系列、Llama、Qwen 本地模型负责问答、总结、推理、FunctionCall、代码生成。2. 向量 Embedding 模型text-embedding、通义向量、bge 系列只用于文本向量化、知识库检索无对话能力。3. 代码专用模型CodeLlama、CodeQwen代码补全、bug 修复、生成 Java/SQL比通用模型准确率更高。4. 多模态模型支持图片 文本输入文生图、图片解析、截图代码识别业务系统如单据 OCR、图片解读。选型判断标准后端中台设计参考1.仅知识库问答对话 LLM Embedding 向量模型2.需要读取图片单据多模态大模型3.私有化本地部署开源 Qwen/Llama/Ollama4.代码生成场景专用代码模型。AI 会话管理基础概念1.会话 Session单个用户一次完整对话链路独立存储历史问答2.会话持久化历史问答存入 Redis/MySQL重启服务不丢失对话3.多租户隔离不同业务线、不同客户会话数据完全隔离4.自动过期清理长期不活跃会话清理释放 Token 占用、节省存储5.历史压缩超长历史自动摘要压缩降低 Token 消耗。AI 生产环境基础风险认知后端必须掌握1.幻觉风险输出虚假业务数据2.提示词注入安全漏洞3.敏感数据泄露客户隐私、数据库明文传入模型4.调用超限 / 扣费失控无限流时大量请求高额计费5.模型接口超时、熔断第三方大模型服务不稳定需要重试、降级策略。该部分知识对后端程序员的实际价值总结1.看懂 SpringAI 底层执行逻辑能独立开发 RAG、FunctionCall、统一 AI 网关2.能合理选型模型、向量库评估接口性能与成本3.能预判各类线上问题截断、幻觉、会话溢出、注入攻击并给出解决方案4.看懂 AI 产品需求和算法、产品无障碍沟通5.设计规范、可维护、安全可靠的企业 AI 微服务中台。