想进大模型赛道，先把LLM这些地基问题答明白这两年大语言模型（LLM）相关的岗位有多火，不用我多说。很多人简历上写“熟悉大模型应用”“做过Agent开发”，结果面试官随口问一句“你讲一下Transformer结构和传统序列模型的核心区别”，现场就卡住了。更可惜的是，一些同学明明项目经验不错，但因为基础概念答得含糊，整体评价被拉低，最后被一个更“稳”的候选人顶掉。这篇文章不绕弯子，直接帮你把“大模型基础面试题”这回事拆透。我根据自己的实际面试和带人经历，把LLM最常被考察的基础概念按主题做了梳理，整理了10道最典型的面试题，每道题都给了作答思路和参考答案，并且在文章最后放了一批只有踩过坑才知道的备战心得。适合谁看？正在准备大模型相关岗位面试的人，刚转行想做LLM应用开发的人，还有那些“会调接口但说不清原理”的工程同学。先把地基补上，后面聊项目才不会发虚。1. 为什么“基础面试题”反而最容易拉开差距1.1 面试官其实不期待你背答案，他期待你有框架我面过不少候选人，发现一个规律：问“什么是大模型”这种看似最基础的问题，反而最能看出一个人的水平。有人的回答是“ChatGPT那种模型”，然后就没了；有人能从“预训练”“参数规模”“自监督学习”“涌现能力”四个维度展开，还能顺带讲一句“传统任务模型是定制化的，预训练大模型是通用能力底座，所以叫基础模型”。差距不在谁记住了更多名词，而在谁脑子里有清晰的框架。面试官问基础概念，本质上不是考你记忆力，而是在确认：你有没有真正理解这个领域的核心逻辑？你能不能把概念讲清楚，让别人听得明白？你脑子里的知识是零散的还是体系化的？1.2 大部分候选人最缺的不是项目，是基础概念的“可解释性”我带过几个实习生，代码写得挺顺，Prompt调得也像模像样，但一问“为什么大模型会一本正经地胡说八道？”他就只能回答“可能训练数据有问题”。这不能算错，但失于笼统。可以拆出三个层次：第一层，是数据层面的问题：训练语料本身带有噪声、错误或偏见，模型学习时把这些信息也吸收了。第二层，是模型机制层面的问题：语言模型的核心目标从来不是“保证事实正确”，而是“预测下一个最合理的Token”。只要是概率生成，就一定存在编造空间。第三层，是对齐不足的问题：模型没有足够的奖励信号来区分“事实正确”和“看起来正确”。能讲到第二层，面试官就会点头；能把三层都讲出来，还能顺势补一句“所以RAG和微调缓解幻觉的原理不一样”，这场面试基本稳了。2. 大模型基础概念全景拆解：从Token到预料、微调、温度参数2.1 预训练和微调：理解LLM能力的起点大家口中的大模型，几乎都逃不开“预训练+微调”这套范式。所谓预训练，就是用海量文本，让模型做一件看似无聊的事：给定前文，预测下一个Token。这件事重复上百亿次后，模型内部的参数就在不断调整，把语言中常见的模式、知识、逻辑关联统统内化了。我经常用一个比喻：预训练相当于一个新人被丢进一座巨大的图书馆，要求他不出门，只做一件事——反复读前文猜下一页的内容。猜错多了，他自然学会了语法、常识、逻辑和大量事实知识。这时的模型叫“基座模型”（Base Model），能力很强但不懂你问的问题该怎么答，可能你问一句它回三句不相关的。微调（Fine-tuning)就是让基座模型在带标注的数据上进一步学习，比如“问题是哪句、答案应该是什么格式、面对用户的提问应该先回应什么”。典型的是指令微调（SFT），本质是把模型从“接着写”的习惯纠正成“按要求回答”的习惯。再往后还有基于人类反馈的强化学习（RLHF），核心是让模型的输出和人类的偏好对齐。所以面试题如果问你“预训练和微调有什么区别”，千万不要只答“训练数据不同”。要往深一层说：预训练学的是“语言中普遍存在的规律”，目标是语言建模；微调学的是“如何完成任务和服从指令”，目标是行为对齐。预训练造价极高，通常只有少数机构做；微调是把通用模型个性化、领域化的低成本手段。2.2 Token、嵌入、上下文窗口：三个最容易被轻视的概念先说Token。很多非科班同学第一次知道“Token”是在查API账单时：发一段话，扣了若干Token费。于是以为Token就是“字数”。其实Token是文本切分成的基本单位，可以是一个完整的单词，可以是半个词，甚至可以是单独一个汉字字符。不同分词器有自己的词表，同一个句子在不同模型里Token数量不一样。为什么模型不直接按字处理？因为英文单词数量巨大且变化多，直接把单词作为最小单位会导致词表爆炸，还学不会词根词缀关系；而按字符处理又会让序列太长，增加计算量。Tokenizer就是在这两者之间找平衡：常见的词直接占一个Token，生僻词拆成子词（BPE算法）。中文的特殊性则更明显，很多汉字本身就能直接作为词根使用，所以目前主流中文模型的Tokenizer各有各的讲究。再说嵌入（Embedding）。嵌入是把Token映射成向量，让模型能把“国王”和“王后”这种语义上接近的Token在向量空间里靠得更近。如果没有嵌入层，纯数字ID丢进模型，模型完全无法理解词语之间的语义关系。面试中如果聊到Embedding，讲清楚“把离散符号映射为稠密向量，使语义相似性转化为空间距离相似性”就够了，如果再能提到“所以RAG里做相似度检索，本质是找嵌入向量最接近的文本片段”，会显得对实际应用很熟。上下文窗口（Context Window）就更好理解了：模型一次最多能同时看到的Token数量。比如上下文窗口是128K，那模型输入加输出总共不能超过128K Token。这直接决定了你能给它喂多长的资料、做多复杂推理。窗口越大，能处理的文档任务、多轮对话场景就越强，但占用计算资源也会飙升，而且不是说窗口开到很大模型就真的能“理解”全部内容，这涉及“长度外推”和注意力分布稀疏化的问题，详见第3章的题目分析。2.3 温度、Top-p、采样：同一个“随机性”的三种玩法很多人在写API的时候调过temperature（温度），但原理未必清楚。温度的本质是先把模型算出的每个词的概率分布做一次“软化”或“硬化”，再从这个分布里采样。温度低时，高概率的Token相对更突出，输出更稳定保守；温度高时，原本概率偏低的Token也有机会被选中，输出更有发散性和创意。Top-p又不同。它不是调整概率，而是做一个截断：从最高概率的词开始往下累加，直到累计概率达到p为止，然后把候选集之外的词概率全部置零，再在候选集内重新归一化。所以Top-p更像“动态取候选集”，温度更像“改变候选词之间的冷热”。实际工程里两者常搭配使用。比如客服机器人，通常把温度调到0.2甚至0，追求稳定输出；写小说的应用，温度可以调到0.8、0.9，再配合合适的Top-p让表达不那么重复。这个考点往往容易挂人，因为大家习惯“调包”，说不清背后的概率语义。记住一个关键差异：温度影响整个概率分布的平滑程度，Top-p影响候选Token的数量和取舍方式。3. 十道高频大模型基础面试题：答题框架与参考答案下面这10道题是我在实际面试里反复见到的，覆盖面从概念认知到机制原理、应用方法都有。我给每一道题整理了作答框架，不一定要求你按原文背，但搭好这个骨架，基本不会冷场。3.1 第一梯队：概念认知题题1：什么是大语言模型？它和传统语言模型有什么本质区别？作答框架分三层：定义、特点、本质区别。定义：大语言模型（LLM）是一种基于海量文本数据和深度学习架构（以Transformer为主）训练而成的神经网络语言模型，核心任务是根据前文预测下一个Token。特点：模型参数规模大（从数十亿到上万亿不等），具备上下文学习、思维链、多步推理、指令跟随等“涌现”能力。本质区别：传统统计语言模型（比如n-gram模型）靠计算词序列的共现频率来估计概率，稀疏性问题严重，只能捕捉短距离的局部语言规律。神经网络语言模型（比如LSTM类模型）能建模长距离依赖，但序列处理是串行的，速度慢、难以并行。LLM借助Transformer的自注意力机制，序列中的任意两个Token可以建立直接关联，极大解决了长距离依赖问题，同时能通过预训练从万亿级文本中汲取知识，形成了传统模型不具备的通用性和任务泛化能力。题2：为什么Transformer能成为大模型的事实标准？自注意力机制到底在做什么？作答框架：先说早年主流的RNN/LSTM是“顺着句子逐个词处理”，后一个词依赖前一个词的计算结果，并行度差，长距离信息也容易衰减。Transformer一改格局，它让序列中的每一个Token同时去和序列中的其他所有Token计算关联度，得到加权汇总后的输出。自注意力的关键动作是拿一个词的查询向量（Query）去和整句话所有词的键向量（Key）做匹配，得到注意力权重，再用这组权重去加权各个词的值向量（Value）。说白了，就是让序列中每个词根据自身需要，动态读取序列其他位置的信息。我遇到过一个比较到位的面试回答，对方加了一句对比：“RNN像接力跑，每一棒都必须等上一棒；Transformer像开会，每个人发言前可以同时翻阅所有人的笔记，然后决定把注意力放在谁身上。”面试官听到这种类比加分很明显，因为它证明你真的理解设计动机。题3：谈谈你对Token的理解，为什么大模型不直接按字符处理？回答拆成三个递进点。第一，Token是文本进入模型前的最小语义单元，分词器通过BPE等算法把文本切分为词表中的编号序列，模型看到的从始至终都是整数编号，不是在“看”文字。第二，为什么必须有这个词表？因为模型计算本质是矩阵计算，你需要把不定长的文本固定成一组可对齐的离散编号。直接把一个单词当作最小单元，词表指数级膨胀；按字母/单字切，序列太长，计算成本难以落地。子词方案兼顾了两者，它把高频单词完整保留，低频词拆成常见子词，既压缩序列长度又保留了形态学信息。第三，中文有特殊性。中文没有天然空格分词，早期按字切会丢失词汇边界，后来很多中文Tokenizer引入了分词工具辅助切词。如果你用的是某个中文模型，可以注意一下它对“人工智能”这几个字切出来几个Token，很多时候是2个或3个，这背后的权衡直接和收费、推理性能相关。3.2 第二梯队：机制原理解释题题4：大模型为什么会产生幻觉？怎么缓解？幻觉是高频题，答好了能体现你同时了解数据和模型两个维度。先定义：模型的输出看似合理流畅，但事实错误或无中生有。原因：预训练目标的本质是“预测下一个Token”，模型追求的是语言流畅性而非事实可靠性；训练数据可能存在错误与偏见，模型会照单全收；生成阶段是采样，采样就带有随机性，任何一次采样都可能离开正确答案；即使在最理想情况下，模型也只是把“知识”存储在参数里，它没有外部求助通道，遇到超出自身知识边界的问题只能现场编。缓解手段：RAG（检索增强生成）：外部检索相关知识片段拼入Prompt，让模型基于参考材料回答；SFT/RLHF阶段的“拒绝回答训练”：让模型学会说“不知道”；解码阶段调低温度，减少低概率路径；提供“输入不确定性检测”或“一致性校验”。更自然有经验的补充方法是举例：“我维护的客服机器人最开始幻觉率很高，后来给回复管线加了RAG和置信度回退，几十轮测试下来明显改善。单纯加大Prompt反而是抑制不了幻觉的。”这类实战经验很戳面试官。题5：温度参数和Top-p采样的区别是什么？实际怎么选？这题不再赘述原理。直接给“怎么答”的骨架：采样发生在模型已经算好全词表概率分布之后，生成一个Token前；温度通过缩放Logits来改变分布陡峭程度，低温度让高概率词更突出，高温度让分布更平坦，从而提升随机性；Top-p则是选取累计概率达到p的最小候选集合，把集合外全部剔除，再在这些候选里归一化；两者都影响随机性，但机制不同，可以组合使用。加分项是举一个调参实例：“我在做一个文案生成功能时，最开始温度设0.9，结果句子五花八门，同事反馈像喝多了写的；后来降到0.7并设Top-p为0.9，发散度够了，结构也还稳。也就是说，你不一定只拧温度，调整Top-p往往对质量改善更直接。”题6：什么是上下文窗口？为什么长上下文又强又难？先给基础：上下文窗口决定模型单次能接收的最大Token量。然后展开“为什么长上下文难”至少分三个方面：计算复杂度：标准自注意力是O(n²)的，窗口翻倍计算量约四倍，所以各大模型用稀疏注意力或滑动窗口来近似；长度外推问题：训练时候序列和长序列分布未必一致，模型没见过4K长度的语料，你硬给128K的输入，性能可能崩；信息淹没（Lost in the Middle）：实验发现，哪怕模型有足够上下文，它也容易先关注开头和结尾，中间信息被忽略。答题时可以引一个工程判断：“我们做文档问答时，原本用32K窗口把整份合同丢进去，结果很多问题答不准；改成把合同切片，检索相关片段后再喂给模型，准确率反而上来了。所以窗口大不是万能的，检索的设计才真正决定了效果。”3.3 第三梯队：应用与工程实践题题7：什么是RAG？为什么它能解决很多LLM的实际落地问题？RAG的完整含义是检索增强生成。流程可以概括为三步：把私有文档切片、用嵌入模型向量化，存入向量数据库；用户提问时，把问题也做嵌入，在向量库中检索最相似的文本片段；把检索结果拼到Prompt里，让模型基于这些上下文生成回答。答题要点是讲清楚RAG和微调的本质区别：RAG不改变模型参数，它改变模型的输入；微调改变模型参数，让知识内化在权重里。对企业来说，RAG更容易维护，更新知识只需要重建索引，不用重新训练，数据更新成本低。同时RAG可以附上来源引文，这给“可信”这个需求非常重要。如果想更进阶，可以补一句：“RAG的瓶颈经常不是模型而是检索质量。比如你向量化的时候切分点选得不好，或者和问题语义匹配得分不理想，那么检索到的一堆噪声会使模型生成效果大打折扣。所以不只要会用LangChain，还要会调试切分策略和检索排序。”题8：让你做一个基于大模型的问答机器人，会怎么设计整体方案？这题综合性极强，问的是方案设计能力，而不是单一知识点。我的答题框架一般是这样：需求拆解：确定场景是单轮或多轮、知识库范围多大、容忍错误率多高；技术选型：基座模型选型，是走线上API还是私有化部署，上下文窗口多少合理；知识接入：如果是私有知识，走RAG路线；若数据有较强格式要求，可增加SFT作为辅助；上线保障：Prompt模板设计、输入过滤、输出安全检测、引用来源、兜底规则（无法回答时转人工）；评测体系：准备一组测试集，覆盖标准问、疑难问、攻击问，人工打分和自动化指标结合。面试官要的不是你背一个标准答案，而是看你有没有全局意识。能讲出“上线以后还会遇到badcase回流，每两周重新迭代一次测试集”这类细节，比堆名词加分得多。题9：微调和RAG在什么场景下选哪个？很多人答“有私有数据就微调”，这是很典型的误区。先区分二者：微调是让模型学会一种“行为模式”或“领域风格”，比如客服的固定应答风格、特定行业的术语习惯、特定的输出格式；RAG是让模型“知道某条知识”，比如公司内部文档中的具体条款。实操心得就是这样：知识型内容优先RAG，因为可追溯、更新快；若需要改变模型的语言风格、格式、表情习惯，SFT更合适；如果两者都需要，正式一点的做法是先微调风格，再叠加RAG补充事实。顺手多说一句：很多团队做“微调后效果变好了”，其实是数据量太小导致的记忆化，不是泛化能力提升。做微调时一定要留出与训练集同分布的验证集，看到评测指标是否有真实提升。题10：什么是Prompt Engineering？有哪些可以提高回答质量的结构化方法？最后一题偏应用。别只说“给模型明确指令”这种空话。给出一套可复用的方法：一个非常实用的结构是“角色+任务+上下文+约束+输出格式”： “你是一名资深法律顾问（角色）。请根据下面的合同条款，审查是否存在对我方不利的支付约定（任务）。合同原文：……（上下文）。注意给出风险等级和相关条款编号（约束）。采用编号列表，逐条输出风险点和修改建议（输出格式）。”如果需要更严谨，配合少样本（Few-shot）提示词：先给一两个问答示例，再让模型模仿格式回答。若做复杂推理，可以用“让我一步一步思考”引导模型把中间步骤写出来，也就是大家常说的思维链（CoT）。不要把它说得玄乎，本质是：模型在逐步书写推理过程时，中间结果成为后续推理的上下文，大大减少跳跃式出错。4. 面试现场最容易踩的坑与备战方法4.1 五个高频错误及应对策略第一个坑：只会说名词，不会讲关系。比如提到“注意力机制”“RLHF”“LoRA”，都是一句话带过，面试官追问细节就断片。对策是准备每一个核心知识点时都要扩展出至少三层。第二个坑：用词不准确。有人把“上下文窗口”说成“记忆长度”，把“向量化”说成“编码”。大模型这个领域术语本身就有混淆区，但面试时用错词容易被看成基本功不扎实。日常看论文或文档时，遇到不确定的术语要及时查定义。第三个坑：答非所问。面试官问“为什么Transformer比起RNN好”，他追问的是本质动机，结果你直接答“因为用到了注意力”。这不是错，但太浅。最好用“串行vs并行、长距离依赖、梯度消失”三个角度展开。第四个坑：没有工程意识。只谈学术不谈落地。我最喜欢听的回答是“这块我实际做过，当时的做法是……后来发现……如果重来我会……”这种回答里有真实的信息量。第五个坑：不懂可以说“不知道”。面试官问了一个你不熟悉的技术名词，比如“稀疏专家模型”或“MLA”，坦诚说“这个方向我没有深入调研，我目前理解的是它对显存优化有益，但我不能乱讲”，反而比现场编强很多。工程师面试在乎诚实，学术吹牛很容易穿帮。4.2 准备了一套“两问一答”自测法我在准备面试辅导时总会让候选人对每个概念做“两问一答”训练：问自己“这概念解决什么问题？”（背景）问自己“它的核心机制是什么？”（原理）合起来答一遍，要求60秒内讲完。比如“RAG”：它解决什么问题：LLM不知道外部新知识，同时容易幻觉；核心机制：检索外部文档片段，拼接进Prompt，由模型综合生成；合起来讲一遍：RAG是先把外部知识分成若干块并向量化存入数据库，用户提问时检索相关片段拼到提示词里，这样模型不需要记住所有事实，只需要基于临时上下文作答。每个概念都这样过一遍，你脑子里就会形成非常完备的“概念档案”。面试时遇到乍看起来陌生的题目，也可以试着从这三个角度去拆：它要解决什么问题、它用什么手段解决、解决得不彻底时残留什么代价。4.3 面试前一个晚上的快速复习路线时间有限时，不用把几十个知识点都复习到位。按重要性优先级来：必背：Transformer整体流程、Token概念、预训练/微调区别、温度与采样、幻觉成因与缓解、RAG全流程；熟悉：上下文窗口、长度外推、Prompt结构、LoRA思路（至少知道是什么）；了解：MoE、量化加速、分布式训练基础名词。如果当天晚上精力允许，再模拟一场10分钟的问答，让朋友或自己对着手机录音回放。你会发现讲出来和脑中想完全不是一回事，结巴和卡壳的段落，往往是理解最薄弱的地方，第二天早上重点再看一次即可。4.4 我自己的复盘：面试不是背书，是结构化交流我这些年经手过多轮技术面试，也复盘过自己和同事的失败案例。最深的体感是：面试官不会因为你有一题不会就否定你，但如果一个问题你只答了表面，后面被连续追问时连环露馅，这种扣分才是致命伤害。所以我在文末想特别强调：读这套面试题，千万别只求“背会答案”。面对“什么是Token”这类题，你要能做到在不同的语境下自由切换解释角度。同样一个概念，面对算法岗用数学表达，面对应用岗用流程表达，面对非技术朋友用类比表达，能做到这种切换，职业基本功才算真正过硬。而这个过程并没有捷径，它需要你不停地在真实场景里追问、验证、踩坑，从“会调API”慢慢走到“能讲清楚为什么”。希望这篇文章能帮你少走几段我走过的弯路。
想进大模型赛道，先把LLM这些地基问题答明白这两年大语言模型（LLM）相关的岗位有多火，不用我多说。很多人简历上写“熟悉大模型应用”“做过Agent开发”，结果面试官随口问一句“你讲一下Transformer结构和传统序列模型的核心区别”，现场就卡住了。更可惜的是，一些同学明明项目经验不错，但因为基础概念答得含糊，整体评价被拉低，最后被一个更“稳”的候选人顶掉。这篇文章不绕弯子，直接帮你把“大模型基础面试题”这回事拆透。我根据自己的实际面试和带人经历，把LLM最常被考察的基础概念按主题做了梳理，整理了10道最典型的面试题，每道题都给了作答思路和参考答案，并且在文章最后放了一批只有踩过坑才知道的备战心得。适合谁看？正在准备大模型相关岗位面试的人，刚转行想做LLM应用开发的人，还有那些“会调接口但说不清原理”的工程同学。先把地基补上，后面聊项目才不会发虚。1. 为什么“基础面试题”反而最容易拉开差距1.1 面试官其实不期待你背答案，他期待你有框架我面过不少候选人，发现一个规律：问“什么是大模型”这种看似最基础的问题，反而最能看出一个人的水平。有人的回答是“ChatGPT那种模型”，然后就没了；有人能从“预训练”“参数规模”“自监督学习”“涌现能力”四个维度展开，还能顺带讲一句“传统任务模型是定制化的，预训练大模型是通用能力底座，所以叫基础模型”。差距不在谁记住了更多名词，而在谁脑子里有清晰的框架。面试官问基础概念，本质上不是考你记忆力，而是在确认：你有没有真正理解这个领域的核心逻辑？你能不能把概念讲清楚，让别人听得明白？你脑子里的知识是零散的还是体系化的？1.2 大部分候选人最缺的不是项目，是基础概念的“可解释性”我带过几个实习生，代码写得挺顺，Prompt调得也像模像样，但一问“为什么大模型会一本正经地胡说八道？”他就只能回答“可能训练数据有问题”。这不能算错，但失于笼统。可以拆出三个层次：第一层，是数据层面的问题：训练语料本身带有噪声、错误或偏见，模型学习时把这些信息也吸收了。第二层，是模型机制层面的问题：语言模型的核心目标从来不是“保证事实正确”，而是“预测下一个最合理的Token”。只要是概率生成，就一定存在编造空间。第三层，是对齐不足的问题：模型没有足够的奖励信号来区分“事实正确”和“看起来正确”。能讲到第二层，面试官就会点头；能把三层都讲出来，还能顺势补一句“所以RAG和微调缓解幻觉的原理不一样”，这场面试基本稳了。2. 大模型基础概念全景拆解：从Token到预料、微调、温度参数2.1 预训练和微调：理解LLM能力的起点大家口中的大模型，几乎都逃不开“预训练+微调”这套范式。所谓预训练，就是用海量文本，让模型做一件看似无聊的事：给定前文，预测下一个Token。这件事重复上百亿次后，模型内部的参数就在不断调整，把语言中常见的模式、知识、逻辑关联统统内化了。我经常用一个比喻：预训练相当于一个新人被丢进一座巨大的图书馆，要求他不出门，只做一件事——反复读前文猜下一页的内容。猜错多了，他自然学会了语法、常识、逻辑和大量事实知识。这时的模型叫“基座模型”（Base Model），能力很强但不懂你问的问题该怎么答，可能你问一句它回三句不相关的。微调（Fine-tuning)就是让基座模型在带标注的数据上进一步学习，比如“问题是哪句、答案应该是什么格式、面对用户的提问应该先回应什么”。典型的是指令微调（SFT），本质是把模型从“接着写”的习惯纠正成“按要求回答”的习惯。再往后还有基于人类反馈的强化学习（RLHF），核心是让模型的输出和人类的偏好对齐。所以面试题如果问你“预训练和微调有什么区别”，千万不要只答“训练数据不同”。要往深一层说：预训练学的是“语言中普遍存在的规律”，目标是语言建模；微调学的是“如何完成任务和服从指令”，目标是行为对齐。预训练造价极高，通常只有少数机构做；微调是把通用模型个性化、领域化的低成本手段。2.2 Token、嵌入、上下文窗口：三个最容易被轻视的概念先说Token。很多非科班同学第一次知道“Token”是在查API账单时：发一段话，扣了若干Token费。于是以为Token就是“字数”。其实Token是文本切分成的基本单位，可以是一个完整的单词，可以是半个词，甚至可以是单独一个汉字字符。不同分词器有自己的词表，同一个句子在不同模型里Token数量不一样。为什么模型不直接按字处理？因为英文单词数量巨大且变化多，直接把单词作为最小单位会导致词表爆炸，还学不会词根词缀关系；而按字符处理又会让序列太长，增加计算量。Tokenizer就是在这两者之间找平衡：常见的词直接占一个Token，生僻词拆成子词（BPE算法）。中文的特殊性则更明显，很多汉字本身就能直接作为词根使用，所以目前主流中文模型的Tokenizer各有各的讲究。再说嵌入（Embedding）。嵌入是把Token映射成向量，让模型能把“国王”和“王后”这种语义上接近的Token在向量空间里靠得更近。如果没有嵌入层，纯数字ID丢进模型，模型完全无法理解词语之间的语义关系。面试中如果聊到Embedding，讲清楚“把离散符号映射为稠密向量，使语义相似性转化为空间距离相似性”就够了，如果再能提到“所以RAG里做相似度检索，本质是找嵌入向量最接近的文本片段”，会显得对实际应用很熟。上下文窗口（Context Window）就更好理解了：模型一次最多能同时看到的Token数量。比如上下文窗口是128K，那模型输入加输出总共不能超过128K Token。这直接决定了你能给它喂多长的资料、做多复杂推理。窗口越大，能处理的文档任务、多轮对话场景就越强，但占用计算资源也会飙升，而且不是说窗口开到很大模型就真的能“理解”全部内容，这涉及“长度外推”和注意力分布稀疏化的问题，详见第3章的题目分析。2.3 温度、Top-p、采样：同一个“随机性”的三种玩法很多人在写API的时候调过temperature（温度），但原理未必清楚。温度的本质是先把模型算出的每个词的概率分布做一次“软化”或“硬化”，再从这个分布里采样。温度低时，高概率的Token相对更突出，输出更稳定保守；温度高时，原本概率偏低的Token也有机会被选中，输出更有发散性和创意。Top-p又不同。它不是调整概率，而是做一个截断：从最高概率的词开始往下累加，直到累计概率达到p为止，然后把候选集之外的词概率全部置零，再在候选集内重新归一化。所以Top-p更像“动态取候选集”，温度更像“改变候选词之间的冷热”。实际工程里两者常搭配使用。比如客服机器人，通常把温度调到0.2甚至0，追求稳定输出；写小说的应用，温度可以调到0.8、0.9，再配合合适的Top-p让表达不那么重复。这个考点往往容易挂人，因为大家习惯“调包”，说不清背后的概率语义。记住一个关键差异：温度影响整个概率分布的平滑程度，Top-p影响候选Token的数量和取舍方式。3. 十道高频大模型基础面试题：答题框架与参考答案下面这10道题是我在实际面试里反复见到的，覆盖面从概念认知到机制原理、应用方法都有。我给每一道题整理了作答框架，不一定要求你按原文背，但搭好这个骨架，基本不会冷场。3.1 第一梯队：概念认知题题1：什么是大语言模型？它和传统语言模型有什么本质区别？作答框架分三层：定义、特点、本质区别。定义：大语言模型（LLM）是一种基于海量文本数据和深度学习架构（以Transformer为主）训练而成的神经网络语言模型，核心任务是根据前文预测下一个Token。特点：模型参数规模大（从数十亿到上万亿不等），具备上下文学习、思维链、多步推理、指令跟随等“涌现”能力。本质区别：传统统计语言模型（比如n-gram模型）靠计算词序列的共现频率来估计概率，稀疏性问题严重，只能捕捉短距离的局部语言规律。神经网络语言模型（比如LSTM类模型）能建模长距离依赖，但序列处理是串行的，速度慢、难以并行。LLM借助Transformer的自注意力机制，序列中的任意两个Token可以建立直接关联，极大解决了长距离依赖问题，同时能通过预训练从万亿级文本中汲取知识，形成了传统模型不具备的通用性和任务泛化能力。题2：为什么Transformer能成为大模型的事实标准？自注意力机制到底在做什么？作答框架：先说早年主流的RNN/LSTM是“顺着句子逐个词处理”，后一个词依赖前一个词的计算结果，并行度差，长距离信息也容易衰减。Transformer一改格局，它让序列中的每一个Token同时去和序列中的其他所有Token计算关联度，得到加权汇总后的输出。自注意力的关键动作是拿一个词的查询向量（Query）去和整句话所有词的键向量（Key）做匹配，得到注意力权重，再用这组权重去加权各个词的值向量（Value）。说白了，就是让序列中每个词根据自身需要，动态读取序列其他位置的信息。我遇到过一个比较到位的面试回答，对方加了一句对比：“RNN像接力跑，每一棒都必须等上一棒；Transformer像开会，每个人发言前可以同时翻阅所有人的笔记，然后决定把注意力放在谁身上。”面试官听到这种类比加分很明显，因为它证明你真的理解设计动机。题3：谈谈你对Token的理解，为什么大模型不直接按字符处理？回答拆成三个递进点。第一，Token是文本进入模型前的最小语义单元，分词器通过BPE等算法把文本切分为词表中的编号序列，模型看到的从始至终都是整数编号，不是在“看”文字。第二，为什么必须有这个词表？因为模型计算本质是矩阵计算，你需要把不定长的文本固定成一组可对齐的离散编号。直接把一个单词当作最小单元，词表指数级膨胀；按字母/单字切，序列太长，计算成本难以落地。子词方案兼顾了两者，它把高频单词完整保留，低频词拆成常见子词，既压缩序列长度又保留了形态学信息。第三，中文有特殊性。中文没有天然空格分词，早期按字切会丢失词汇边界，后来很多中文Tokenizer引入了分词工具辅助切词。如果你用的是某个中文模型，可以注意一下它对“人工智能”这几个字切出来几个Token，很多时候是2个或3个，这背后的权衡直接和收费、推理性能相关。3.2 第二梯队：机制原理解释题题4：大模型为什么会产生幻觉？怎么缓解？幻觉是高频题，答好了能体现你同时了解数据和模型两个维度。先定义：模型的输出看似合理流畅，但事实错误或无中生有。原因：预训练目标的本质是“预测下一个Token”，模型追求的是语言流畅性而非事实可靠性；训练数据可能存在错误与偏见，模型会照单全收；生成阶段是采样，采样就带有随机性，任何一次采样都可能离开正确答案；即使在最理想情况下，模型也只是把“知识”存储在参数里，它没有外部求助通道，遇到超出自身知识边界的问题只能现场编。缓解手段：RAG（检索增强生成）：外部检索相关知识片段拼入Prompt，让模型基于参考材料回答；SFT/RLHF阶段的“拒绝回答训练”：让模型学会说“不知道”；解码阶段调低温度，减少低概率路径；提供“输入不确定性检测”或“一致性校验”。更自然有经验的补充方法是举例：“我维护的客服机器人最开始幻觉率很高，后来给回复管线加了RAG和置信度回退，几十轮测试下来明显改善。单纯加大Prompt反而是抑制不了幻觉的。”这类实战经验很戳面试官。题5：温度参数和Top-p采样的区别是什么？实际怎么选？这题不再赘述原理。直接给“怎么答”的骨架：采样发生在模型已经算好全词表概率分布之后，生成一个Token前；温度通过缩放Logits来改变分布陡峭程度，低温度让高概率词更突出，高温度让分布更平坦，从而提升随机性；Top-p则是选取累计概率达到p的最小候选集合，把集合外全部剔除，再在这些候选里归一化；两者都影响随机性，但机制不同，可以组合使用。加分项是举一个调参实例：“我在做一个文案生成功能时，最开始温度设0.9，结果句子五花八门，同事反馈像喝多了写的；后来降到0.7并设Top-p为0.9，发散度够了，结构也还稳。也就是说，你不一定只拧温度，调整Top-p往往对质量改善更直接。”题6：什么是上下文窗口？为什么长上下文又强又难？先给基础：上下文窗口决定模型单次能接收的最大Token量。然后展开“为什么长上下文难”至少分三个方面：计算复杂度：标准自注意力是O(n²)的，窗口翻倍计算量约四倍，所以各大模型用稀疏注意力或滑动窗口来近似；长度外推问题：训练时候序列和长序列分布未必一致，模型没见过4K长度的语料，你硬给128K的输入，性能可能崩；信息淹没（Lost in the Middle）：实验发现，哪怕模型有足够上下文，它也容易先关注开头和结尾，中间信息被忽略。答题时可以引一个工程判断：“我们做文档问答时，原本用32K窗口把整份合同丢进去，结果很多问题答不准；改成把合同切片，检索相关片段后再喂给模型，准确率反而上来了。所以窗口大不是万能的，检索的设计才真正决定了效果。”3.3 第三梯队：应用与工程实践题题7：什么是RAG？为什么它能解决很多LLM的实际落地问题？RAG的完整含义是检索增强生成。流程可以概括为三步：把私有文档切片、用嵌入模型向量化，存入向量数据库；用户提问时，把问题也做嵌入，在向量库中检索最相似的文本片段；把检索结果拼到Prompt里，让模型基于这些上下文生成回答。答题要点是讲清楚RAG和微调的本质区别：RAG不改变模型参数，它改变模型的输入；微调改变模型参数，让知识内化在权重里。对企业来说，RAG更容易维护，更新知识只需要重建索引，不用重新训练，数据更新成本低。同时RAG可以附上来源引文，这给“可信”这个需求非常重要。如果想更进阶，可以补一句：“RAG的瓶颈经常不是模型而是检索质量。比如你向量化的时候切分点选得不好，或者和问题语义匹配得分不理想，那么检索到的一堆噪声会使模型生成效果大打折扣。所以不只要会用LangChain，还要会调试切分策略和检索排序。”题8：让你做一个基于大模型的问答机器人，会怎么设计整体方案？这题综合性极强，问的是方案设计能力，而不是单一知识点。我的答题框架一般是这样：需求拆解：确定场景是单轮或多轮、知识库范围多大、容忍错误率多高；技术选型：基座模型选型，是走线上API还是私有化部署，上下文窗口多少合理；知识接入：如果是私有知识，走RAG路线；若数据有较强格式要求，可增加SFT作为辅助；上线保障：Prompt模板设计、输入过滤、输出安全检测、引用来源、兜底规则（无法回答时转人工）；评测体系：准备一组测试集，覆盖标准问、疑难问、攻击问，人工打分和自动化指标结合。面试官要的不是你背一个标准答案，而是看你有没有全局意识。能讲出“上线以后还会遇到badcase回流，每两周重新迭代一次测试集”这类细节，比堆名词加分得多。题9：微调和RAG在什么场景下选哪个？很多人答“有私有数据就微调”，这是很典型的误区。先区分二者：微调是让模型学会一种“行为模式”或“领域风格”，比如客服的固定应答风格、特定行业的术语习惯、特定的输出格式；RAG是让模型“知道某条知识”，比如公司内部文档中的具体条款。实操心得就是这样：知识型内容优先RAG，因为可追溯、更新快；若需要改变模型的语言风格、格式、表情习惯，SFT更合适；如果两者都需要，正式一点的做法是先微调风格，再叠加RAG补充事实。顺手多说一句：很多团队做“微调后效果变好了”，其实是数据量太小导致的记忆化，不是泛化能力提升。做微调时一定要留出与训练集同分布的验证集，看到评测指标是否有真实提升。题10：什么是Prompt Engineering？有哪些可以提高回答质量的结构化方法？最后一题偏应用。别只说“给模型明确指令”这种空话。给出一套可复用的方法：一个非常实用的结构是“角色+任务+上下文+约束+输出格式”： “你是一名资深法律顾问（角色）。请根据下面的合同条款，审查是否存在对我方不利的支付约定（任务）。合同原文：……（上下文）。注意给出风险等级和相关条款编号（约束）。采用编号列表，逐条输出风险点和修改建议（输出格式）。”如果需要更严谨，配合少样本（Few-shot）提示词：先给一两个问答示例，再让模型模仿格式回答。若做复杂推理，可以用“让我一步一步思考”引导模型把中间步骤写出来，也就是大家常说的思维链（CoT）。不要把它说得玄乎，本质是：模型在逐步书写推理过程时，中间结果成为后续推理的上下文，大大减少跳跃式出错。4. 面试现场最容易踩的坑与备战方法4.1 五个高频错误及应对策略第一个坑：只会说名词，不会讲关系。比如提到“注意力机制”“RLHF”“LoRA”，都是一句话带过，面试官追问细节就断片。对策是准备每一个核心知识点时都要扩展出至少三层。第二个坑：用词不准确。有人把“上下文窗口”说成“记忆长度”，把“向量化”说成“编码”。大模型这个领域术语本身就有混淆区，但面试时用错词容易被看成基本功不扎实。日常看论文或文档时，遇到不确定的术语要及时查定义。第三个坑：答非所问。面试官问“为什么Transformer比起RNN好”，他追问的是本质动机，结果你直接答“因为用到了注意力”。这不是错，但太浅。最好用“串行vs并行、长距离依赖、梯度消失”三个角度展开。第四个坑：没有工程意识。只谈学术不谈落地。我最喜欢听的回答是“这块我实际做过，当时的做法是……后来发现……如果重来我会……”这种回答里有真实的信息量。第五个坑：不懂可以说“不知道”。面试官问了一个你不熟悉的技术名词，比如“稀疏专家模型”或“MLA”，坦诚说“这个方向我没有深入调研，我目前理解的是它对显存优化有益，但我不能乱讲”，反而比现场编强很多。工程师面试在乎诚实，学术吹牛很容易穿帮。4.2 准备了一套“两问一答”自测法我在准备面试辅导时总会让候选人对每个概念做“两问一答”训练：问自己“这概念解决什么问题？”（背景）问自己“它的核心机制是什么？”（原理）合起来答一遍，要求60秒内讲完。比如“RAG”：它解决什么问题：LLM不知道外部新知识，同时容易幻觉；核心机制：检索外部文档片段，拼接进Prompt，由模型综合生成；合起来讲一遍：RAG是先把外部知识分成若干块并向量化存入数据库，用户提问时检索相关片段拼到提示词里，这样模型不需要记住所有事实，只需要基于临时上下文作答。每个概念都这样过一遍，你脑子里就会形成非常完备的“概念档案”。面试时遇到乍看起来陌生的题目，也可以试着从这三个角度去拆：它要解决什么问题、它用什么手段解决、解决得不彻底时残留什么代价。4.3 面试前一个晚上的快速复习路线时间有限时，不用把几十个知识点都复习到位。按重要性优先级来：必背：Transformer整体流程、Token概念、预训练/微调区别、温度与采样、幻觉成因与缓解、RAG全流程；熟悉：上下文窗口、长度外推、Prompt结构、LoRA思路（至少知道是什么）；了解：MoE、量化加速、分布式训练基础名词。如果当天晚上精力允许，再模拟一场10分钟的问答，让朋友或自己对着手机录音回放。你会发现讲出来和脑中想完全不是一回事，结巴和卡壳的段落，往往是理解最薄弱的地方，第二天早上重点再看一次即可。4.4 我自己的复盘：面试不是背书，是结构化交流我这些年经手过多轮技术面试，也复盘过自己和同事的失败案例。最深的体感是：面试官不会因为你有一题不会就否定你，但如果一个问题你只答了表面，后面被连续追问时连环露馅，这种扣分才是致命伤害。所以我在文末想特别强调：读这套面试题，千万别只求“背会答案”。面对“什么是Token”这类题，你要能做到在不同的语境下自由切换解释角度。同样一个概念，面对算法岗用数学表达，面对应用岗用流程表达，面对非技术朋友用类比表达，能做到这种切换，职业基本功才算真正过硬。而这个过程并没有捷径，它需要你不停地在真实场景里追问、验证、踩坑，从“会调API”慢慢走到“能讲清楚为什么”。希望这篇文章能帮你少走几段我走过的弯路。