1. 从零理解LLM应用开发的三大支柱在2023年的大模型技术爆发后业界逐渐形成了三种主流的LLM应用开发范式。就像建造房屋需要地基、框架和装修三个层次一样开发一个真正可用的AI应用也需要不同层次的技术支撑。提示工程Prompt Engineering是最基础的层面相当于与模型直接对话的艺术。通过精心设计的提示词我们可以引导模型产生更符合预期的输出这不需要任何额外的训练数据或计算资源。举个例子当我们需要模型生成一篇技术文档时简单的写一篇关于RAG的文章可能得到泛泛而谈的内容而详细的提示如以资深AI工程师的口吻用1500字讲解RAG的技术原理包含检索机制、向量数据库集成和实际应用案例三个部分则能得到专业得多的输出。检索增强生成RAG是中间层它解决了模型知识冻结的问题。大模型的训练数据往往停留在某个时间点且不包含特定领域的专有知识。RAG系统通过将外部知识库与LLM结合就像给模型配备了一个随时可查的百科全书。典型的RAG架构包含三个核心组件文本分割器将文档切分为合理大小的片段、嵌入模型将文本转换为向量表示和向量数据库实现高效相似性搜索。当用户提问时系统会先检索相关知识片段然后将其作为上下文提供给LLM生成最终回答。模型微调Fine-tuning是最深层的优化方式它直接调整模型本身的参数来适应特定任务。这就像培养一个专业领域的专家需要投入大量训练数据和计算资源。微调又分为全参数微调和参数高效微调如LoRA两种主要方式。全参数微调会更新模型的所有参数适合数据量充足且计算资源丰富的场景而LoRA等方法只训练少量新增的参数大大降低了资源需求适合中小团队使用。2. 提示工程与模型对话的艺术与科学2.1 核心原则与最佳实践优质的提示工程需要遵循几个关键原则。首先是明确性模糊的提示会导致泛泛的回答。对比解释机器学习和用非技术语言向高中生解释监督学习与无监督学习的区别各举一个生活例子后者显然能获得更精准的输出。其次是结构化思维复杂的任务应该分解为多个步骤。例如当需要模型分析一篇文章时可以设计这样的提示请按以下步骤处理文本1) 用一句话总结主旨2) 提取三个关键论点3) 评估论证的逻辑强度4) 指出任何存在的事实错误。角色设定Role Prompting是另一个强大技巧。通过为模型指定特定身份如你是一位有10年经验的Python开发专家可以显著提升回答的专业性。实测表明合适的角色设定能使代码建议的错误率降低40%以上。2.2 高级技巧与实战案例思维链Chain-of-Thought技术引导模型展示推理过程不仅提高答案质量也便于人类验证其逻辑。例如在数学题场景提示中加入请逐步展示你的解题过程会得到更可靠的结果。少样本提示Few-shot Prompting提供几个输入-输出示例帮助模型理解任务格式。这在格式要求严格的场景如JSON生成特别有效。一个典型应用是请按以下示例将产品描述转换为JSON 输入蓝色T恤纯棉材质售价$19.99 输出{name:蓝色T恤,material:纯棉,price:19.99} 现在请转换无线耳机蓝牙5.0续航30小时提示模板化是工程实践中的重要方法。建立可复用的提示模板库根据不同场景插入变量能大幅提升工作效率。例如客户服务场景可以准备你是一位专业的客服代表请用{语气}的语气回答关于{产品}的问题。已知信息{知识库内容}。用户问题{query}。注意{特别注意事项}3. RAG系统为模型装上外部记忆3.1 架构设计与核心组件一个完整的RAG系统包含以下关键模块文本处理流水线文档解析支持PDF、Word、HTML等多种格式文本分块采用滑动窗口等技术保持语义连贯元数据提取保留标题、作者等结构化信息嵌入生成使用text-embedding-3-large等模型向量检索系统向量数据库选型Milvus、Pinecone、Weaviate等混合搜索策略结合稠密检索和稀疏检索重排序Reranker提升Top结果的精准度缓存机制优化高频查询的响应速度响应生成模块提示模板设计合理组织检索结果和用户问题上下文窗口管理处理长文档的分块整合来源引用自动标注答案的知识片段来源置信度评估识别低质量检索结果3.2 性能优化实战经验分块策略直接影响检索质量。对于技术文档建议采用以下配置块大小512-1024个token重叠区域10-15%智能分块在自然段落边界处分割标题嵌入将上级标题作为元数据注入混合检索能平衡召回率和精准度。一个典型配置是retriever HybridRetriever( dense_retrieverVectorRetriever(embedding_model, top_k5), sparse_retrieverBM25Retriever(top_k3), rerankerCrossEncoderReranker() )在实际部署中我们总结出几个关键指标首结果相关率85%平均响应时间1.5s上下文利用率60-80%幻觉率5%4. 模型微调打造领域专家4.1 微调策略选型指南全参数微调适用场景领域知识差异大如医疗、法律有超过50万条高质量标注数据需要改变模型的基础推理模式计算资源充足多卡A100集群参数高效微调方案对比方法参数量训练速度显存需求适用场景LoRA0.1%快低通用领域适应Adapter3-5%中等中等多任务学习Prefix-tuning1-2%慢高生成任务控制QLoRA0.1%最快最低消费级硬件微调4.2 微调全流程实操数据准备阶段的关键步骤数据清洗去重、去噪、标准化质量检查抽样人工验证数据增强同义替换、回译等划分比例训练70%/验证15%/测试15%使用LLaMA-Factory进行QLoRA微调的典型配置trainer LLaMATrainer( model_nameQwen1.5-7B, train_datadataset.jsonl, lora_rank64, lora_alpha16, target_modules[q_proj,k_proj,v_proj], per_device_train_batch_size4, gradient_accumulation_steps2, warmup_steps100, logging_steps10, save_steps500 )微调后的评估应该包括领域知识测试集准确率基础能力保留率MMLU基准推理速度变化安全合规检查5. 技术选型与组合策略5.1 决策树与成本分析选择优化方法时建议按以下流程决策是否只需要调整输出格式 → 提示工程是否需要最新/专有知识 → RAG是否需要改变推理方式 → 微调是否需要综合能力 → 组合方案成本对比以7B模型为例方法时间成本资金成本技术门槛提示工程小时级$0-$100低RAG周级$500中LoRA微调天级$300中高全参数微调周级$5000高5.2 典型组合方案客户支持系统最佳实践使用LoRA微调基础模型理解行业术语构建RAG系统接入产品文档和案例库设计多轮对话提示模板控制交互流程技术文档助手实现方案graph TD A[用户提问] -- B{简单问题?} B --|是| C[基础提示工程响应] B --|否| D[RAG检索] D -- E[相关度阈值?] E --|是| F[增强提示生成] E --|否| G[转人工标记] F -- H[微调模型生成]在实际项目中我们发现几个关键经验先做提示工程优化再考虑更复杂方案RAG系统需要持续的知识库更新机制微调前务必验证数据质量监控环节不可或缺要建立反馈闭环