ID-based RAG FastAPI多模型支持OpenAI、Azure、Hugging Face等7种嵌入模型配置指南【免费下载链接】rag_apiID-based RAG FastAPI: Integration with Langchain and PostgreSQL/pgvector项目地址: https://gitcode.com/gh_mirrors/ra/rag_apiID-based RAG FastAPI是一个基于FastAPI和Langchain构建的检索增强生成(RAG)框架专为文档索引和检索设计。该项目最大的亮点之一就是其强大的多模型支持能力可以无缝集成7种不同的嵌入模型提供商让开发者能够根据具体需求灵活选择最适合的嵌入服务。无论您是需要商业级的OpenAI和Azure服务还是希望使用开源的Hugging Face模型甚至是本地部署的Ollama这个框架都能完美支持。本文将为您详细介绍如何配置和使用这些嵌入模型帮助您快速搭建高效的多模型RAG系统。 快速开始环境变量配置要启用多模型支持您只需要通过环境变量进行简单配置。以下是核心的配置参数# 选择嵌入模型提供商支持7种选项 EMBEDDINGS_PROVIDERopenai # 可选openai, azure, huggingface, huggingfacetei, ollama, bedrock, google_genai, vertexai # 设置具体模型名称 EMBEDDINGS_MODELtext-embedding-3-small # 根据提供商选择相应模型 # 设置向量维度仅OpenAI和Azure支持 EMBEDDINGS_DIMENSIONS512 # 可选512, 1024, 1536, 3072 7种嵌入模型详细配置指南1. OpenAI嵌入模型配置OpenAI是目前最流行的嵌入模型提供商支持最新的text-embedding-3系列模型EMBEDDINGS_PROVIDERopenai EMBEDDINGS_MODELtext-embedding-3-small # 或 text-embedding-3-large RAG_OPENAI_API_KEYsk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx RAG_OPENAI_BASEURLhttps://api.openai.com/v1 # 可选自定义API端点 EMBEDDINGS_CHUNK_SIZE200 # 批处理大小避免API限流优势高质量嵌入、稳定可靠、支持维度缩减2. Azure OpenAI嵌入配置如果您使用Azure云服务可以配置Azure OpenAI嵌入EMBEDDINGS_PROVIDERazure EMBEDDINGS_MODELtext-embedding-3-small # Azure部署名称 RAG_AZURE_OPENAI_API_KEYxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx RAG_AZURE_OPENAI_ENDPOINThttps://your-resource.openai.azure.com RAG_AZURE_OPENAI_API_VERSION2023-05-15适用场景企业级部署、合规要求、Azure生态系统集成3. Hugging Face本地模型配置对于希望完全本地化部署的用户Hugging Face提供了丰富的开源模型EMBEDDINGS_PROVIDERhuggingface EMBEDDINGS_MODELsentence-transformers/all-MiniLM-L6-v2 # 默认模型 HF_TOKENxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # 可选用于私有模型热门模型推荐sentence-transformers/all-MiniLM-L6-v2- 平衡性能和速度BAAI/bge-large-en-v1.5- 中文支持优秀intfloat/e5-large-v2- 多语言能力强4. Hugging Face TEI服务配置Text Embeddings Inference(TEI)是Hugging Face的高性能推理服务EMBEDDINGS_PROVIDERhuggingfacetei EMBEDDINGS_MODELhttp://huggingfacetei:3000 # TEI服务地址特点高性能推理、GPU加速、支持批量处理5. Ollama本地LLM嵌入配置Ollama支持在本地运行各种大语言模型包括嵌入模型EMBEDDINGS_PROVIDERollama EMBEDDINGS_MODELnomic-embed-text # 或 mxbai-embed-large, llama2等 OLLAMA_BASE_URLhttp://localhost:11434 # Ollama服务地址优势完全本地化、数据隐私保护、离线可用6. Amazon Bedrock嵌入配置如果您在AWS生态系统中可以使用Bedrock服务EMBEDDINGS_PROVIDERbedrock EMBEDDINGS_MODELamazon.titan-embed-text-v1 AWS_ACCESS_KEY_IDxxxxxxxxxxxxxxxxxxxx AWS_SECRET_ACCESS_KEYxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx AWS_DEFAULT_REGIONus-east-1适用场景AWS用户、企业级安全要求、与其他AWS服务集成7. Google AI嵌入配置Google提供了两种嵌入服务Google GenAI和Vertex AI# Google GenAI配置 EMBEDDINGS_PROVIDERgoogle_genai EMBEDDINGS_MODELgemini-embedding-001 RAG_GOOGLE_API_KEYxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx # Vertex AI配置 EMBEDDINGS_PROVIDERvertexai EMBEDDINGS_MODELgemini-embedding-001 GOOGLE_APPLICATION_CREDENTIALS/path/to/service-account.json GOOGLE_CLOUD_PROJECTyour-project-id GOOGLE_CLOUD_LOCATIONus-central1⚙️ 高级配置选项批处理优化对于大规模文档处理ID-based RAG FastAPI支持批处理配置# 批处理大小设置 EMBEDDING_BATCH_SIZE750 # 每批处理的文档块数 EMBEDDING_MAX_QUEUE_SIZE3 # 内存中最大批处理队列大小 # 内存优化建议 # 内存受限环境2GB RAMEMBEDDING_BATCH_SIZE100-250 # 标准环境EMBEDDING_BATCH_SIZE750 # 高吞吐环境EMBEDDING_BATCH_SIZE1000-2000向量维度优化OpenAI和Azure支持维度缩减可以显著降低存储和计算成本# 维度缩减配置仅OpenAI/Azure支持 EMBEDDINGS_DIMENSIONS512 # 从1536缩减到512保持90%质量 # 注意维度设置后不可更改所有向量必须保持相同维度上下文长度检查默认启用上下文长度检查确保输入不超过模型限制# 禁用上下文长度检查用于自定义模型 RAG_CHECK_EMBEDDING_CTX_LENGTHfalse️ 向量数据库集成ID-based RAG FastAPI支持两种向量数据库PostgreSQL/pgvector配置VECTOR_DB_TYPEpgvector POSTGRES_DBrag_api POSTGRES_USERrag_user POSTGRES_PASSWORDyour_password DB_HOSTlocalhost DB_PORT5432 PGVECTOR_CREATE_EXTENSIONtrue # 首次运行时创建vector扩展MongoDB Atlas配置VECTOR_DB_TYPEatlas-mongo ATLAS_MONGO_DB_URImongodbsrv://username:passwordcluster.mongodb.net/ COLLECTION_NAMEvector_collection ATLAS_SEARCH_INDEXvector_index 模型性能对比模型提供商默认模型维度速度成本适用场景OpenAItext-embedding-3-small1536⭐⭐⭐⭐⭐$$$生产环境、高质量需求Azure OpenAItext-embedding-3-small1536⭐⭐⭐⭐$$$企业级、合规要求Hugging Faceall-MiniLM-L6-v2384⭐⭐⭐免费本地部署、开源优先Ollamanomic-embed-text768⭐⭐免费完全离线、隐私敏感Google GenAIgemini-embedding-001768⭐⭐⭐⭐$$Google生态系统Amazon Bedrocktitan-embed-text-v11536⭐⭐⭐$$AWS生态系统Hugging Face TEI自定义可变⭐⭐⭐⭐⭐$高性能推理 实际应用示例场景1多租户SaaS应用# 租户A使用OpenAI EMBEDDINGS_PROVIDERopenai EMBEDDINGS_MODELtext-embedding-3-large RAG_OPENAI_API_KEYsk-tenant-a-key # 租户B使用本地Hugging Face EMBEDDINGS_PROVIDERhuggingface EMBEDDINGS_MODELBAAI/bge-large-en-v1.5场景2混合云部署# 开发环境使用Ollama EMBEDDINGS_PROVIDERollama EMBEDDINGS_MODELnomic-embed-text # 生产环境使用Azure OpenAI EMBEDDINGS_PROVIDERazure EMBEDDINGS_MODELtext-embedding-3-small RAG_AZURE_OPENAI_API_KEYprod-key️ 故障排除指南常见问题1API密钥配置错误症状嵌入初始化失败提示认证错误解决方案检查环境变量命名是否正确确保使用RAG_前缀的变量常见问题2维度不匹配症状向量存储操作失败提示维度错误解决方案确保EMBEDDINGS_DIMENSIONS设置一致不要中途更改常见问题3内存不足症状处理大文件时内存溢出解决方案减小EMBEDDING_BATCH_SIZE启用批处理优化 最佳实践建议生产环境优先使用OpenAI或Azure确保服务稳定性和支持数据隐私考虑Hugging Face或Ollama本地部署成本优化使用维度缩减功能平衡质量与成本性能监控启用详细日志监控嵌入处理时间备份策略定期备份向量数据库和配置 性能调优技巧批处理优化根据您的硬件配置调整批处理参数# 内存优化配置2GB RAM以下 EMBEDDING_BATCH_SIZE100 EMBEDDING_MAX_QUEUE_SIZE2 # 平衡配置4-8GB RAM EMBEDDING_BATCH_SIZE500 EMBEDDING_MAX_QUEUE_SIZE3 # 高性能配置16GB RAM EMBEDDING_BATCH_SIZE1000 EMBEDDING_MAX_QUEUE_SIZE5连接池优化对于高并发场景调整数据库连接池PG_POOL_PRE_PINGtrue # 启用连接健康检查 PG_POOL_RECYCLE1800 # 30分钟回收连接 迁移指南如果您需要从一种嵌入模型迁移到另一种请遵循以下步骤备份现有数据导出当前向量存储测试新模型使用小批量数据验证新嵌入质量并行运行新旧系统并行运行一段时间数据迁移使用新的嵌入模型重新处理文档验证结果对比检索质量确保无性能下降 扩展自定义模型ID-based RAG FastAPI的架构设计允许轻松扩展新的嵌入模型。如果您需要集成其他提供商可以修改app/config.py中的init_embeddings函数添加新的提供商支持。 开始使用现在您已经了解了ID-based RAG FastAPI的完整多模型支持能力可以开始构建您的智能文档检索系统了。根据您的具体需求选择合适的嵌入模型配置相应的环境变量即可快速启动服务。记住多模型支持是这个框架的核心优势之一它让您能够灵活应对不同的业务场景和技术要求。无论是追求最高质量的商业服务还是需要完全控制的本地部署ID-based RAG FastAPI都能为您提供完美的解决方案。【免费下载链接】rag_apiID-based RAG FastAPI: Integration with Langchain and PostgreSQL/pgvector项目地址: https://gitcode.com/gh_mirrors/ra/rag_api创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考