最近在帮团队做 LLM 选型发现一个挺有意思的现象大家讨论时最常问的是“哪个模型效果最好”但真正用起来最先遇到的瓶颈往往是“为什么这么慢”“为什么并发一高就报错”“为什么半夜调用总失败”。这其实反映了一个问题我们对 LLM 的评估太容易停留在“效果”这个单一维度上。效果当然重要但延迟、吞吐量、稳定性这些工程指标往往才是决定一个模型能不能真正进入生产环境的关键。举个例子有个团队选型时看中了某个模型在特定任务上的准确率结果上线后发现平均响应时间超过 5 秒用户根本等不及。另一个团队测试时单次调用很快但并发超过 10 就频繁超时最后只能临时降级。还有团队发现模型提供商在特定时段经常维护导致业务高峰期调用失败。这些都不是“效果”问题但每一个都可能让再好的模型也无法落地。所以今天我想系统聊聊怎么评估不同 LLM 提供商在延迟、吞吐量和正常运行时间上的表现。这不是一个简单的性能测试指南而是一套从单次验证到批量测试再到长期监控的完整评估框架。1. 为什么不能只看准确率延迟、吞吐量和稳定性才是生产环境的生死线在实验室环境里我们更关心模型在测试集上的表现。但在真实业务中用户不会等你慢慢推理系统不会因为你用了最先进的模型就自动扩容业务也不会因为提供商维护就暂停运营。1.1 延迟用户能等多长时间决定了模型能不能用延迟是用户最直接的体验。一般来说对话场景响应时间最好在 1-2 秒内超过 3 秒用户就会明显感知到卡顿内容生成根据生成长度5-10 秒可能是可接受的上限后台任务如果没有实时交互需求可以适当放宽但也要考虑任务队列的堆积问题但延迟不是一个固定值。你需要关注几个关键指标P50 延迟中位数代表大多数请求的体验P95/P99 延迟长尾延迟代表最慢的那部分请求冷启动延迟第一次调用或长时间未调用后的延迟可能比正常情况慢数倍测试时不能只测几次而要在不同时间段、不同负载下多次测试才能得到有代表性的数据。1.2 吞吐量系统能承受多大压力决定了模型能撑多大业务吞吐量决定了你的系统能同时服务多少用户。这里有几个关键概念QPSQueries Per Second每秒能处理的请求数并发用户数同时在线并发送请求的用户数量最大吞吐量系统在可接受延迟范围内的最大处理能力测试吞吐量时要注意单纯提高并发数可能没有意义因为很多提供商会对单个账户或 API Key 进行限流。你需要了解提供商的限流策略比如每秒最大请求数每分钟/每小时最大 token 数并发连接数限制突发流量的处理方式1.3 正常运行时间服务能不能持续可用决定了业务敢不敢依赖正常运行时间通常用 SLAService Level Agreement来衡量比如 99.9% 的可用性意味着每月最多有 43.2 分钟的不可用时间。但 SLA 数字背后还有几个需要关注的点维护窗口提供商是否定期维护维护时间是否在你的业务高峰期故障恢复时间出现问题时平均需要多长时间恢复地域可用性不同地域的服务质量是否一致降级策略提供商是否提供备选方案或自动故障转移2. 搭建测试环境从单次调用到压力测试的完整路径评估性能不能靠感觉需要有一套可重复的测试方法。下面是我在实践中总结的测试流程。2.1 环境准备确保测试结果可比性测试环境要尽可能接近生产环境# 示例设置测试环境变量 export API_KEYyour_api_key export ENDPOINThttps://api.provider.com/v1/chat/completions export MODEL_NAMEgpt-4 # 根据测试的模型调整测试机器要保证网络稳定最好使用与生产环境相同的网络配置。如果测试国内外的提供商还要考虑网络延迟的影响。2.2 单次调用测试建立性能基线先进行单次调用测试了解最基本的性能表现import time import requests import json def test_single_request(api_key, endpoint, model, prompt): headers { Authorization: fBearer {api_key}, Content-Type: application/json } data { model: model, messages: [{role: user, content: prompt}], max_tokens: 100 } start_time time.time() response requests.post(endpoint, headersheaders, jsondata) end_time time.time() latency end_time - start_time return latency, response.status_code, response.json() # 测试不同长度的输入 test_prompts [ 你好, # 短文本 请用300字左右介绍人工智能的发展历史, # 中等长度 详细分析当前大语言模型的技术架构、应用场景和未来发展趋势 # 长文本 ] for prompt in test_prompts: latency, status, result test_single_request(api_key, endpoint, MODEL_NAME, prompt) print(fPrompt length: {len(prompt)}, Latency: {latency:.2f}s, Status: {status})这个阶段要测试不同输入长度、不同参数配置下的延迟表现建立性能基线。2.3 并发测试了解系统的处理能力单次调用没问题不代表能承受并发压力。使用并发测试工具模拟真实场景import concurrent.futures import statistics def concurrent_test(api_key, endpoint, model, prompt, concurrent_users10, requests_per_user10): latencies [] def single_user_requests(user_id): user_latencies [] for i in range(requests_per_user): latency, status, result test_single_request(api_key, endpoint, model, prompt) if status 200: user_latencies.append(latency) time.sleep(0.1) # 模拟用户思考间隔 return user_latencies with concurrent.futures.ThreadPoolExecutor(max_workersconcurrent_users) as executor: futures [executor.submit(single_user_requests, i) for i in range(concurrent_users)] for future in concurrent.futures.as_completed(futures): latencies.extend(future.result()) return latencies # 测试不同并发数下的表现 concurrency_levels [1, 5, 10, 20, 50] results {} for concurrency in concurrency_levels: print(fTesting with {concurrency} concurrent users...) latencies concurrent_test(api_key, endpoint, MODEL_NAME, 测试请求, concurrency, 10) if latencies: results[concurrency] { p50: statistics.median(latencies), p95: statistics.quantiles(latencies, n20)[18], # 95th percentile success_rate: len(latencies) / (concurrency * 10) }通过这个测试你可以看到随着并发数增加系统的响应时间和成功率如何变化。2.4 长时间运行测试检测稳定性问题有些问题不会在短时间测试中暴露需要长时间运行来发现内存泄漏问题连接池耗尽令牌刷新问题提供商端的性能衰减建议至少进行 4-8 小时的持续测试观察性能指标的变化趋势。3. 关键性能指标解读什么才是“好”的性能拿到测试数据后怎么判断性能是否达标这需要结合业务需求来定。3.1 延迟指标的业务含义延迟范围用户体验适用场景 1秒几乎无感知实时对话、快速问答1-3秒可接受大多数交互场景3-5秒明显等待内容生成、复杂推理 5秒不可接受仅限后台异步任务但要注意延迟的一致性也很重要。如果 P99 延迟是 P50 的 10 倍以上说明系统存在严重的长尾问题。3.2 吞吐量的合理预期吞吐量需求完全取决于业务规模小型应用10-50 QPS中型应用50-500 QPS大型应用500 QPS测试时要关注吞吐量的增长曲线。理想的系统应该在达到最大吞吐量之前延迟保持相对稳定。3.3 正常运行时间的实际影响99.9% 的可用性听起来很高但具体到业务影响可用性每月宕机时间业务影响99%7.2小时可能影响用户体验99.9%43.2分钟大多数业务可接受99.99%4.32分钟关键业务要求99.999%25.9秒金融级要求4. 不同提供商的性能特点分析基于公开数据和测试经验不同提供商在性能上各有特点4.1 国际主流提供商OpenAI GPT 系列优势模型成熟文档完善生态系统完整延迟通常 1-3 秒受网络影响较大吞吐量限流相对严格需要合理设计重试机制稳定性SLA 明确但国内访问可能不稳定Anthropic Claude优势上下文长度支持好推理能力强延迟相对稳定长文本处理有优势吞吐量并发限制较为宽松稳定性北美地区表现较好4.2 国内提供商百度文心一言优势国内网络优化好中文理解强延迟国内访问快通常 0.5-2 秒吞吐量企业版支持较高并发稳定性符合国内监管要求阿里通义千问优势与阿里云生态集成好延迟云服务内网调用延迟低吞吐量可根据业务需求灵活调整稳定性阿里云基础设施支持4.3 开源模型自部署Llama 系列优势完全可控成本固定延迟取决于部署硬件和优化程度吞吐量硬件决定上限需要自行优化稳定性自己维护责任自负5. 性能优化实践从调用方式到系统架构测试发现问题后如何优化这里有几个层次的解决方案。5.1 调用层面的优化批量处理多个请求合并为一个批量请求减少网络开销def batch_requests(api_key, endpoint, model, prompts): headers { Authorization: fBearer {api_key}, Content-Type: application/json } # 将多个prompt合并为一个批量请求 messages_list [[{role: user, content: prompt}] for prompt in prompts] data { model: model, messages: messages_list, # 支持批量处理的API max_tokens: 100 } start_time time.time() response requests.post(endpoint, headersheaders, jsondata) end_time time.time() return end_time - start_time, response.json()连接复用使用 HTTP 连接池避免重复建立连接的开销import requests from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry session requests.Session() retry_strategy Retry( total3, backoff_factor1, status_forcelist[429, 500, 502, 503, 504], ) adapter HTTPAdapter(max_retriesretry_strategy, pool_connections10, pool_maxsize10) session.mount(http://, adapter) session.mount(https://, adapter)5.2 系统架构优化缓存策略对相同或相似的请求结果进行缓存import redis import hashlib import json class LLMCache: def __init__(self): self.redis_client redis.Redis(hostlocalhost, port6379, db0) def get_cache_key(self, model, prompt, parameters): content f{model}_{prompt}_{json.dumps(parameters, sort_keysTrue)} return hashlib.md5(content.encode()).hexdigest() def get(self, key): result self.redis_client.get(key) return json.loads(result) if result else None def set(self, key, value, expire3600): # 默认缓存1小时 self.redis_client.setex(key, expire, json.dumps(value))异步处理对于非实时需求使用消息队列进行异步处理import asyncio import aiohttp async def async_llm_request(session, api_key, endpoint, model, prompt): headers { Authorization: fBearer {api_key}, Content-Type: application/json } data { model: model, messages: [{role: user, content: prompt}], max_tokens: 100 } async with session.post(endpoint, headersheaders, jsondata) as response: return await response.json() async def batch_async_requests(api_key, endpoint, model, prompts): async with aiohttp.ClientSession() as session: tasks [] for prompt in prompts: task async_llm_request(session, api_key, endpoint, model, prompt) tasks.append(task) results await asyncio.gather(*tasks) return results5.3 降级和容错机制多提供商备份不要把所有鸡蛋放在一个篮子里class MultiProviderLLM: def __init__(self, providers): self.providers providers # 多个提供商配置 self.current_provider 0 def call_with_fallback(self, prompt): for i in range(len(self.providers)): try: provider self.providers[(self.current_provider i) % len(self.providers)] result self._call_provider(provider, prompt) self.current_provider (self.current_provider i) % len(self.providers) return result except Exception as e: print(fProvider {i} failed: {e}) continue raise Exception(All providers failed)6. 长期监控和持续优化性能评估不是一次性的工作需要建立持续的监控体系。6.1 关键监控指标建立监控看板跟踪以下指标实时延迟分布P50/P95/P99每分钟请求数和错误数提供商可用性状态Token 使用量和成本趋势6.2 告警机制设置根据业务需求设置合理的告警阈值延迟超过 3 秒的请求比例 5%错误率连续 5 分钟 1%提供商状态异常6.3 定期性能回归测试每月或每季度重新运行性能测试比较与之前的差异及时发现性能衰减问题。7. 选型决策框架如何平衡性能、成本和效果最后提供一个实用的选型决策框架。不要追求完美的提供商而要找到最适合当前业务阶段的方案。7.1 评估矩阵为每个候选提供商在以下维度打分1-5 分维度权重提供商A提供商B提供商C延迟性能30%吞吐能力25%稳定性20%成本15%模型效果10%7.2 阶段化策略根据业务发展阶段选择不同策略初创期优先考虑开发速度和稳定性选择文档完善、生态系统成熟的提供商成长期平衡性能和成本可能需要在多个提供商间分配流量成熟期构建多提供商架构实现自动故障转移和负载均衡7.3 风险控制清单在最终决策前检查以下风险点[ ] 是否测试过业务高峰期的性能表现[ ] 是否了解提供商的限流和配额政策[ ] 是否有降级方案和备用提供商[ ] 是否设置了足够的监控和告警[ ] 团队是否熟悉该提供商的问题排查方法评估 LLM 提供商的性能是一个需要持续投入的工作但这份投入是值得的。一个好的性能基础能让你的 AI 应用在用户体验、系统稳定性和业务扩展性上都获得显著优势。最关键的是要把性能评估当作一个系统工程而不是一次性的测试任务。从单次验证到压力测试从即时监控到长期优化每个环节都需要精心设计和执行。在实际落地时我建议先从最重要的 2-3 个场景开始建立完整的性能评估流程然后再逐步扩展到其他场景。这样既能快速获得价值又能在过程中不断完善你的评估体系。