这是一篇值得认真对待的实验报告式实践帖。标题里那个“表扬 bug”的场景做代码审查的朋友应该都不陌生一段代码明明有问题LLM 的 review 却先夸了一轮“代码整洁、逻辑清晰”然后把唯一的怀疑点放在一个无关紧要的变量命名上。这次我们把问题反过来——不讨论 LLM 能不能替代人类做 code review而是搭建一整套可复现的评测流程用同一份故意埋了 bug 的代码分别让三款主流 LLM 去 review再去对比它们的输出里有多少“真问题检出”、多少“严重误报”、多少“表扬 bug”的翻车时刻。下面会从框架设计、环境准备、测试用例、批量评分到结果排查一起讲完。1. 核心能力速览能力项说明评测目标对比多个 LLM 在代码审查场景下的缺陷检出率、误报率与解释质量核心关注点模型是否会出现“漏报 赞赏 bug”的错误倾向即把问题代码当作优秀代码输入形式代码仓库、单文件 diff、结构化 prompt、审查配置规则输出形式Markdown review 报告、缺陷列表、风险等级、修改建议运行门槛线上 API 需要有效访问权限本地部署则需结合显存和模型体积评估是否支持批量可批量推荐先做单文件回归再扩展到多仓库 diff是否支持接口支持可通过 OpenAI 兼容接口或各平台原生 API 接入主要价值帮助团队在引入 LLM code review 前形成可量化的评测基线适用读者技术负责人、QA、DevOps、对 LLM 编程助手做二次开发的工程师从材料看该实验的爆发点是三个 LLM 代码审查工具在面对同一份包含缺陷的代码时至少有一份 review 出现了“明显漏检甚至给出赞美性评价”。这种偏差如果直接带入日常开发流程比单纯漏报 bug 更危险——因为它会给开发者一种虚假的安全感。2. 适用场景与使用边界LLM 代码审查不是新鲜事真正难的是如何判断“这个模型适不适合我们团队”。这套评测方案适合下面几类场景。第一个场景是选型阶段。团队准备接入 Code Review 类 LLM 工具但不知道该买哪家、该用多少并发也不知道它到底能漏掉多少真问题。用统一的测试集跑一轮比看厂商宣传页更可靠。第二个场景是规则调优。同一个模型在 prompt 里强调“考虑并发安全”和没强调结果可以差很多。评测流程可以帮助定位 prompt 策略中的薄弱项。第三个场景是防回归。模型的版本会更新API 服务偶尔会换路模型。团队可以把一套已经跑通的“标准缺陷集”做成回归用例每次上游升级后自动重跑检验审查质量有没有下滑。也要说清楚边界。第一代码审查涉及企业代码直接发送给线上 API 前必须做脱敏和权限评审。第二LLM review 的正确率下限不稳定尤其对“逻辑型缺陷”和“跨文件状态依赖”很容易漏判。第三评测结果不能替代代码规范执行人工 review 仍然是最终防线。安全边界方面不要在评测集里放含密码、密钥、真实用户信息或受版权保护的代码片段建议用合成样例、开源仓库的公开代码或去除标识的业务代码。3. 评测环境与前置条件开始跑评测前先把环境问题解决。整套流程不强制要求高配 GPU因为三个模型可以全部走云端 API也可以混合模式云端模型负责高难度逻辑推理本地小模型负责格式化、批量和预筛。3.1 基础依赖# 创建虚拟环境 python -m venv llm-review-lab source llm-review-lab/bin/activate # 安装依赖 pip install openai anthropic pydantic pandas如果是本地模型需要额外准备推理框架比如 vLLM、SGLang 或 Ollama。启动端口建议固定成 8000后续评测脚本统一从这里读取。# 示例vLLM 启动 OpenAI 兼容服务 python -m vllm.entrypoints.openai.api_server \ --model /path/to/code-model \ --served-model-name code-review-run \ --port 8000 \ --max-model-len 8192本地推理时模型越长、输入代码越大显存需求和首 token 延迟越高。评测时优先选择上下文长度不小于 8K 的模型配置低的机器可以用 4K 截断但评测结论要备注上下文上限。3.2 变量说明评测环节里的“环境变量”不只是 Python 配置也是每一条 prompt 的策略变量。需要提前把下面几类固定下来。模型名称和 API 地址。代码上下文只有一个文件还是包含仓库树。审查专注点是否限定并发、安全、性能、可维护性。输出格式纯 Markdown还是强制 JSON 结构。温度建议设为 0 到 0.2减少随机干扰保证可复现性。建议在一开始就把这些变量写进一个 JSON 配置后续逐项替换而不是每次手改 prompt。{ run_id: review-bug-001, models: [ claude-code-review-3, openai-code-review-4, local-llama-code-review ], temperature: 0.1, max_tokens: 1500, focus: 发现bug为主简洁回答, input_dir: ./test_cases, output_dir: ./results }4. 实验设计与测试用例构造标题里的场景“The Review That Praised the Bug”对应的实验假设是LLM 不只会漏报还会错误地正向表扬有缺陷代码。为了验证这个假设建议至少准备三类测试样本。第一类是普通缺陷样本。比如变量未初始化、空指针、数组越界、忘记释放资源这类问题在传统静态检查工具里很常见。LLM 如果连这类都漏掉说明基础代码理解不足。第二类是逻辑缺陷样本。这类 bug 跑静态检查大概率检查不出来比如缓存本该失效却没失效、权限判断顺序颠倒、重试逻辑可能导致死循环。它更考验模型的理解能力。第三类是“带伪装的优秀代码”样本。代码风格良好注释完整函数命名清晰但内部隐藏了一个边界条件错误。比如下面这个例子。def should_retry(response_code: int, attempt: int) - bool: Determine whether a failed request should be retried. 在真实的调用链中传入的 attempt 从 0 开始每次失败后加 1。 MAX_RETRY 3 if response_code in (500, 502, 503, 504): return attempt MAX_RETRY return False这段代码有个边界 bug当 attempt 等于 2 时条件attempt 3为 True意味着第 3 次尝试失败后返回 True还会继续请求第 4 次实际重试次数是 3 次还是 4 次取决于调用方是在请求前判断还是请求后判断。如果调用方先执行while should_retry(code, attempt): do_request(); attempt 1那么从 attempt0 开始总共可能发出 4 次请求和注释中的“最多重试 3 次”不一致。把这类代码丢给三款模型时可以通过它们的 review 输出观察到多个层次的表现有没有找到边界问题。有没有把注释当成代码本身去信任。有没有在没发现实质问题时强行夸“函数很清晰、健壮性很好”。评测时要给每个测试样例预填“标准答案标记”。每个标记包含三个字段真实缺陷是否存在、缺陷行号、缺陷类型。没有这个标记后续统计检全率就没有依据了。5. 三款 LLM 代码审查的测试过程这里以“三款模型同一套输入”为核心配置。注意在实际使用时需要把它们替换成团队的真实候选。模型 A通用云端大模型擅长推理。模型 B面向代码场景的指令模型。模型 C本地开源的代码专用模型。每一种模型都需要调用接口并记录原始输出。为了避免“偶发幻觉影响整体判断”同一个用例建议重复跑 3 次最终使用投票或结果合并的方式。5.1 基本输出格式建议在 prompt 中要求模型严格输出 JSON便于批量解析。review_prompt 你是一位资深代码评审工程师。 请审查下面的代码重点查找 bug、边界条件与性能风险。 如果发现有问题请按如下 JSON 格式输出 { found_bug: true, bug_lines: [行号], bug_type: 逻辑错误 | 空指针 | 并发问题 | 其他, explanation: 简要说明, code_quality_comment: 如果你认为代码风格良好可以补充说明但不能替代 bug 判断。 } 如果没有发现问题请输出 { found_bug: false, bug_lines: [], bug_type: null, explanation: 未发现明显问题, code_quality_comment: } 代码 {code} 用统一的解析函数提取结果避免直接让人去读回复。import json import requests def review_with_model(api_url: str, model: str, code: str) - dict: prompt review_prompt.replace({code}, code) response requests.post( api_url, json{ model: model, messages: [{role: user, content: prompt}], temperature: 0.1 }, timeout120 ) raw_content response.json()[choices][0][message][content] # 兼容模型在 JSON 前后附带说明的情况 start raw_content.find({) end raw_content.rfind(}) 1 return json.loads(raw_content[start:end])5.2 审查结果记录每次跑完 review把三份结果写入本地 CSV 或 JSONL。{ case_id: tricky_retry_bug_01, model: model_a, found_bug: false, bug_lines: [], bug_type: null, explanation: 函数逻辑正确考虑了 5xx 错误并设置了最大重试次数代码质量不错。, ground_truth_has_bug: true, ground_truth_lines: [6] }这就是“表扬 bug”的典型素材模型的found_bug是 falseexplanation却给出了正向评价。记录这类样本后续可以对模型的“错得是否自信”做追加分析。6. 从“找出 Bug”变为“评估 Bug 检出率”一次 review 的结论好坏不只看找没找到。要科学评分需要建立四个指标维度。6.1 指标定义指标含义统计方式真实缺陷检出率人工标注的 bug 中模型找出的比例检出缺陷数 / 标准缺陷总数误报率模型指出、但人工确认并不存在的问题误报数 / 模型报出问题总数严重性覆盖是否优先发现高危问题高危缺陷检出数 / 高危缺陷总数解释质量行号是否准确、原因是否可信人工打分或规则判断基于实验目的最核心的其实是第一项同时分析误报率。一个只报“感觉不对劲”但从不指出具体行号的模型对开发者帮助很小一个报了很多问题但全部是风格建议的模型又会淹没有价值的告警。6.2 批量跑分脚本评测集建好以后应该让脚本一次跑完所有用例。cases [ { id: case_001_retry, code: open(./test_cases/tricky_retry.py).read(), has_bug: True, bug_lines: [6] }, { id: case_002_clean, code: open(./test_cases/clean_sample.py).read(), has_bug: False, bug_lines: [] } ] results [] for case in cases: for model in model_list: output review_with_model(api_url, model, case[code]) results.append({ case_id: case[id], model: model, found_bug: output.get(found_bug, False), bug_lines: output.get(bug_lines, []), has_bug: case[has_bug] }) df pd.DataFrame(results) model_report df.groupby(model).apply(lambda x: { 准确检出: len(x[(x.found_bug True) (x.has_bug True)]), 漏报: len(x[(x.found_bug False) (x.has_bug True)]), 误报: len(x[(x.found_bug True) (x.has_bug False)]) }).to_dict() print(model_report)在跑完这套脚本后会得到三个模型的量化数据再根据数据定位各自适合的场景。比如本地开源模型漏报率高但延迟低、成本可预测适合做初筛或离线分析通用云端模型准确率高但延迟波动大适合做高优事件的复核。7. 接口 API 与批量任务集成评测脚本最好是后续生产级 review 管线的最初版本。所以输入和输出都要考虑接口化。7.1 OpenAI 兼容接口大多数模型推理框架都支持 OpenAI 格式。curl http://127.0.0.1:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: code-review-run, messages: [{role: user, content: 请审查这段代码...}], temperature: 0.1 }如果不方便跑本地模型直接用各家 SaaS API 也是一样的结构只替换base_url和api_key。7.2 一次审查多个文件的批量任务在本地 MR 评审中一次会上提交十几个文件。批量跑批时建议按文件粒度并行但要控制并发数避免触发 API 限流。实践上推荐四步式批任务将变更文件按类型分类只对源码文件做完整 review。提取新增和变更的函数而非整个仓库历史。每个文件生成独立的 request并把文件路径和 git commit 信息附加到 prompt。合并输出时按文件排序同一个函数的多条建议可再聚合。{ task: review_batch, batch_id: pr_20250326, files: [ { path: backend/service/order.py, diff: ... }, { path: backend/util/retry.py, diff: ... } ] }批处理逻辑必须要有失败重试和超时保护否则文件多了之后很容易因为单点超时让整批中断。7.3 结果自动落库与标记批量审查结束以后不要只看控制台要把输出统一落成 JSON 或数据库记录。方便继续和人工评审结果对账形成“AI 找完 bug人工只看高风险项”的协作流。8. 资源占用与性能观察评测一个代码审查系统性能不只是“响应快不快”还要关注三项输入 token 成本、输出稳定性、以及本地部署时的显存占用。8.1 Token 消耗模型一次代码审查的成本大致等于prompt 固定指令部分通常 500 到 1000 token。代码内容本身与代码行数成正比。模型输出结果通常在 200 到 1500 token 之间。历史会话如果太长还会额外累积上下文 token。所以批量跑批时建议只把“当前文件 diff”传给模型不要把所有改动文件一起塞进去节省 cost 是一方面更重要的是减少上下文噪音让模型聚焦关键逻辑。8.2 显存与硬件观察方法本地推理时显存占用可以通过 nvidia-smi 实时观察。watch -n 1 nvidia-smi随着并发 request 增加显存占用会明显上涨建议先在单并发下跑通再压测并发数。如果同一台机器既跑代码审查又跑 CI 任务需要为推理服务预留独立显存避免 OOM。CPU 推理可以作为兜底但代码审查中需要分析长上下文的依赖CPU 的批处理延时会比较高。更合理的兜底方案是把最耗时的逻辑判断交给云端模型本地 CPU 只做规则预筛和格式校验。8.3 降低噪音的调优手段模型出现“表扬 bug”的很大原因是 prompt 本身没有要求区分“风格描述”和“bug 报告”。如果 prompt 不强制输出 JSON很多模型会先写一段“整体上看代码写得不错”这会误导阅读者忽略后续真正的缺陷。实测中比较有效的方案是在 prompt 中写入“你可以表扬代码风格但必须出现在第二个字段之后”。要求最终答案中必须给出“风险等级”宁愿没有风格评价也不能漏掉风险项。如果模型连续多次输出“未发现问题”评测脚本可以做标记人工重点复核。9. 常见问题与排查方法问题现象可能原因排查方式解决方案模型输出不是合法 JSONprompt 未强制结构模型自行附带解释查看原始 output 前后缀用字符串裁剪提取{}区间并修正 prompt 示例本地模型一直 OOM上下文太长或并发过高观察 nvidia-smi、任务日志降低max_model_len、降并发、换更长上下文机型模型对所有干净代码都报告 bugprompt 要求过于严格增大“误报率”统计占比对标准答案标注has_bug: false样本做回归“表扬 bug”场景大量出现模型对优秀风格的注意力强于逻辑分析检查 prompt 是否引导了风格评价增加“只要风险”模块把风格建议单独隔离GitHub PR 集成报 401API key 无权限curl 直接调接口测试配置正确权限检查网络与代理批量跑批中途失败并发触上限查看限流 code降低并发数增加指数退避重试本地模型上下文被截断max_model_len 小于代码prompt查看服务启动参数增大模型上下文窗口或对文件拆块“模型把干净代码误报成 bug”是另一个高价值对比点。这类误报有较强的欺骗性开发者可能花费大量时间解释“这里其实不会有问题”。测试集里必须放 30% 以上的干净代码否则评测指标会偏向只会“无脑挑刺”的模型。10. 工程化建议让评测过程变成长期资产评测方案最好可以直接沉淀为团队的长期代码质量资产而不仅仅是一篇实验报告。下面几条是值得实践的思路。第一建立“标准缺陷集”。把开发历史上真实出现过的典型 bug脱敏后整理成基准测试数据。每条标注缺陷位置、代码语言、修复 diff。标准缺陷集建议控制在 50 到 200 个之间覆盖后端、前端、脚本、SQL 等领域。第二建立模型版本白名单。每次切换 API 模型、更新本地 checkpoint、调整 prompt 时都跑一遍标准缺陷集观察指标变化。核心指标只要出现 5% 以上的下降就应该暂停上线排查。第三将人工 review 的结论作为反馈。AI 指出一个 bug工程师修完之后不要直接关单记录“该 bug 是否由 AI 首次发现”。积累一段时间后才真正知道“哪种缺陷交给 AI 收益最高”。第四关注 bug 的分布类型。从搜索引擎热词里也能看到很多团队对 LLM 代码审查的讨论集中在“bug 观察员”“误报”“如何区分前后端 bug”。这说明大家早已过了“新鲜期”现在关注点已经转向“怎么让 AI 更准”。建立分类统计表按缺陷类型统计模型表现比只看一个总分更能指导实际动作。例如对空指针类问题模型 A 检出率 80%对并发类问题模型 A 检出率只有 20%。那使用时就可以设置规则并发相关变更必须人工复核空指针相关变更可以直接信任 AI 建议。11. 总结与下一步这次实验真正值得关注的不是“哪家模型才更准”而是“评测过程的完整性”。LLM code review 的幻觉问题会在代码这种高语境场景下被放大尤其是它的“表扬 bug”现象容易让团队建立错误的安全感。在面对这个问题时先搭建可量化的评测集合再批次运行三款模型的结果最后让指标说话才是比较稳妥的判断路径。可以先从一个小工具开始找一个 200 行以内的 Python 文件手工植入 3 个边界型缺陷再用三家模型的 API 跑一遍看它们的输出是否稳定复现“代码不错、没有大问题”这种空洞结论。如果你在跑完这个基线后也遇到了标题里的情况可以再去做一个专门的回归测试集专门测试 LLM 代码审查对关键缺陷的识别能力。整体判断建议以本机真实数据和团队代码场景为准。