静态分析SAST应用安全漏洞扫描代码质量【免费下载链接】codeqlCodeQL: the libraries and queries that power security researchers around the world, as well as code scanning in GitHub Advanced Security项目地址https://gitcode.com/gh_mirrors/co/codeql点击查看免费下载导读本文基于 CodeQL 仓库中 cpp/ql/lib/change-notes/released/6.1.0.md 这一版本的发布说明深入讲解该版本为 C 分析库带来的两项核心变化一是为Compilation类新增的getAnExpandedArgument/getExpandedArgument两个谓词使查询能够读取经过响应文件response file展开后的真实编译器参数二是针对区间分析range analysis在极端场景下的性能修复。读完本文你将掌握如何用新谓词编写能穿透file间接参数的查询并理解区间分析性能改进背后的原理与边界。1. 6.1.0 版本发布说明原文6.1.0 的发布说明位于 cpp/ql/lib/change-notes/released/6.1.0.md内容十分精炼共分为两节New FeaturesCompilation类新增谓词getAnExpandedArgument与getExpandedArgument用于获取响应文件展开之后的编译参数。Bug Fixes在区间分析原本可能耗时过长的场景下改进其性能。这一版本说明同样被收录在 cpp/ql/lib/CHANGELOG.md 的 6.1.0 章节中保持完全一致。下文将分别对这两项内容做源码级展开。2. 新特性Compilation 类的响应文件参数展开谓词2.1 背景什么是响应文件response file在大型 C/C 项目中构建系统如 CMake、Ninja、Make经常会把一长串编译参数写入一个文本文件再通过file语法把它传给编译器。例如gcc args.rsp main.c其中args.rsp的内容可能是-I/usr/include -DDEBUG1 -O2在这种调用方式下编译器实际收到的参数既包含命令行上的直接参数如main.c也包含响应文件内部展开出来的参数如-I/usr/include、-DDEBUG1、-O2。对静态分析而言如果只读取命令行原始参数就会丢失响应文件里蕴含的宏定义、头文件搜索路径等关键信息从而影响查询对编译上下文的判断。2.2 源码实现新谓词的定义新谓词定义在 cpp/ql/lib/semmle/code/cpp/Compilation.qll 的Compilation类中。该类表示一次编译器调用其文档明确指出一次调用可能编译多个文件例如gcc -c f1.c f2.c f3.c。新增的两个谓词紧跟在原有参数谓词之后/** * Gets an expanded argument passed to the extractor on this invocation. */ string getAnExpandedArgument() { result this.getExpandedArgument(_) } /** * Gets the ith expanded argument passed to the extractor on this * invocation. * * This is similar to getArgument, but for a someFile argument, it * includes the arguments from that file, rather than just taking the * argument literally. */ string getExpandedArgument(int i) { if exists(string arg | compilation_expanded_args(this, _, arg)) then compilation_expanded_args(this, i, result) else result this.getArgument(i) }逐行解析这段实现getAnExpandedArgument()是无参数版本等价于“存在某个索引i使得getExpandedArgument(i)成立”即枚举出本次编译调用展开后的任意一个参数适合与exists、聚合或集合语义搭配使用。getExpandedArgument(int i)是有索引版本返回第i个展开后的参数。它遵循一条重要的回退逻辑先判断数据库里是否存在compilation_expanded_args(this, _, arg)关系若存在则从展开参数表中取数若不存在则回退到原有谓词getArgument(i)返回未展开的原始参数。这意味着新谓词对旧数据库是向后兼容的——即便某次提取没有记录展开参数查询也不会报错而是静默退回原始参数。这种if exists ... then ... else ...的写法也保证了谓词在任意索引上都有定义不会出现“空洞”。2.3 底层数据库关系compilation_expanded_args新谓词背后对应的数据库表定义在 cpp/ql/lib/semmlecode.cpp.dbscheme 中与既有的compilation_args表并列#keyset[id, num] compilation_args( int id : compilation ref, int num : int ref, string arg : string ref ); /** * The expanded arguments that were passed to the extractor for a * compiler invocation. This is similar to compilation_args, but * for a someFile argument, it includes the arguments from that * file, rather than just taking the argument literally. */ #keyset[id, num] compilation_expanded_args( int id : compilation ref, int num : int ref, string arg : string ref );两张表的结构完全一致id关联到compilation实体num是参数序号arg是参数字符串并以#keyset[id, num]保证“一次编译调用 一个序号”唯一对应一个参数。差异仅在于语义compilation_args记录 extractor 收到的原始参数而compilation_expanded_args记录响应文件展开后的参数。这一点在表注释中被明确表述为“similar tocompilation_args, but for asomeFileargument, it includes the arguments from that file”。compilation_expanded_args是一个较新的表在 cpp/downgrades 与 cpp/ql/lib/upgrades 目录下的多组升级/降级脚本如1a6854060d5d3ada16c580a29f8c5ce21f3367f8目录中的upgrade.properties含有compilation_expanded_args.rel: delete可以印证该表经历了数据库 schema 的演进需要配套的升级与降级路径。这也解释了为何 6.1.0 选择用“存在则用、不存在则回退”的防御式写法。2.4 与宏展开谓词的对应关系getExpandedArgument 的命名惯例值得注意的是Compilation.getExpandedArgument并非仓库中第一个使用“ExpandedArgument”命名的谓词。在 cpp/ql/lib/semmle/code/cpp/Macro.qll 的宏调用类中早已存在同名谓词getExpandedArgument(int i)用于获取宏调用的第i个展开后实参其底层关系为macro_argument_expanded并与getUnexpandedArgument形成对比其文档特别说明若宏定义未使用该参数extractor 为效率考虑会跳过展开计算此时结果为空字符串。两者名字相同、语义精神一致都是在“字面形态”与“展开形态”之间提供后者的访问入口。Compilation上的展开对象是响应文件MacroInvocation上的展开对象是宏实参。在阅读查询代码时需要注意区分二者所属类避免混淆。2.5 使用场景与示例查询新谓词最直接的用途是诊断构建配置当查询需要了解某个编译单元实际使用了哪些宏定义或包含路径而构建系统把它们藏在响应文件中时可以用展开参数拿到完整信息。例如查找所有使用了-DDEBUG1的编译调用import semmle.code.cpp.Compilation from Compilation c where c.getAnExpandedArgument() -DDEBUG1 select c, c.getAnExpandedArgument()或者按索引定位展开后参数并与未展开参数对照import semmle.code.cpp.Compilation from Compilation c, int i where c.getExpandedArgument(i) -O2 select c, i, c.getArgument(i), c.getExpandedArgument(i)在编写这类查询时请注意若数据库不存在展开参数表旧版本提取结果getExpandedArgument(i)会回退为getArgument(i)因此“未展开参数为空而展开参数非空”的判断应结合具体数据库版本使用。3. Bug 修复区间分析Range Analysis性能改进3.1 区间分析是什么区间分析range analysis是 CodeQL C 库中用于推断变量取值范围的核心静态分析组件。其实现位于 cpp/ql/lib/experimental/semmle/code/cpp/rangeanalysis/RangeAnalysis.qll模块RangeAnalysis。该模块的文档注释给出了清晰的原理框架区间分析把“取值边界”当作一个流问题来求解。以注释中的例子为例len arr.length; if (x len) { ... y x-1; ... y ... }分析希望推断出y arr.length - 2其途径是沿着一系列步骤跟踪边界arr.length -- len .. -- x len -- x-1 -- y .. -- y实现上模块定义了带整数增量的步进关系boundFlowStepI1 --(delta)-- I2表示“若I1 B则可推出I2 B delta”完整的区间分析则计算该步进关系的传递闭包并对沿途delta求和对应谓词boundedInstruction。边界有两种形式相对于 0 的常量边界或相对于某个程序值由ValueNumber表示一组取值必然相同的Instruction的相对边界。此外模块还专门处理了 phi 节点的两种情形前向输入取最大值、回边上的非递增证明以支持循环内边界的推导。3.2 性能问题的表现与修复方向6.1.0 发布说明中的修复表述是Improve performance of the range analysis in cases where it would otherwise take an exorbitant amount of time.即在原本会耗费“极其漫长”时间的场景下提升区间分析性能。这与更早版本的一次修复形成了清晰的演进脉络——4.3.1 的发布说明cpp/ql/lib/change-notes/released/4.3.1.md记载Fixed an infinite loop insemmle.code.cpp.rangeanalysis.new.RangeAnalysiswhen computing ranges in very large and complex function bodies.从这两条记录可以推断区间分析是基于传递闭包求解的其开销与函数体的指令数量、phi 节点数量以及条件分支的复杂程度高度相关。在“非常大且复杂的函数体”中闭包计算可能陷入无限循环4.3.1 修复或即便不循环也呈超线性膨胀、耗时失控6.1.0 修复。6.1.0 的性能改进正是针对后一种“exorbitant amount of time”的情形通过优化闭包计算路径或削减冗余求值来收敛耗时。由于区间分析被大量下游查询复用数组越界、整数溢出、缓冲区大小等检查通常都依赖取值边界推断该项性能修复带来的收益是全局性的所有依赖范围信息的查询在最坏情况输入上的运行时间都会得到改善。3.3 对查询编写者的实际影响对查询作者而言这一 Bug Fix 通常无需修改查询代码属于透明升级。需要注意的边界情况是区间分析结果的语义未变只是计算更快不应对既有结果集合产生破坏性变化。若你的查询依赖区间分析且曾在超大函数体上遇到超时升级到 6.1.0 后可以重新评估其耗时表现。区间分析本身仍位于experimental目录cpp/ql/lib/experimental/semmle/code/cpp/rangeanalysis/RangeAnalysis.qll使用时应通过其所属查询包引入并留意实验性 API 在后续版本中可能调整。4. 如何在当前仓库中验证与跟进如果你希望在本仓库中亲自验证以上内容可以按以下路径查阅发布说明原文cpp/ql/lib/change-notes/released/6.1.0.md以及汇总版 cpp/ql/lib/CHANGELOG.md 的 6.1.0 章节。新谓词实现cpp/ql/lib/semmle/code/cpp/Compilation.qll 中的getAnExpandedArgument/getExpandedArgument约第 97114 行。数据库 schemacpp/ql/lib/semmlecode.cpp.dbscheme 中compilation_args与compilation_expanded_args两表的并列定义约第 4462 行schema 演进可对照 cpp/downgrades 与 cpp/ql/lib/upgrades 目录下的对应哈希目录。区间分析实现cpp/ql/lib/experimental/semmle/code/cpp/rangeanalysis/RangeAnalysis.qll 的模块文档与核心谓词boundFlowStep、boundedInstruction。历史性能修复对照cpp/ql/lib/change-notes/released/4.3.1.md 中关于rangeanalysis.new.RangeAnalysis无限循环修复的记录可与 6.1.0 的性能改进相互印证。5. 小结CodeQL C 6.1.0 虽然发布说明极为精简但两项变更都指向实际痛点Compilation.getAnExpandedArgument/getExpandedArgument补齐了“响应文件展开参数”这一数据访问缺口且通过回退逻辑保证了与旧数据库的兼容性区间分析性能修复则让依赖取值边界推断的查询在面对超大函数体时不再耗时失控。理解这两处变更的源码实现与演进脉络有助于你更准确地编写编译上下文相关的查询并合理预期区间分析在最坏情况输入下的行为。赞分享静态分析SAST应用安全漏洞扫描代码质量【免费下载链接】codeqlCodeQL: the libraries and queries that power security researchers around the world, as well as code scanning in GitHub Advanced Security项目地址https://gitcode.com/gh_mirrors/co/codeql点击查看免费下载相关推荐CodeQL C 库 0.0.10 新增特性Variable::isStructuredBinding 谓词详解CodeQL C 库 0.0.10 新增特性 Variable::isStructuredBinding 谓词详解 CodeQL 的 C 查询库在版本静态分析SAST应用安全漏洞扫描代码质量CodeQL C/C 分析库 5.3.0 版本解析弃用 API、数据流新谓词与 Arm/OCI 模型增强CodeQL C/C 分析库 5.3.0 版本解析弃用 API、数据流新谓词与 Arm/OCI 模型增强 本文以 CodeQL 仓库中 cpp/ql/li静态分析SAST应用安全漏洞扫描代码质量CodeQL C 库 0.12.3 版本解析SecurityOptions 弃用、新数据流谓词与 IRGuards 迁移CodeQL C 库 0.12.3 版本解析SecurityOptions 弃用、新数据流谓词与 IRGuards 迁移 本篇技术指南聚焦 CodeQL静态分析SAST应用安全漏洞扫描代码质量上一篇NetworkX 图子式算法全解析节点/边收缩与商图Minors 模块实战指南下一篇agno 分布式 RAG 团队实战指南基于 Team 的多智能体检索架构创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考