语言运行时标准库JIT编译编译器【免费下载链接】runtime.NET is a cross-platform runtime for cloud, mobile, desktop, and IoT apps.项目地址https://gitcode.com/GitHub_Trending/runtime6/runtime点击查看免费下载导读本文介绍 .NET CoreCLR 中 IL 汇编器ilasm的语法解析器Parser生成流程如何在 Windows、Unix 以及 Docker 环境中使用 Bison 从 BNF 语法文件asmparse.y生成 C 解析器prebuilt/asmparse.cpp并说明配套的 GrammarExtractor 工具如何从同一语法文件提取面向文档与工具链的 BNF 文法。读完本文你将掌握 ilasm 解析器的完整再生成方法、语法文件的核心结构、预生成产物在构建系统中的作用以及如何在容器环境中快速完成解析器重建。一、背景ilasm 的语法解析器从何而来ilasmIL Assembler是 .NET CoreCLR 运行时的一部分负责把 MSIL 汇编文本.il 文件汇编为托管程序集。它的核心语法定义存放在 src/coreclr/ilasm/asmparse.y约 2000 行这是一个标准的 YaccYet Another Compiler-Compiler语法文件采用 BNFBackus-Naur Form文法描述 IL 汇编语言的词法单元与语法规则。与很多使用 Yacc 的项目不同ilasm并不在每次构建时调用 Bison而是将生成的解析器源文件预先提交到仓库中src/coreclr/ilasm/prebuilt/asmparse.cppBison 生成的 C 解析器主体src/coreclr/ilasm/prebuilt/asmparse.grammar从同一语法文件提取的纯 BNF 文法文本。构建系统直接编译这份预生成文件。在 src/coreclr/ilasm/CMakeLists.txt 中可以看到ILASM_SOURCES明确列出了prebuilt/asmparse.cpp作为编译单元它与assem.cpp、writer.cpp、method.cpp、asmman.cpp、main.cpp、assembler.cpp、portable_pdb.cpp一起组成 ilasm 可执行文件。这意味着任何对 IL 语法的修改都必须先修改asmparse.y再重新运行 Bison 生成新的asmparse.cpp并提交解析器生成是离线完成的。正因如此src/coreclr/ilasm/README.md 作为本目录的入口文档其核心价值就是回答一个问题如何在不同平台上正确地再生成asmparse.cpp。二、环境准备各平台所需的 Bison 工具生成解析器需要 Yacc/Bison 兼容工具各平台获取方式如下平台工具获取方式Windowswin_bisonWin flex-bisonhttps://github.com/lexxmark/winflexbisonUnix / Linux / macOSyaccGNU Bisonhttps://www.gnu.org/software/bisonWindows 侧推荐使用 Win flex-bison 项目提供的win_bison可执行文件它是以 Windows 原生方式移植的 Bison/flex 工具集其他平台使用 GNU 官方发布的 Bison安装后以yacc命令调用Bison 兼容传统的 Yacc 命令行接口。说明Bison 是 Yacc 的 GNU 实现向下兼容传统 Yacc 语法因此asmparse.y既可以被 Bison 处理也可以被yacc命令调用。仓库中的调用方式统一使用yacc名称。三、核心操作再生成 asmparse.cpp在任意平台上生成命令的要点都是输入asmparse.y指定输出文件为prebuilt/asmparse.cpp确保生成结果直接落入预构建目录。3.1 Unix / Linux / macOSyacc asmparse.y -o prebuilt/asmparse.cpp即调用系统 Bison 生成的yacc命令读取 src/coreclr/ilasm/asmparse.y把生成的 C 解析器写入 src/coreclr/ilasm/prebuilt/asmparse.cpp。3.2 Windowswin_bison asmparse.y -o prebuilt\asmparse.cpp在 Windows 上使用 winflexbison 提供的win_bison注意输出路径使用 Windows 风格反斜杠分隔符prebuilt\asmparse.cpp。命令必须在src/coreclr/ilasm目录下执行以便相对路径asmparse.y与prebuilt/asmparse.cpp正确解析。3.3 Docker 一键生成无需本机安装 Bison对于不想在宿主机安装 Bison 的开发者README 提供了基于 Alpine Linux 的容器化方案$ cd runtime # run a throw-away-after-exit container with --rm $ docker run --rm -v$(pwd):/runtime -w /runtime/src/coreclr/ilasm alpine \ sh -c apk add bison yacc asmparse.y -o prebuilt/asmparse.cpp逐项拆解这条命令--rm容器退出后立即删除不保留中间层避免残留垃圾容器-v$(pwd):/runtime把当前目录仓库根目录runtime挂载到容器内的/runtime-w /runtime/src/coreclr/ilasm设置容器工作目录为 ilasm 源码目录使asmparse.y相对路径可直接使用alpine使用轻量级 Alpine Linux 镜像体积小、启动快sh -c apk add bison yacc asmparse.y -o prebuilt/asmparse.cpp先通过 Alpine 包管理器安装 Bison再执行与 Unix 平台完全相同的生成命令。由于工作目录被挂载为宿主机的 ilasm 目录容器内生成的prebuilt/asmparse.cpp会直接落盘到宿主机仓库中容器销毁不影响产物。这是三种方式中最干净、最可复现的做法适合 CI 或没有本地工具链的环境。四、语法文件 asmparse.y 的内部结构要理解生成流程有必要了解被处理的输入文件 asmparse.y 的组织方式。它分为标准 Yacc 的三个区段4.1 声明区Prologue %union/%token文件头部%{ ... %}之间通过#include ilasmpch.h引入 ilasm 预编译头并#include grammar_before.cpp引入解析器辅助代码grammar_before.cpp 中定义了解析器所需的全局状态与工具函数包括YYMAXDEPTH 0x80000栈深度上限、FAIL_UNLESS断言宏全局解析指针PASM/PASMM指向汇编器与清单对象词法回调函数指针PFN_NEXTCHAR、PFN_SYM等通过SetFunctionPtrs()从解析环境注入预处理指令支持DefineVar/UndefVar/FindVarDef/IsVarDefined对应 IL 源文件中的#define/#ifdef等编译控制指令。%union定义了语法符号的值类型联合体覆盖属性标志类、方法、字段、事件、属性、PInvoke 映射等、整型/浮点/字符串字面量、BinStr二进制串、IL 指令操作码、mdToken元数据令牌等%token声明了全部词法单元例如ID、DOTTEDNAME、QSTRING、INT32_V、FLOAT64以及按类别分组的 IL 指令令牌INSTR_NONE、INSTR_VAR、INSTR_I、INSTR_BRTARGET、INSTR_METHOD、INSTR_FIELD、INSTR_SWITCH等汇编器伪指令assembler directives也以令牌形式声明如_CLASS、_METHOD、_FIELD、_TRY、_MAXSTACK、_LOCALS、_ENTRYPOINT、_CUSTOM、_PERMISSION、_ASSEMBLY等语法规则中它们以.class、.method、.try、.maxstack等形态出现。4.2 规则区%start decls 之后以%%分隔后进入语法规则。入口为decls最顶层decl规则定义了 IL 文件的模块级声明集合asmparse.y 第 189-228 行decls : /* EMPTY */ | decls decl ; decl : classHead { classDecls } { PASM-EndClass(); } | nameSpaceHead { decls } { PASM-EndNameSpace(); } | methodHead methodDecls } { ... PASM-EndMethod(); } | fieldDecl | dataDecl | vtableDecl | vtfixupDecl | extSourceSpec | fileDecl | assemblyHead { assemblyDecls } { PASMM-EndAssembly(); } | assemblyRefHead { assemblyRefDecls } { PASMM-EndAssembly(); } | exptypeHead { exptypeDecls } { PASMM-EndComType(); } | manifestResHead { manifestResDecls } { PASMM-EndManifestRes(); } | moduleHead | secDecl | customAttrDecl | _SUBSYSTEM int32 { PASM-m_dwSubsystem $2; } | _CORFLAGS int32 { PASM-m_dwComImageFlags $2; } | _FILE ALIGNMENT_ int32 { PASM-m_dwFileAlignment $3; ... } | _IMAGEBASE int64 { PASM-m_stBaseAddress (ULONGLONG)(*($2)); ... } | _STACKRESERVE int64 { PASM-m_stSizeOfStackReserve ...; } | languageDecl | typedefDecl | compControl | _TYPELIST { classNameSeq } | _MSCORLIB { PASM-m_fIsMscorlib TRUE; } ;每个规则后的{ ... }动作代码在归约时执行直接调用汇编器对象PASM的方法或写入其字段例如.subsystem、.corflags、.file alignment、.imagebase、.stackreserve等 PE 头选项正是在这里落到PASM的对应成员变量上后续由 writer 输出到 PE 文件头。4.3 辅助区%%语法规则后的用户代码规则区结束后可包含额外的 C 代码段与声明区grammar_before.cpp对应仓库中还有 grammar_after.cpp 存放规则之后的部分辅助实现。Bison 生成的asmparse.cpp会把声明区代码、规则表与这些辅助代码拼接在一起。五、配套工具GrammarExtractor 提取 BNF 文法除了生成 C 解析器仓库还提供一个名为 GrammarExtractor 的 .NET 工具用于从asmparse.y提取纯 BNF 文法输出给文档、分析工具与后续工具链使用。其使用说明见 GrammarExtractor/README.mdcd runtime ./dotnet.sh run --project src/coreclr/ilasm/GrammarExtractor src/coreclr/ilasm/asmparse.y src/coreclr/ilasm/prebuilt/asmparse.grammar执行流程通过仓库根目录的 dotnet.sh 运行 GrammarExtractor 工程src/coreclr/ilasm/GrammarExtractor/GrammarExtractor.csproj传入asmparse.y作为唯一命令行参数标准输出重定向到prebuilt/asmparse.grammar生成可直接阅读的 BNF 文法文件。5.1 提取原理基于正则的规则重写Program.cs 展示了提取逻辑它并不真正解析 Yacc 文件而是通过若干正则变换完成语法到 BNF的翻译GetRegexExtractMarkers^(.*)%%(.*)%%截取规则区两个%%之间的内容若找不到标记则报错退出GetRegexRemoveTextInBraces\s*([^])\{[^{}]*\}反复迭代删除所有{ ... }动作代码块直到不再变化因为动作块可以嵌套GetRegexKeywordIdentifiers\b([A-Z0-9_])_\b把形如CLASS_、METHOD_的关键字令牌改写为其小写字符串字面量class、methodGetRegexAssemblerDirectives\b_([A-Z0-9])\b把_CLASS、_TRY等汇编器伪指令改写为带点号的小写形式.class、.try特殊标点处理ELLIPSIS→...DCOLON→::输出固定的词法单元说明头Lexical tokens/Auxiliary lexical tokens段再拼接处理后的规则文本。5.2 输出文件 asmparse.grammar生成结果 prebuilt/asmparse.grammar 以 BNF 形式呈现 IL 文法开头的词法单元清单完整描述了两类记号基本词法单元Lexical tokens记号含义示例IDC 风格字母数字标识符Hello_There2DOTTEDNAME点分隔标识符序列System.ObjectQSTRINGC 风格双引号字符串hi\nSQSTRING单引号字符串hiINT32C 风格 32 位整数235、03423、0x34FFFINT64C 风格 64 位整数-2353453636235234、0x34FFFFFFFFFFFLOAT64C 风格浮点数-0.2323、354.3423、3435.34E-5INSTR_*各类 IL 指令参见opcode.defHEXBYTE1-2 位十六进制数A2、F0辅助词法单元Auxiliary lexical tokensTYPEDEF_T类型别名 TypeDef/TypeRef、TYPEDEF_M方法别名、TYPEDEF_F字段别名、TYPEDEF_TSTypeSpec 别名、TYPEDEF_MRMemberRef 别名、TYPEDEF_CA自定义特性别名——这些是 ilasm 的.typedef ... as ...语法糖在解析器中的实现载体。文法正文则从START : decls开始逐条列出经过动作代码剥离后的纯净 BNF 规则例如模块级声明、类声明、方法声明、自定义特性 blob、编译控制指令等可直接作为 IL 语言规范的机器可读参考。六、预生成产物的构建集成与注意事项6.1 构建系统如何消费 asmparse.cppsrc/coreclr/ilasm/CMakeLists.txt 展示了生成产物在构建中的角色编译单元明确包含prebuilt/asmparse.cpp见ILASM_SOURCESUnix 平台上对该文件做了特殊编译处理CMakeLists.txt 第 56-64 行添加-Wno-register、-Wno-array-bounds、-Wno-unused-label以压制 Bison 生成代码在 Clang/GCC 下的告警通过COMPILE_FLAGS -O0对该文件关闭优化——这是因为该预生成文件在优化下存在已知的 bad-codegen 问题注释引用了 dotnet/runtime issue #4776Windows 上额外把头文件加入ILASM_SOURCES并定义FX_VER_INTERNALNAME_STRilasm.exe。这解释了为什么建议直接提交重新生成的asmparse.cpp构建系统针对这份特定产物的行为是经过调优的任何对语法的改动都应同步更新asmparse.y与prebuilt/asmparse.cpp两份文件保证源码与生成代码一致。6.2 实操注意事项保持输出路径为prebuilt/asmparse.cpp不要输出到临时目录后手动拷贝三种平台的命令都已按此设计从src/coreclr/ilasm目录执行asmparse.y与prebuilt/的相对路径均以此目录为基准Docker 方式通过-w参数保证这一点Windows 注意反斜杠-o prebuilt\asmparse.cpp使用 Windows 路径分隔符Docker 需要挂载卷不要省略-v$(pwd):/runtime否则生成的产物只存在于容器内--rm退出后即丢失语法变更要同步两份产物修改 asmparse.y 后应同时重新运行 Bison 生成asmparse.cpp、运行 GrammarExtractor 生成asmparse.grammar保持三个文件一致。七、总结ilasm 的解析器生成是一条人工触发 产物入库的离线流程核心链路为asmparse.yYacc/BNF 语法源 │ ├── Bisonyacc / win_bison──► prebuilt/asmparse.cppC 解析器编译进 ilasm │ └── GrammarExtractordotnet run──► prebuilt/asmparse.grammar纯 BNF 文法文档无论是 Windows、Unix 还是 Docker 环境生成命令都极为精简掌握 src/coreclr/ilasm/README.md 中的这三条命令配合对 asmparse.y 规则区结构与 CMakeLists.txt 编译集成的理解即可安全地修改、再生成并验证 ilasm 的语法解析能力也能借助asmparse.grammar深入研读 .NET IL 汇编语言的完整 BNF 定义。赞分享语言运行时标准库JIT编译编译器【免费下载链接】runtime.NET is a cross-platform runtime for cloud, mobile, desktop, and IoT apps.项目地址https://gitcode.com/GitHub_Trending/runtime6/runtime点击查看免费下载相关推荐从 ABI 约束到代码生成.NET CoreCLR ARM64 JIT 栈帧布局设计详解从 ABI 约束到代码生成.NET CoreCLR ARM64 JIT 栈帧布局设计详解 阅读对象对 RyuJIT 后端尤其 ARM64感兴趣的运行时开语言运行时标准库JIT编译编译器终极Sigil CIL生成器使用指南从零到精通的.NET动态代码生成终极Sigil CIL生成器使用指南从零到精通的.NET动态代码生成 Sigil是一个功能强大的开源CIL生成工具专为.NET平台的动态代码生成和验证而设计开发工具.NET CoreCLR amd64 调试器指令解码表生成从反汇编自动构建 amd64InstrDecode.h 的完整方案.NET CoreCLR amd64 调试器指令解码表生成从反汇编自动构建 amd64InstrDecode.h 的完整方案 本文围绕 dotnet/runt语言运行时标准库JIT编译编译器上一篇如何为旧款Mac安装最新macOSOpenCore Legacy Patcher终极指南下一篇mcp-installer配置全攻略修改claude_desktop_config.json文件的详细步骤创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考