Wasmtime 中的 Pulley：可移植字节码与快速解释器的设计剖析

Wasmtime 中的 Pulley可移植字节码与快速解释器的设计剖析【免费下载链接】wasmtimeA lightweight WebAssembly runtime that is fast, secure, and standards-compliant项目地址: https://gitcode.com/gh_mirrors/wa/wasmtimePulley 是 Wasmtime 运行时内置的一套可移植字节码portable bytecode与快速解释器fast interpreter其核心目标是可移植性、次要目标是快速的解释执行。本文围绕 pulley/README.md 展开深入解读 Pulley 的定位、字节码设计原则与指令集规范并结合仓库内pulley/与cranelift/的源码实现说明它如何通过不为每条指令物化enum、可变长编码、超级指令、单一 opcode 分支等手段同时获得紧凑的字节码与高效的软件解码以及如何通过--target pulley64在 Wasmtime 中直接使用。AboutPulley 是什么、不是什么Pulley 是用于 Wasmtime 的可移植字节码和快速解释器见 pulley/README.md。它的两个目标有明确的优先级排序首要目标可移植性portability——字节码本身是目标无关的target-independent编译目标目前仅以**指针宽度32/64 位和字节序endianness**为参数见 pulley/src/lib.rs 中for_each_op!的指令设计指南。次要目标快速解释fast interpretation——在保证可移植的前提下尽量提升解释器每轮循环所做的工作量。同时README 明确列出了 Pulley 的非目标这些边界对理解它的架构至关重要不是一个简单的参考解释器reference interpreter不支持动态切换到 JIT 编译的代码即不用于运行时热切换路径不追求成为全世界最快的解释器。因此Pulley 在 Wasmtime 中的定位是一个解释执行的稳定后端而非与原生 JIT 竞争吞吐率的执行引擎。关于其动机、目标与非目标更完整的背景可参考 Bytecode Alliance 的 RFCbytecodealliance/rfcs仓库中的accepted/pulley.mdREADME 中亦保留了该链接。示例f(a, b) a b的反汇编README 给出了 Pulley 当前对f(a, b) a b的反汇编结果0: 2f push_frame 1: 12 00 04 xadd32 x0, x0, x1 4: 30 pop_frame 5: 00 ret逐条解读这段字节码偏移0处的0x2f是push_frame指令一个单字节指令对应for_each_op!中的push_frame PushFrame;语义为push lr; push fp; fp sp。偏移1处是xadd32 x0, x0, x1操作码0x12加上两个字节的BinaryOperands立即数。xadd32执行 32 位回绕加法low32(dst) low32(src1) low32(src2)这里把x1第二个参数加到x0第一个参数也作为返回值寄存器。偏移4处是pop_frame与push_frame对称sp fp; pop fp; pop lr。偏移5处是ret把控制权转移到lr寄存器所指向的返回地址。README 同时指出这里存在可优化空间该函数体没有使用任何栈槽stack slots却仍分配和释放了一个栈帧——这类冗余正是 Pulley 作为进行中项目work in progress持续演进的例子。从这条反汇编还可以观察到 Pulley 的一个关键特征push_frame和pop_frame等常见指令是单字节 opcode而xadd32这类带寄存器操作数的指令则由 opcode 紧凑的 16 位BinaryOperands组成——这正是下文可变长编码原则的直观体现。字节码设计原则六条核心准则README 的 Principles 一节给出了六条作者自称不完整、有时互相冲突的设计准则它们是理解整个pulley/目录实现的钥匙。1. 字节码必须简单且能快速软件解码Pulley 刻意避免过度复杂的位打包bitpacking只有在 benchmark 与 profile 证明某类编码值得时才会引入。这与常规 CPU ISA 的硬件解码约束不同——Pulley 的字节码始终由软件解释器解码因此解码速度与代码体积之间需要平衡这一点在 pulley/src/lib.rs 的指令指南中也有同样表述。2. 解释器从不物化enum Instruction { .. }值这是 Pulley 解释器设计中最具区分度的一条。传统解释器如 Wasm3、早期的 Wasmtime 解释器通常先解码出完整指令对象再执行而 Pulley 的Decoder在每个 opcode handler 内按需解码立即数和操作数on demand从而避免构造不必要的临时存储避免对 opcode 的多次分支。对应实现是 pulley/src/decode.rs 中定义的Decoder与OpVisitortrait解码器解码一条指令后直接以参数形式把立即数/寄存器传给对应的 visitor 方法例如解码到xadd32就调用visitor.xadd32(operands)。文档注释明确写道Does not materialize bytecode instructions, instead all decoding methods are given anOpVisitorimplementation ... This minimizes the amount of times we branch on the opcode, avoids constructing temporary storage, and plays well with our variable-length instruction encoding.3. 可变长编码单字节指令与多字节指令共存因为不物化enum InstructionPulley不需要担心未使用的 padding也不需要担心某一条超大指令把其余小指令的体积全部撑大。因此它可以放心采用可变长编码某些指令只占 1 个字节如nop、ret、push_frame、pop_frame而另一些指令占用很多字节如带u128掩码的vshuffle、带 128 位常量的vconst128。这使字节码保持紧凑、利于缓存cache-efficient。4. 超级指令super-instructions / macro opsPulley 大量定义超级指令——一条指令完成多条操作的组合工作。理由很直接解释器循环本身有固定开销每轮循环做的工作越多循环开销占比就越小。典型例子包括call1/call2/call3/call4在call的基础上同时把参数搬进x0、x1、x2、x3见 pulley/src/lib.rs 中的定义例如call1 Call1 { arg1: XReg, offset: PcRelOffset }语义 Likecall, but alsox0 arg1push_frame_save/pop_frame_restore把进入函数 分配栈空间 保存寄存器合并为一条指令等价于push_frame、stack_alloc32 amt、再保存一组寄存器。README 特别指出Cranelift 作为 Pulley 字节码的主要生产者可以借助 ISLE lowering 模式轻松识别适合发射超级指令的机会——即超级指令不仅是解释器侧的收益也依赖编译器后端的模式匹配能力。5. 不定义子操作码sub-opcodes唯一例外是扩展操作Pulley原则上不引入子 opcode求值任何一条指令时只应在初始 opcode 上分支一次。例如没有一个通用的load指令后面跟一个子 opcode 来区分寻址模式相反Pulley 为每一种寻址模式都定义了独立的load指令族。唯一的例外是普通操作与扩展操作regular vs extended ops的切分普通 opcode 是单个u8255Opcode::ExtendedOp被保留用于所有扩展操作在255之后跟随一个u16的扩展 opcode。这样做的收益是最常见的指令体积特别小同时为定义数量不受限的、更冷门的操作提供了一个压力释放阀pressure release valve。实现见 pulley/src/opcode.rsOpcode枚举#[repr(u8)]与ExtendedOpcode枚举#[repr(u16)]分别由for_each_op!和for_each_extended_op!宏生成。冷门/复杂操作全部放进了扩展集合包括陷阱trap、host 调用call_indirect_host、大端加载/存储、浮点指令、向量SIMD指令、饱和转换、128 位宽乘等。6. 用宏削减样板代码自动派生全套工具Pulley 尽量避免在整个代码库中反复手写对每个 opcode 的match。做法是在高层宏中定义字节码然后从同一份定义自动派生出反汇编器、解码器、编码器等。这既削减了样板代码也避免了编码器与解码器之间的漂移drift。这套机制的源头就是 pulley/src/lib.rs 中的两个导出宏for_each_op!以蛇形命名 帕斯卡命名 { 字段列表 }的形式声明全部普通指令例如xadd32 Xadd32 { operands: BinaryOperandsXReg }for_each_extended_op!声明全部扩展指令。然后pulley/src/opcode.rs 用它生成Opcode/ExtendedOpcode枚举pulley/src/decode.rs 的define_decoder!/define_extended_decoder!宏从同一份定义生成Decoder::decode_one的完整match、OpVisitortrait每个指令对应一个 visitor 方法以及SequencedVisitor组合器pulley/src/encode.rs 为每个操作数类型u8~u128、i8~i128实现Encodetrait统一以小端序写字节pulley/src/disas.rs 的Disassembler以OpVisitor的形式挂在Decoder上输出文本并支持offsets、hexdump、br_tables、start_offset等开关。也就是说README 示例中的反汇编文本正是由这套宏生成的Disassembler产生。深入指令集命名规范、寄存器与寻址模式指令命名规范lib.rs 的for_each_op!文档给出了系统的命名指南理解它就能望文生义地阅读任何 Pulley 指令前缀表示寄存器类别x整数、f浮点、v向量。例如xadd32操作整数寄存器fadd32操作浮点寄存器。后缀/内含表示位宽xadd32是 32 位加法xadd64是 64 位加法。_s/_u后缀区分有符号/无符号操作如除法和余数xdiv32_s是有符号除法xdiv32_u是无符号除法。指令要么操作寄存器的32 位部分要么操作64 位部分。只修改 32 位的指令总是修改寄存器的低半部分且保持高半部分不变——这有助于 32 位平台如果大多数操作都是 32 位的就无需额外的符号/零扩展指令来维护寄存器的高半部分。二元操作统一使用BinaryOperandsT承载目的寄存器和两个源寄存器。内存操作指令的命名有完整的图解约定xload16le_u32_o32 │└─┬┘└┤└┤ └┬┘ └┬┘ │ │ │ │ │ ▼ │ │ │ │ │ addressing mode寻址模式 │ │ │ │ ▼ │ │ │ │ width of register modified sign-extension可选 │ │ │ ▼ │ │ │ endianness of the operationle/be │ │ ▼ │ │ bit-width of the operation │ ▼ │ whats happeningload/store ▼ register being operated onx/f/z例如xload16le_u32_o32表示x寄存器、load、16 位操作、小端le、写入 32 位寄存器并零扩展u32、o32寻址模式。寄存器文件pulley/src/regs.rs 定义了三个寄存器类别每类 32 个通用寄存器RANGE: 0..32类别枚举用途特殊寄存器XRegx0–x29整数/通用sp栈指针、spilltmp0临时FRegf0–f31浮点—VRegv0–v31128 位向量—XReg的sp和spilltmp0是特殊寄存器is_special()判断并有测试special_x_regs验证见 regs.rs。值得注意的实现细节二元操作的三个寄存器操作数被打包进一个 16 位字每个寄存器 5 位dst占 0..5、src1占 5..10、src2占 10..15由BinaryOperands::to_bits/from_bits编解码regs.rs 的binary_operands测试对全部 32³ 种组合做了往返验证。BinaryOperands还有一种变体支持第三个操作数是 6 位立即数U6用于移位量编码。寻址模式以独立指令族替代子操作码遵循不定义子操作码原则Pulley 为内存访问定义了多套独立的寻址模式指令族每种模式都有独立的load/store指令见 regs.rs 中对应的立即数类型寻址模式立即数类型语义与陷阱行为o32AddrO32addr中的宿主机地址 i32字节偏移不会产生陷阱zAddrZ同o32但addr为 NULL 时产生陷阱g32AddrG32针对 32 位线性内存的 WebAssembly 地址把边界检查自动折叠进地址计算越界即陷阱字段含host_heap_base、host_heap_bound、wasm_addr与 16 位静态偏移压缩进一个 32 位立即数g32bneAddrG32Bne与g32类似但堆边界bound本身存放在内存中指令先加载 bound 再做同样的边界检查这样解释器在处理某种寻址模式时不必在指令内部再次分支比如先看是不是这种寻址模式再做边界检查每种模式对应完全独立的 opcode 与 handler解码路径保持直线。解释器实现Vm、MachineState 与执行循环虚拟机入口Vm::callpulley/src/interp.rs 是解释器的核心。它定义了Vm虚拟机的公共接口默认栈大小DEFAULT_STACK_SIZE 1 201 MiB可用Vm::with_stack(size)自定义MachineState寄存器和栈的状态容器x_regs/f_regs/v_regs三组数组加上fp、lr、stack、done_reasonVal/RegType解释器与宿主之间传递的寄存器值。调用一个字节码函数使用Vm::callunsafe API它分为三步也可单独调用call_start/call_run/call_endcall_start按照 Pulley ABI 把参数放入寄存器——整数参数依次放入x0起的 15 个寄存器浮点参数放入f0起的 16 个寄存器向量参数放入v0起的 16 个寄存器同时把lr替换为哨兵值HOST_RETURN_ADDRusize::MAX表示返回栈顶。call_run构造Interpreter内含UnsafeBytecodeStream执行interpreter.run()结束后把DoneReason取回。call_end恢复旧lr按RegType列表从寄存器中收集返回值。Vm::call的返回类型是DoneReason共有三种可能ReturnToHost字节码函数正常返回Trap { pc, kind }在某条指令处触发陷阱kind枚举了DivideByZero、IntegerOverflow、BadConversionToInteger、MemoryOutOfBounds、DisabledOpcode、StackOverflow等类型CallIndirectHost { id, resume }执行了call_indirect_host指令把控制权交还给宿主。寄存器值的端序统一策略一个跨平台正确性的关键设计在于寄存器值的存储格式。interp.rs 中XRegUnion/FRegUnion/VRegUnion的文档解释得很清楚字节码允许往寄存器写 32 位结果、再读 64 位内容此时高 32 位如何定义决定了行为是否平台相关。文档对比了三种方案什么都不做导致端序相关符号/零扩展导致 32 位平台多一次存储统一按小端存储Pulley 当前选择第三种所有寄存器值一律按小端存储从而保证跨平台行为一致同时使 32 位写入最小化。代价是大端平台需要字节交换byteswap。这也解释了为什么扩展指令集中存在bswap32/bswap64等指令。寄存器值的另一个细节是ptr字段使用usize而非真实指针由于 Cranelift 没有指针类型、没有 provenance 概念Pulley 必须使用 Rust 的宽松 provenancepermissive provenance——存储用.expose_provenance()读取用with_exposed_provenance_mut(..)。两种执行循环interp模块根据编译期配置选择解释循环的实现见 interp.rs 顶部的mod声明match_loop常规的match分发循环默认无特殊编译标志时tail_loop当启用pulley_tail_calls要求 nightly 的explicit_tail_calls特性见 pulley/src/lib.rs 的 crate 级属性或pulley_assume_llvm_makes_tail_calls时使用显式尾调用把解释循环的指令分发转化为真正的尾调用。顺带一提pulley还有一个pulley_disable_interp_simd编译期开关关闭后VReg相关 API 全部不可用MachineState不再分配v_regs数组SIMD 指令的执行路径会直接 panicsimd support disabled at compile time从而支持无 SIMD 的小型平台构建。在 Wasmtime 中的使用与测试验证作为编译目标使用Pulley 被集成进了 Cranelift 的 ISA 层cranelift/codegen/src/isa/下的pulley32.rs、pulley64.rs以及pulley_shared/目录因此 Wasmtime 可以通过指定 target 来把 wasm 模块编译为 Pulley 字节码并由解释器执行。仓库中的集成测试 tests/all/pulley.rs 给出了完整用法fn pulley_target() - String { target_lexicon::Triple::pulley_host().to_string() } fn pulley_config() - Config { let mut config Config::new(); config.target(pulley_target()).unwrap(); config }编译运行Engine::new(pulley_config())后Module::new(engine, ...)即可编译并解释执行预编译与反序列化engine.precompile_module(b(module))生成 Pulley 字节码Module::deserialize可加载指针宽度匹配检查pulley_wrong_architecture_is_rejected测试验证了跨指针宽度pulley32vspulley64的模块会被拒绝——预编译可以成功但反序列化/运行会失败CLI 使用can_run_on_cli测试展示了命令行用法wasmtime --target pulley64 tests/all/cli_tests/empty-module.wat wasmtime run --target pulley64 tests/all/cli_tests/empty-module.wat正确性验证MIRI 指针 provenance 测试由于 Pulley 解释器大量使用原始指针和 union其正确性验证中有一项特殊的测试pulley_provenance_test见 tests/all/pulley.rs 与 tests/all/pulley_provenance_test.wat。该测试的思路是把一段包含各种刁钻构造函数引用、内存保留、无信号陷阱、async 组件模型等的 wasm 模块交给 Pulley 执行并在MIRI下运行以确保没有未定义行为。由于 Cranelift 在 MIRI 下编译极慢仓库提供了 ci/miri-provenance-test.sh 脚本先在原生环境预编译模块留下*.cwasm再由 MIRI 反序列化并解释执行从而绕过 Cranelift 的编译开销、仍能验证解释器的内存安全。此外tests/all/下的module.rs、native_backtrace.rs、stack_overflow.rs等测试也涉及 Pulley 路径如栈溢出陷阱、原生回溯说明解释器后端与 Wasmtime 的运行时错误处理链路是打通的。模块结构与特性开关Pulley 作为一个独立的 workspace cratepulley-interpreter见 pulley/Cargo.toml按功能拆分了模块与 feature模块/文件职责pulley/src/lib.rs指令集定义的源头for_each_op!/for_each_extended_op!pulley/src/opcode.rsOpcodeu8与ExtendedOpcodeu16枚举pulley/src/regs.rs三类寄存器、BinaryOperands、寻址模式立即数pulley/src/imms.rsPcRelOffseti32 PC 相对偏移、U66 位立即数pulley/src/encode.rsEncodetrait把指令/操作数写为小端字节pulley/src/decode.rsDecoderOpVisitor按需解码不物化指令pulley/src/disas.rsDisassemblerREADME 示例输出的来源pulley/src/interp/解释器主体match_loop/tail_loop两种循环pulley/macros/src/lib.rsinterp_disable_if_cfg过程宏按 cfg 禁用解释路径pulley/examples/profiler-html.rs基于profilefeature 的 HTML 性能剖析示例Cargo.toml 中的特性开关完整罗列如下std启用标准库支持arbitrary为指令/寄存器派生arbitrary::Arbitrary供 fuzzing 使用pulley/fuzz/下有 roundtrip fuzz 目标encode/decode/disas/interp/profile分别控制编码器、解码器、反汇编器、解释器interp依赖decode、encode和wasmtime-core与性能剖析功能的编译。文档示例profiler-html需要同时开启disas、interp、profile三个特性。结语Pulley 的设计取舍回顾 README 的六条原则可以总结出 Pulley 一以贯之的设计哲学面向软件解释的场景把解码开销和循环开销当作一等公民来优化同时用宏自动生成机制保证指令集各组件编码器、解码器、反汇编器、解释器永不漂移。它不为极致的解释性能而牺牲可移植性寄存器值统一小端、指令目标无关也不为指令集美观而引入子操作码或复杂位打包相反它用可变长编码 超级指令 扩展操作码空间的组合在字节码紧凑性、解码速度与指令集扩展能力之间取得了平衡。对 Wasmtime 用户而言Pulley 当前最直接的打开方式就是--target pulley64或嵌入式场景下Config::target(pulley64)而对编译器/虚拟机研究者而言pulley/src/是一份结构极其清晰的软件解释器 自定义字节码教学范本——从一条for_each_op!宏定义出发派生出一整套编码、解码、反汇编与执行工具链的工程实践值得通读源码细细品味。【免费下载链接】wasmtimeA lightweight WebAssembly runtime that is fast, secure, and standards-compliant项目地址: https://gitcode.com/gh_mirrors/wa/wasmtime创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考