Spark 本地调试怎么复现缩小数据不改变分区语义Spark 任务本地能跑通常常只是数据太小没有触发真实问题。复现环境要缩小规模但保留字段、分区、倾斜和空值这些关键特征。准备最小数据集从可公开或脱敏数据生成样本记录生成脚本和校验摘要。样本至少覆盖正常键、热点键、缺失分区与异常类型。依赖版本、序列化配置和时区写进项目配置不依赖开发机已有缓存。将读取、转换和写出拆开测试。对聚合结果核对行数、唯一键与总量对 shuffle 问题查看分区大小分布而不是只看任务是否成功。从命令行启动提供一条可从干净目录执行的命令并显式设置本地并发、临时目录和输出路径。重复运行前清理或版本化产物避免旧文件让测试假成功。本地环境无法证明集群容量但能验证逻辑和失败路径。真正的资源参数仍要在目标集群用当前数据分布测量。