【免费下载链接】parameter-golfTrain the smallest LM you can that fits in 16MB. Best model wins!项目地址https://gitcode.com/gh_mirrors/pa/parameter-golf点击查看免费下载本篇文章以 OpenAI Parameter Golf 竞赛非记录提交 PR #363Depth Recurrence Mixed-Precision Quantization为对象系统复盘一次用权重共享换有效深度的完整失败实验包括 Middle-Cycle 循环架构的 Stem/Core/Tail 布局、3x3 与 2x5 两种循环配置的受控对比、原创的 Noisy QAT 量化感知训练技术量化 gap 从 0.37 bpb 压缩到 0.002 bpb以及 12 项带具体数字的负面结果。读完本文你将掌握为什么参数高效的循环架构在 10 分钟训练赛制下反而落后平面模型 0.025 bpb以及哪些结论可以直接迁移到其他深度循环 / 权重共享架构的实践中。背景在 16MB / 10 分钟约束下循环深度为什么诱人Parameter Golf 的赛制是在 8xH100 上训练不超过 10 分钟把模型权重 代码打包进 16,000,000 字节十进制 16MB非 16 MiB的 artifact在 FineWeb 验证集上以 tokenizer 无关的 bits-per-bytebpb作为唯一评分指标。项目根 README.md 明确欢迎参数共享、深度循环depth recurrence、低秩训练、激进量化等非常规路线。深度循环的核心论点是把同一个 transformer block 在前向中复用多次每一字节 artifact 就能买到更多有效深度。这一思路的谱系包括 Universal TransformerDehghani et al., 2019、Alibaba Huginn、Samsung TRM以及竞赛内的 PR #325Aum08Desai1.1462 bpb 的循环 2x5 Middle-Cycle 提交。PR #363 的作者 Evangeline Kamin 从 PR #325 fork 出发历时 4 天、约 35 次实验在 8xH100 SXM 裸金属、2xH100、RTX 3070、A4500 等多种硬件上验证了这一命题最终结论是在竞赛约束下循环架构不具竞争力——受控对比中平面 11 层模型比循环 3x3 模型领先 0.025 bpb1.1648 vs 1.1894。有趣的是三位独立研究者作者、Frosty40、Ciprian-Florin Ifrim从不同起点得出了相同结论。值得先说明本仓库的记录形态该 PR 的说明文档位于 records/track_non_record_16mb/2026-03-21_DepthRecurrence_MixedPrecisionQuant/README.md其 submission.json 记录了本次非记录提交的元数据val_bpb 2.3876、val_loss 4.0314、bytes_total 1,461,542作者 evangelinehelsinki。文档中提到的训练脚本名是pr325_train_gpt.py仓库实际收录的可复现脚本为 train_gpt.py下文会指出两者环境变量名的差异。架构Middle-Cycle 循环布局与其源码实现Stem / Core / Tail 三段式布局PR #325 提出的 Middle-Cycle 架构把层切成三段参数节约全部来自中间的共享段[Stem blocks] → [Core blocks × R repeats] → [Tail blocks]Stem blocks茎段处理原始 embedding 的唯一层不共享Core blocks核心段共享层在前向中执行 R 次参数节约的来源Tail blocks尾段产出最终表示的唯一层不共享U-Net skip connectionsStem 输出以可学习权重加到 Tail block 输入上。文档重点测试了两种配置模型维度均为 640d、8 注意力头 4 KV 头 GQA、3x MLP 扩展、tied embedding vocab 1024并沿用 PR #325 基线的 SmearGate BigramHash RoPE配置StemCoreRepeatsTail有效深度唯一 block 数3x333331292x522521662x5 是 fork 自 PR #325 的起点3x3 则源自对 Frosty40 的 FrugendorffPR #4996 block × 2 repeats的研究。3x3 之所以最终胜出核心直觉是更多唯一 block、更少重复次数 每个参数买到更多表征多样性详见下文受控对比。仓库源码中的对应实现收录脚本 train_gpt.py 中循环架构由RecurrentGPTtrain_gpt.py实现关键设计循环调度表block_schedule [i % num_unique_blocks for i in range(effective_depth)]L862-L863由NUM_UNIQUE_BLOCKS唯一 block 数与EFFECTIVE_DEPTH虚拟层数两个超参驱动编码器/解码器切分 U-Net skipnum_encoder_layers effective_depth // 2skip 权重为可学习参数L837-L842Per-depth LoRA 适配器每个虚拟深度挂一组 Q/V 低秩适配DepthLoRAL771-L793由DEPTH_LORA_RANK控制0 为关闭up 分支零初始化保证起始无扰动BigramHash把相邻 token 对哈希进 embedding 表bigram_embbigram_projL866-L870由BIGRAM_BUCKETS/BIGRAM_DIM控制XSAExclusive Self Attention仅作用于最后 N 个虚拟层xsa_last_nL872-L877把注意力输出中与 value 对齐的分量投影掉。这些超参全部集中在Hyperparameters类中L74-L136通过环境变量注入为复现与扫描提供了统一入口。优化侧使用 Newton-Schulz 迭代的 Muon 优化器zeropower_via_newtonschulz5L142-L153配分参数组学习率token/embedding 用 Adam矩阵用 Muon标量/控制张量用 Adam。两大循环税循环架构在竞赛约束下失败的结构性原因文档把失败归因于两个结构性惩罚并称之为the two taxes of recurrence循环的两项税。强调结构性的意思是这不是超参没调好或实现有 bug而是固定时间预算 artifact 大小限制共同作用下的必然结果。税 1量化误差复合Quantization Compounding共享权重只存储一次、只量化一次但推理时量化误差会穿过每一次循环迭代3x3 每个 core block 的误差被看到 3 次2x5 则被看到 5 次且由于上一轮输出是下一轮输入误差以非线性方式复合。作者实测的放大倍数约为3 个循环周期内放大 900 倍int6 的逐行误差大约是 int8 的 4 倍这个差距穿过循环就变成灾难。Day 1 的 8xH100 首跑给出了最直观的证据量化前 bpb 2.07对该架构算不错量化后 3.221.14 bpb 的量化 gap。社区成员 boreas 的总结一针见血所以你没法利用更小的尺寸来放大循环因为复合的量化税挡在前面——正是如此。税 2步时开销Step Time Overhead每一次循环迭代都增加 wall-clock 时间。8xH100 上的换算Flat 11L600s / 0.112s ≈5375 stepsLooped 3x3600s / 0.144s ≈4175 steps循环模型少训练了约 22% 的步数而在每步都算数的 10 分钟赛制里这是残酷的惩罚。为什么尺寸优势无法弥补循环模型 artifact 小 0.8 MB14.5 vs 15.3 MB能否用这部分 headroom 升级精度来填平 0.025 bpb 的差距文档给出明确否定把 0.8 MB 参数从 int5 升到 int8 大约只换回 0.005 bpb基于全竞赛的量化 delta 经验比 0.025 的缺口差一个数量级。权重共享省下的参数是真实的但不足以同时抵消两项税。受控对比同一硬件、同一技巧下平面 11L 完胜循环 3x3这是文档中最具决定性的实验8xH100 SXM 裸金属、全部 int5 量化、全 MHA8 KV 头、BigramHash 4096、warmdown 2000、同一 seed、同一评估管线滑动窗口 stride 64、T0.90。指标Flat 11L 512dLooped 3x3 640dDeltabpb滑动窗口1.16481.18940.025循环更差Artifact 大小15.3 MB14.5 MB-0.8 MB循环更小训练步数53754175-1200 步循环更少ms/step11214432 ms循环更慢同时期 Frosty40 在 Discord 公开了自己的结论yeah i did a ton of a/b testing and its not improving anything, it was other modifications... the recursion in this form is a bust并补充说那些加在循环层上的修改本身有效只是循环层在浪费周期。Ciprian-Florin Ifrim三元量化提交250 实验的评估深度循环扫描显示5 种不同重复次数的 bpb 总跨度仅0.0009 bpb纯属噪声。三位独立研究者、三种架构、三种优化路线结论一致。8xH100 上的完整结果汇总如下含 3-seed 均值口径配置滑动 bpbStepsms/stepArtifact16MB 内Flat 11L tunedfullMHAbg4096wd2000, all-int51.1648537511215.3MBYESFlat 11L baselineGQA, bg2048, wd1500, all-int51.1671555010815.0MBYESFlat 11Lint6, 超预算1.1600555010817.2MBNOLooped 3x3 bestEMAMTPint5GPTQ-lite1.1787420014315.6MBYESLooped 3x3 tuned与 flat 胜者同配置1.1894417514414.5MBYESLooped 2x5PR #325 fork, 3-seed 均值1.1834420014315.6MBYES作为赛况参照约 640 个 PR 时的 meta总体领先者 #573 以多遍流式 legal TTT 拿到 1.0523无 TTT 的平面堆栈最佳约 1.1154#609与 1.1171#593起点 PR #325 为 1.1462本 PR 最佳循环结果 1.1787比最佳无 TTT 平面提交落后 0.063 bpb——这就是该约束下循环的代价。幸存发现 1Noisy QAT——把循环架构的量化 gap 从 0.37 压到 0.002 bpb这是 PR #363 最核心的原创贡献也是该 PR 存在的理由。问题STE 假量化在循环架构上失效标准 STEStraight-Through EstimatorQAT 在前向中模拟量化、反向直通。这对每个权重矩阵只用一次的平面架构有效但对循环架构误差会在 N 次迭代中传播复合。文档测得 int8 误差经 3 次循环放大约900 倍Day 1 首跑因此出现 2.07 → 3.22 的灾难性量化 gap。修复注入与 int8 逐行量化误差同量级且可微的均匀噪声与 STE 的前向假量化、反向直通不同Noisy QAT 在前向注入可微的均匀噪声让模型学到对量化尺度扰动鲁棒的权重配置。文档给出的核心代码仅用于循环 core block 的CastedLinear.forward()# In CastedLinear.forward(), for loop core blocks only: with torch.no_grad(): amax self.weight.float().abs().amax(dim1, keepdimTrue).clamp_min(1e-12) step_size amax / 127.0 noise (torch.rand_like(w) - 0.5) * step_size.to(w.dtype) w w noise三个关键属性可微与 STE 不同梯度穿过噪声流动模型学到对量化尺度扰动鲁棒的配置循环感知只作用于 core共享block不作用于 stem/tail校准过噪声量级与 int8 逐行量化步长相匹配是贴齐实际导出格式的正则化而非任意噪声。结果量化 gap 从0.37 bpb 塌缩到 0.002 bpb约 185 倍改善推理时零成本且对任何深度循环架构原则上可迁移。一个重要的边界条件对应负面结果 #10在 Middle-Cycle int5 导出的组合下按 int8 校准的 Noisy QAT 反而轻微有害0.006 bpb因为噪声量级对 int5 的步长来说是错的——噪声必须与真实导出精度匹配。收录脚本中的对应实现需要如实说明仓库收录的 train_gpt.py 中QAT 路径是按步数分片启用的 STE 假量化_fake_quantize_int6_ste()L597-L605实现前向 int6 假量化 反向直通全局开关_QAT_ACTIVEL49由QAT_FRACTION控制在训练末尾max_wallclock_ms * (1.0 - qat_fraction)时刻激活L1174-L1180CastedLinear.forward()L621-L627在训练中且开关打开时套用。文档中的 Noisy QAT 是该 PR 的原始方法叙述与收录脚本中这条 STE 路径是两种不同实现读者复现时需区分。值得一提的插曲是文档披露 26 模型代码审查关曾揪出一个global _QAT_ACTIVEbug——QAT 可能从未真正运行过这类全局开关的正确性值得每一位实验者警惕。幸存发现 2SWA 在 Middle-Cycle 上反转量化 gap这是最诡异的结果Stochastic Weight AveragingSWA周期性平均模型 checkpoint使权重分布更平滑在 Middle-Cycle 架构上量化后的 bpb 有时反而优于量化前。作者假说SWA 把权重推向更平坦的最小值使各行的权重分布更均匀逐行量化恰好擅长处理均匀分布SWA 的平滑效应意外地补偿了量化噪声而不是与之对抗。对任何把 SWA 与激进量化方案结合的实践者这都是一条可能被复用的线索。幸存发现 33x3 优于 2x5——更多唯一 block、更少重复这是对循环 transformer 实践者最有操作价值的一条。受控对比单 GPU、完全相同的超参配置有效深度bpbArtifact 大小ms/step3x33 core × 3 repeats121.346211.9 MB2362x52 core × 5 repeats161.351913.2 MB2603x3 在全部维度胜出-0.006 bpb、-1.3 MB、-24 ms/step。2 个共享 block 重复 5 次模型只能组合出 2 个不同的计算程序3 个共享 block 重复 3 次则有 3 个不同程序多样性多 50%代价仅多一个 block 的参数。推论是在参数预算内优先增加唯一 block 数而非重复次数。一条免费的经验教训永远用满全部 80 个训练分片Day 3 中作者在 8xH100 VM 上反复拿到 1.28 bpb而同一份代码在 Hyperbolic 裸金属上是 1.18。做了 A/B 测试、把 LeakyReLU 做成可配置、排查代码回归全部无果。根因出人意料只下载了 1 个训练分片而不是 80 个。模型在记忆单个分片泛化极差80 个分片1.1914 bpb1 个分片约 1.30 bpb仅训练数据多样性一项就值 0.1 bpb。数据下载方式可参考 data/README.mdcached_challenge_fineweb.py --train-shards N默认 80 个分片 / 8B tokens。这条忠告对任何参赛者都成立永远用满全部 80 个 shards永远。12 项负面结果带具体数字的完整清单文档明确表示这部分可能是全文最有用的一节。以下 12 项全部按原文档数字整理其中多项揭示出平面架构上的技巧搬不到循环架构这一共性规律。1. 全层 XSA循环版XSA 施加到包括循环 core 在内的所有 block0.001 更差1.1953 vs 1.1940。平面 11L 的all 11 layers是 11 个唯一计算循环版的all layers是 3 个唯一计算各重复 3 次语义完全不同过犹不及。2. 循环 Muon 动量0.85–0.95周期 50平面架构上报告 -0.0045PR #623。与 XSA、QuadgramHash 组合后0.058 更差灾难性。动量掉到 warmup 目标0.85以下扰动经循环迭代复合破坏循环收敛。3. QuadgramHash1024 buckets, dim 32与 #2 组合测试无法单独隔离预算不足未独立验证。结论inconclusive。4. 分解嵌入EMBED_DIM 192 / 256FIIZiK_ 在 768d 三元模型上用 EMBED_DIM254 称损失很小但那是三元权重 8192 vocab 的架构。在 int5 vocab 1024 上EMBED_DIM比例bpbDeltaArtifact640无分解100%1.1787基线15.6MB25640%1.24160.06314.8MB19230%1.23160.05316.4MB超限两个都糟糕。1024 词表下嵌入表本已很小1024 × 512 ≈ 0.5M 参数再压缩省不了多少参数却摧毁表示质量。分解嵌入只在大词表如 8192下才有意义。5. Value ResidualResFormer平面架构报告 -0.015PR #486/#490。循环版0.14 更差1.4378即使加初始化修复lambda 初始化为 -4.0使 sigmoid(-4.0) ≈ 0.018初始几乎不混合。原因是循环 core 每一轮都看到同一个 stem 的 VV 残差随深度变成越来越过期的参考共享权重无法为不同重复轮次学不同的混合比例。Value Residual 假设每层在网络中有唯一位置共享层违反该假设。6. 渐进循环展开2 → 5 repeats训练开始时 2 次循环、线性增至 5 次DDP 崩溃。动态控制流与 torch.compile DistributedDataParallel 不兼容单 GPU 下 2172 ms/step比基线 236 ms/step 慢 9 倍每次 repeat 数变化都会打破编译图、触发整体重编译。7. 锯齿形 LR 调度LR 变化触发 torch.compile guard 检查每一步都重编译步时从 248 ms 涨到 987 ms4 倍只完成 607 步结果作废。与 #6 同根因——任何被 torch.compile 追踪的值发生变化都会引发重编译LR 调度必须实现在编译区之外。8. 全权重测试时训练TTT在验证数据上跑 829 步 AdamW1.56 bpb vs 1.38 基线严重过拟合。GPTQ 量化后的权重处于狭窄的、对齐曲率的最小值中AdamW 的自适应学习率会摧毁它。TTT 与激进量化本质冲突除非用 SGD 或严格约束的 LoRA。文档注明per-document LoRA TTT 已实现但 DDP 崩溃阻止了多 GPU 测试。9. LeakyReLU(0.5)²平面架构报告 -0.003。2xH1001 分片上观察到 -0.003 改善但 8xH10080 分片上可忽略。可能是数据 regime 相关1 分片时数据多样性低leaky 激活对负值区间的梯度流有帮助80 分片时模型自然学会绕开死亡 ReLU 区域。教训单 GPU 结论必须在目标硬件上验证。10. Late QAT int5最后 10% 步数启用 QAT 并配 int5 导出0.006 更差。按 int8 噪声校准的 QAT 量级对 int5 导出是错的——模型被训练成对 int8 尺度扰动鲁棒实际面对的却是 int5 尺度扰动。QAT 噪声必须匹配导出精度呼应 Noisy QAT 一节。11. BigramHash(10240)平面 11L 上报告 -0.070PR #450。循环版无改善2xH100 上 1.2980 vs 1.2963。假说循环架构多次看到同一批数据本身已获得某种 n-gram 式模式识别能力额外 bigram 容量与循环冗余。12. 704d 模型维度640d → 704d 增加单 block 容量2xH100 上更差。更宽的模型在 10 分钟内训练步数不足增加的每步成本无法被容量收益抵消。超参数扫描与实验时间线2xH100 上的扫描1 个数据分片方向性可靠但绝对值高于 8xH100EMA × Warmdown20 组合多数被 torch.compile 重编译污染幸存最佳为EMA 0.996 Warmdown 2000 1.2910 bpbMTPMulti-Token PredictionMTP HeadsLoss Weightbpb40.31.297460.31.301020.31.3045Muon Weight Decay循环架构上越低越好与平面惯例相反WDbpbDelta0.021.2955基线0.041.29830.0030.061.30600.011假说共享参数的 weight decay 影响被放大因为这些权重在每次循环迭代中都被使用激进的 decay 就像量化误差一样穿过循环复合。四天实验时间线摘要Day 0部署 15 个研究 agent 跨国挖论文锁定深度循环3070 上首个循环模型 1.5630 bpb / 6.1M 参数 / 4.1MB artifact3070 上做宽/深/均衡三向 scaling sweep全部吞吐受限调研自定义压缩entropy 分析 int6 约 2.94 bits/value vs zstd 的 5.0–5.5测试 bit-packing、delta encoding失败、HuffmanDay 12x A4500 平价 pod 扫 scalingLoRA adapter 在低步数下 NoLoRA 胜出BigramHash 与循环兼容良好SmearGate 伤循环MTP 严重破坏共享循环权重首个 8xH100 跑出 1.14 bpb 灾难性量化 gap发现 ~900x 误差放大发明 Noisy QAT0.37 → 0.002提交 PR #363Day 2fork PR #325批量套用 Muon 0.99、warmdown 调整、Partial RoPE 16/64、LN Scale、XSA last 4、Late QAT发现 SWA gap 反转26 模型代码审查揪出global _QAT_ACTIVEbug 等 6 个问题双 2xH100 并行扫超参确认 EMA(0.997) ≈ SWA、warmdown 1500 3000 1000、MTP 4 头/0.3、Muon WD 0.02GPTQ-lite 白赚 -0.0027Value Residual 与循环灾难性冲突0.14AdamW TTT 灾难性过拟合1.5636Day 33x3 全面胜 2x5分片教训1 vs 80 shards8xH100 循环最佳1.17873x3 EMA MTP int5 GPTQ-lite T0.90验证 stride 16 eval-0.015显著与 T0.90relu² 网格搜索最优SwiGLU 架构则用 T1.0激活依赖非普适默认分解嵌入 192d / 256d 均灾难Day 4Frosty40 确认递归是死路受控 flat vs looped 对比落地把循环加回 tuned flat 配置再次确认 0.025 惩罚对照 PR #499 发现其增益来自 MLP 宽度而非循环。更多算力下可能成立的方向明确标注为推测更长训练预算循环模型用步数换有效深度10 分钟不利30 分钟或无限算力赛道下步数惩罚缩小、参数效率优势放大参照 PR #612 在 100 分钟赛道的 1.1079 bpb。循环架构可能在更长时间尺度上有竞争力推理期自适应深度每 token 选择循环次数简单 token 提前退出、难 token 多迭代Universal Transformer 的原始提议挑战在于与 torch.compile 和批量推理要求的静态计算图兼容匹配导出精度的 Noisy QAT当前校准到 int8step_size amax / 127.0却按 int5 导出若按 int5 校准step_size amax / 15.0可能填平缺口作者因算力耗尽未验证更好的循环设计3x3 2x5 说明最优配置远未探明——非对称循环stem 多于 tail、异构重复次数block 1 重复多于 block 2、只在首尾轮次做 attention 而中间轮次只跑 MLP均未探索。复现指南环境变量与运行方式原文档给出的受控对比复现命令训练脚本名按其 PR 内文件为pr325_train_gpt.py# Flat 11L 512d可提交最优1.1648 bpb NUM_LAYERS11 MODEL_DIM512 LOOP_CORE_LAYERS0 LOOP_REPEATS1 \ MLP_INT51 ATTN_INT51 NUM_HEADS8 NUM_KV_HEADS8 \ BIGRAM_VOCAB_SIZE4096 WARMDOWN_ITERS2000 \ EVAL_TEMPERATURE0.90 EVAL_STRIDE64 SEED42 # Looped 3x3 640d同配置下 1.1894 bpb NUM_LAYERS9 MODEL_DIM640 LOOP_CORE_LAYERS3 LOOP_REPEATS3 \ MLP_INT51 ATTN_INT51 NUM_HEADS8 NUM_KV_HEADS8 \ BIGRAM_VOCAB_SIZE4096 WARMDOWN_ITERS2000 \ EVAL_TEMPERATURE0.90 EVAL_STRIDE64 SEED42两条配置均以MAX_WALLCLOCK_SECONDS600在 8xH100 SXM 上配合 80 个训练分片运行。仓库收录脚本的变量名差异重要本仓库收录的 train_gpt.py 并非 PR #325 原文件其HyperparametersL74-L136使用另一套环境变量循环配置由NUM_UNIQUE_BLOCKS默认 3与EFFECTIVE_DEPTH默认 9驱动L119-L122此外还有DEPTH_LORA_RANK、BIGRAM_BUCKETS、BIGRAM_DIM、XSA_LAST_N、QAT_FRACTION、MUON_WEIGHT_DECAY、MATRIX_LR、MUON_MOMENTUM等。按收录脚本复现时需将上表LOOP_CORE_LAYERS/LOOP_REPEATS映射为对应的NUM_UNIQUE_BLOCKS/EFFECTIVE_DEPTH语义3x3 即 NUM_UNIQUE_BLOCKS3 EFFECTIVE_DEPTH9 的 block 循环调度文档中的平面配置可理解为 unique blocks 层数、EFFECTIVE_DEPTH 层数、无重复。运行方式与依赖脚本以torchrun --standalone --nproc_per_nodeN启动脚本头注释 L14要求 CUDA数据路径由DATA_PATH、TOKENIZER_PATH指向 FineWeb sp1024 缓存训练受MAX_WALLCLOCK_SECONDS默认 600.0硬性封顶到达后停止并进入序列化阶段序列化默认走int6/zstd-22混合精度量化路径quantize_state_dict_int6L457-L512zstd 不可用时回退 int8/zlib-9compress_bytesL521-L526脚本会在 L1246-L1249 检查 artifact 是否超出 16,000,000 字节上限并打印 headroom随后做量化 → 反量化 → 重评的 roundtrip 验证输出final_int6_roundtrip行依赖清单见 requirements.txttorch、sentencepiece、zstandard、huggingface-hub、datasets、tiktoken 等。另需注意评估口径文档中 1.1787 / 1.1648 等数字来自滑动窗口评估stride 64、T0.90这是竞赛社区验证出的显著收益项可参见先例 SlidingWindowEvalstride 64 相对非重叠基线带来可观改善而 submission.json 中的 2.3876 bpb 是另一种评估口径下的存档值两者不可直接比较。结论这次失败留下了什么作者的原话是我出发去证明深度循环能在 Parameter Golf 中有竞争力我失败了。但这次失败的价值超过标准堆栈上的又一个 0.001 提升。结构性结论已经明确量化复合与步时开销这两项循环税不是超参问题、不是实现 bug而是固定时间预算 artifact 大小限制的直接后果。三条可迁移的经验是Noisy QAT循环 core 权重应当用与量化误差校准一致的噪声训练int8 目标下量化 gap 从 0.37 塌缩到 0.002 bpb是该工作最强的单一结果且对任意深度循环架构原则上可迁移3x3 2x5优先更多唯一 block、更少重复次数12 项负面结果特别是平面架构技巧不可直接搬上循环架构XSA 全层、Value Residual、分解嵌入、TTT、BigramHash 扩容等为后来者省下真实算力与真金白银。最后回到文档的致谢名单Aum08DesaiPR #325 Middle-Cycle 起点、Frosty40PR #499公开分享递归负面结果、Ciprian-Florin Ifrim250 实验的系统记录、boreas点破量化税、OpenAI / Will DePue算力赞助与people arent being nearly ambitious enough的激励以及整个 Parameter Golf 社区。对每一位考虑在 Parameter Golf 里尝试深度循环的人这份记录的目标就一句话读它省下 4 天和 200 美元。最佳循环1.1787 bpb3x38xH100滑动窗口| 最佳平面1.1648 bpb11L同硬件| 受控差距0.025 bpb循环更差赞分享【免费下载链接】parameter-golfTrain the smallest LM you can that fits in 16MB. Best model wins!项目地址https://gitcode.com/gh_mirrors/pa/parameter-golf点击查看免费下载相关推荐IceCubesApp纯 SwiftUI 打造的多平台 Mastodon 客户端从本地缓存到端到端加密推送IceCubesApp纯 SwiftUI 打造的多平台 Mastodon 客户端从本地缓存到端到端加密推送 想找一个能用纯 SwiftUI 从头读到尾的 M移动开发社交NiBabel支持的8种神经影像格式全解析从DICOM到CIFTINiBabel支持的8种神经影像格式全解析从DICOM到CIFTI 在神经影像分析领域处理多种不同格式的医学图像数据是一项常见挑战。Python神经影像库N图解 React 源码之两大工作循环任务调度循环与 fiber 构造循环图解 React 源码之两大工作循环任务调度循环与 fiber 构造循环 本文基于 react illustration series https://lin教程前端上一篇Saasfly国际化(i18n)实现多语言支持与SEO优化的完美结合下一篇Horizon安全最佳实践金融应用数据保护方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考