BiGG 稀疏图深度生成建模:基于树结构自回归的可扩展生成框架实战指南
BiGG 稀疏图深度生成建模基于树结构自回归的可扩展生成框架实战指南【免费下载链接】google-researchGoogle Research项目地址: https://gitcode.com/gh_mirrors/go/google-research导读本文围绕 Google Research 开源的BiGGScalable Deep Generative Modeling for Sparse Graphs代码库展开系统讲解如何安装、准备数据、训练与采样生成稀疏图含 GRAN 图与 SAT 公式图两类基准并深入源码剖析其块级blockwise树结构自回归的核心设计。读完本文你将掌握 BiGG 的完整实验流水线数据加工 → 训练 → 生成 → 评估、关键命令行参数的含义与调参策略以及基于节点/边特征自定义生成模型和利用多 GPU 进行模型并行的具体方法。项目对应论文Dai, Hanjun; Nazi, Azade; Li, Yujia; Dai, Bo; Schuurmans, Dale.Scalable Deep Generative Modeling for Sparse Graphs, arXiv:2006.15502 (2020)。使用本代码库时请引用该论文。一、BiGG 核心思想为什么稀疏图生成需要树 分块生成模型处理图结构数据时最大的障碍在于稀疏图具有极长的依赖链一个节点或一条边的出现可能受图中很远位置的结构影响。传统自回归方法将整张图的邻接矩阵一次性展开序列长度随节点数平方增长无法扩展到大规模稀疏图。BiGG 采用的关键创新是树结构分解将图的生成过程转化为递归的树扩展过程每个树节点对应图中的一个节点边关系通过树节点间的隐状态交互建模块级自回归blockwise autoregressive一次预测一整块block的边而不是单条边从而大幅缩短有效生成序列长度同时保持自回归的精确似然计算二叉分解binary decomposition对树结构中祖先路径上的状态做信息压缩使模型能够捕捉长距离依赖。从源码结构看生成模型的主干实现在 tree_model.py 中的RecurTreeGen类而递归树结构相关的底层操作节点扩展、边采样由 C/CUDA 实现位于 tree_clib 目录src/下包含struct_util.cpp、tree_util.cpp、cuda_ops.cu等。这种Python 顶层建模 C/CUDA 底层采样的架构是 BiGG 兼顾表达力与效率的关键。二、项目组织与目录结构README 建议按如下结构组织项目本文以仓库根目录为基准说明bigg/ ├── bigg/ # 源码 │ ├── common/ # 公共实现配置、常量、PyTorch 工具 │ ├── data_process/ # 数据加工脚本 │ ├── experiments/ # 实验入口合成图 / SAT 图 / 模型并行 │ ├── extension/ # 节点/边特征扩展customized_models 示例 │ ├── model/ # 核心模型tree_model.py、tree_clib │ ├── torch_ops/ # 张量操作封装 │ └── unit_test/ # 单元测试lib_test.py ├── setup.py ├── data/ # 原始数据 / 加工后数据 │ ├── DD/ │ │ └── DD_A.txt │ ├── G2SAT/ │ │ ├── lcg_stats.csv │ │ ├── train_formulas/ │ │ └── test_formulas/ │ └── ... └── results/ # 预训练模型与生成结果 ├── DD/ └── ...其中data/与results/需要自行创建并放入外部数据详见下文。三、安装与依赖在项目根目录执行pip install -e .安装前提需要gcc编译器若启用 GPU需要CUDA toolkit。setup.py中的自定义develop命令会在安装时自动进入bigg/model/tree_clib目录执行make编译 C/CUDA 扩展参见 setup.py。因此首次安装会有一段时间的编译过程属正常现象。除torch外核心依赖见 requirements.txtnumpy、networkx图数据表示与读写、tqdm进度条、pyemd用于评估生成图与真实图分布的地球移动距离、scipy。仓库还提供了开箱即用的环境脚本 run.sh它创建 Python3 虚拟环境、安装依赖、执行pip install -e .最后运行单元测试验证安装python -m bigg.unit_test.lib_test复现基准结果GRAN 与 G2SATREADME 明确指出如果要在基准数据集上复现论文结果需要另外安装 [GRAN] 与 [G2SAT] 两个仓库并将它们加入PYTHONPATH。BiGG 只负责生成图而生成结果的评估指标如 MMD、SAT 公式统计量由这两个外部工具提供。四、数据准备除合成数据外BiGG 使用两类公开基准数据。4.1 GRAN 数据集合成/真实图基准从 GRAN 仓库的data目录下载原始数据将对应文件夹放入data/。然后加工数据cd bigg/data_process ./run_syn_datagen.sh该脚本会生成对应数据集的 train/val/test 划分。查看脚本 run_syn_datagen.sh默认参数为g_typelobster图类型可改为grid、DD等其他类型orderingDFS节点排序方式可切换为BFS等输出目录为data/$g_type-$ordering如data/lobster-DFS。加工逻辑由 synthetic_data_gen.py 实现最终产出可直接供训练脚本读取的划分数据。4.2 G2SAT 数据集SAT 公式图基准先按照 G2SAT 的说明将公式处理成 edge_list得到如下目录结构data/ └── G2SAT ├── train_formulas/ ├── train_set/ ├── test_formulas/ └── ...然后执行cd bigg/data_process ./run_sat_gen.sh脚本 run_sat_gen.sh 中通过folder_nametrain指定加工数据部分输出到data/sat-train/。可以修改folder_name来加工不同数据划分如验证/测试部分。五、预训练模型获取预训练模型存放在 Google Cloud Storageresearch_public_share/bigg_icml2020。下载后将对应文件夹放入results/目录即可直接用于后续的图生成实验无需重新训练。六、GRAN 图上的实验合成图6.1 用预训练模型生成新图确认模型已下载到指定位置后执行cd bigg/experiments/synthetic/scripts ./run_lobster.sh -phase test -epoch_load -1-phase test进入测试/生成阶段-epoch_load -1加载最后保存的检查点。生成的图会以 pickle 文件形式存放在对应模型 dump 的同级目录。run_lobster.sh的默认训练/生成配置见 run_lobster.sh包括参数默认值含义blksize-1块大小-1表示默认不启用分块压缩bsizebatch_size128批大小epoch_save500每 500 个 epoch 保存一次模型bits_compress256二进制压缩位数隐状态压缩num_test_gen100测试阶段生成图的数量num_epochs1000训练总 epoch 数gpu0GPU 设备号同一目录下还提供了其他图类型的脚本run_grid.sh、run_DD.sh、run_DB.sh可分别用于生成网格图、DD 图与 DB 图。6.2 从零训练直接运行脚本即可开始训练./run_grid.shrun_grid.sh见 run_grid.sh为网格图设置了与 lobster 不同的模型配置orderingBFSBFS 节点排序pos_encTrue启用位置编码tree_pos_encFalse不启用树结构位置编码share_paramTrue层间共享参数bsize80、epoch_save100、num_test_gen20。学习率调整策略BiGG 使用 step-decay 学习率衰减。当训练 loss 进入平台期时需要手动降低学习率并续训./run_grid.sh -epoch_load EPOCH -learning_rate 1e-5其中EPOCH为要加载的检查点 epoch 数。脚本末尾的$会将额外命令行参数透传给训练入口 batch_train.py因此-epoch_load、-learning_rate等参数可以自由追加。七、SAT 公式图上的实验7.1 数据准备与训练/生成SAT 图的数据加工已在第四节说明。生成阶段使用cd bigg/experiments/sat_graphs ./run_full.sh -eval_folder train -epoch_load -1 -greedy_frac 0.9-eval_folder train与训练集进行一致性评估-epoch_load -1加载最后的检查点-greedy_frac 0.9采样时混合贪心分布 多项式分布0.9表示 90% 概率走贪心解码路径。这一混合采样策略让生成结果在有效性与多样性之间取得平衡。生成完成后公式文件夹位于results/sat-train/blk-500-b-1/train-pred_formulas-e--1-g-0.00/目录名编码了 blksize、batch size、epoch、greedy_frac 等关键参数。之后按 G2SAT 的说明评估生成公式的统计指标。7.2 SAT 训练要点训练时直接运行run_full.sh针对完整训练集或run_sub.sh针对子集。SAT 图的典型配置见 run_full.shblksize500由于 SAT 图规模较大启用块大小 500bsize1批大小为 1单图样本accum_grad10梯度累积步数为 10等效扩大批大小epoch_save500、bits_compress256。重要提示SAT 公式图很大请根据 GPU 显存调整脚本中的blksize。块越大显存占用越高块越小则越省显存但会增加计算步数bsize1配合accum_grad是处理超大图的常见做法。八、支持节点/边特征的扩展2022-11-02 更新BiGG 在原有纯拓扑生成能力之上新增了全自回归的节点/边特征生成能力即生成图的同时为每个节点和每条边生成特征如边的长度等连续属性。8.1 自定义模型示例扩展的参考实现位于 customized_models.py其中的BiggWithEdgeLen类继承自RecurTreeGen展示了如何定制带节点/边特征的生成模型。核心是在原拓扑生成基础上叠加特征预测分支embed_node_feats/embed_edge_feats将节点/边特征通过 MLPMLP(1, [2*embed_dim, embed_dim])编码到隐空间predict_node_feats/predict_edge_feats在当前隐状态上预测特征值并用平方误差-(feat - pred) ** 2作为特征似然支持已知特征则计算似然、未知特征则预测两种模式特征状态更新使用独立的nn.LSTMCell与结构生成的 LSTM 状态解耦。这种方式表明要在自己的数据上做带特征生成只需继承RecurTreeGen并覆写上述四个方法即可无需改动底层树采样逻辑。8.2 运行带特征的生成只要提供由 networkx 图组成的列表、以 pickle 文件存储的图数据即可直接运行cd bigg/extension ./run_featured.sh脚本 run_featured.sh 的关键参数has_edge_featsTrue/has_node_featsTrue启用边/节点特征建模bits_compress0特征扩展模式下关闭隐状态二进制压缩data_dir../../data指向存放 pickle 图数据的目录gpu-1CPU 运行示例可改为 GPU 设备号训练入口为 main_featured.py。九、模型并行多 GPU 加速训练BiGG 额外演示了模型并行能力。虽然所有实验在单 GPU 上即可复现但如果有多块 GPU模型并行可带来约2 倍加速README 原话this can be 2x faster if you have multiple GPUs。运行方式cd bigg/experiments/synthetic ./demo_model_parallelism.sh脚本 demo_model_parallelism.sh 的实现要点通过python -m torch.distributed.launch --nproc_per_node$num_proc dist_main.py启动分布式训练入口为 dist_main.pynum_proc4进程数不应超过可用 GPU 数量blksize100分块大小在并行模式下需要显式设置并行正是将不同块分配到不同设备计算OMP_NUM_THREADS2限制 OpenMP 线程数避免多进程下 CPU 资源争抢。十、评估与验证安装验证运行python -m bigg.unit_test.lib_testlib_test.py校验 tree_clib 的 C/CUDA 底层操作与 Python 侧一致性图质量评估GRAN 类数据集的生成图质量依赖 GRAN 提供的 MMD 等指标SAT 公式的统计指标依赖 G2SAT 的评估流程一致性评估SAT 实验中-eval_folder train用于对比生成公式与训练集公式的统计一致性。引用使用本代码库时请按以下 BibTeX 引用论文article{dai2020scalable, title{Scalable Deep Generative Modeling for Sparse Graphs}, author{Dai, Hanjun and Nazi, Azade and Li, Yujia and Dai, Bo and Schuurmans, Dale}, journal{arXiv preprint arXiv:2006.15502}, year{2020} }小结BiGG 以树结构分解 块级自回归为核心将稀疏图的生成从 O(n²) 的序列问题转化为可分块的树扩展问题兼顾了表达能力与可扩展性。通过本文的流水线安装 → 数据加工 → 训练 → 生成 → 评估你可以分别在 GRAN 图与 SAT 公式图上复现完整实验也可以借助extension/的示例将模型扩展为带节点/边特征的生成器或利用demo_model_parallelism.sh在多 GPU 上获得约 2 倍的训练加速。【免费下载链接】google-researchGoogle Research项目地址: https://gitcode.com/gh_mirrors/go/google-research创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

Codex与ZCode深度对比:从工作流到选型,AI编程助手到底怎么选

Codex与ZCode深度对比:从工作流到选型,AI编程助手到底怎么选

这段时间后台收到最多的提问,就是“Codex 和 ZCode 到底有什么区别,我该装哪个”。这个问题看着简单,实际上是个大坑——因为这俩工具虽然在名字上像双胞胎,但根本不属于同一个物种。Codex 是 OpenAI 官方那个能自己在终端里跑任务…

2026/11/17 15:35:06 阅读更多 →
OpenResearch实战指南:从数据开放到可复现研究的完整工作流

OpenResearch实战指南:从数据开放到可复现研究的完整工作流

很多搞研究、做技术选型的朋友,第一次看到“OpenResearch”这个词,多少会有点摸不着头脑。它不像“机器学习”或“微服务”那样指代一个明确的技术栈,倒更像是在描述一种工作方式:把研究过程里从数据、代码到方法论、结论的整个链…

2026/11/18 11:10:08 阅读更多 →
自建开源研究流水线:从信息采集到知识输出的完整设计

自建开源研究流水线:从信息采集到知识输出的完整设计

1. 拆解OpenResearch:一套开源研究流水线的设计思路OpenResearch这个词,听起来像是某个大厂的内部代号,但对我来说,它其实是一个更朴素的东西:一套完全由开源工具拼起来的个人研究操作系统。我大概是去年年底开始动手搭…

2026/11/18 11:10:08 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻