PySR项目新增Apptainer容器支持：提升HPC环境下的符号回归计算效率

PySR项目新增Apptainer容器支持：提升HPC环境下的符号回归计算效率

【免费下载链接】PySRSymbolic Learning in Python and Julia项目地址: https://gitcode.com/GitHub_Trending/py/PySR

PySR是一个高性能符号回归工具，结合Python和Julia的优势，能够自动搜索和发现数据中的数学表达式。符号回归是一种机器学习任务，旨在找到可解释的数学公式来拟合给定的数据，这在科学发现、特征工程和模型解释等领域具有重要应用价值。

什么是符号回归？为什么选择PySR？

符号回归通过进化算法搜索数学表达式空间，找到既精确又简洁的公式来描述数据中的关系。与传统的回归方法（如线性回归、神经网络）不同，符号回归直接提供可解释的数学表达式，无需预先假设函数形式。

PySR作为当前最先进的符号回归工具之一，具有以下核心优势：

• 高性能：底层基于Julia实现的SymbolicRegression.jl引擎，支持多线程和分布式计算
• 高可配置性：允许自定义运算符、损失函数和搜索策略
• 易用性：提供Scikit-learn风格的Python API，无缝集成到Python数据科学工作流

图1：PySR在CAMELS-IllustrisTNG数据集上的符号回归结果，预测总质量(M_tot)的公式与观测数据的拟合优度达到97.67%

HPC环境下的容器化挑战

在高性能计算(HPC)集群环境中部署PySR面临诸多挑战：

• 系统权限限制，无法安装系统级依赖
• 集群节点间软件环境不一致
• 复杂的依赖关系管理（Python、Julia及各自的包）
• 资源调度与并行计算配置复杂

传统的安装方式（如pip或conda）往往需要用户具备管理员权限，且难以保证在不同节点上的一致性，这大大限制了PySR在HPC环境中的应用。

Apptainer容器：HPC环境的理想选择

Apptainer（前身为Singularity）是专为HPC环境设计的容器解决方案，相比Docker具有以下优势：

• 无需root权限：普通用户即可构建和运行容器
• 与HPC集成：原生支持SLURM、PBS等作业调度系统
• 安全性：默认以用户身份运行，降低安全风险
• 可移植性：单个SIF文件包含完整环境，易于在集群间迁移

PySR项目新增的Apptainer支持通过Apptainer.def文件定义了完整的运行环境，解决了HPC环境下的部署难题。

快速上手：PySR Apptainer容器使用指南

1. 准备工作

首先确保集群已安装Apptainer，然后克隆PySR仓库：

git clone https://gitcode.com/gh_mirrors/py/PySR cd PySR

2. 构建容器镜像

使用项目提供的定义文件构建Apptainer镜像：

apptainer build --notest pysr.sif Apptainer.def

构建过程会自动处理所有依赖，包括：

• Julia运行时和PySR核心依赖
• Python环境和数据科学库
• 预配置的并行计算支持

3. 运行PySR容器

构建完成后，通过以下命令启动容器：

apptainer run pysr.sif

这将自动启动IPython环境，您可以直接开始使用PySR：

from pysr import PySRRegressor import numpy as np # 生成示例数据 X = 2 * np.random.randn(100, 5) y = 2.5 * np.cos(X[:, 3]) + X[:, 0]**2 - 0.5 # 创建并训练模型 model = PySRRegressor( maxsize=20, niterations=100, binary_operators=["+", "*"], unary_operators=["cos", "sin"] ) model.fit(X, y) # 查看结果 print(model)

4. 高级用法：集群作业提交

结合SLURM调度系统，创建提交脚本submit.sh：

#!/bin/bash #SBATCH --job-name=pysr_job #SBATCH --nodes=1 #SBATCH --ntasks-per-node=8 #SBATCH --time=01:00:00 apptainer run pysr.sif ipython my_pysr_script.py

提交作业：

sbatch submit.sh

Apptainer容器的技术优势解析

PySR的Apptainer定义文件采用了分层构建策略，结合了Docker和Apptainer的优势：

1. 双阶段构建：

   • 第一阶段基于Julia官方镜像构建Julia环境
   • 第二阶段基于Python镜像，整合Julia环境并安装PySR

2. 环境隔离与共享：

   %environment export PATH="/usr/local/julia/bin:$PATH" export JULIA_DEPOT_PATH="$HOME/.pysr:/pysr/depot:$JULIA_DEPOT_PATH"

   这种配置允许用户拥有个人依赖目录，同时共享容器中的基础依赖。

3. 预加载依赖： 容器构建时通过pysr.load_all_packages()预加载所有Julia依赖，避免运行时重复下载。

4. 测试集成： 内置测试命令确保容器功能完整性：

   %test python3 -m pysr test main,cli,startup

实际应用案例：从数据到公式的符号回归

PySR在多个科学领域展示了强大的公式发现能力。以下是几个典型应用案例：

案例1：星系团质量估算

在天体物理学中，PySR成功发现了从可观测参数预测星系团总质量的公式：

图2：PySR在CAMELS-SIMBA数据集上发现的不同质量估算公式及其相对散射(rel. scatter)比较

案例2：气体浓度与星系性质关系

PySR还被用于研究气体浓度与星系性质之间的复杂关系，通过多阶段符号回归逐步优化公式：

图3：PySR发现的气体浓度与星系质量关系的三个逐步优化的公式及其预测精度比较

这些案例展示了PySR如何帮助科学家从复杂数据中发现隐藏的数学规律，加速科学发现过程。

总结：PySR容器化带来的生产力提升

PySR新增的Apptainer支持为HPC环境下的符号回归分析带来了革命性的变化：

• 简化部署：一行命令即可在任何HPC集群上部署完整的PySR环境
• 环境一致：确保所有计算节点使用完全相同的软件环境
• 资源高效：优化的容器设计减少冗余依赖，提高资源利用率
• 易于扩展：支持从单机到大规模集群的无缝扩展

无论是学术研究人员还是工业界数据科学家，现在都可以轻松地在HPC环境中利用PySR的强大能力，从数据中发现有意义的数学规律。

要了解更多PySR的高级功能和使用技巧，请参阅项目官方文档：docs/src/_index.md和docs/src/options.md。

开始您的符号回归之旅，探索数据中隐藏的数学奥秘！

【免费下载链接】PySRSymbolic Learning in Python and Julia项目地址: https://gitcode.com/GitHub_Trending/py/PySR