高性能计算（HPC）‌

一、HPC核心定义高性能计算HPC‌ 是通过聚合大量计算资源突破单节点算力上限实现远超普通计算机运算能力的技术体系核心是用并行处理能力完成超大规模复杂计算任务是支撑科研、工业等领域尖端场景的核心基础设施。HPC核心架构计算层‌由大量CPU/GPU计算节点组成部分超算会采用定制化加速芯片单集群算力可达EFlops级别。网络层‌主流采用FAT-Tree无阻塞拓扑搭配InfiniBand高速互联技术1024节点下通信延迟可稳定在1.2μs以内适配HPC全互联通信需求。存储层‌配套并行分布式文件系统解决大规模计算场景下的高并发I/O瓶颈。调度层‌通过集群管理软件统一分配算力资源提升多任务并行运行效率。关键核心技术RDMA远程直接内存访问‌绕过CPU内核实现零拷贝数据传输将通信延迟从毫秒级压缩至微秒级多卡并行训练效率可提升40%。动态拥塞控制‌DCQCN等算法可实时调整流量发送速率在40Gbps网络中让尾部延迟降低70%吞吐量提升25%。并行编程模型‌基于MPI实现分布式节点间协同计算搭配CPU/GPU混合编程框架适配不同计算场景。典型应用场景HPC广泛应用于气象数值预报、核模拟、航空航天流体仿真、大模型AI训练、基因测序、药物分子研发等领域是支撑尖端科研和工业突破的核心算力底座。二、HPC集群主流组网方案组网方案适用场景核心优势典型配置三层FAT-TreeSpine-Leaf中小规模HPC集群几十到上千节点是当前最通用的组网架构。全链路无带宽收敛任意节点间通信无单点瓶颈支持ECMP多路径负载均衡。接入层用25G/100G Leaf交换机核心层用100G/400G Spine交换机搭配InfiniBand无损网络。四层FAT-Tree扩展万节点级超大规模超算集群如2026年登顶全球榜首的中国“灵晟”超算就采用该架构。横向扩展能力极强可线性叠加计算节点规模同时保持低通信延迟。新增中间汇聚层将集群最大支持节点数从三层的万级提升至十万级。多区域跨域HPC跨地域算力调度、灾备型HPC集群满足数据本地化、多区域资源互补需求。可根据需求选择主动/主动全活集群需要最大算力规模、最低故障切换时间的超大型HPC中心、主动/被动灾备集群有明确RTO要求的任务关键型HPC业务控制整体部署成本、单控制平面跨区域集群追求统一运维体验、简化集群管理的中大型HPC部署三种模式。主动/主动全活集群每个区域部署独立完整的HPC集群跨区域通过专线打通数据同步链路。主动/被动灾备集群‌主区域承载全部业务备区域预配闲置资源仅做数据实时同步。单跨域控制平面集群‌主区域部署统一调度头节点跨区域通过高级网络配置创建独立计算分区HPC集群部署注意事项1、网络配置环节‌部署前必须提前完成所有节点物理链路连通性校验确认每个网卡对应网络拓扑的位置避免后续配置出错。按照规划的拓扑在HPC集群管理器中完成网络向导配置正确划分企业管理网、专用计算网、并行应用网三个独立网络平面。按需开启DHCP、NAT网络服务配套配置防火墙规则避免无关流量侵入计算网络。2、权限与节点管理环节‌部署节点的域账户必须具备足够权限可创建AD计算机账户、将节点加入域同时满足远程重启节点的管理员权限要求。若组织有域账户加域数量限制需提前修改域内ms-DS-MachineAccountQuota属性避免批量部署节点时出现加域失败问题。提前完成新节点的统一命名规则配置避免节点标识混乱影响后续调度管理。3、性能与稳定性优化环节‌存储层必须配套并行文件系统避免普通NFS网络文件系统的I/O瓶颈支撑高并发计算任务的读写需求。部署完成后定期开展硬件巡检、系统补丁更新同时持续做负载均衡调优保障集群长期稳定运行。三、HPC集群部署检查清单1、前期硬件与环境检查所有计算节点、交换机硬件完成通电自检无硬件告警所有FAT-Tree链路连通性校验完成端口速率协商正常机房供电、散热系统满足集群满负载运行的冗余要求2、网络配置检查管理网、计算网、存储网三个网络平面完全物理隔离ECMP多路径路由配置完成所有跨Pod路径可达RDMA/PFC无损流量控制参数调优完成无丢包风险3、系统与权限检查所有节点操作系统镜像统一部署驱动版本完全匹配域账户加域权限配置完成ms-DS-MachineAccountQuota属性已按需调整集群调度系统管理员权限分配完成无权限冲突4、上线验证检查全节点ping all连通性测试100%通过MPI并行基准测试运行正常通信延迟符合预期首个测试计算作业可正常提交并完成运行四、HPC集群上线后的性能基准测试步骤1、测试前准备提前部署HPC专用优化镜像预装预配置的驱动和依赖库确认GPU、InfiniBand、NCCL等所有驱动版本为最新稳定版验证NUMA配置、GPU与网卡的拓扑关联关系正确所有测试节点完成预热清空缓存避免初始运行误差2、核心性能测试步骤浮点算力测试‌运行HPLLINPACK基准测量集群峰值浮点计算性能确认实测值达到理论峰值的80%以上内存带宽测试‌运行STREAM基准验证单节点可持续内存带宽符合硬件标称值MPI通信测试‌运行OSU Micro-Benchmarks测量MPI通信的延迟和带宽确认跨节点通信无收敛瓶颈GPU通信测试‌运行NCCL测试验证多GPU集体通信性能适配AI训练场景需求真实业务验证‌运行ANSYS Fluent、WRF等实际HPC应用确认集群在真实工作负载下的吞吐量达标3、测试收尾规范至少重复运行5次测试取中值/平均值作为最终结果完整记录所有软件版本、环境变量和运行参数形成可复现的测试报告对比测试结果与预期指标识别计算、内存、网络环节的潜在瓶颈4、HPC集群性能测试的结果对比参考表测试项目合格阈值优秀阈值常见不达标原因HPL浮点算力≥理论峰值75%≥理论峰值85%节点NUMA绑定错误、进程映射不合理STREAM内存带宽≥硬件标称值80%≥硬件标称值90%内存通道未全开、BIOS节能模式未关闭MPI点对点延迟≤2μs≤1.5μs网络拥塞控制参数配置错误、链路带宽不匹配MPI点对点带宽≥链路带宽90%≥链路带宽95%网卡驱动版本老旧、MTU值未统一设置NCCL AllReduce带宽≥单卡带宽85%≥单卡带宽92%多路径路由哈希规则不合理、大流集中在单链路五、HPC集群性能调优1、MPI通信性能差调优配置Intel MPI环境变量I_MPI_FABRICSshm:dapl、I_MPI_DAPL_UDon启用UD模式减少通信缓冲区占用关闭MPI fallback机制设置I_MPI_FALLBACKoff避免自动切换到低速通信链路手动绑定MPI进程到NUMA节点避免跨NUMA访问引发的通信延迟飙升2、NCCL通信低效调优开启NCCL多路径支持设置NCCL_IB_DISABLE0启用InfiniBand RDMA通信调整ECMP哈希字段加入源端口、目的端口维度打散大流避免单链路拥塞关闭不必要的NCCL fallback选项强制使用高速通信链路3、内存带宽不足优化进入BIOS关闭所有节能模式开启内存通道全开配置运行程序时手动绑定进程到对应NUMA节点避免跨节点远程内存访问调整内存页大小为大页减少TLB缓存缺失带来的性能损耗4、浮点算力不达标调优关闭CPU超线程避免并行进程抢占核心资源启用编译器O3优化选项开启AVX-512等指令集加速调整HPL进程映射规则让每个计算核心都能满负载运行