两节点MPP集群搭建操作指南

一、前言本文记录在两台鲲鹏920服务器上搭建达梦 DM8 MPP大规模并行处理集群的完整过程。由于服务器为多人共用环境踩了一些坑特此整理成博客备忘。MPP的核心定位海量数据 OLAP 分析通过 Share-Nothing 架构将数据分片存储到多台机器查询时各节点并行计算、汇总结果。MPP 本身不提供高可用生产环境建议配合 AFC/DW 使用。二、环境规划项目EP01EP02机器 IP10.36.25.3210.36.25.33实例名EP01EP02数据库端口99989999MAL 端口1104111042MPP_SEQNO01数据路径/dmdata/xuboshi/mpp/EP01/DAMENG/dmdata/xuboshi/mpp/EP02/DAMENG注意MAL 端口用于 MPP 节点间内部通信必须确保两台机器防火墙互通。三、MPP 搭建步骤3.1初始化数据库在 32 上执行EP01mkdir-p/dmdata/xuboshi/mpp/EP01cd/dmdata/xuboshi/opt/dmdbms/bin./dminit\PATH/dmdata/xuboshi/mpp/EP01\INSTANCE_NAMEEP01\PORT_NUM9998\SYSDBA_PWDDameng123\SYSAUDITOR_PWDDameng123\PAGE_SIZE32\EXTENT_SIZE16\LOG_SIZE2048在 33 上执行EP02mkdir-p/dmdata/xuboshi/mpp/EP02cd/dmdata/xuboshi/opt/dmdbms/bin./dminit\PATH/dmdata/xuboshi/mpp/EP02\INSTANCE_NAMEEP02\PORT_NUM9999\SYSDBA_PWDDameng123\SYSAUDITOR_PWDDameng123\PAGE_SIZE32\EXTENT_SIZE16\LOG_SIZE20483.2 配置 dm.ini两台都要32 上cat/dmdata/xuboshi/mpp/EP01/DAMENG/dm.ini EOF# MPP 必要参数MAL_INI 1MPP_INI 1EOF33 上cat/dmdata/xuboshi/mpp/EP02/DAMENG/dm.ini EOF# MPP 必要参数MAL_INI 1MPP_INI 1EOF确认 INSTANCE_NAME 和 PORT_NUM 在 dminit 时已正确生成无需修改。3.3配置 dmmal.ini两台内容完全一样在 32 上创建cat/dmdata/xuboshi/mpp/EP01/DAMENG/dmmal.ini EOF[MAL_INST1]MAL_INST_NAME EP01MAL_HOST 10.36.25.32MAL_PORT 11041MAL_INST_HOST 10.36.25.32MAL_INST_PORT 9998[MAL_INST2]MAL_INST_NAME EP02MAL_HOST 10.36.25.33MAL_PORT 11042MAL_INST_HOST 10.36.25.33MAL_INST_PORT 9999EOF拷贝到 33scp/dmdata/xuboshi/mpp/EP01/DAMENG/dmmal.ini\dmdba10.36.25.33:/dmdata/xuboshi/mpp/EP02/DAMENG/3.4 配置 dmmpp.ctl二进制控制文件在 32 上生成cat/dmdata/xuboshi/mpp/EP01/DAMENG/dmmpp.ini EOF[SERVICE_NAME1]MPP_SEQ_NO 0MPP_INST_NAME EP01[SERVICE_NAME2]MPP_SEQ_NO 1MPP_INST_NAME EP02EOFcd/dmdata/xuboshi/opt/dmdbms/bin./dmctlcvt TYPE2\SRC/dmdata/xuboshi/mpp/EP01/DAMENG/dmmpp.ini\DEST/dmdata/xuboshi/mpp/EP01/DAMENG/dmmpp.ctl拷贝到 33dmmpp.ctl 是二进制文件两台必须完全一致scp/dmdata/xuboshi/mpp/EP01/DAMENG/dmmpp.ctl\dmdba10.36.25.33:/dmdata/xuboshi/mpp/EP02/DAMENG/3.5 启动 MPP32 上cd/dmdata/xuboshi/opt/dmdbms/bin./dmserver /dmdata/xuboshi/mpp/EP01/DAMENG/dm.ini33 上另开窗口cd/dmdata/xuboshi/opt/dmdbms/bin./dmserver /dmdata/xuboshi/mpp/EP02/DAMENG/dm.ini启动顺序不分先后都起来后 MPP 自动生效。四、验证 MPP4.1查看 MPP 节点配置在任意一台连接cd/dmdata/xuboshi/opt/dmdbms/bin./disql SYSDBA/Dameng12310.36.25.32:9998-- 查看全局 MPP 配置SELECT*FROMV$MPP_CFG_ITEM;-- 去重看实际节点SELECTDISTINCTINST_NAME, EP_SEQNOFROMV$MPP_CFG_ITEM;预期2 个节点EP01SEQNO0和 EP02SEQNO1状态都是 OK。4.2查看当前连接的是哪个 EPSELECTSF_GET_SELF_EP_SEQNO();4.3创建分布表并验证数据分布CREATETABLEtest_mpp(idINT, nameVARCHAR(50))DISTRIBUTEDBYHASH(id);INSERTINTOtest_mppVALUES(1,a);INSERTINTOtest_mppVALUES(2,b);INSERTINTOtest_mppVALUES(3,c);INSERTINTOtest_mppVALUES(4,d);COMMIT;-- 查看每行数据来自哪个 EPSELECTid, name, SF_GET_EP_SEQNO(ROWID)ASep_noFROMtest_mpp;-- 统计各节点数据量CALLSP_GET_EP_COUNT(SYSDBA,TEST_MPP);预期数据均匀分布到 EP01 和 EP02各约 50%。4.4本地登录体验MPP 特有# 本地登录不指定 IP./disql SYSDBA/Dameng123localhost:9998-- 只看本节点数据SP_SET_SESSION_MPP_SELECT_LOCAL(1);SELECT*FROMtest_mpp;-- 预期只能看到约一半数据-- 恢复全局查询SP_SET_SESSION_MPP_SELECT_LOCAL(0);这是 MPP 和 DPC 的本质区别之一MPP 的每个 EP 是完整的数据库实例只是数据不完整可以本地登录做维护DPC 的 SP 不存数据本地登录无意义。五、常见问题速查问题原因解决undefined symbol: utl_analyse_para_fun不在 bin 目录执行 dmrmancd bin ./dmrmanCan not connect to incompatible dmap连到了别人的 dmap./dmrman USE_AP2 CTLSTMT...Syntax error near USE_APUSE_AP 写进了 CTLSTMT 引号内放到引号外./dmrman USE_AP2 CTLSTMT...archive_dest can not be self instance!还原后 INSTANCE_NAME 没改sed -i s/INSTANCE_NAME.*/INSTANCE_NAME xxx/ dm.iniMPP 启动后查不到另一节点MAL 端口不通检查防火墙确保 11041/11042 互通dmmpp.ctl 不一致两台机器的 ctl 文件不同从一台生成scp 到另一台六、DM六大集群选型速记产品解决什么问题一句话AFC高可用、自动故障切换数据不丢、秒级切换DW/RWC主备守护/读写分离AFC 的前辈手动或半自动DSC共享存储多活类似 Oracle RAC多实例读写同一份数据MPP海量数据并行分析数据分片、并行计算、OLAP 利器DPC分布式 HTAP云原生、计算存储分离、弹性扩缩容组合建议 - 纯分析报表 节点少 →MPP- 核心交易 高可用 →AFC- 海量分析 高可用 →MPP AFC给每个 EP 配主备 - 云原生 弹性扩展 HTAP →DPC七、后记在多人共用的服务器上搭建达梦集群最大的敌人不是配置复杂而是环境冲突dmap 版本冲突、动态库路径冲突、端口冲突。建议所有命令都在达梦的 bin 目录下执行./xxx多人环境优先用 USE_AP2绕过 dmap端口规划时避开他人已用端口备份还原后务必检查 INSTANCE_NAME本文原创于达梦技术社区https://eco.dameng.com/达梦数据库 - 新一代大型通用关系型数据库 | 达梦在线服务平台达梦数据库产品体验站DM8在线试玩达梦数据库全系列产品免费下载官方权威的快速上手文档和产品手册最活跃的达梦技术社区面向全行业ISV厂商免费的云适配服务。https://eco.dameng.com/