持续分享有用、有价值、精选的优质大数据面试题致力于打造全网最全的大数据面试专题题库1、集群线上扩容如何达到自动化线上扩容规模正常都以10以上如果都以课堂所示人肉操作时间投入与产出比不匹配人力造成很大的不必要浪费想学习老师线上集群实际扩容的方案。参考答案课堂所示兼顾了小白同学所以是手把手纯人肉搭建产线环境扩容数量少则几十多则上百人肉肯定不行我们公司的运维分为 IAAS 运维、大数据运维、应用运维大数据运维工程师在扩容集群时需要向 IAAS 运维工程师以工单的方式申请服务器并提出自己的需求 IAAS 运维工程师在提供服务器时不管是新采购服务器还是其他集群退役的服务器都需要重装系统重装系统的镜像是针对大数据定制的镜像包含了大数据运维工程师的通用需求以及安装操作系统后的网络、磁盘以及其他设置比如关闭防火墙、时钟同步、同构磁盘挂载、关闭大透明页、关闭 SWAP、公用 YUM 源、禁用 SELinux 等模式化操作大数据运维工程师收到服务器后准备工作基本准备完毕了进行少量准备工作就可以直接进入了 CM 可视化批量安装模式比如脚本批量设置hostname、脚本同步/etc/hosts 文件等 当然如上所说的 IAAS 操作如关闭防火墙、时钟同步、同构磁盘挂载、关闭大透明页、关闭 SWAP、公用YUM 源、禁用 SELinux 都可以脚本化无非就是使用 SSH 通讯方式设置这就需要大数据运维同学熟练使用 shell 了。2、已知一个HDFS的目录想知道此目录下的文件数而且存储于哪些DataNode节点上。参考答案1.查看文件数使用 count 命令如下查看/ops 目录目录数为 9606文件数为 1353 万总文件大小为 9.7P2.查看/ops/test 目录下的文件存储的位置hdfs fsck /ops/test -files -blocks -locations -racks3、DataNode单节点存储容量大小与当前节点上的CPU内存硬件之间有什么样的关系磁盘扩容很容易但这不意味着单节点上数据盘就可以无限地扩容因此在这方面有什么实际线上的经验分享即这三者间可以遵循怎样合适的关系参考答案从我们内部实践来说没有发现三者之间的规律因为大数据业务每个公司都不一样有的计算是 CPU 密集型的有的计算是内存密集型的、有的计算是IO 密集型的我们的服务器都是中高配置每个服务器的磁盘是 4Tx10、 CPU24core、 128G 内存。4、老师线上6000规模集群抛开一些其它组件集群仅讨论HDFS数据存储集群保守理应也在有3000节点左右想知道这些存储节点只是单集群NameNode集群来维护吗还是多集群独立维护的如果是多集群存储数据它们之间数据是如何打通进行关联的如果仅是一个集群的话我想知道这个集群的NameNode上的配置是如何Hold住这些数据DataNode的参考答案我们的集群也是用的 Cloudera 公司的我们付了费用 Cloudera 没有保障说 CM 能够纳管 1000 节点以上的集群再加上我们的机房有容量限制所以我们是建了多套集群最大集群有 800节点最小集群也有 300节点800datanode 下 namenode 是可以支撑的像一些互联网大厂字节跳动、京东等他们的单集群规模有上万节点此时就需要对 hdfs 进行深度定制了他们改了很多源码而且有 200高级技术维护人员多集群建设要考虑业务情况比如我们公司有 10 个以上业务 5 大核心集群按业务相关情况划分集群不过也难免有跨集群的作业目前公司内部自研发了大数据采集交换平台你也可以使用 distcp 进行数据对拷目前我们也正在准备自研发多集群并行混算平台。5、HDFS存储节点上的数据存储压缩格式是如何选取的默认采用哪种文件存储类型与存储格式冷热数据如何界定的参考答案我们产线环境用了 gz 和 snappy 压缩格式 gz 用于不常用的冷数据snappy 用于热数据冷热数据是跟业务相关的后续集群治理的课程中也有冷热数据的区分。6、课堂上看到HDFS集群的DataNode与HBASE是集成在一起部署的我好奇HBase面向的都是高频率读写的业务老师确定部署一起后线上业务没有出现过问题吗参考答案你应该是理解错了 HBase 不能跟 YARN 在一起部署 HBase 需要跟HDFS 部署在一起的这样可以利用数据本地性提升 IO 性能并且可以降低网络延迟降低带宽负载。7、Yarn集群计算层目前集群面向用户使用群体少故白天仅是数据写入集群CPU资源都较为存在大量冗余状态但对于凌晨执行集中高频提交跑批作业计算任务时集群的CPU资源明显不够甚至引起节点CPU负载过高导致节点的宕机从而造成集群雪崩。简单来说白天集群资源使用率在5%凌晨执行高频跑批作业任务时资源使用率上到100%引起集群宕机。在不增加资源的前提下资源老师会如何划分队列参考答案这个划分队列无法解决根本问题建议将业务划分优先级错开时间执行。详情课程中有讲解。8、某一台CDH物理机12块RAID0硬盘如果其中有4块RAID0硬盘同时损坏,请问接下来大数据运维人员的详细处理流程是什么参考答案HDFS 有个参数 dfs.datanode.failed.volumes.tolerated值为 0 的时候表示当有任何盘损坏后 datanode 则停止服务如果 4 快盘同时损坏了此时datanode 进程已经停止了你可以修改 hdfs-site.xml 配置文件将损坏的磁盘路径去掉重启 datanode 即可然后进入磁盘报修流程待磁盘更换后停止 datanode在 hdfs-site.xml 配置文件中假如新的磁盘启动 datanode 即可。9、CDH如果为开发人员提供HIVESERVER2服务可以让开发人员通过beeline命令访问?参考答案是的 beeline 使用 JDBC 协议来连接 HIVESERVER210、在晚高峰期 HDFS集群会出现某些 datanode不稳定的情况频繁有datanode脱离节点,该如何处理呢参考答案需要找到 datanode 的具体原因 datanode 相对来说还是比较稳定的需要看下是否是 GC 问题如果是的话适当调大内存再看下最大的打开文件数或进程数的限制是否太小。