2023-11-13 测试任务并发大小对HADOOP集群的性能影响

集群使用CDH5.16.1版本。hadoop2.6.0 spark1.6 hive1.1
规模290节点 ，单台分配384G内存，48VCORE （内存:CORE比 8:1）
namenode的RPC队列拆分为对应客户端连接使用的RPC队列端口8020，和内部上报与心跳检测Service RPC队列端口8022。

涉及参数
dfs.namenode.handler.count = 200
dfs.namenode.service.handler.count = 120 有可能这里有问题，两个指标应该一样。

任务使用

spark.memory=32G
spark.cores=4
maxexecutor = 120
资源使用动态资源控制。

并发3个以上这类任务，集群8022端口RPC队列长度经常打满。 和其并行的还有很多规模小一些任务。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容