1、开启文件系统的预读缓存可以提高读取速度
[victor@hadoop102 ~]$ sudo blockdev --setra 32768 /dev/sda
尖叫提示:ra是readahead的缩写
2、关闭进程睡眠池
即不允许后台进程进入睡眠状态,如果进程空闲,则直接kill掉释放资源
[victor@hadoop102 ~]$ sudo sysctl -w vm.swappiness=0
3、调整ulimit上限,默认值为比较小的数字
// 查看允许最大进程数
[victor@hadoop102 ~]$ ulimit -n
//查看允许打开最大文件数
[victor@hadoop102 ~]$ ulimit -u
优化修改
//修改打开文件数限制
[victor@hadoop102 ~]$ sudo vi /etc/security/limits.conf
//末尾添加
* soft nofile 1024000
* hard nofile 1024000
Hive - nofile 1024000
hive - nproc 1024000
//修改用户打开进程数限制
[victor@hadoop102 ~]$ sudo vi /etc/security/limits.d/20-nproc.conf
//修改为
#* soft nproc 4096
#root soft nproc unlimited
* soft nproc 40960
root soft nproc unlimited
4、开启集群的时间同步NTP
集群中某台机器同步网络时间服务器的时间,集群中其他机器则同步这台机器的时间。
5、更新系统补丁
更新补丁前,请先测试新版本补丁对集群节点的兼容性。