业务剧增导致Kafka节点被打爆问题

## Kafka配置

### 集群模式3节点 每台8c32G 服务只有zookeeper和kafka

### jvm 14G

## 问题:业务量剧增导致的kafka节点状态不稳定表现为如下:

1、kafka的进程正常启动,但是端口起不来

2、日志报错 too many open files

3、日志报错 找不到另外两个节点 connect refuse

## 背景:通过systemd管理的kafka二进制安装

### 探针启动问题:Error Init Kafka Client: kafka: client has run out of available brokers to talk to: dial tcp 10.233.9.230:9092: connect: connection refused

### 你telnet这个端口他其实是通的 但是探针发送tcp长连接请求的情况下就是会断


### 其实通过这个 too many open files 是可以定位到问题

- 业务剧增,导致了kafka需要同时操作topic文件过多

- 操作过多的情况下就是一个文件打开数的问题

cat /pro/{kafka_pid}/limit

可以看当前的文件打开数 默认是四千多

那么我们使用systemd托管启动的情况下就需要去修改参数

[root@ ~]# cat /usr/lib/systemd/system/kafka.service

[Unit]

Description=Apache Kafka

After=network.target

[Service]

Type=simple

Environment="JAVA_HOME=/usr/local/jdk1.8"

LimitNOFILE=65536

ExecStart=/data/kafka/bin/kafka-server-start.sh /data/kafka/config/server.properties

ExecStop=/data/kafka/bin/kafka-server-stop.sh

Restart=always

[Install]

WantedBy=multi-user.target

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容