[TOC]
12-kafka生产环境搭建之需求场景分析
评估afka集群(其他集群评估方法类似)
13-kafka生产环境搭建之物理机数量的评估
评估Kafka集群需要多少物理机
Kafka Mysql hadoop 需要物理机(性能好)
14-kafka生产环境搭建之磁盘选择
- SSD还是SAS(普通)?
SSD:性能好,价格高
SAS:性能一般,价格低
SSD随机读写性能好,适合MySQL,顺序写跟SAS差不多
所以选择SAS - 每台服务器几块硬盘
日志里276T,那么5台,每台就是60T
准备的容量是 60/0.8 = 75T
一般每块5-10T?那就是 7.5-15块硬盘
15-kafka生产环境之内存评估
- 内存尽量给 os cache
- JVM 也要占内存
kafka在JVM中的数据不是很多,一般几个G就可以了(最多10G就行了)
16-kafka生产环境搭建之cpu压力评估
评估CPU就是看看有多少个线程
CPU core =4:最多几十个
CPU core =8:最多不到100
CPU core =16:100来个
CPU core =32:200来个
Accptor 线程:1
Processor 线程: 默认:3;最好是:6或9
RequestHanderPool 线程:默认:8 ;最好是:16或32
定时清理日志线程
ISR线程
同步副本数据
1+9+32=42 再加点其他的线程 Kafka 大概有100多个线程,至少要有 16 core,32core更好。
17-kafka生产环境搭建之网络需求评估
一般就是千兆(1G/s)万兆(10G/s)
网卡一般到不了极限,一般也就70%-80%。
所以使用千兆网卡也还行,高峰期可能会有些压力,用万兆绝对没问题