问题描述
grafana doris overview 监控显示BE Compaction Score 分数递增,不稳定,正常应该是平稳为主
解决问题
分析思路:应该是数据导入任务频率过高导致doris 后台数据写入放大,既合并跟不上写入速度
所以考虑三点
1、导入job优化,提高batch数据量,减少commit频率;
2、提高合并线程数量;
3、优化单个cc task作业时长;
以上思路同样可以解决clickhouse datapart too many 300问题
优化参数
-
compaction_task_num_per_disk
每个磁盘(HDD)可以并发执行的compaction任务数量,默认4,调整为8 -
max_cumu_compaction_threads
Cumulative Compaction线程池中线程数量的最大值,默认10,调整为数据盘总数*8 *1.1 -
cumulative_compaction_max_deltas
cumulative compaction策略:最大增量文件的数量,默认1000,减少到500,减少单次cc tack数据文件量,来促进单次cc作业快速执行
参考官方文档