线程池(ThreadPoolExecutor)

一:Executor知识点

线程池知识点.png

二:线程池模型

1:线程池模型:生产者-消费者模式(与一般的池化资源模式不同),线程池的使用方法是生产者,线程池本身是消费者。

问题1:为什么认为"线程池的使用方法是生产者,线程池本身是消费者"呢?

因此线程池内部维护了队列,线程池的方法提交一个任务就是将其加入到队列中,对应的就是生产者,然后线程池从队列中获取任务执行来消费任务,对应的就是消费者。

三:线程池原理

线程池原理.png

1:执行原理

线程池中的核心线程数,当提交一个任务时,线程池创建一个新线程执行任务,直到当前线程数等于corePoolSize;如果当前线程数为corePoolSize,继续提交的任务被保存到阻塞队列中,等待被执行;如果阻塞队列满了,那就创建新的线程执行当前任务;直到线程池中的线程数达到maxPoolSize,这时再有任务来,只能执行RejectedExecutionHandler处理该任务。

2:核心参数

  • corePollSize:核心线程数。在创建了线程池后,线程中没有任何线程,等到有任务到来时才创建线程去执行任务。默认情况下,在创建了线程池后,线程池中的线程数为0,当有任务来之后,就会创建一个线程去执行任务,当线程池中的线程数目达到corePoolSize后,就会把到达的任务放到阻塞队列当中。
  • maximumPoolSize:最大线程数。表明线程中最多能够创建的线程数量。
  • keepAliveTime:空闲的线程保留的时间,超过该时间线程会被回收<font color='red'>(指非核心线程=maximumPoolSize-corePollSize,核心线程不会被回收)</font>。
    注:JDK从1.6开始,提供 allowCoreThreadTimeOut(boolean value) 允许空闲核心线程超时释放,节省资源。
  • TimeUnit:空闲线程的保留时间单位。
  • BlockingQueue<Runnable>:阻塞队列,存储等待执行的任务。参数有ArrayBlockingQueue、LinkedBlockingQueue、SynchronousQueue可选。
  • ThreadFactory:线程工厂,用来创建线程。
  • RejectedExecutionHandler:(拒绝策略)创建的线程数量大于线程池的最大线程数的时候,新的任务就会被拒绝,就会调用拒绝策略。
    AbortPolicy:中止政策。默认的拒绝策略就是AbortPolicy。抛弃添加的任务,直接抛出异常。
    CallerRunsPolicy:调用者运行政策。在任务被拒绝添加后,会调用当前线程池的所在的线程去执行被拒绝的任务。
    DiscardPolicy:丢弃政策。会让被线程池拒绝的任务直接抛弃,不会抛异常也不会执行。
    DiscardOldestPolicy:丢失最老的政策。任务被拒绝添加时,会抛弃任务队列中最旧的任务也就是最先加入队列的,再把这个新任务添加进去。

四:线程池核心API

  • submit:提交任务,返回类型是void,定义在Executor接口中。
  • execute:提交任务,返回持有计算结果的Future对象,定义在ExecutorService接口中,扩展了Executor接口。
  • shutdown:不会立即终止线程池,而是要等所有任务缓存队列中的任务都执行完后才终止,但再也不会接受新的任务。
  • shutdownNow:立即终止线程池,并尝试打断正在执行的任务,并且清空任务缓存队列,返回尚未执行的任务。

五:线程池的作用

资源的利用性增加。

  • 减少创建和销毁线程的次数,每个工作线程都可以被重复利用,可执行多个任务。

  • 可以根据系统的承受能力,调整线程池中工作线程的数量,防止因为消耗过多的内存,而宕机。

六:线程池的巧妙设计

1:AtomicInteger变量设计

​ 在线程池中,使用了一个原子类AtomicInteger的变量来表示线程池状态和线程数量,该变量在内存中会占用4个字节,也就是32bit,其中高3位用来表示线程池的状态,低29位用来表示线程的数量。线程池的状态一共有5中状态,用3bit最多可以表示8种状态,因此采用高3位来表示线程池的状态完全能满足需求。

注:用1个变量来保存2个变量状态,非常的巧妙,2个变量之间自身的耦合关系也非常好处理。

七:Executors

  • newFixedThreadPool:固定线程池,核心线程数和最大线程数一样, 维护LinkedBlockingQuene,即使当线程池没有可执行任务时,也不会释放线程。(一般多用这个)。
  • newCachedThreadPool:缓存线程池,核心线程数默认为0,最大线程数默认为Integer.MAX_VALUE,维护SynchronousQueue。
  • newSingleThreadExecutor:单一线程池,核心线程数和最大线程数为1,维护LinkedBlockingQuene。
  • newScheduledThreadPool:定时线程池,核心线程数默认为用户传递,最大线程数默认为Integer.MAX_VALUE,维护了一个基于BlockingQueue实现的DelayedWorkQueue队列。
  • ......

《阿里巴巴Java开发规范》建议:不要使用Executors来创建线程池。

原因:Executors提供的四种线程池创建策略容易造成OOM。

1:FixedThreadPool 和 SingleThreadPool:允许LinkedBlockingQueue的请求队列长度为 Integer.MAX_VALUE,可能会堆积大量的请求,从而导致 OOM。
2:CachedThreadPool 和 ScheduledThreadPool:允许的创建线程数量为 Integer.MAX_VALUE,可能会创建大量的线程,从而导致 OOM。

八:合理的设置线程池

1:理论设置

线程池的理论设置需要依据程序是CPU密集型任务还是IO密集型任务来进行设置。

CPU密集型任务:特点是要进行大量的计算,消耗CPU资源,比如计算圆周率、对视频进行高清解码等等,全靠CPU的运算能力。

IO密集型任务:涉及到网络、磁盘IO的任务都是IO密集型任务,这类任务的特点是CPU消耗很少,任务的大部分时间都在等待IO操作完成(因为IO的速度远远低于CPU和内存的速度)。因此CPU会在进行IO的时候处于空闲。

  • 如果是CPU密集型任务(就是需要CPU进行大量计算的),就需要尽量压榨CPU,参考值可以设为 Num(CPU+1) 。

    注:多出来的一个线程是为了防止线程偶发的缺页中断,或者其它原因导致的任务暂停而带来的影响。

  • 如果是IO密集型任务(IO比较多),参考值可以设置为 2 * CPU核数。

2:生产环境设置

生产环境设置需要在压测的基础上进行设置。

八:实际项目经验

1:项目中自定义线程池中线程名字

/**
 * JDK构造线程池
 *
 * @return
 */
public Executor constructExecutor() {
    return new ThreadPoolExecutor(1, 2, 1, TimeUnit.MINUTES, new LinkedBlockingQueue<>(10),
            new ThreadFactory() {

                private AtomicInteger tag = new AtomicInteger(0);

                @Override
                public Thread newThread(Runnable runnable) {
                    Thread thread = new Thread(runnable);
                    thread.setName("线程name-" + tag.getAndIncrement());
                    return thread;
                }
            }, new ThreadPoolExecutor.AbortPolicy());
}

/**
 * Spring Boot Bean构造异步线程池
 */
@Bean
public AsyncTaskExecutor asyncTaskExecutor() {
    ThreadPoolTaskExecutor asyncTaskExecutor = new ThreadPoolTaskExecutor();
    asyncTaskExecutor.setCorePoolSize(1);
    asyncTaskExecutor.setMaxPoolSize(1);
    asyncTaskExecutor.setThreadNamePrefix("线程名");
    return asyncTaskExecutor;
}

2:项目中如何定义线程池

​ 一个项目中如果多个业务需要用到线程池,是定义一个公共的线程池比较好,还是按照业务定义各自不同的线程池?如果定义一个公共的线程池那里面的线程数的理论值应该是按照老师前面章节讲的去计算吗?还是按照如果有多少个业务就分别去计算他们各自创建线程池线程数的加和?如果不同的业务各自定义不同的线程池,那线程数的理论值也是按照前面的去计算吗?

极客时间上建议:建议不同类别的业务用不同的线程池,至于线程池的数量,各自计算各自的,然后去做压测(APM做压测)。虽然你的系统有多个线程池,但是并不是所有的线程池里的线程都是忙碌的,你只需要针对有性能瓶颈的业务优化就可以了。

3:线程池监控和动态修改

项目中使用线程池时,线程池的参数主要是核心线程数最大线程数的设置需要通过压测来选取最适合业务类型的参数,因此会有线上环境动态修改线程池的需求。线上的运行环境需要监控线程池的参数来了解线程池的的运行状态。

代码示例参考:threadpool-monitor

参考:美团线程池应用线程池原理如何合理的设置线程池的大小

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,214评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,307评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,543评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,221评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,224评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,007评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,313评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,956评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,441评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,925评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,018评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,685评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,234评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,240评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,464评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,467评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,762评论 2 345

推荐阅读更多精彩内容