线程池调优之动态参数配置

前言

线程池的核心参数配置在网上有一大堆的文章介绍，这次结合个人理解写一篇文章记录一下，以便加深印象和后续查阅。

线程池配置参数

corePoolSize：线程池核心线程数

maximumPoolSize：线程池最大线程数

keepAliveTime：允许线程空闲时间（对非核心工作线程的回收）

TimeUnit：线程空闲时间单位

workQueue：线程队列（当核心线程数满了，新的任务就会放入这个队列中）

threadFactory：线程工厂（用于创建工作线程，自定义线程工厂可以指定线程名称）

handler：线程池拒绝策略（当线程队列满了且最大线程数也满了，就会执行任务拒绝策略，默认有4种）

allowCoreThreadTimeOut：控制核心工作线程是否需要被回收

常规线程池参数配置

- 首先提问一个面试题：现有1000个任务，10台服务器，每台机器都是4核，在任务不丢弃情况下，线程池参数该怎么配置最合理呢？

- 把这个问题拆分一下，1000个任务，10台机器，那么每台机器就负责100个任务（常规轮训负载均衡模式，不考虑其他额外情况），每台机器都是4核，那么就可以设置核心线程数和最大线程数为4，线程队列大小为96即可。

- 当然也可以把核心和最大线程数设置为5（n+1）个，线程队列大小为95，这样是为了防止线程偶尔由于页缺失故障或者其他原因暂停，出多来的一个线程也能确保CPU的调度时钟周期不会被浪费，相当于备用线程。

如果任务是CPU密集型配置：工作线程 = cpu核心数 + 1；

如果任务是IO密集型场景：工作线程 = cpu核心数 * 2；

所以上面例子中就是基于CPU密集型任务配置线程池。而且网上大部分文章描述线程池配置也是基于这两点来分析的。

可惜理想很丰满，现实很骨感。在实际工作场景中，其实没那么容易区分线程中执行的任务是CPU密集还是IO密集，而且服务器上还会有其他应用线程抢占CPU资源，就算还有一些其他的公式计算配置线程池参数，那也是基于理想场景情况下进行配置的，所以上述配置更多的还是应用于面试中。

动态配置线程池参数

上述中既然不能一次定义适配所有场景的线程池参数，那么如果可以根据不同业务场景动态配置线程池参数，通过人工干预介入来适配大部分场景也行的

正好在JDK的自定义线程池ThreadPoolExecutor里，提供了动态扩展线程池核心参数的方法

可以在运行期间的线程池使用此方法可以覆盖原来配置的值：

ThreadPoolExecutor线程池提供了5种配置参数可供动态更新：核心线程池，最大线程数，线程工厂，线程空闲时间，拒绝策略。

这里主要讨论的是核心线程池和最大线程池两种参数配置：

/****@Author:ZRH*@Date:2021/10/0817:30*/@Slf4jpublicclassExecutorTest{publicstaticvoidmain(String[]args)throwsException{finalThreadPoolExecutorthreadPoolExecutor=newThreadPoolExecutor(2,3,30,TimeUnit.SECONDS,newLinkedBlockingQueue<>(7),newThreadPoolExecutor.DiscardPolicy());for(inti=0;i<10;i++){threadPoolExecutor.execute(()->{try{logExecutorInfo(threadPoolExecutor);Thread.sleep(2000);}catch(InterruptedExceptione){}});}logExecutorInfo(threadPoolExecutor);threadPoolExecutor.setCorePoolSize(5);threadPoolExecutor.setMaximumPoolSize(5);logExecutorInfo(threadPoolExecutor);Thread.currentThread().join();}privatestaticvoidlogExecutorInfo(ThreadPoolExecutorexecutor){log.info("线程池核心线程数="+executor.getCorePoolSize()+"，线程池最大线程数="+executor.getMaximumPoolSize()+"，线程池队列剩余任务="+executor.getQueue().size()+"，线程池活跃线程数="+executor.getActiveCount()+"，线程池任务完成数"+executor.getCompletedTaskCount());}}

看执行结果：刚开始线程池里核心线程数2个、最大线程数3个、剩下7放队列。活跃的线程也只有3个。

然后更改核心线程和最大线程数为5后，线程池里对应的核心线程数和最大线程数也增加至5个，活跃的工作线程也是5个。说明更改配置成功。

注：更新线程池参数时，核心线程数不能超过最大线程数配置。否则配置最后不会生效。

publicstaticvoidmain(String[]args)throwsException{finalThreadPoolExecutorthreadPoolExecutor=newThreadPoolExecutor(2,3,30,TimeUnit.SECONDS,newLinkedBlockingQueue<>(7),newThreadPoolExecutor.DiscardPolicy());for(inti=0;i<10;i++){threadPoolExecutor.execute(()->{try{logExecutorInfo(threadPoolExecutor);Thread.sleep(2000);}catch(InterruptedExceptione){}});}logExecutorInfo(threadPoolExecutor);threadPoolExecutor.setCorePoolSize(5);//threadPoolExecutor.setMaximumPoolSize(5);logExecutorInfo(threadPoolExecutor);Thread.currentThread().join();}

上图中把核心线程数更新为5，最大线程数不改动任为3。最后看执行结果，最终的活跃线程还是3个，说明配置没有生效，具体源码在ThreadPoolExecutor类的getTask()方法里，感兴趣的同学可以去看一下...

动态更新线程队列

ThreadPoolExecutor线程池并没有动态配置线程池队列大小的方法

想自己操作一下也是很简单的，只需要自定义实现一个队列，可以直接把LinkedBlockingQueue复制一份，并把capacity参数设定为可更改

publicstaticvoidmain(String[]args)throwsException{finalThreadPoolExecutorthreadPoolExecutor=newThreadPoolExecutor(2,3,30,TimeUnit.SECONDS,newCustomLinkedBlockingQueue<>(7),newThreadPoolExecutor.DiscardPolicy());for(inti=0;i<10;i++){threadPoolExecutor.execute(()->{try{logExecutorInfo(threadPoolExecutor);Thread.sleep(2000);}catch(InterruptedExceptione){}});}logExecutorInfo(threadPoolExecutor);threadPoolExecutor.setCorePoolSize(5);threadPoolExecutor.setMaximumPoolSize(5);CustomLinkedBlockingQueuequeue=(CustomLinkedBlockingQueue)threadPoolExecutor.getQueue();queue.setCapacity(10);for(inti=0;i<10;i++){threadPoolExecutor.execute(()->{try{logExecutorInfo(threadPoolExecutor);Thread.sleep(2000);}catch(InterruptedExceptione){}});}Thread.currentThread().join();}

看结果，后续添加的任务会放入队列中，并且队列大小也超过第一次设置大小，说明配置成功

最后

参考：Java线程池实现原理及其在美团业务中的实践

虚心学习，共同进步 -_-