vivo 自研Jenkins资源调度系统设计与实践
时间:2026-11-04 07:56 来源:未知 人气:
一、前言
现在的企业很多都在用Jenkins做持续集成,各个业务端都依靠Jenkins,vivo Devops也是使用Jenkins来进行持续构建,部署Jenkins服务时如何保障服务的高可用变得尤为重要。
下面是目前Jenkins存在的一些问题。
- Jenkins本身是单体的,即只能有一个Jenkins Master。虽然你也可以在多台机器上部署多个Jenkins Master,但这些Master之间没有联系,都是各自把任务交给手下的slaver去执行,没有任何交集。
也许某个master下的slaver很忙,而另一个master下的slaver却很闲,资源得不到充分利用。 - 当其中一个slave宕机之后,该slave上的运行的job任务没有版本重新进行分配,需要用户重新执行。并且slave节点离线之后没有通知管理员。
- 当系统业务量比较大的时候业务请求集中在Jenkins Master上,会对Jenkins造成压力,甚至的造成Jenkins服务不可用。
- 当有job任务在jenkins Master上队列排队的时候,Jenkins Master宕机后,队列任务不可持久化。
- Jenkins Workspace没有自动清理功能,会导致磁盘空间不足,任务执行不了的情况。
基于以上情况,vivo Devops对Jenkins的部署架构进行优化搭建,并且配套了一套Jenkins资源调度系统用于管理Jenkins资源。
二、业界实现
目前业界也包含一些Jenkins 高可用的设计方式,但是并不能完全的满足解决上述问题,比如:
2.1 方案一 Gearman + Jenkins
这是OpenStack团队使用的方案。这个方案使用了gearman, gearman是个任务分发框架。
需要在每个Master上安装好gearman的插件,并配置好能连接到gearman server,同时在每个Master必须建立相同的job。
之后运行任务的流程如下:
- gearman worker运行在各个Jenkins Master中等待gearman server分发任务;
- gearman client向gearman server发出运行job的请求;
- gearman server通知各个gearman worker有任务拉,第一个闲着的worker会接受任务,如果所有的worker都忙,则放入gearman的任务队列,得worker空闲时再分配;
- gearman worker闲下来后会从任务队列里取job来执行,执行完之后,将结果发回给gearman server;
- gearman server将结果返回给 gearman client。