快讯资讯
手机优化
系统数码
网络通信人工智能
网站游戏
测评专题
智车

  vivo 自研Jenkins资源调度系       为什么企业必须将赌注押    

vivo 自研Jenkins资源调度系统设计与实践

时间:2026-11-04 07:56 来源:未知 人气:

一、前言

现在的企业很多都在用Jenkins做持续集成,各个业务端都依靠Jenkins,vivo Devops也是使用Jenkins来进行持续构建,部署Jenkins服务时如何保障服务的高可用变得尤为重要。

下面是目前Jenkins存在的一些问题。

  1. Jenkins本身是单体的,即只能有一个Jenkins Master。虽然你也可以在多台机器上部署多个Jenkins Master,但这些Master之间没有联系,都是各自把任务交给手下的slaver去执行,没有任何交集。
    也许某个master下的slaver很忙,而另一个master下的slaver却很闲,资源得不到充分利用。
  2. 当其中一个slave宕机之后,该slave上的运行的job任务没有版本重新进行分配,需要用户重新执行。并且slave节点离线之后没有通知管理员。
  3. 当系统业务量比较大的时候业务请求集中在Jenkins Master上,会对Jenkins造成压力,甚至的造成Jenkins服务不可用。
  4. 当有job任务在jenkins Master上队列排队的时候,Jenkins Master宕机后,队列任务不可持久化。
  5. Jenkins Workspace没有自动清理功能,会导致磁盘空间不足,任务执行不了的情况。

基于以上情况,vivo Devops对Jenkins的部署架构进行优化搭建,并且配套了一套Jenkins资源调度系统用于管理Jenkins资源。

二、业界实现

目前业界也包含一些Jenkins 高可用的设计方式,但是并不能完全的满足解决上述问题,比如:

2.1 方案一 Gearman + Jenkins

这是OpenStack团队使用的方案。这个方案使用了gearman, gearman是个任务分发框架。

需要在每个Master上安装好gearman的插件,并配置好能连接到gearman server,同时在每个Master必须建立相同的job。

之后运行任务的流程如下:

  1. gearman worker运行在各个Jenkins Master中等待gearman server分发任务;
  2. gearman client向gearman server发出运行job的请求;
  3. gearman server通知各个gearman worker有任务拉,第一个闲着的worker会接受任务,如果所有的worker都忙,则放入gearman的任务队列,得worker空闲时再分配;
  4. gearman worker闲下来后会从任务队列里取job来执行,执行完之后,将结果发回给gearman server;
  5. gearman server将结果返回给 gearman client。

更多文章

相关文章

网站导航: | 快讯 | 资讯 | 手机 | 优化 | 系统 | 数码 | 网络通信 | 人工智能

  • 游戏 | 测评 | 专题 | 智车

    合作伙伴:

  • 友情链接(欢迎业界知名网站交换链接)申请友情

    

    声明:本站资源皆来自网络,如有侵权问题,请联系管理员处理!

    Copyright ©2020-2028快知站 版权所有 All rights reserved.

    闽ICP备20010713号-1 闽公网安备 35020602001684号