小博无线CI系统演进之路

  • 时间:
  • 浏览:1

2014年底,docker慢慢流行开来,容器比虚拟机要轻量统统,這個环境配置还可不可以 用Dockerfile很方便的以代码形式管理起来,亲戚朋友 儿便将那我以virtual box形式存在的jenkins slave都替加上了docker。

容器化后,CI的各种build环境也通过Dockerfile得以标准化,這個每次build的容器后会按需新建的,不会考虑cleanup操作。

但是的docker plugin连接的docker cloud是1个多单点ecs, 负责代码的编译,测试,打包,及部署操作,对于线上运行的各种微服务项目,还能应付,但机会用来跑编译路由器固件這個CPU密集型的任务,就力有未逮了。当时人面,预发布的测试集群机会流量很小,在绝大多数但是,各个节点的CPU后会空闲的。于是自然想到将预发布环境和CI环境进行扁平化:利用mesos plugin在预发布测试环境的mesos集群中集成jenkins framework, 用于运行容器化的jenkins slave。

[1] 在云计算的這個基本实践最好的措施 - "冗余, 漂移, 伸缩, 熔断, 扁平"中,"扁平"与"伸缩"是這個提高资源利用率,降低成本的最好的措施,这方面的更多介绍请参考《云计算十字真言及其在小博无线的实践》一文 (https://yq.aliyun.com/articles/62686)

固件编译固然很耗CPU,但这统统 1个多耗时不到1小时的短任务,机会为了一天只做好多个的build而多开几台包月ecs,会带来巨大的浪费。使用自动伸缩,当jenkins提示mesos资源不够时,利用API创建按量ecs加入mesos集群,等build完成后就将它释放掉,是這個高性价比的解法。

2014年初,拼了一台16G内存的PC机,在底下开了多个virtual box,1个多跑gitlab, 1个多跑jenkins master, 剩下的好多个就用于搭建build环境,作为jenkins的ssh slave。上线部署通过配置promotion plugin实现 - 先将build出来的release package scp到线上ecs, 再ssh运行1个多安装升级脚本。

另外,将线上服务也容器化,将代码和配置统一放到去1个多docker image, 那我还可不可以 整体升级部署或回退,就消除了"代码和配置后会变更时,是先回滚配置,还是先回滚代码?"的什么的问题。

pipeline化后,所有的build动作都通过代码仓库中的Jenkinsfile定义,全版不会到在jenkins的网页上进行配置,开发通过git push Jenkinsfile就能实现对CI流程的控制。

另外,同年4月份Jenkins官方在新发布的Jenkins 2.0中刚结束全面推进pipeline,随着这次迁移,亲戚朋友 儿也一并实施了pipeline结合docker plugin的容器化改造。

6月份,办公室停了两次电,有一次竟长达二天!为了外理停电什么的问题对上线迭代的影响,亲戚朋友 儿将存在办公室内的CI系统逐步迁移到了阿里云上。本地的数据备份和恢复是一件非常麻烦的事情,上云后,数据备份就方便多了。

小博无线技术团队至2014年创建以来,这三年多以来所使用的CI系统经过数次升级换代,现已全版上云,全面实现了容器化和pipeline化,并引入了扁平和伸缩的实践来节省云计算成本。本文回顾了CI系统的成长历程。

系统化、标准化是降低成本,提升速率单位和质量的重要手段。2014年刚结束搭建CI系统时,build环境、部署环境、部署最好的措施和配置最好的措施都很零散,难以管理和维护。从2014-2017,先用容器标准化build环境和部署环境,并用pipeline标准化部署最好的措施和配置最好的措施,有效降低系统比较复杂度后,再用云计算资源降低电力供应和数据备份的风险和维护成本,最后用"扁平"与"伸缩"[1]降低云计算成本。