持续集成概念

持续集成是一种软件开发实践,即团队开发成员经常集成他们的工作,通过每个成员每天至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽早地发现集成错误。 --马丁福勒


git工作分支

持续集成的前提必须要有一个健壮且分明的版本工具,毫无疑问我们这里使用git作为版本工具

这里只简单说一下各个分支的作用,想了解更多关于git工作流知识,请点击深入理解学习Git工作流

  • feature/* 功能分支,用于一个新的功能的开发
  • hotfix/* 热修复分支,用于对线上环境的bug热修复
  • develop/* 测试分支,测试环境对应的分支
  • master分支,预上线环境分支

对于hotfix和feature分支允许开发者push,对于develop和master分支只允许开发者merge。


本文原理分析图示

  • 首先开发者完成代码后git push到gitlab服务器,通过gitlab上事先设定好的系统钩子来触发一个post请求到后端的webserver服务器。
  • 后端webserver服务器收到请求后通过gitlabCI.py分析来源分支与项目组,然后交给不同的shell脚本处理。
  • 通过shell脚本来更新不同环境的项目代码,如果是开发分支的话还需要配置nginx并推送访问url至钉钉。
  • ELK服务器监控php的项目报错日志,开发者通过查看然后及时进行debug。

webserver对git请求的具体处理图示


开发环境(dev_branch)处理流程

对于hotfix/ 或者 feature/

  • git push事件 触发gitlab钩子,然后gitlabCI脚本通过条件检测,执行开发分支的shell脚本
  • shell脚本拉去对应的功能分支或者热修复分支,然后拷贝一份nginx模板配置文件,修改对应的域名和目录。
  • 重载nginx配置文件并将访问连接推送至钉钉群。

gitlab服务器配置

  • 配置服务器秘钥

  • 添加系统钩子,并选择在什么时候触发钩子


webserver配置

配置gitlab处理脚本

这里只贴出部分代码只供参考,因为具体需求可能不同,这里就抛砖引玉。

  • gitlabCI.py 用于处理gitlab的事件请求
#!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Time : 2018-12-18 17:41 # @Author : opsonly # @Site : # @File : gitlabCi.py # @Software: PyCharm from flask import Flask,request,render_template,make_response,Response import json,os,re,requests import subprocess import re app = Flask(__name__) null = "" cmd = "/var/www/html/" @app.route('/test',methods=['POST']) def hello(): json_dict = json.loads(request.data) name = json_dict['event_name'] #字符串截取分支名 ref = json_dict['ref'][11:] ssl = json_dict['project']['url'] #gitlab项目名 project = json_dict['project']['name'] #gitlab分组名 namespace = json_dict['project']['namespace'] hostfix = re.compile(r'hostfix/*') feature = re.compile(r'feature/*') if name == 'push': if namespace == 'it': #预上线分支 if ref == 'master': cmd = './itmaster.sh ' + project + ref + ' ' + namespace s = subprocess.getoutput(cmd) return Response(s) # 测试分支 elif ref == 'develop': cmd = './itdevelop.sh ' + project + ref + ' ' + namespace s = subprocess.getoutput(cmd) return Response(s) #开发分支 elif hostfix.match(ref) and feature.match(ref): cmd = './itOwn.sh' + project + ref + ' ' + namespace + '' + ssl s = subprocess.getoutput(cmd) return Response(s) elif namespace == 'web': if ref == 'master': cmd = './webMaster.sh ' + project + ref + ' ' + namespace s = subprocess.getoutput(cmd) return Response(s) elif ref == 'develop': cmd = './webDevelop.sh ' + project + ref + ' ' + namespace s = subprocess.getoutput(cmd) return Response(s) # 开发分支 elif hostfix.match(ref) and feature.match(ref): cmd = './webOwn.sh' + project + ref + ' ' + namespace s = subprocess.getoutput(cmd) return Response(s) elif name =='merge_request': #可以定义一个钉钉推送,每次直接点开链接就能直达gitlab合并界面 pass else: return Response('未触发事件') if __name__ == '__main__': app.run() 

将不同的请求分发至不同shell脚本来处理

it组shell脚本

  • 测试服务器脚本
#!/bin/bash Dir="/var/www/html" function ERROR_NOTICE() { url="https://oapi.dingtalk.com/robot/send?access_token=xxxxxxxxxxx" header="'Content-Type: application/json'" msg="'{\"msgtype\": \"text\",\"text\": {\"content\":\"$1 $2 $3\"}}'" a='curl '$url' -H '$header' -d '$msg eval $a } function IF_TRUE() { if [ $? -ne 0 ];then ERROR_NOTICE $1 $2 $3 fi } function master() { if [ -d $Dir/$1 ];then cd $Dir/$1 #startTime=$(ls -l composer.lock|awk '{print $6,$7,$8}') git fetch git checkout $2 git pull origin $2 cp .env.develop .env composer install IF_TRUE $1 $2 $3 #fi /usr/local/php7/bin/php artisan queue:restart IF_TRUE $1 $2 $3 echo $1 " Success" else cd $Dir git clone git@example.com:${3}/${1}.git cd ${1} git checkout $2 cp .env.develop .env composer install IF_TRUE $1 $2 $3 /usr/local/php7/bin/php artisan queue:restart IF_TRUE $1 $2 $3 fi } master $1 $2 $3

web组shell脚本

  • 测试环境shell更新脚本
#!/bin/bash #定义文件目录 Dir="/var/www/html" EnvirmentJs="/var/www/html/ucarCarWeb/src/js/environment.js.develop" DirEnvirJs="/var/www/html/ucarCarWeb/src/js/environment.js" EnjoyJsDe="/var/www/html/EnjoyCarWeb/src/config/environment.js.develop" EnjoyJs="/var/www/html/EnjoyCarWeb/src/config/environment.js" function pull_say() { PullDir=$1 if [ $? -ne 0 ];then echo "$PullDir Git Pull Error" fi } echo 'start' if [ $1 == "EnjoyCarWeb" ];then cd $Dir/EnjoyCarWeb startTime=$(ls -l package.json|awk '{print $6,$7,$8}') JstartTime=$(ls -l $EnjoyJsDe|awk '{print $6,$7,$8}') #拉取项目代码 git pull origin develop/v1.3.4 pull_say stopTime=$(ls -l package.json|awk '{print $6,$7,$8}') JstopTime=$(ls -l $EnjoyJsDe|awk '{print $6,$7,$8}') if [ "$JstartTime" != "$JstopTime" ];then cp $EnjoyJsDe $EnjoyJs fi #编译代码 if [ "$startTime" != "$stopTime" ];then rm -f package-lock.json /usr/bin/npm install /usr/bin/node build/build.js else /usr/bin/node build/build.js fi echo $1 "Success" elif [ $1 == "ucarCarWeb" ];then cd $Dir/ucarCarWeb startTime=$(ls -l package.json|awk '{print $6,$7,$8}') JstartTime=$(ls -l $EnvirmentJs|awk '{print $6,$7,$8}') git pull origin develop pull_say stopTime=$(ls -l package.json|awk '{print $6,$7,$8}') JstopTime=$(ls -l $EnvirmentJs|awk '{print $6,$7,$8}') if [ "$startTime" != "$stopTime" ];then rm -f package-lock.json /usr/bin/npm install /usr/bin/node build/build.js else /usr/bin/node build/build.js fi if [ "$JstartTime" != "$JstopTime" ];then cp $EnvirmentJs $DirEnvirJs fi echo $1 "Success" fi echo "Complate.."

开发分支和预算线分支与上面大致相同,这里就不贴出来了

ELK服务器配置

请点击ELK实时分析之php的laravel项目日志


效果展示

  • gitlab合并请求推送至钉钉

  • nginx访问url钉钉推送

  • ELK展示php错误日志

总结

  • 并非所有项目都需要自动部署,我司线上环境是通过git tag,然后使用灰度发布脚本手动发布。常用脚本在我github上:github地址
  • 我司另一个项目因为用到了java和客户端app,现在测试使用Jenkins的另一套自动化流程方案,届时我再总结出来。

喜欢我写的东西的朋友可以关注一下我的公众号,上面有我的学习资源以及一些其他福利。:Devops部落