亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全，請及時綁定郵箱和手機立即綁定

Spring Cloud DevOps之旅（二）Jenkins+Git+Docker搭建單機測試環境

標簽：
Spring Cloud

本篇内容

  • Spring Cloud 项目结构概览

  • Dockerfile文件准备

  • Jenkins参数设置

  • Jenkins中创建流水线脚本

  • 详细Groovy Pipeline脚本

  • Docker Compose安装

  • WebHook触发构建

  • Git多分支环境下构建

  • Spring Cloud 项目部署Docker中的坑

Spring Cloud 项目结构概览

我以目前我们公司项目为例，我将Spring Cloud项目分成了如下几块

webp

image.png

  1. eureka：服务发现，端口8761

  2. config：配置中心，端口9118

  3. basic：基础服务，提供与业务没有关系的通用service，端口9102

  4. pms：酒店PMS数据回调service，端口9103

  5. host：后台基础信息service，端口9100

  6. business：业务系统service，端口9101

  7. gateway：网关，对外暴露端口为443和8088

maven项目模块化
考虑到项目中的DTO、VO、通用类等在多个service中会使用到，且serivce之间互相调用使用了Fegin,所以，service中项目结构会是这样，以host-service为例：

webp

image.png


host中pom.xml分了3个模块


webp

image.png

模块之间互相引用需要如下几步

  1. mvn -Dmaven.test.skip=true -U clean install  构建jar包并安装到本地

  2. mvn install:install-file 使用install-file命令将jar包上传到本地仓库

  3. 在pom中添加依赖包，会从本地仓库获取指定的包


    webp

    image.png

关于详细的模块化步骤，请看此文使用Maven构建多模块项目

Dockerfile文件准备

webp

image.png

创建两个文件夹，docker-test，docker-prod
docker-test为测试环境
docker-prod为正式环境

以测试环境为例，在docker-test中创建Dockerfile


webp

image.png

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show

ADD /target/futurekey-host.jar app.jar

ENTRYPOINT ["java","-jar","/app.jar"]

target下存放的是编译后的项目jar包

Jenkins参数设置

为了WebHook能够将请求push到Jenkins,需要如下设置


webp

image.png

取消防跨站点请求伪造和允许匿名访问读取


webp

image.png

webp

image.png

Jenkins中创建流水线脚本

创建流水线脚本


webp

image.png

勾选触发远程构建，身份令牌随便填，触发的url为JENKINS_URL/job/eureka/build?token=TOKEN

webp

image.png


  • JENKINS_URL：jenkins的访问地址

  • eureka：此处为脚本的名称

  • TOKEN：输入身份验证令牌

Gitlab项目的Webhook输入jenkins的地址，点击Add webhook

webp

image.png

测试推送


webp

image.png

显示201则为成功


webp

image.png

Groovy流水线脚本格式


webp

image.png

基本格式为

#!groovypipeline {
    agent any
    environment {
        ENV="test"
    }

    stages {
        stage('test') {
            steps {                echo "${ENV}"
            }
        }
    }
}

  • environment: 环境变量，使用时为${xx}格式，xx为变量名

  • stages: 所有流水线的阶段，stages中包含多个stage

  • steps: 脚本执行步骤

流水线语法


webp

image.png

提供了多个步骤的选择


webp

image.png

我现在需要生成获取git clone的脚本

webp

image.png

webp

image.png

点击生成


webp

image.png

生成的脚本复制到文本，后面会使用到。

大致的脚本执行步骤

我的项目前端网页框架用的是VUE Element UI,所以分了两个git项目，每次发布时，只需要将vue编译后的文件夹copy到网关的static文件夹下，然后重写static/index.html为首页即可。

@Configurationpublic class DefaultViewConfig implements WebMvcConfigurer {    @Override
    public void addViewControllers(ViewControllerRegistry registry) {
        registry.addViewController("/").setViewName("forward:/index.html");
        registry.setOrder(Ordered.HIGHEST_PRECEDENCE);
    }
}

webp

image.png

脚本步骤如下

#!groovypipeline {
    agent any
    
    environment {
        REPOSITORY="https://gitee.com/lanzhima-show/project.git"
        WEB_REPOSITORY="https://gitee.com/lanzhima-show/web.git"
        JENKINSDIR="/var/lib/jenkins/workspace/"
        PORJECTDIR="eureka/"
        ENV="test"
        FILEDIR="shell/"
    }

    stages {
        stage('获取网页代码') {
            steps {

            }
        }

        stage('获取代码') {
            steps {

            }
        }

        stage('提升shell文件执行权限') {
            steps {

            }
        }

        stage('生成maven jar包') {
            steps {

            }
        }

        stage('编译项目') {
            steps {

            }
        }

        stage('构建docker镜像') {
            steps {

            }
        }

        stage('docker发布') {
            steps {

            }
        }
    }
}

详细Groovy Pipeline脚本

获取网页代码

stage('获取网页代码') {
  echo "start fech code form git:${WEB_REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${WEB_REPOSITORY}"
                sh '''
                    cd ${JENKINSDIR}
                    rm -rf pages
                    mkdir pages
                    cp -rf ${JENKINSDIR}${PORJECTDIR}dist/. ${JENKINSDIR}pages
                '''}

  1. 删除原来的文件夹

  2. 从Git克隆代码

  3. 创建一个pages的文件夹

  4. 将VUE编译好的dist文件夹下的所有内容，复制到pages文件夹中

获取代码

stage('获取代码') {
          steps {
                echo "start fech code form git:${REPOSITORY}"
                deleteDir()
                git branch: 'develop', credentialsId: 'd964d8c1-366a-42d4-aff7-b429d43952ec', url: "${REPOSITORY}"
                sh '''
                    mv -f ${JENKINSDIR}pages/* ${JENKINSDIR}${PORJECTDIR}project-gateway/src/main/resources/static/
                '''
            }
        }

  1. 删除原来的文件夹

  2. 从Git克隆代码

  3. 将pages文件夹下内容移动到gateway的static下

提升shell文件执行权限

stage('提升shell文件执行权限') {
            steps {
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}${FILEDIR}
                    chmod 755 mvn-build.sh
                    chmod 755 packages-build.sh
                    cd ${JENKINSDIR}${PORJECTDIR}
                    chmod +x docker-compose.yml
                '''
            }
        }

为了能够执行shell脚本，需要赋予权限

maven编译的shell脚本,主要作用是编译可执行jar包，将jar包复制到Dockerfile文件夹中，便于后续docker生成镜像
mvn-build.sh

#!/bin/bash -ilexPROJECTDIR=$1MODULEDIR=$2ENV=$3JARNAME=$4cd ${PROJECTDIR}${MODULEDIR}mvn -Dmaven.test.skip=true -U clean install
mkdir ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target 
cp -f ${PROJECTDIR}${MODULEDIR}target/${JARNAME} ${PROJECTDIR}${MODULEDIR}docker-${ENV}/target/${JARNAME}

  1. 生成jar包

  2. 创建target文件夹

  3. 复制jar包到target文件夹下

打包jar包前，需要对各项目中的模块先进行maven打包,可根据自己的项目进行实际修改
package-build.sh

webp

image.png

Docker Compose编排脚本
经过我测试，如果将所有的容器服务全部放入一个docker-compose.yml中后，由于无法指定启动的先后顺序，并且几个service必须依赖于eureka和config后才能启动，会导致service找不到eureka和config。
所以，我的做法是将整个spring cloud的服务编排做成两个编排脚本

第一个docker-compose.yml负责启动eureka和config
docker-compose.yml

version: "3"services:
  eureka:
    container_name: eureka
    image: demo/eureka:latest
    ports:
      - "8761:8761"
  
  config:
    image: demo/config:latest
    ports:
      - "9118:9118"
    links:
      - "eureka"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.profiles.active=test

指定eureka的container_name为eureka后，就可以通过容器名称找到eureka服务，所以需要修改环境变量eureka.client.service-url.defaultZone=http://eureka:8761/eureka/

第二个docker-compose.yml负责把service和gateway拉起
docker-compose-service-test.yml

version: "3"services:
  basic:
    image: demo/basic:latest
    ports:
      - "9102:9102"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test
  
  pms:
    image: demo/pms:latest
    ports:
      - "9103:9103"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  host:
    image: demo/host:latest
    ports:
      - "9100:9100"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  business:
    image: demo/business:latest
    ports:
      - "9101:9101"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

  gateway:
    image: demo/gateway:latest
    ports:
      - "443:443"
      - "8088:8088"
    environment:
      - eureka.client.service-url.defaultZone=http://eureka:8761/eureka/
      - spring.cloud.config.profile=test

生成maven jar包

stage('生成maven jar包') {
            steps {                echo "start build maven package"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}packages-build.sh ${JENKINSDIR}${PORJECTDIR}"
            }
        }

编译项目

steps {                echo "start compile eureka"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-eureka/ ${ENV} demo-eureka.jar"
                echo "start compile config"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-config/ ${ENV} demo-config.jar"
                echo "start compile basic"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-basic/web/ ${ENV} demo-basic.jar"
                echo "start compile pms"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-pms/web/ ${ENV} demo-pms.jar"
                echo "start compile host"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-host/web/ ${ENV} demo-host.jar"
                echo "start compile business"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-business/web/ ${ENV} demo-business.jar"
                echo "start compile gateway"
                sh "${JENKINSDIR}${PORJECTDIR}${FILEDIR}mvn-build.sh ${JENKINSDIR}${PORJECTDIR} demo-gateway/ ${ENV} demo-gateway.jar"
            }

构建docker镜像

steps {
                echo "start build docker images"
                echo "start build eureka image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-eureka/docker-${ENV}
                    docker build -t demo/eureka --rm .
                '''
                echo "start build config image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-config/docker-${ENV}
                    docker build -t demo/config --rm .
                '''
                echo "start build basic image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-basic/web/docker-${ENV}
                    docker build -t demo/basic --rm .
                '''
                echo "start build pms image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-pms/web/docker-${ENV}
                    docker build -t demo/pms --rm .
                '''
                echo "start build host image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-host/web/docker-${ENV}
                    docker build -t demo/host --rm .
                '''
                echo "start build business image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-business/web/docker-${ENV}
                    docker build -t demo/business --rm .
                '''
                echo "start build gateway image"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}futurekey-gateway/docker-${ENV}
                    docker build -t demo/gateway --rm .
                '''
            }

docker发布

steps {
                echo "start deploy"
                sh '''
                    cd ${JENKINSDIR}${PORJECTDIR}
                    docker-compose down --remove-orphans
                    docker-compose -f docker-compose-service-test.yml down
                    docker-compose up -d
                    sleep 45s
                    docker-compose -f docker-compose-service-test.yml up -d
                    docker images|grep none|awk '{print $3}'|xargs docker rmi
                '''
            }

坑1：目前我没有找到让多个docker-compose.yml顺序执行的方法，所以我设置了sleep时间等待，45秒足够让eureka和config启动了。

坑2：在docker-compose down --remove-orphans中，如果不加--remove-orphans,则无法删除依赖的网络，导致后续命令执行时报错，从而发布会中断。

坑3：我使用docker-compose down后，会产品none的镜像，所以我最后会删除none镜像,docker images|grep none|awk '{print $3}'|xargs docker rmi,不知道有没有大佬能够指出我的问题。

Docker Compose安装

安装命令

pip install docker-compose

查看版本

docker-compose -version

重启jenkins

systemctl restart jenkins


WebHook触发构建

我使用的是免费版的gitee，gitee也支持webhook，在gitee中设置


webp

image.png

当每次提交之后，都会触发构建。


webp

image.png

Git多分支环境下构建

现在我们每次push代码都会触发构建，但是一般我们会使用GitFlow管理各分支，这时，自动构建就需要区分是哪个分支的了，一般公司都会按照分支构建开发环境、测试环境、生成环境。
我们可以按照GitFlow工作流，将develop指定为测试环境，master指定为正式环境。

安装Generic Webhook Trigger插件

在Jenkins的插件中心搜索webhook，安装Generic Webhook Trigger插件

webp

image.png

安装成功后，在编辑脚本中，可以看到新增的Generic Webhook Trigger

webp

image.png

定义两个参数，ref为提交的分支名称，project.git_ssh_url为项目的ssh地址

webp

image.png

添加验证表达式

webp

image.png

webhook地址

webhook地址为http://JENKINS_URL/generic-webhook-trigger/invoke

webp

image.png

添加token参数作为验证

webp

image.png

设置新的webhook地址

webp

image.png

构建成功后，能看到各步骤花费了多少时间


webp

image.png

Spring Cloud 项目部署Docker中的坑

  1. 内存问题：centos中JVM默认给一个java进程分配的最大内存空间是在JAVA_OPTS中设置的，如果不手动调整，内存小一点的主机会马上内存吃紧。而spring cloud中明显有多个java项目要执行，所以必须手动调整。
    解决方法：在Dockerfile中添加-Xmx128m的参数，设置最大内存为128mb，你可以根据自己实际的配置进行调整。

2.时区问题：docker中的默认时区是GMT，与当前时间会相差8小时。
解决方法：在Dockerfile中添加-Duser.timezone=GMT+8

FROM hub.c.163.com/library/java:8-alpine

MAINTAINER show 

ADD /target/host.jar app.jar

ENTRYPOINT ["java","-Xmx128m","-Duser.timezone=GMT+8","-jar","/app.jar"]



作者：show1987
链接：https://www.jianshu.com/p/fa85be6164e4


點擊查看更多內容
為 TA 點贊

若覺得本文不錯，就分享一下吧！

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習，寫下你的評論
感謝您的支持，我會繼續努力的～
掃碼打賞，你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃，即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

 幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

 公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消