DevOps技术分享 » Git

Jenkins+Ansible+Gitlab自动化部署三剑客

showerlee — Fri, 11 Mar 2016 05:00:47 +0000

最近一直在学习Ansible的一些playbook的写法, 所以一直没有怎么更新, 想到目前大家对诸如saltstack, docker, Ansible等自动化部署相关的工具很感兴趣, 但又苦于没有可学习的中文实例, 这里我就把我这几个月所接触到目前国外比较流行的部署经验给大家分享一下.

首先给大家介绍的是Ansible, 恩, 重要的问题说三遍, 不是Saltstack, Ansible作为一个python写的自动化部署工具, 确实较之前我所接触的Chef, saltstack, puppet更有自己的一些优势, 首先就是agentless, 无需在Linux client安装任何服务即可无缝连接Linux default ssh端口进行部署(windows需要安装winrm 开启ssh服务), 这点其实我觉得非常重要, 可以想象很多公司本身是对network管理非常严格的, 在部署一个产品的同时你需要考虑很多时间成本, 使用其他部署工具本身非常棘手的问题就是去申请开端口, client量少的话, 我们可以去等, 多的话本身你去request, waiting, unblock port等等long long process.... 最后会耗费很长时间. 这个对很多产品本身就是很致命的. 不推荐Saltstack的原因也是因为其需要在每台agent逐一去安装client service并测试, 这本身就会耗费一些时间成本.

其他呢? 其实我觉得就是容易上手, 语法简单, 有现成模板让你去学习, 加之是我们非常喜爱的python语法, why not?

Jenkins不用我多说, 估计懂行的人都在用它, 开源, 轻量级, 兼容性和扩展性强, 直观的GUI管理这都是它的优势, 配合Ansible我觉得用起来会非常easy going.

最后提一下Gitlab, 为什么要用Gitlab? 他作为一个代码版本控制系统和部署有什么关系呢? 其实这里就涉及一个我们Ansible playbook管理问题, 试想我们需要维护一个公司庞大的server集群, 我们所有需要部署的机器或者产品会对应我们相对的部署脚本, 我们使用的Ansible playbook如果只是保存在Ansible Server的具体某个目录, 这本身就不便于我们进行编写维护更新(想想每次都跑到远程去编写playbook或者每次在本地编写好后再upload到远程我都会脑补数以万计的草泥马从我眼前呼啸而来).

这里Gitlab就给我们提供一个非常方便以及直观的Playbook management. 我们需要做的其实就是在Gitlab去建立一个对应产品或者server的playbook仓库, 然后我们在本地写好后直接commit到这个仓库, 最后在部署的时候, 去让Jenkins pull这个playbook到其workspace, 并作为一个Job去run这个playbook, 这样是不是很规范, 而且便于管理?

当然Ansible本身企业版Tower也会提供一个类似管理并维护playbook以及监控ansible本身running process的GUI管理系统, 用起来也很不错, 但作为收费版本, 我们在这里就不做过多阐述了.

这里我推荐Jenkins和Ansible可以安装到同一个环境作为部署server, Gitlab作为版本控制系统可单独部署在另一台server.

总结:

Jenkins首先从Gitlab去抓取我们写好的具体产品的playbook, 并使用virtualenv下的Ansible相关命令, 保证我们在一个clean的环境下使用stable version去批量部署我们的产品到远程client.

Let's go.....

一. 安装环境

System: CentOS 6.7 x64 (deploy.example.com)

Jenkins: Jenkins ver. 1.650

Ansible: Ansible 2.1.0

Gitlab: GitLab 7.14.3

二. Jenkins配置

我们创建deploy用户作为jenkins_user, workspace为deploy家目录下的jenkins目录.

# su - root

# adduser deploy

# wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat/jenkins.repo

# rpm --import https://jenkins-ci.org/redhat/jenkins-ci.org.key

# yum install jenkins -y

# vi /etc/sysconfig/jenkins

...
JENKINS_HOME="/home/deploy/jenkins"
JENKINS_USER="deploy"
...

# service jenkins start

浏览器访问Jenkins页面

http://deploy.example.com:8080

安装完成, 以下是我已经配置好的一些Jenkins Job.

这里我们使用一个国内PHP网站模板phpcms作为我们需要部署的产品进行本次范例演示, 在进行最终的Build前我们需要做一些准备工作, 稍后我们会回到这个界面.

三. Ansible配置

这里我们需要配置virtualenv去隔离我们ansible的发行版本为最新版本2.1.0, 默认pip或者yum安装的1.9版本因为BUG以及对windows不兼容的原因, 这里不推荐使用.

配置步骤传送门: http://www.showerlee.com/archives/1862

Ansible-playbook范例传送门: http://www.showerlee.com/archives/1649

四. Gitlab配置

部署并使用传送门: http://www.showerlee.com/archives/1285

我们最终会创建一个ansible playbook仓库 git@git.example.cn:showerlee/Ansible-showerlee.git, 并在本地编写好我们的规则, 最终commit到这个仓库, 以便Jenkins去调用我们的部署规则.

这里博主单独clone出来一份部署phpcms的playbook仓库, 算是给大家的福利:

https://git.showerlee.com/showerlee/leon-playbook-phpcms1.1

五.最终部署

准备工作完毕, 我们接下来给大家介绍Jenkins Job配置.

1.创建一个new item

2. 创建一个freestyle Job, 命名规则"产品名-环境", 这里我们为Phpcms-Dev

3. Job配置

1). 定制Build参数.

这里Dynamic Choice Parameter用来通过Groovy脚本来抓取这个git仓库的所有branch, 并作为一个多选项, 方便我们在最终Build前去选择我们需要的这个产品Branch分支.

Groovy抓取Git branch代码:

def gettags = ("git ls-remote -h git@git.showerlee.com:showerlee/phpcms.git").execute()  
gettags.text.readLines().collect { it.split()[1].replaceAll('refs/heads/', '')  }.unique()

Choice Parameter也是用来给我们Job定制Build前的可选参数, 不过这里的参数可以直接写死

deploy_environment为我们的参数名, 定义我们的部署环境名, prod, qa为我们具体的可选项, 定义我们产品的两个环境.

2). 源代码管理

我们可以利用Jenkins内置的Source Code Management工具去抓取远程Git或者SVN仓库的代码到本地, 这里我们抓取存放在我们Gitlab上的Playbook到Jenkins的workspace目录, 用来进行后续部署工作, 这个仓库如需认证, 我们可以在Credentials add这个仓库的用户账号密码, 其余均保持默认即可(默认Jenkins default不支持Git, 需要到其后台安装Git插件)

3). Execute shell进行最终的CLI部署.

这个Build模块下的Execute shell方法是Jenkins比较常用并非常核心的功能, 用来执行我们部署过程中核心的命令.

开头和结尾的set +x, set -x用来关闭和打开该部分的扩展参数及命令

开启virtualenv和加载ansible环境变量

# source /home/deploy/.virtualenv/bin/activate
# . /home/deploy/.virtualenv/ansible/hacking/env-setup -q

进入该Job的workspace目录下保存该playbook的仓库子目录下, 检查ansible版本, 并执行最终的部署命令.

cd $WORKSPACE/leon-playbook-phpcms1.1
ansible --version
ansible-playbook -i inventory/$deploy_environment ./deploy.yml -e project=phpcms -e branch=$branch_selector -e env=$deploy_environment

注: -i 用来自定义ansible host文件路径, ./deploy.yml为ansible-playbook入口文件, -e 后可跟给当前session添加的环境变量.

这里$deploy_environment $branch_selector 为该Job定义好的可选参数, 详见3-1)

配置完毕后, save保存.

4. 执行Job.

选择master分支和prod环境

查看该Job最终的console output, 也就是显示我们实际在CLI下的输出结果.

Console Output

Started by user Leon Li
Building in workspace /home/deploy/jenkins/workspace/Phpcms-Dev
 > git rev-parse --is-inside-work-tree # timeout=10
Fetching changes from the remote Git repository
 > git config remote.origin.url git@git.showerlee.com:showerlee/Ansible-showerlee.git # timeout=10
Fetching upstream changes from git@git.showerlee.com:showerlee/Ansible-showerlee.git
 > git --version # timeout=10
 > git fetch --tags --progress git@git.showerlee.com:showerlee/Ansible-showerlee.git +refs/heads/*:refs/remotes/origin/*
 > git rev-parse refs/remotes/origin/master^{commit} # timeout=10
 > git rev-parse refs/remotes/origin/origin/master^{commit} # timeout=10
Checking out Revision 6bf787dcad68219d8eee09cecb83cbca36edbef1 (refs/remotes/origin/master)
 > git config core.sparsecheckout # timeout=10
 > git checkout -f 6bf787dcad68219d8eee09cecb83cbca36edbef1
 > git rev-list 6bf787dcad68219d8eee09cecb83cbca36edbef1 # timeout=10
[Phpcms-Dev] $ /bin/sh -xe /tmp/hudson7452069223867148990.sh
+ set +x
ansible 2.1.0 (devel 6ddea3e915) last updated 2016/02/16 16:13:32 (GMT +800)
  lib/ansible/modules/core: (detached HEAD 8d126bd877) last updated 2016/02/16 16:19:09 (GMT +800)
  lib/ansible/modules/extras: (detached HEAD f6c5ed987f) last updated 2016/02/16 16:19:40 (GMT +800)
  config file = /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/ansible.cfg
  configured module search path = /home/deploy/active-ansible-modules/

PLAY ***************************************************************************

TASK [setup] *******************************************************************
ok: [127.0.0.1]

TASK [deploy : Backup current source code] *************************************
changed: [127.0.0.1]

cmd: mv /data/deploy_dir/phpcms /data/deploy_dir/phpcms_master_1457681152

start: 2016-03-11 15:25:54.774716

end: 2016-03-11 15:25:54.927415

delta: 0:00:00.152699

TASK [deploy : Get new source code] ********************************************
changed: [127.0.0.1]

TASK [deploy : Check if caches/configs/database.php exists] ********************
ok: [127.0.0.1]

TASK [deploy : Check if test_dir exists] ***************************************
ok: [127.0.0.1]

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php exists"
}

msg: /data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php exists

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "/data/deploy_dir/phpcms_master_1457681152/test_dir exists"
}

msg: /data/deploy_dir/phpcms_master_1457681152/test_dir exists

TASK [deploy : Copy remote necessary original config to new release when Product env] ***
changed: [127.0.0.1] => (item={u'name': u'db_config', u'dir': u'caches/configs/database.php'})
changed: [127.0.0.1] => (item={u'name': u'version_config', u'dir': u'caches/configs/version.php'})

msg: All items completed

results: [
  {
    "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php", 
    "changed": true, 
    "group": "deploy", 
    "uid": 606, 
    "dest": "/data/deploy_dir/phpcms/caches/configs/database.php", 
    "checksum": "91869c2faa244f8c5de8a586636c6b4f3c0a2817", 
    "md5sum": "fd88a78a4629bca012a79d22fdcecadd", 
    "owner": "deploy", 
    "_ansible_no_log": false, 
    "item": {
      "name": "db_config", 
      "dir": "caches/configs/database.php"
    }, 
    "state": "file", 
    "gid": 608, 
    "mode": "0644", 
    "invocation": {
      "module_args": {
        "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/database.php", 
        "directory_mode": null, 
        "force": true, 
        "remote_src": true, 
        "dest": "/data/deploy_dir/phpcms/caches/configs/database.php", 
        "selevel": null, 
        "seuser": null, 
        "setype": null, 
        "group": null, 
        "content": null, 
        "serole": null, 
        "original_basename": null, 
        "delimiter": null, 
        "mode": "0644", 
        "regexp": null, 
        "owner": null, 
        "follow": false, 
        "validate": null, 
        "backup": false
      }
    }, 
    "size": 302
  }, 
  {
    "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/version.php", 
    "changed": true, 
    "group": "deploy", 
    "uid": 606, 
    "dest": "/data/deploy_dir/phpcms/caches/configs/version.php", 
    "checksum": "d0eaedb46a36303eb3f3e2a77cc2a623062eff3c", 
    "md5sum": "7917d8199b7c6d5bc87ff3035a72670e", 
    "owner": "deploy", 
    "_ansible_no_log": false, 
    "item": {
      "name": "version_config", 
      "dir": "caches/configs/version.php"
    }, 
    "state": "file", 
    "gid": 608, 
    "mode": "0644", 
    "invocation": {
      "module_args": {
        "src": "/data/deploy_dir/phpcms_master_1457681152/caches/configs/version.php", 
        "directory_mode": null, 
        "force": true, 
        "remote_src": true, 
        "dest": "/data/deploy_dir/phpcms/caches/configs/version.php", 
        "selevel": null, 
        "seuser": null, 
        "setype": null, 
        "group": null, 
        "content": null, 
        "serole": null, 
        "original_basename": null, 
        "delimiter": null, 
        "mode": "0644", 
        "regexp": null, 
        "owner": null, 
        "follow": false, 
        "validate": null, 
        "backup": false
      }
    }, 
    "size": 127
  }
]

TASK [deploy : Copy dir test_dir to new release when Product env] **************
changed: [127.0.0.1]

cmd: cp -a /data/deploy_dir/phpcms_master_1457681152/test_dir /data/deploy_dir/phpcms/

start: 2016-03-11 15:26:16.966237

end: 2016-03-11 15:26:17.069705

delta: 0:00:00.103468

TASK [deploy : Get php version] ************************************************
changed: [127.0.0.1 -> localhost]

cmd: python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py http://www.showerlee.com

start: 2016-03-11 15:26:17.468311

end: 2016-03-11 15:26:51.560313

delta: 0:00:34.092002

stdout: PHP/5.4.13

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": {
        "changed": true, 
        "cmd": "python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py http://www.showerlee.com", 
        "delta": "0:00:34.092002", 
        "end": "2016-03-11 15:26:51.560313", 
        "rc": 0, 
        "start": "2016-03-11 15:26:17.468311", 
        "stderr": "", 
        "stdout": "PHP/5.4.13", 
        "stdout_lines": [
            "PHP/5.4.13"
        ], 
        "warnings": []
    }
}

msg: {
  "changed": true, 
  "end": "2016-03-11 15:26:51.560313", 
  "stdout": "PHP/5.4.13", 
  "cmd": "python /home/deploy/jenkins/workspace/Phpcms-Dev/leon-playbook-phpcms1.1/roles/deploy/files/get_php_version.py http://www.showerlee.com", 
  "start": "2016-03-11 15:26:17.468311", 
  "delta": "0:00:34.092002", 
  "stderr": "", 
  "rc": 0, 
  "stdout_lines": [
    "PHP/5.4.13"
  ], 
  "warnings": []
}

TASK [deploy : debug] **********************************************************
ok: [127.0.0.1] => {
    "msg": "PHP/5.4.13"
}

msg: PHP/5.4.13

PLAY RECAP *********************************************************************
127.0.0.1                  : ok=12   changed=5    unreachable=0    failed=0   

Finished: SUCCESS

这样我们就利用Jenkins+Ansible+Gitlab, 成功部署phpcms到远程Client.

声明: 本文采用 CC BY-NC-SA 3.0 协议进行授权

转载请注明来源：DevOps技术分享

本文链接地址：http://www.showerlee.com/archives/1880

Windows下TortoiseGit over Putty or Openssh提交项目到GitLab

showerlee — Sat, 30 Aug 2014 05:45:28 +0000

Gitlab默认的配置推荐使用shell命令行与server端进行交互,作为搞SCM的表示无压力,但是作为开发人员还是比较适应windows的GUI图形管理,方便他们将注意力集中到代码编写上,所以今天刚好接着昨天给大家介绍一下使用windows下的git client工具实现将本地代码提交到远程服务器.

解决方案：

环境部署

操作系统 Windows7 x64 Sp1

TortoiseGit TortoiseGit-1.8.11.0-64bit.msi

Git Git-1.9.4-preview20140815.exe

Putty PuTTY 0.63

OpenSSH owned by Git

下载地址: http://yunpan.cn/QaaLGsd23BsWL (访问密码 96d7)

注: 此处下载地址中的安装包都为64位版本,32位请另行下载.

一.部署前的准备工作

安装TortoiseGit,Git,Putty,默认下一步安装即可,其中Git为Git client环境安装包,确保windows包含git环境.

二.配置PuTTY authentication agent

在安装TortoiseGit后,可以选择使用OpenSSH客户端还是使用Putty客户端,如果使用的是默认的Putty客户端,由于TortoiseGit GUI连接不支持server端自定义端口配置,若GitLab使用的SSH端口为自定义端口,则需要使用PuTTY的authentication agent去做一个本地的端口转发.

1.首先使用TortoiseGit自带的Puttygen创建本地的公/私钥对

2.点击Generate按钮,在窗口空白处按照提示晃动鼠标,生成公/私钥对,并保存到本地

其中testkey为公钥,testkey.ppk为私钥

3.将窗口生成的Public key粘贴到GitLab站点具体使用账号的SSh Keys内即完成公钥上传.

4.使用PuTTY连接gitlab服务器,open之前需选择之前本地生成的私钥

这里服务端domain为git.example.com

git为Server端SSH For GitLab账户

SSH端口为自定义的2222

5.连接成功会在右下角任务栏出现任务图标

三.配置TortoiseGit

1.从windows开始菜单选择TortoiseGit-Setting工具,在对话框里选择Git项,填写相关info

注: 这里的User Info中Name建议与你的Gitlab的账户名保持一致,且该账户必须有该project的相关git操作权限,如果没有可能会造成GIT相关操作报permisson deny错误.当然如果你Gitlab本身刚搭建好,只有系统初始的admin账户,未添加其他账户,则这个权限问题会被系统忽略.

当然另外一种可能是:

大多数国内文档这里未提及这点可能在于国人的windows系统99.9%都是Ghost版本,初始都为admin最高权限,所以这边权限问题直接忽略,但如果你的windows系统是家庭版,或者未使用系统最高权限登陆,则会出现上述报错情况,这个问题也是在我一个朋友那边发现的,他的机子是Surface的Win8家庭版,一般都是普通用户登录,So让我倒持了大半天,终于发现了问题所在...

如果有git相关管理经验的朋友,这里可以解释一下.

2.在D盘新建一个目录,例如"D:\Git",并进入目录右键目录空白处选择"Git Create repository here...",弹出对话框点确认,这样即建立了一个本地Git仓库.

3.在该仓库目录下创建一个测试项目文本文件,右键目录空白处,选择Git Commit -> "master" ...,在弹出对话框里输入提示注释,选择要加入的版本控制文件,确定即可提交.

4.现在只是在本地实现使用Git管理项目,在此界面若显示Success则本地提交成功,接下来点击Push..,把我们的改动递交到Git服务器上.

5.此时会弹出Push对话框,在Ref - Remote栏里设定当前分支名为master,然后点击Destination - Remote栏的Manage按钮.

6.在弹出的设置对话框中按照如图所示,填写服务器Remote名称,URL(git@git.yanwenbo.cn:root/tesproject.git),之前保存的本地私钥testkey.ppk,点击Add New/Save按钮保存这一设置,然后点击确定退出返回之前的对话框.

7.最终确认提交

8.push成功

9. Giblab后台查看提交结果.

大功告成...

后记...

之前介绍的是利用TortoiseGit配合putty实现SSH自定义端口的连接GitLab

但是在给一个朋友配的过程中发现他的SURFACE WIN8系统死活无法PUSH成功,但我的win7同样方法就没问题,索性就用OPENSSH的命令行方法实现.

具体过程这里较之前的稍作更改

1. 利用git bash创建秘钥,方法和linux命令行创建秘钥命令行格式基本一致

a.客户端生成秘钥

# cd ~

# ssh-keygen -t rsa

一路回车后生成公钥和秘钥对

# cat ~/.ssh/id_rsa.pub

—————————————————————————————————————————————————

将这里生成的秘钥全部复制并粘贴到gitlab web SSH Keys后台保存即可

—————————————————————————————————————————————————

上传后如图:

b.测试SSH连接

# ssh -p22 git@git.example.com

若报如下错误:

——————————————————————————————————————

PTY allocation request failed on channel 1

/usr/bin/env: ruby: No such file or directory

Connection to git.example.com closed.

——————————————————————————————————————

说明服务端ruby环境变量未在此目录/usr/bin/ruby

在服务器端加此软链即可:

# ln -s /usr/local/ruby/bin/ruby /usr/bin/ruby

注:若服务器端SSH自定义端口,则需要在客户端~/.ssh/config下添加端口配置

假定自定义SSH端口为2222

# echo “Port 2222” >> ~/.ssh/config

c.重新连接

# ssh -p22 git@git.example.com

——————————————————————————————————————

PTY allocation request failed on channel 1

Welcome to GitLab, Anonymous!

Connection to git.example.com closed.

——————————————————————————————————————

2.将TortoiseGit默认的SSH客户端TortoiseGitPlink(Putty)更改为openssh,具体路径与你的实际安装路径为准.

3.更改TortoiseGit的秘钥import路径为Git bash命令行生成的秘钥路径

将之前到此处的配置中如下PuttyGen生成的秘钥路径更改成你的openssh生成的秘钥

笔者是windows管理员账户登录

所以路径为 C:\Users\Administrator\.ssh\id_rsa

4.其他配置保持不变,按照上文操作即可完成openssh认证远程Git over SSH for Gitlab.

声明: 本文采用 CC BY-NC-SA 3.0 协议进行授权

转载请注明来源：DevOps技术分享

本文链接地址：http://www.showerlee.com/archives/1300

CentOS6.3下GitLab+Nginx(SSL)+MySQL+Ruby安装部署

showerlee — Fri, 29 Aug 2014 14:12:21 +0000

Gitlab是一个用Ruby on Rails开发的开源项目管理程序.可以通过WEB界面进行访问公开的或者私人项目. 它和Github有类似的功能，能够浏览源代码，管理缺陷和注释.

本文选择NGINX与MYSQL来配合GitLab实现web管理,数据存储等功能,配置过程中难点基本在GitLab的脚本修改,SSH秘钥连接,Nginx SSL证书等这些方面,作者也是耗费非常大的力气,结合很多文档的clue以及很多老外的debug comment,终于最终完成,希望在此给大家一个抛砖引玉的机会,了解到SCM(软件配置管理)其实也不是想象中那么小儿科,很多逻辑也着实需要下功夫investigation.

最后我是一路向北,我为我自己带盐....

解决方案：

环境部署

操作系统 centos6.3 x64

GitLab GitLab 6-3-stable

GitLab Shell 1.8.0

Ruby 2.0.0p353

NGINX nginx-1.4.0

MYSQL mysql-5.6.10

Git server(centos6.3 x64): git.example.com

Git client(centos6.3 x64): client.example.com

server端配置:

一.安装前的准备工作

1.关闭iptables和SELINUX

# service iptables stop

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

2.同步时间

# ntpdate cn.pool.ntp.org

3.安装LNMP

传送门：http://www.showerlee.com/archives/73

4.安装GitLab的所需依赖包和工具

# su -

# rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-5-4.noarch.rpm

# yum -y groupinstall 'Development Tools'

# yum -y install vim-enhanced readline readline-devel ncurses-devel gdbm-devel glibc-devel tcl-devel openssl-devel curl-devel expat-devel db4-devel byacc sqlite-devel gcc-c++ libyaml libyaml-devel libffi libffi-devel libxml2 libxml2-devel libxslt libxslt-devel libicu libicu-devel system-config-firewall-tui python-devel redis sudo wget crontabs logwatch logrotate perl-Time-HiRes git

5.配置redis

配置redis开机启动：

# chkconfig redis on

# service redis start

6.更改gem源(若默认无法连接)

a.显示当前使用的sources

# gem sources

b.删除缺省source

# gem sources -r http://rubygems.org/

c.添加一个source

# gem sources -a https://ruby.taobao.org

d.更新source cache

# gem sources -u

6.安装Ruby

a.源码安装Ruby

传送门: http://www.showerlee.com/archives/1123

b.安装bundle组件：

# gem install bundler --no-ri --no-rdoc

二.安装GITLab shell

1.创建用户git

# su -

# adduser --system --shell /bin/bash --comment 'GitLab' --create-home --home-dir /home/git/ git

2、配置GitLab shell

GitLab shell是专门为GitLab开发的提供ssh访问和版本管理的软件。

a.使用git账户登陆

# su - git

b.克隆gitlab shell

# git clone https://github.com/gitlabhq/gitlab-shell.git

c.切换成1.8.0版本，并编辑配置

# cd gitlab-shell

# git checkout v1.8.0

d.拷贝配置文件

# cp config.yml.example config.yml

# vi config.yml

—————————————————————————————————————————

# 将gitlab_url修改成gitlab的访问域名。例如本文档：https://git.example.com/

gitlab_url: "https://git.example.com"

# 将self_signed_cert修改成 true

self_signed_cert: true

# 添加网站SSL证书

ca_file: "/usr/local/nginx/ssl/gitlab.crt"

—————————————————————————————————————————

注：如果gitlab是使用http访问，则需将https替换成http，配置文件中的self_signed_cert要修改成false，否则gitlab shell在通过api和gitlab进行通信的时候就会出现错误，导致项目push出错。因为后面配置web服务器的时候是使用ssl，所以这里要按照ssl的方式配置。

另外本文档的域名为测试域名，不要忘记在C/S两端均做好域名映射。

e.安装一些需要的目录和文件

# ./bin/install

5、配置MySQL数据库(安装过程详见上文)

a.登录数据库

# mysql -u root -p

b. 为gitlab创建使用用户

> create user gitlab@'localhost' identified by '123456';

c.创建gitlaba使用的数据库

> CREATE DATABASE IF NOT EXISTS `gitlabhq_production` DEFAULT CHARACTER SET `utf8` COLLATE `utf8_unicode_ci`;

d.给予gitlab用户权限

> GRANT SELECT, LOCK TABLES, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER ON `gitlabhq_production`.* TO 'gitlab'@'localhost';

三.安装GitLab

1.将GitLab安装在git的家目录下：

# su - git

2.克隆GitLab并切换分支到6-3-stable

a.克隆GitLab

# git clone https://github.com/gitlabhq/gitlabhq.git gitlab

b. 切换到6-3-stable分支

# cd /home/git/gitlab

# git checkout 6-3-stable

c、配置项目

a.复制配置文件

# cp config/gitlab.yml.example config/gitlab.yml

b.修改配置文件中的访问域名

# sed -i 's|localhost|git.example.com|g' config/gitlab.yml

d.设定log和tmp目录所有者和权限

# chown -R git log/

# chown -R git tmp/

# chmod -R u+rwX log/

# chmod -R u+rwX tmp/

e.创建gitlab-satellites目录

# mkdir /home/git/gitlab-satellites

f.创建tmp/pids/和tmp/sockets/目录，确保gitlab有相应的权限

# mkdir tmp/pids/

# mkdir tmp/sockets/

# chmod -R u+rwX tmp/pids/

# chmod -R u+rwX tmp/sockets/

g.创建public/uploads目录

# mkdir public/uploads

# chmod -R u+rwX public/uploads

h.复制unicorn配置

# cp config/unicorn.rb.example config/unicorn.rb

i.保持unicorn配置文件默认配置

g.配置git的用户和邮件

# git config --global user.name "GitLab"

# git config --global user.email "gitlab@git.example.com”

# git config --global core.autocrlf input

k.配置数据库访问文件

# cp config/database.yml.mysql config/database.yml

编辑config/database.yml，设置其中连接数据库的账号密码

# vi config/database.yml

———————————————————————————————————

# PRODUCTION

production:

adapter: mysql2

encoding: utf8

reconnect: false

database: gitlabhq_production

pool: 10

username: gitlab

password: “123456”

# host: localhost

# socket: /tmp/mysql.sock

———————————————————————————————————

修改其中username和password就可以了，其中密码就是上面数据库步骤中创建gitlab用户的密码。

l.确保该文件只有git账号有权限读取。

# chmod o-rwx config/database.yml

四.安装Gems

1.安装charlock_holmes

# su -

# gem install charlock_holmes --version '0.6.9.4'

# exit

2.安装mysql包

# cd /home/git/gitlab/

# vi Gemfile

修改 https://rubygems.org 为 https://ruby.taobao.org

# bundle install --deployment --without development test postgres puma aws

若报Could not find modernizr-2.6.2 in any of the sources错误,没有则无视:

修复方案:

# vi Gemfile

搜索该行 gem "modernizr", "2.6.2"

更改为： gem "modernizr-rails", "2.7.1"

# vi Gemfile.lock

搜索该行 modernizr (2.6.2)

更改为： modernizr-rails (2.7.1)

搜索该行 modernizr (= 2.6.2)：

更改为： modernizr-rails (= 2.7.1)

重新执行

# bundle install --deployment --without development test postgres puma aws

3.初始化数据和激活高级功能

# cd /home/git/gitlab

# bundle exec rake gitlab:setup RAILS_ENV=production

这步完成后，会生一个默认的管理员账号/密码：

admin@local.host/5iveL!fe

4.安装启动脚本

# su -

# wget -O /etc/init.d/gitlab https://raw.github.com/gitlabhq/gitlab-recipes/5-0-stable/init.d/gitlab

# chmod +x /etc/init.d/gitlab

5.开机时启动

# chkconfig --add gitlab

# chkconfig gitlab on

6.检测应用程序状态

# su - git

# cd gitlab/

# bundle exec rake gitlab:env:info RAILS_ENV=production

# exit

可以查看到系统、Ruby、GitLab和GitLab Shell的版本和其他信息。

7.启动GitLab实例

# service gitlab start

8.查看应用更加详细的信息

# su - git

# cd gitlab/

# bundle exec rake gitlab:check RAILS_ENV=production

这里会提示一个Init script up-to-date的错误，如下：

——————————————————————————————————————————————————

Init script up-to-date? ... no

Try fixing it:

Redownload the init script

For more information see:

doc/install/installation.md in section "Install Init Script"

Please fix the error above and rerun the checks.

——————————————————————————————————————————————————

查阅官方自带文档,说明此问题可忽略.

五.Nginx配置

1.配置Gitlab虚拟主机及SSL连接:

# cd /usr/local/nginx/conf/vhosts/

# vi gitlab-ssl.conf

注: 这里先感谢提供此脚本的极客,该脚本在原基础上稍作改动.

内容用红字标注的地方为需要自定义的地方.

————————————————————————————————————————————

## GitLab

## Contributors: randx, yin8086, sashkab, orkoden, axilleas

## App Version: 5.4 - 6.0

## Modified from nginx http version

## Modified from http://blog.phusion.nl/2012/04/21/tutorial-setting-up-gitlab-on-debian-6/

## Lines starting with two hashes (##) are comments containing information

## for configuration. One hash (#) comments are actual configuration parameters

## which you can comment/uncomment to your liking.

###################################

## SSL configuration ##

###################################

## Optimal configuration is taken from:

## https://raymii.org/s/tutorials/Strong_SSL_Security_On_nginx.html

## Make sure to read it and understand what each option does.

## [Optional] Generate a self-signed ssl certificate:

## mkdir /etc/nginx/ssl/

## cd /etc/nginx/ssl/

## sudo openssl req -newkey rsa:2048 -x509 -nodes -days 3560 -out gitlab.crt -keyout gitlab.key

## sudo chmod o-r gitlab.key

## Edit `gitlab-shell/config.yml`:

## 1) Set "gitlab_url" param in `gitlab-shell/config.yml` to `https://git.example.com`

## 2) Set "ca_file" to `/etc/nginx/ssl/gitlab.crt`

## 3) Set "self_signed_cert" to `true`

## Edit `gitlab/config/gitlab.yml`:

## 1) Define port for http "port: 443"

## 2) Enable https "https: true"

## 3) Update ssl for gravatar "ssl_url: https://secure.gravatar.com/avatar/%{hash}?s=%{size}&d=mm"

##################################

## CHUNKED TRANSFER ##

##################################

## It is a known issue that Git-over-HTTP requires chunked transfer encoding [0]

## which is not supported by Nginx < 1.3.9 [1]. As a result, pushing a large object

## with Git (i.e. a single large file) can lead to a 411 error. In theory you can get

## around this by tweaking this configuration file and either:

## - installing an old version of Nginx with the chunkin module [2] compiled in, or

## - using a newer version of Nginx.

## At the time of writing we do not know if either of these theoretical solutions works. As a workaround

## users can use Git over SSH to push large files.

## [0] https://git.kernel.org/cgit/git/git.git/tree/Documentation/technical/http-protocol.txt#n99

## [1] https://github.com/agentzh/chunkin-nginx-module#status

## [2] https://github.com/agentzh/chunkin-nginx-module

upstream gitlab {

## Uncomment if you have set up puma/unicorn to listen on a unix socket (recommended).

server unix:/home/git/gitlab/tmp/sockets/gitlab.socket;

## Uncomment if puma/unicorn are configured to listen on a tcp port.

## Check the port number in /home/git/gitlab/config/{puma.rb/unicorn.rb}

# server 127.0.0.1:8080;

}

## This is a normal HTTP host which redirects all traffic to the HTTPS host.

server {

listen *:80;

## Replace git.example.com with your FQDN.

server_name git.example.com;

server_tokens off;

## This doesn't have to be a valid path since we are redirecting,

## you don't have to change it.

root /nowhere;

rewrite ^ https://$server_name$request_uri permanent;

}

server {

listen 443 ssl;

## Replace git.example.com with your FQDN.

server_name git.example.com;

server_tokens off;

root /home/git/gitlab/public;

## Increase this if you want to upload large attachments

## Or if you want to accept large git objects over http

client_max_body_size 20m;

## Strong SSL Security

## https://raymii.org/s/tutorials/Strong_SSL_Security_On_nginx.html

ssl on;

ssl_certificate /usr/local/nginx/ssl/gitlab.crt;

ssl_certificate_key /usr/local/nginx/ssl/gitlab.key;

ssl_protocols TLSv1 TLSv1.1 TLSv1.2;

ssl_session_cache builtin:1000 shared:SSL:10m;

#add_header Strict-Transport-Security max-age=63072000;

#add_header X-Frame-Options DENY;

#add_header X-Content-Type-Options nosniff;

## Individual nginx logs for this GitLab vhost

access_log /usr/local/nginx/logs/gitlab_access.log;

error_log /usr/local/nginx/logs/gitlab_error.log;

location / {

## Serve static files from defined root folder.

## @gitlab is a named location for the upstream fallback, see below.

try_files $uri $uri/index.html $uri.html @gitlab;

}

## If a file, which is not found in the root folder is requested,

## then the proxy pass the request to the upsteam (gitlab unicorn).

location @gitlab {

## If you use https make sure you disable gzip compression

## to be safe against BREACH attack.

gzip off;

## https://github.com/gitlabhq/gitlabhq/issues/694

## Some requests take more than 30 seconds.

proxy_read_timeout 300;

proxy_connect_timeout 300;

proxy_redirect off;

proxy_set_header Host $http_host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-Ssl on;

proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_set_header X-Forwarded-Proto $scheme;

proxy_pass http://127.0.0.1:8080;

}

## Enable gzip compression as per rails guide:

## http://guides.rubyonrails.org/asset_pipeline.html#gzip-compression

location ~ ^/(assets)/ {

root /home/git/gitlab/public;

gzip_static on; # to serve pre-gzipped version

expires max;

add_header Cache-Control public;

}

error_page 502 /502.html;

}

————————————————————————————————————

2.将nginx加入git用户组(重要)

# usermod -a -G git nginx

# chmod g+rx /home/git/

3.生成ssl证书

# mkdir /usr/local/nginx/ssl

# cd /usr/local/nginx/ssl

# openssl req -new -x509 -nodes -days 3560 -out gitlab.crt -keyout gitlab.key

4.开启Git over SSL

# vi /home/git/gitlab/config/gitlab.yml

  ## GitLab settings
  gitlab:
    ## Web server settings
    host: git.example.com
    port: 443
    https: true

# vi /home/git/gitlab-shell/config.yml

gitlab_url: "https://git.example.com"
http_settings:
#  user: someone
#  password: somepass
#  ca_file: /etc/ssl/cert.pem
#  ca_path: /etc/ssl/
  self_signed_cert: true

ca_file: "/usr/local/nginx/ssl/gitlab.crt"

5.启动nginx

# service nginx start

6.打开web页面 git.example.com

nginx直接跳转URL为https://git.example.com

注:视浏览器不同这里首先会提示证书不受信任,因为我们在此是自己给自己颁发的证书,所以非官方CA授权,有需要授权的朋友可以通过很多其他途径购买.

GitLab默认的账号密码如下:

admin@local.host/5iveL!fe

Client端配置:

六.上传git仓库

1.客户端生成秘钥

# cd ~

# ssh-keygen -t rsa

一路回车后生成公钥和秘钥对

$ cat ~/.ssh/id_rsa.pub

—————————————————————————————————————————————————

将这里生成的秘钥全部复制并粘贴到gitlab web SSH Keys后台保存即可

—————————————————————————————————————————————————

上传后如图:

2.测试SSH连接

# ssh -p22 git@git.example.com

若报如下错误:

——————————————————————————————————————

PTY allocation request failed on channel 1

/usr/bin/env: ruby: No such file or directory

Connection to git.example.com closed.

——————————————————————————————————————

说明服务端ruby环境变量未在此目录/usr/bin/ruby

在服务器端加此软链即可:

# ln -s /usr/local/ruby/bin/ruby /usr/bin/ruby

注:若服务器端SSH自定义端口,则需要在客户端~/.ssh/config下添加端口配置

假定自定义SSH端口为2222

# echo “Port 2222” >> ~/.ssh/config

3.重新连接

# ssh -p22 git@git.example.com

——————————————————————————————————————

PTY allocation request failed on channel 1

Welcome to GitLab, Anonymous!

Connection to git.example.com closed.

——————————————————————————————————————

4.命令行上传git仓库

# su -

# mkdir testprojiect

# cd testprojiect/

# git init

# echo "What a fucking Hello World" > readme.txt

# git add .

# git commit -m 'first commit'

# git remote add origin git@git.example.com:root/testproject.git

# git push -u origin master

————————————————————————————————————————————

Counting objects: 3, done.

Writing objects: 100% (3/3), 238 bytes | 0 bytes/s, done.

Total 3 (delta 0), reused 0 (delta 0)

To git@git.example.com:root/testproject.git

* [new branch] master -> master

Branch master set up to track remote branch master from origin.

————————————————————————————————————————————

大功告成...

注: 若主页CSS出现错误未加载, 可从新编译assets, 可从新获取CSS文件.

# cd /home/git/gitlab

# bundle exec rake assets:precompile RAILS_ENV=production

注: 解决Gravatar的头像加载timeout问题

搜索plain_url部分, 将原有部分改成:
plain_url: "http://gravatar.duoshuo.com/avatar/%{hash}?s=%{size}&d=identicon"

#cd /home/git/gitlab

清除缓存

# RAILS_ENV=production bundle exec rake cache:clear

# service gitlab restart

注: 解决内存耗尽问题

如果你的VPS 为1G内存+1核处理器

建议将默认的unicorn worker_process设置为2, timeout设定为60s, 这样就不会因为长时间加载web页面而出现timeout等问题.

# vi /home/git/gitlab/config/unicorn.rb

...
worker_processes 2
timeout 60
...

本文的Gitlab为6.3版本, 如果大家有升级到7.14或者8.0版本的需要的话, 可以参考官方的升级文档

https://github.com/gitlabhq/gitlabhq/blob/master/doc/update/6.x-or-7.x-to-7.14.md

https://github.com/gitlabhq/gitlabhq/blob/master/doc/update/7.14-to-8.0.md

声明: 本文采用 CC BY-NC-SA 3.0 协议进行授权

转载请注明来源：DevOps技术分享

本文链接地址：http://www.showerlee.com/archives/1285

CentOS6.3下Gitosis安装部署

showerlee — Mon, 11 Aug 2014 11:04:23 +0000

Git作为一个分布式的版本控制系统，使用git的时候，一般和服务器通讯使用的是ssh协议，用ssh的主要优点是速度快（传输前数据会先压缩，比HTTP快），安全，方便读写。

客户端通过ssh访问服务器端的验证方式一般有两种，一种是用户名密码的方式，一种是使用公私钥认证的方式. 使用公私钥的方式比较方便，无需每次登录输入密码。

某个受信任的客户端的公钥会被设置在服务器端的 ~/.ssh/authorized_keys文件中，有关此文件的格式可以参见 sshd的用户手册 man sshd . authorized_keys有个比较厉害的功能是支持 command参数，使得每次用户使用此公钥进行验证的时候执行此后面的命令.这样就可以做一些逻辑处理了.

一般git库的管理需要权限控制，如何方便简单的进行库的权限管理呢？ authorized_keys是一个思路，指定特定command参数，每次验证好用户后首先执行相关逻辑，检测当前用户是否具有某个权限。所以便有了gitosis，与其说gitosis是一个git权限管理系统，还不如说它是一个authorized_keys文件管理器.

解决方案：

一.环境部署

操作系统： centos6.3 x64

Git: git-1.7.1

Gitosis: Gitosis

Gitweb: 1.7.1-3

OpenSSH Server: openssh-server-5.3p1

apache: httpd-2.4.4

python-setuptools: python-setuptools-0.6.10-3

Git server(centos6.3 x64): node2.example.com

Git client(centos6.3 x64): node1.example.com

server端配置:

一.关闭iptables和SELINUX

# service iptables stop

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

二.同步时间

# ntpdate cn.pool.ntp.org

三.安装apache

传送门：http://www.showerlee.com/archives/6

四.安装OpenSSH

1.yum安装OpenSSH:

# yum install openssh-server -y

2.修改ssh服务端配置:

# vi /etc/ssh/sshd_config

——————————————————————————————

Port 22 # 修改成你想要的登陆端口

PermitRootLogin no # 禁止root用户登陆

StrictModes yes # 检查密钥的用户和权限是否正确，默认打开的

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥认证

PasswordAuthentication yes # 启用密码认证，默认是打开的

ServerKeyBits 1024 # 修改后变为此状态，将ServerKey强度改为1024比特

PermitEmptyPasswords no # 修改后变为此状态，禁止空密码进行登录

——————————————————————————————

3.重启服务：

# /etc/init.d/sshd restart

五.安装Git

# yum install git-core -y

六.安装Gitosis

1.安装Gitosis依赖python-setuptools包

# yum install python-setuptools -y

2.安装Gitosis

# cd ~

# mkdir src

# cd src

# git clone https://github.com/tv42/gitosis.git

# cd gitosis

# python setup.py install

3.为gitosis创建系统用户

# useradd -m git

# passwd git

4. 运行gitosis

(1).将管理员生成的公钥上传或拷贝到服务器上。这里的公钥需要在git服务器管理员下使用ssh-keygen命令来创建

# su - git

保证web页面有权限显示该仓库内容

# chmod -R 755 /home/git

# ssh-keygen -t rsa

# cp ~/.ssh/id_rsa.pub /tmp

(2).初始化gitosis

进入到拷贝过来的id_rsa.pub所在目录

# cd /tmp

# gitosis-init < id_rsa.pub

此时，会在/home/git目录下生成gitosis仓库和配置目录

# cd /home/git

# ll

----------------------------------------------------------------

drwxr-xr-x 2 git git 4096 Aug 12 13:39 gitosis

drwxr-xr-x 4 git git 4096 Aug 12 13:39 repositories

---------------------------------------------------------------

(3).切换回当前(root)用户

# exit

(4).配置权限

如果想要别人能够clone gitosis-admin.git，需要执行以下操作：

# chmod 755 /home/git/repositories/gitosis-admin.git/hooks/post-update

至此，gitosis的安装工作已完成，其相关配置可以有管理员来操作，然后再提交到服务器上.

(5)现在可以试一下用初始化 Gitosis 的公钥的拥有者身份 SSH 登录服务器，应该会看到类似下面这样：

# su - git

$ ssh git@127.0.0.1

------------------------------------------------

PTY allocation request failed on channel 0

ERROR:gitosis.serve.main:Need SSH_ORIGINAL_COMMAND in environment.

Connection to gitserver closed.

------------------------------------------------

说明 Gitosis 认出了该用户的身份，但由于没有运行任何 Git 命令，所以它切断了连接。那么，现在运行一个实际的 Git 命令 — 克隆 Gitosis 的控制仓库：

在你本地计算机上克隆git仓库

# cd /tmp

# git clone git@gitserver:gitosis-admin.git

这会得到一个名为 gitosis-admin 的工作目录，主要由两部分组成：

红色为git仓库配置,蓝色为实际仓库保存的文件

# cd gitosis-admin

# ll -a

----------------------------------------------------------

total 20

drwxr-xr-x 4 git git 4096 Aug 12 13:21 .

drwxr-xr-x 4 git git 4096 Aug 12 13:23 ..

drwxr-xr-x 8 git git 4096 Aug 12 13:22 .git

-rwxr-xr-x 1 git git 157 Aug 12 13:21 gitosis.conf

drwxr-xr-x 2 git git 4096 Aug 12 13:20 keydir

-----------------------------------------------------------

以上操作相当于,系统git用户初始化并成为gitosis管理员,且利用其管理员权限将gitosis-admin仓库clone到本地.

5.添加本地用户john和仓库test到gitosis,并和管理员git合作管理gitosis

1. 用户john添加并发送id_rsa.pub给git

# su -

# useradd john & passwd john

# su - john

# ssh-keygen -t rsa

-----------------------------------------------------------

Generating public/private rsa key pair.

Enter file in which to save the key (/home/john/.ssh/id_rsa):

Created directory '/home/john/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/john/.ssh/id_rsa.

Your public key has been saved in /home/john/.ssh/id_rsa.pub.

-----------------------------------------------------------

# cp /home/john/.ssh/id_rsa.pub /tmp

2. gitosis管理员git分配john权限

# su - git

# mkdir projects

# cd ~/projects

# git clone git@node2.example.com:gitosis-admin

# cd gitosis-admin

# cat gitosis.conf

------------------------------------------------

[gitosis]

[group gitosis-admin]

writable = gitosis-admin

members = git@node2.example.com

------------------------------------------------

# ls keydir/

-------------------------

git@node2.example.com.pub

-------------------------

# cp /tmp/id_rsa.pub keydir/john.pub

# vi gitosis.conf

————————————————————————————————————

[gitosis]

[group gitosis-admin]

writable = gitosis-admin

members = git@node2.example.com

[group test]

writable = test

members = git@node2.example.com john

————————————————————————————————————

# git add .

# git commit -am "add member john and project foo"

# git push

3. 用户git添加项目test

# su - git

# cd ~/projects

# mkdir test

# cd test

# git init

# echo "Hello World." > hello.txt

# git add hello.txt

# git commit -am 'first commit'

# git remote add origin git@node2.example.com:test.git

# git push origin master

4. 用户 john clone test并修改hello.txt

# su - john

# git clone git@node2.example.com:test.git

# cd test

# date >> hello.txt

# git commit -am 'add time to hello.txt' && git push

整个过程分为:

1.通过修改gitosis-admin管理gitosis用户权限,需要clone到本地,然后修改配置文件,最后add push将结果推送到远程实现权限修改.

2.添加系统用户,生成该用户公钥,并将其复制到keydir下,实现该用户有权限进行git等相关操作.

3.登陆该用户账户进行git相关操作,修改完后commit，push到中服务器即可完成仓库权限配置.

七.安装gitweb

1.首先我们需要Git的源码，其中带有GitWeb，并能生成定制的CGI脚本：

# git clone git://git.kernel.org/pub/scm/git/git.git

# cd git/

# make GITWEB_PROJECTROOT="/home/git/repositories" prefix=/usr gitweb

# cp -rf gitweb /usr/local/apache2/htdocs/

注: 通过指定 GITWEB_PROJECTROOT 变量告诉编译命令 Git 仓库的位置

2.设置Apache以CGI方式运行该脚本，并添加一个VirtualHost配置：

(1).加载apache的vhost配置文件

# vi /usr/local/apache2/conf/httpd.conf

搜索包含httpd-vhosts的行,并去掉该行注释.

(2).加载cgid模块,使其支持perl语言.

# vi /usr/local/apache2/conf/httpd.conf

搜索包含mod_cgid.so的行,并去掉该行注释.

(3).配置VirtualHost

# vi /usr/local/apache2/conf/extra/httpd-vhosts.conf

添加如下配置:

——————————————————————————————————————————

ServerName git.example.com

DocumentRoot /usr/local/apache2/htdocs/gitweb

Options +ExecCGI

AllowOverride All

order allow,deny

Allow from all

AddHandler cgi-script cgi pl

DirectoryIndex gitweb.cgi

——————————————————————————————————————————

(4).安装Time/HiRes.pm perl模块

首次打开web页面报Can't locate Time/HiRes.pm in @INC ….错误

解决方法:

# yum install perl-devel perl-CPAN -y

# perl -MCPAN -e shell

cpan[2]> install Time::HiRes

cpan[3]> exit

(5).重启apache服务

# /usr/local/apache2/bin/apachectl restart

(6).修改本机HOST,并打开gitweb页面

http://git.example.com

大功告成....

声明: 本文采用 CC BY-NC-SA 3.0 协议进行授权

转载请注明来源：DevOps技术分享

本文链接地址：http://www.showerlee.com/archives/1240

SVN到Git迁移笔记

showerlee — Fri, 08 Aug 2014 10:11:08 +0000

本篇博文目的是将本地SVN服务器的project迁移为GIT格式,并上传到目前大家常用的github托管服务器.

解决方案：

一.环境部署

操作系统： centos6.3 x64

SVN: subversion-1.8.0

apache: httpd-2.4.4

svn server(centos6.3 x64): node2.example.com

svn client(centos6.3 x64): node1.example.com

git server: https://github.com/leonIi/

一.关闭iptables和SELINUX

# service iptables stop

注：如需开启防火墙,则添加如下一条规则打开svn 3690端口

# iptables -A INPUT -p tcp --dport 3690 -j ACCEPT

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

二.同步时间

# ntpdate cn.pool.ntp.org

三.安装apache

传送门：http://www.showerlee.com/archives/6

四.关闭系统自带svnserve

# service svnserve stop

# chkconfig svnserve off

注：本文档为了与apache2.4.4配合不发生兼容问题，所以使用了最新编译版本的svn,这里关闭是为了保证与rpm的版本不冲突.

五.安装svn server

传送门：http://www.showerlee.com/archives/350

注:安装完毕后:

svn根目录: /data/svn_repo

http访问URL: http://node2.example.com/svn/'具体仓库'

六.SVN到GIT迁移

1.首先在github上面创建一个repository(略)

2.创建一个SVN仓库(svn server)

# cd /data/svn_repo/

# svnadmin create project01

重启svn与apache

# killall svnserve

# /usr/local/svn/bin/svnserve -d -r /data/svn_repo/

# /usr/local/apache2/bin/apachectl restart

3.SVN checkin and checkout(svn client)

1).客户端安装svn(若安装可略过)

# yum install svn -y

2). svn checkout

# cd ~

# mkdir svn_client_repo

# cd svn_client_repo

# svn co http://node2.example.com/svn/project01

3). svn status

# svn status project01

# cd project01

# touch test01 test02 test03

4). svn add (添加)

# svn add test01

# svn add test02

# svn add test03

5). svn checkin(提交)

# svn ci -m”project01”

6). svn log (查看文件日志注释)

# svn log 1

常见错误提示:

Commit failed (details follow):

Error normalizing log message to internal format

Can't convert string from native encoding to 'UTF-8':

解决方法:

# vi ~/.subversion/config

修改:log-encoding = UTF-8

svn: Can't open file '/data/svn_repo/project01/db/txn-current-lock': Permission denied

解决方法:

将server端 /data/svn_repo/project01目录属主修改为apache用户,默认为daemon

# chown -R daemon.daemon /data/svn_repo/project01

2.使用git迁移(svn client)

1).客户端安装git(若安装可略过)

# yum install git* git-svn -y

# cd ~

# mkdir git_client_repo

# cd git_client_repo

建立SVN用户到git用户的映射文件

# echo "(no author) = test " > userinfo.txt

# git svn init http://node2.example.com/svn/project01 project01

# cd project01

将svn用户映射到git上.

# git svn fetch --authors-file=../userinfo.txt

# git log

-------------------------------------------------------------------------------------------------------------------------

commit edc2cdd658f8844ad4a883d083b84ef5dad2320c

Author: test

Date: Mon Aug 11 05:50:09 2014 +0000

project01

git-svn-id: http://node2.example.com/svn/project01@2 595a6c50-5861-48b1-ab0a-b1b54e0fc7cc

commit 9bde3c02fbfa6f22088b442a519cfd3870433ebc

Author: test

Date: Fri Aug 8 07:55:54 2014 +0000

<80><9D>project01<80><9D>

git-svn-id: http://node2.example.com/svn/project01@1 595a6c50-5861-48b1-ab0a-b1b54e0fc7cc

-----------------------------------------------------------------------------------------------------------------------

当然上面的两步，可以作一步处理

# git svn clone http://node2.example.com/svn/project01 --authors-file=userinfo.txt project01

注: git svn fetch 这个步骤，可能碰到只想从某个版本开始进行fetch，那么请需要 –r 参数。

例如：

# git svn fetch -r 1342:HEAD

注：1342是你想要从这个版本开始fetch，如何查看这个版本号，你可以使用 svn 命令（windows下需要安装Subversion Client，e.g. sliksvn），简单使用就是 svn log svn_url

这个时候，你可能看到整屏在刷新，没关系，看到log就行。当然更简单的就是使用TortoiseSVN-> Show log。

亦或者你可以这样使用：

# git svn clone http://node2.example.com/svn/project01 -sr 1342:HEAD project01

2)创建本地SSH keys并上传到github,详见:

https://help.github.com/articles/generating-ssh-keys

并更改连接到github SSH端口

# vim ~/.ssh/config

增加:

————————————————————————————

Host github.com

Hostname ssh.github.com

Port 443

————————————————————————————

3).到这步的时候，本地已经clone了SVN仓库，现在需要的就是提交到远程了。首先，关联github远程仓库，如下：

# git remote add origin git@github.com:leonIi/project01

# git fetch

# git commit -a -m "add file"

# git add .

# git push -f

到github上面查看这个仓库(repository),大致效果如下（https://github.com/leonIi/project01.git）

大功告成…

声明: 本文采用 CC BY-NC-SA 3.0 协议进行授权

转载请注明来源：DevOps技术分享

本文链接地址：http://www.showerlee.com/archives/1227