欢迎访问www.showerlee.com, 您的支持就是我前进的动力.

Centos6.3下利用rsyslog+loganalyzer+mysql部署日志服务器

showerlee 2013-08-26 09:29 Monitor 阅读 (30,537) 8条评论

作为一名系统运维工程师,平时查看分析LINUX系统日志我觉得是我们每天必做的功课,但时间长了会发现每次查看站点日志都得挨个进后台,几台服务器还可以这么对付,但如果管理成百上千台线上服务器,这种方法就捉襟见肘了。

后来想了想能不能有一台日志服务器集中管理日志,并以WEB形式将日志显示到前台方便查看,顿时码字的想法油然而生,呵呵。

本人有一个习惯,那就是会把群里或者网上看到的圈内比较认可的LINUX系统软件先保存在备忘录,等闲下来研究研究,刚好前段时间有位朋友提到rsyslog+loganalyzer集中管理日志,所以今天刚好就抽空研究了下,过程虽有曲折(网上的文档各种坑跌),最后还是利用一天时间搞定,将自己的理解分享给搭建,仅供参考。

本文档是利用rsyslog+loganalyzer+mysql将网内所有LINUX服务器的系统日志集中到日志服务器进行管理,所有日志会保存在mysql数据库表中

注:loganalyzer在获取客户端日志会有两种保存模式,一种是直接读取客户端/var/log/目录下的日志并保存到服务端该目录下,一种是读取后保存到日志服务器数据库中,本文档推荐后者


解决方案:

一.环境部署

操作系统:        centos6.3 x64

rsyslog:          系统默认yum源

loganalyzer:      loganalyzer-3.6.3  

LAMP:             httpd-2.4.4,mysql-5.6.10,php-5.4.13

1

rsyslog server: 192.168.7.201    lamp.example.com

rsyslog client: 192.168.7.74     www2.example.com

1.安装LAMP环境

本博传送门:http://www.showerlee.com/archives/6

2.关闭iptables和SELINUX

# service iptables stop

注:这里若要开启iptables服务增加系统安全性

服务端需添加rsyslog UDP 514端口以及loganalyzer TCP 80端口通过规则

# iptables -A INPUT -p udp  --dport 514 -j ACCEPT

# iptables -P OUTPUT ACCEPT

# iptables -A INPUT -p TCP --dport 80 -j ACCEPT

客户端只需添加OUTPUT通过规则

iptables -P OUTPUT ACCEPT

从规则可见,rsyslog server端为被动获取数据,client端为主动发送数据

关闭iptables的朋友可以无视。。

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

3.同步时间

# ntpdate asia.pool.ntp.org

二.安装配置rsyslog

(rsyslog server)

# yum install rsyslog rsyslog-mysql -y

注:rsyslog-mysql为rsyslog将日志传送到mysql数据库的一个模块,这里必须安装

# cd /usr/share/doc/rsyslog-mysql-5.8.10/

# mysql -uroot -p123456 < createDB.sql

注:这里导入数据库操作其实博主最后研究了下,就是创建了Syslog库并在该库中创建了两张空表

创建rsyslog用户在mysql下的相关权限

# mysql -uroot -p123456

> grant all privileges on Syslog.* to rsyslog@localhost  identified by "123456";

> flush privileges;

> exit

配置服务端支持rsyslog-mysql模块,并开启UDP服务端口获取网内其他LINUX系统日志

# vi /etc/rsyslog.conf

在#### MODULES ####下添加这两行

------------------

$ModLoad ommysql.so  

*.*:ommysql:localhost,Syslog,rsyslog,123456

------------------  

注:localhost表示本地主机,Syslog为数据库名,rsyslog为数据库的用户,123456为该用户密码

取消下面三行注释

-----------------

$ModLoad immark  

$ModLoad imudp

$UDPServerRun 514

-----------------

重启服务:

# service rsyslog restart

(rsyslog client)

yum install rsyslog -y

配置rsyslog客户端发送本地日志到服务端

# vi /etc/rsyslog.conf

末行添加如下内容

-------------------

*.*   @192.168.7.201

-------------------

注:192.168.7.201 为日志服务器端IP地址

重启服务:

# service rsyslog restart


三.安装loganalyzer

# wget http://download.adiscon.com/loganalyzer/loganalyzer-3.6.3.tar.gz

# tar zxvf loganalyzer-3.6.3.tar.gz

# cd loganalyzer-3.6.3

# mkdir -p /usr/local/apache2/htdocs/loganalyzer

复制loganalyzer源代码到apache的DocumentRoot下loganalyzer目录

# cp -r src/*   /usr/local/apache2/htdocs/loganalyzer

# cp -r contrib/*  /usr/local/apache2/htdocs/loganalyzer

# chown -R daemon.daemon /usr/local/apache2/htdocs/loganalyzer

通过web向导安装loganalyzer前,必须先执行以下两个脚本

# cd /usr/local/apache2/htdocs/loganalyzer/

# sh configure.sh

# sh secure.sh

注:该脚本实际上是创建该目录下的config.php,并配置该文件权限。


在浏览器输入网址,进入安装向导

http://192.168.7.201/loganalyzer

1.提示没有配置文件,点击here利用向导生成

2

2.NEXT

3

3.按照如图输入配置,点击NEXT:

4

注:点击NEXT时若报错,后台执行如下命令后继续

# ln -s /var/lib/mysql/mysql.sock /tmp/mysql.sock

4.开始写入数据库,NEXT

5

5.提示写入成功,NEXT

6

6.设置管理员账户,配置完毕NEXT

7

7.设置监控日志保存到mysql数据库中,按照如图配置后NEXT

89

8.完成配置,FINISH

10

9.进入登陆界面:

11

10.进入主界面:

查看loganalyzer是否获取192.168.7.201和192.168.7.74系统日志

12

利用navicat查看rsyslog服务端和客户端系统日志是否都写入数据库Syslog-SystemEvents表

13

---------- 大功告成------------

后记:

1.本人在loganalyzer安装向导配置的web后台账户,在登陆界面无法登陆,提示账号或密码错误,不知道是什么原因?最后是在向导一处去掉登陆认证才勉强通过,有遇到相同问题的朋友望帮忙解答。

经过一位朋友指点,终于找到了原因

首先利用以下命令守株待兔

# tail -f /usr/local/mysql/log/mysql.log

然后在loganalyzer向导STEP6输入web后台账号密码后,点击NEXT

查看到mysql.log日志里出现了一条INSERT语句

14

然后将该语句复制到后台手动执行,看报什么错误

# mysql -uroot -p123456;

> INSERT INTO logcon_users (username, password, is_admin) VALUES ('admin', '00a1f187721cxxxxxxx6bf791e69382c', 1);

ERROR 1364 (HY000): Field 'last_login' doesn't have a default value

提示'last_login'栏不能为空值

OK,直接登录navicat,将这栏设置为允许空值保存即可

15

从新执行这条语句

> INSERT INTO logcon_users (username, password, is_admin) VALUES ('admin', '00a1f187721cxxxxxxx6bf791e69382c', 1);

Query OK, 1 row affected (0.06 sec)

显示执行成功

利用navicat 查看后台该表,显示成功插入一条记录

16

重新利用该账号即可成功登录loganalyzer web后台

看来是mysql在执行该语句时,发现last_login栏默认为非空,所以拒绝这条insert语句执行,解决办法就是将该栏设置为允许空值即可

博主在线上老版本mysql-5.0.56无需进行上述手动操作,即可成功登录后台

但本篇出现的问题则是在mysql-5.6.10版本上

看来这应该不算是loganalyzer的BUG,应该是mysql在高版本执行insert语句提高了严谨性

这里给卡在这里的朋友点思路,仅供参考。

在此感谢longeleven11朋友的提点。。。。

2.安装rsyslog可谓是过程曲折,之前本想全部编译安装,最后才发现网上的文档各种误导,编译rsyslog最后花了2个小时安装了其6个依赖包,全部找的老外的文档挨个测试,装完网上给出的文档又不能合理给出如何与系统自带的rsyslog共存保证不冲突,也就是编译的rsyslog的启动方法如何与系统自带的区别,索性就yum吧,实属无奈之举,还有吐槽下google各种间歇性抽风,至于原因,大家都懂的。。。

3.Windows客户端安装(win2008 server 64bit)

1.下载evtsys

http://eventlog-to-syslog.googlecode.com/files/Evtsys_4.4.3_64-Bit.zip

2.解压文件将包内64-Bit文件夹下的所有文件复制C:\Windows\System32下

3.开启evtsys服务

运行- cmd

> cd c:\Windows\System32

> evtsys -i -s 10 -h 192.168.7.11 -p 514

> net start evtsys

4.验证效果

如图:

17

正文部分到此结束
版权声明:除非注明,本文由(showerlee)原创,转载请保留文章出处!
本文链接:http://www.showerlee.com/archives/465

继续浏览:LoganalyzerMYSQLRsyslog

8条大神的评论

loading
  1. 沙发
    pozhenzi2014年1月16日下午9:19 回复

    能不能用监控软件来做监控,比如cacti?
    另外,网络设备怎么在linux上实现日志监控?

    • showerlee2014年1月17日上午9:45 回复

      @pozhenzi 如果想实现实时监控,可以推荐使用zabbix,这款软件很强大,是cacti和nagios的合体,支持网络设备监控,你可以了解一下
      我的博客也有相关文档: http://www.showerlee.com/archives/13

  2. 板凳
    Mr.Coin2014年1月23日上午11:43 回复

    想请教博主,该如何实现对特定类型日志的收集呢,corn.info这一类的日志收集来没什么用处,我试着在被监控端的syslog.conf中配置,但是没有成功,不知博主可有经验指点一二呢,非常感谢!

    • showerlee2014年1月24日上午9:02 回复

      @Mr.Coin 主要看你具体想收集什么类型的日志,一般loganalyzer会将rsyslog下面默认的一些系统级别日志收集起来,我觉得应该够用了,如果你想添加一些第三方软件的日志,可以参考rsyslog配置文件格式进行添加,然后重启rsyslog试试.
      我一般用loganalyzer就是看看系统级别日志,第三方的软件监控会配合zabbix进行实时邮件告警.

  3. 地板
    leeforget2014年3月26日下午4:14 回复

    你好,我配置是http://192.168.1.5/install.php,一步步的执行,不过执行到第四步时就直接跳到第七步了,怎么回事儿?
    最后提示安装成功,可是登陆就是白屏

    • showerlee2014年4月1日上午11:21 回复

      @leeforget 确定你的mysql没问题,然后就是在第三步要选中使用mysql保存日志,并且填好相关mysql配置信息

  4. 4楼
    frank2015年8月25日下午2:02 回复

    No syslog records found – Error Details:
    No syslog records found
    我的是报这个错的

  5. 5楼
    frank2015年8月25日下午3:18 回复

    我已经配置好了监控呢,那如何分组,按服务器IP或者组进行日志统计

发表评论

icon_wink.gif icon_neutral.gif icon_mad.gif icon_twisted.gif icon_smile.gif icon_eek.gif icon_sad.gif icon_rolleyes.gif icon_razz.gif icon_redface.gif icon_surprised.gif icon_mrgreen.gif icon_lol.gif icon_idea.gif icon_biggrin.gif icon_evil.gif icon_cry.gif icon_cool.gif icon_arrow.gif icon_confused.gif icon_question.gif icon_exclaim.gif