
根据拓扑图精简一下这个实验:
一台web server + logstash (真正生产可能是若干台) ===>192.168.1.13
一台redis(生产下一般会是主备,消息队列的作用) ===>192.168.1.12
一台logstash server (整合数据流的作用) ===>192.168.1.11
一台elasticsearch+kibana(生产中一般会是ES集群) ===>192.168.1.10
安装ELK事前需要安装JDK这里不在演示
首先从redis这台服务器下手吧
yum install -y redis 关于redis的具体操作以后的文章会讲到 vim /etc/redis.conf 修改 bind 0.0.0.0 保存退出,启动 /etc/init.d/redis start ss -tanl查看redis启动端口6379
web server (192.168.1.13):
yum install -y httpd /etc/init.d/httpd start ss -tanl 查看一下80端口是否启动
安装logstash
rpm -ivh logstash-1.5.4-1.noarch.rpm
vim /etc/logstash/conf.d/full.conf #full.conf这个你可以随意起名字
input {
file {
path => "/var/log/httpd/access_log"
type => "Apache"
start_position => "beginning"
}
}
output {
redis {
port => "6379"
host => ["192.168.1.12"]
data_type => "list"
key => "logstash-%{type}"
}
}
保存退出!
测试一下语法有没有错误:
[root@linux-node4 ~]# logstash -f /etc/logstash/conf.d/full.conf --configtest
Configuration OK
没有错误可以启动了
[root@linux-node4 ~]# logstash -f /etc/logstash/conf.d/full.conf
Logstash startup completed至此,我们可以测试一下,是否把收集到的日志数据发送到了redis。
#redis-cli 127.0.0.1:6379> LLEN logstash-Apache (integer) 30 由此说明已经产生数据到redis了。
下班了。。。明天上班在继续写。。。
elasticsearch+logstash+kibana+redis
原文:http://blog.51cto.com/limingyu/2117131