首页 > 其他 > 详细

服务端日志大数据分析 Elasticsearch+Kibana+LogStash+filebeat 安装和使用

时间:2020-06-03 16:59:32      阅读:64      评论:0      收藏:0      [点我收藏+]

Kibana 是一个开源的分析和可视化平台,是ELK的重要部分。Kibana提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析,并在各种图表、表格和地图中可视化数据。

使用从官方下载的 ES/Kibana 来本地安装部署

要跟本地java版本匹配所以 本地是jdk 1.8 对应 es版本6.8.0

https://www.elastic.co/cn/downloads/past-releases/kibana-6-8-0

因为es不能使用root用户安装,所以我们需要创建新用户:esuser.  esu123456

useradd esuser
passwd esuser

 

安装ES

 

相关大佬分享

https://baijiahao.baidu.com/s?id=1660378168326026215&wfr=spider&for=pc

 

下载后,使用esuser用户将下载的安装包上传到服务器中。

解压:tar -xzf elasticsearch-6.8.0-linux-x86_64.tar.gz

切换到解压后的目录:

 

修改配置信息

说明:以下修改都是在root用户下修改的。而不是es用户下修改的

 

4.1:修改外网访问

修改:elasticsearch.yml

放开network.host。修改成0.0.0.0或者是es服务器机器ip.

network.host: 0.0.0.0

 

4.2:修改系统进程最大打开文件数

修改 vi /etc/security/limits.conf

添加如下内容:

* soft nofile 65536

* hard nofile 131072

* soft nproc 4096

* hard nproc 4096

 

修改:

vi /etc/security/limits.d/90-nproc.conf

ps:因为我的报了这个错误。所以就修改成4096

修改:vi /etc/sysctl.conf

添加下面配置:

vm.max_map_count=655360

并执行命令:

sysctl -p

 

5:ES启动

切换到es的bin目录:

执行:./elasticsearch

当出现如下信息,说明启动成功了。

技术分享图片

技术分享图片

 

 

 

 

出现问题备注

1. expecting token of type [START_OBJECT] but found [VALUE_STRING]]

是yml文件修改中 network.host:【空格】ip  。没留空格。

2.Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.

需要更大内存 4G以上机器

3 could not find java in JAVA_HOME at /usr/lib/jvm/jre-1.8.0-openjdk.x86_64/bin/java

JAVAHOME环境变量配置问题 改正后 . 【空格】/etc/profile 让配置生效

4.future versions of Elasticsearch will require Java 11; your Java version from [/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64/jre] does not meet this requirement

java版本不匹配

org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

不能使用root用户启动 切换到 su esuser来启动

6 java.nio.file.AccessDeniedException:

给esuser授权目录访问权限

7 BindTransportException[Failed to bind to [9300-9400]]; 

绑定对应端口失败 打开配置文件elasticsearch.yml 将 network.host: 192.168.0.1 修改为本机IP 0.0.0.0

8 filebeat 在kibana-log中查找不到。

检查filebea配置

 

安装Kibana

安装Kibana

  下载解压安装包,一定要装与ES相同的版本

 

  编辑文件config/kibana.yml ,配置属性:
[root@H32 ~]# cd kibana/config/
[root@H32 config]# vim kibana.yml
打开:
server.host: "0.0.0.0"
本地默认 #elasticsearch.url: "http://0.0.0.0:9200"

 

先启动ES,然后再启动

cd /usr/ESHOME/kibana-6.8.0-linux-x86_64/bin
./kibana &
kibana必须是在root下运行,否则会报错,启动失败
 
8 外放无法访问 ip地址:5601端口
修改配置文件 config/kibaba.yml  server.host: "0.0.0.0"  默认是注释掉的或者是localhost
技术分享图片

 

 

想要在Kibana中监控ES则需要安装 X-pack插件,现介绍 X-pack插件。

  X-pack监控组件使您可以通过Kibana轻松地监控ElasticSearch。您可以实时查看集群的健康和性能,以及分析过去的集群、索引和节点度量。此外,您可以监视Kibana本身性能。当你安装X-pack在群集上,监控代理运行在每个节点上收集和指数指标从Elasticsearch。安装在X-pack在Kibana上,您可以查看通过一套专门的仪表板监控数据

 本次安装包都已经包含了x-pack 不做多余记录

 

 

安装logstash

2、配置;进入/config,修改logstash.yml

#ip
http.host: "0.0.0.0"

#端口,默认9600
http.port: 9600-9700

  


修改logstash-sample.conf 

input {
#监测beats通过5044传输的数据
beats {
port => 5044
}
}

output {
elasticsearch {

#es的服务
hosts => ["0.0.0.0:9200"]

#主键
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
#user => "esuser"
#password => "esu123456"
}
}

  


3、启动,./logstash -f ../config/logstash-sample.conf &

日志输出到logs目录的logstash-plain.log文件

4、访问,http://ip:9600;出现数据则成功

5 创建logstash索引这一步似乎是非必须的

https://cloud.tencent.com/developer/article/1140072

 

安装filebeat:

1、解压包

tar -vxf filebeat-6.8.0.tar.gz
2、配置;进入/config,修改filebeat.yml

filebeat.inputs:

#输入格式为log
- type: log

#此处一定设置true,否则日志采集不生效
enabled: true

#日志路径

paths:
- /game/log/info/*.log



#输出到logstash 不要输出到其他组件 ES kibana
output.logstash:
hosts: ["127.0.0.1:5044"]



 


3、启动,

./filebeat setup    可能会报错 connection reset by peer的错误,但是这并不影响数据的传输;原理是这个错误是不同机器之间的通信问题,和服务关系不大,试着看看各自的防火墙,关于centos7访问墙跳转

./filebeat -e
————————————————
版权声明:本文为CSDN博主「QiaoRui_」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/QiaoRui_/article/details/97136677

 

启动成功 

技术分享图片

 

 

还需要调整source配置 根据收到的filebeat信息新建分析器模板

 技术分享图片

 

 

 最终成功

技术分享图片

 

 

对于日志分析的分布式集群部署和关联调试。以后再做了

服务端日志大数据分析 Elasticsearch+Kibana+LogStash+filebeat 安装和使用

原文:https://www.cnblogs.com/xiloweiEVE/p/13032537.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!