Kibana 是一个开源的分析和可视化平台,是ELK的重要部分。Kibana提供搜索、查看和与存储在 Elasticsearch 索引中的数据进行交互的功能。开发者或运维人员可以轻松地执行高级数据分析,并在各种图表、表格和地图中可视化数据。
使用从官方下载的 ES/Kibana 来本地安装部署
要跟本地java版本匹配所以 本地是jdk 1.8 对应 es版本6.8.0
https://www.elastic.co/cn/downloads/past-releases/kibana-6-8-0
因为es不能使用root用户安装,所以我们需要创建新用户:esuser. esu123456
useradd esuser passwd esuser
相关大佬分享
https://baijiahao.baidu.com/s?id=1660378168326026215&wfr=spider&for=pc
下载后,使用esuser用户将下载的安装包上传到服务器中。
解压:tar -xzf elasticsearch-6.8.0-linux-x86_64.tar.gz
切换到解压后的目录:
修改配置信息
说明:以下修改都是在root用户下修改的。而不是es用户下修改的
4.1:修改外网访问
修改:elasticsearch.yml
放开network.host。修改成0.0.0.0或者是es服务器机器ip.
network.host: 0.0.0.0
4.2:修改系统进程最大打开文件数
修改 vi /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096
修改:
vi /etc/security/limits.d/90-nproc.conf
ps:因为我的报了这个错误。所以就修改成4096
修改:vi /etc/sysctl.conf
添加下面配置:
vm.max_map_count=655360
并执行命令:
sysctl -p
5:ES启动
切换到es的bin目录:
执行:./elasticsearch
当出现如下信息,说明启动成功了。
出现问题备注
1. expecting token of type [START_OBJECT] but found [VALUE_STRING]]
是yml文件修改中 network.host:【空格】ip 。没留空格。
2.Native memory allocation (mmap) failed to map 1073741824 bytes for committing reserved memory.
需要更大内存 4G以上机器
3 could not find java in JAVA_HOME at /usr/lib/jvm/jre-1.8.0-openjdk.x86_64/bin/java
JAVAHOME环境变量配置问题 改正后 . 【空格】/etc/profile 让配置生效
4.future versions of Elasticsearch will require Java 11; your Java version from [/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64/jre] does not meet this requirement
java版本不匹配
5 org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root
不能使用root用户启动 切换到 su esuser来启动
6 java.nio.file.AccessDeniedException:
给esuser授权目录访问权限
7 BindTransportException[Failed to bind to [9300-9400]];
绑定对应端口失败 打开配置文件elasticsearch.yml 将 network.host: 192.168.0.1 修改为本机IP 0.0.0.0
8 filebeat 在kibana-log中查找不到。
检查filebea配置
[root@H32 ~]# cd kibana/config/ [root@H32 config]# vim kibana.yml 打开: server.host: "0.0.0.0"
本地默认 #elasticsearch.url: "http://0.0.0.0:9200"
cd /usr/ESHOME/kibana-6.8.0-linux-x86_64/bin ./kibana &
想要在Kibana中监控ES则需要安装 X-pack插件,现介绍 X-pack插件。
X-pack监控组件使您可以通过Kibana轻松地监控ElasticSearch。您可以实时查看集群的健康和性能,以及分析过去的集群、索引和节点度量。此外,您可以监视Kibana本身性能。当你安装X-pack在群集上,监控代理运行在每个节点上收集和指数指标从Elasticsearch。安装在X-pack在Kibana上,您可以查看通过一套专门的仪表板监控数据
本次安装包都已经包含了x-pack 不做多余记录
2、配置;进入/config,修改logstash.yml
#ip http.host: "0.0.0.0" #端口,默认9600 http.port: 9600-9700
修改logstash-sample.conf
input { #监测beats通过5044传输的数据 beats { port => 5044 } } output { elasticsearch { #es的服务 hosts => ["0.0.0.0:9200"] #主键 index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" #user => "esuser" #password => "esu123456" } }
3、启动,./logstash -f ../config/logstash-sample.conf &
日志输出到logs目录的logstash-plain.log文件
4、访问,http://ip:9600;出现数据则成功
5 创建logstash索引这一步似乎是非必须的
https://cloud.tencent.com/developer/article/1140072
1、解压包
tar -vxf filebeat-6.8.0.tar.gz
2、配置;进入/config,修改filebeat.yml
filebeat.inputs: #输入格式为log - type: log #此处一定设置true,否则日志采集不生效 enabled: true #日志路径
paths:
- /game/log/info/*.log
#输出到logstash 不要输出到其他组件 ES kibana
output.logstash:
hosts: ["127.0.0.1:5044"]
3、启动,
./filebeat setup 可能会报错 connection reset by peer的错误,但是这并不影响数据的传输;原理是这个错误是不同机器之间的通信问题,和服务关系不大,试着看看各自的防火墙,关于centos7访问墙跳转。
./filebeat -e
————————————————
版权声明:本文为CSDN博主「QiaoRui_」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/QiaoRui_/article/details/97136677
启动成功
还需要调整source配置 根据收到的filebeat信息新建分析器模板
最终成功
对于日志分析的分布式集群部署和关联调试。以后再做了
服务端日志大数据分析 Elasticsearch+Kibana+LogStash+filebeat 安装和使用
原文:https://www.cnblogs.com/xiloweiEVE/p/13032537.html