IT的重要阶段之一是后期制作阶段，而主要挑战之一就是确定后期制作中的问题。 当多个应用程序在不同系统中吐出不同的日志时，将它们放在一个地方进行整理对于IT团队进行管理很重要。 在这里，ELK堆栈可以解救。 在本教程中，我将介绍什么是ELK以及如何聚合来自不同微服务的日志并将其推送到一个公共位置。
什么是ELK？
ELK是Elasticsearch，Logstash和Kibana的首字母缩写。 它是Elastic拥有的开源软件。
Elasticsearch是基于Apache Lucene的搜索引擎，几乎可以实时搜索，存储和分析大量数据。 Elasticsearch可以在内部安装，也可以用作SaaS应用程序。
Logstash是日志聚合器，它具有一个管道来接收输入，过滤数据并发送输出。 Logstash可以使用不同的输入插件从各种来源获取日志，并以所需的方式发送输出。
Kibana是用于可视化Elasticsearch数据的软件。 它是Elasticsearch的插件。 Elasticsearch和Kibana可以部署为云服务，并寄托在AWS或GCP上。 Kibana也可以安装在内部基础结构中。 在本教程中，我们将使用ELK的Docker映像并将其在EC2中进行设置。
设计架构
在以上设计中，不同的微服务将吐出日志。 我们将拥有Syslog驱动程序，以将从不同的微服务生成的日志推送到Logstash，后者将过滤日志并将其推送到Elasticsearch。 所有汇总的日志将在Kibana中显示。
在EC2上设置ELK
我们将使用官方Docker镜像在EC2 Ubuntu计算机上设置ELK。 登录到EC2服务器，并在路径/ home / ubuntu /中创建一个名为“ elk”的目录。
请按照此处提到的步骤在EC2上安装Docker。
导航到elk目录并创建一个名为docker-compose.yml的文件
version: ‘2‘
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.3.2
ports:
- ‘9200:9200‘
- ‘9300:9300‘
kibana:
image: docker.elastic.co/kibana/kibana:6.3.2
ports:
- ‘5601:5601‘
depends_on:
- elasticsearch
logstash:
image: docker.elastic.co/logstash/logstash:6.3.2
ports:
- ‘25826:25826‘
volumes:
- $PWD/elk-config:/elk-config
command: logstash -f /elk-config/logstash.config
depends_on:
- elasticsearch
-Elasticsearch默认使用mmapfs目录存储其索引。 默认的操作系统对mmap计数的限制可能太低，这可能会导致内存不足异常。
在Linux上，你可以通过以root用户身份运行以下命令来分配最大内存来增加限制：
sudo sysctl -w vm.max_map_count=262144
运行docker-compose up来启动ELK的所有容器。
通过单击端口5601验证Kibana是否已启动。你应该看到以下页面：
在Kibana中设置索引模式。
运行telnet [logstash的IP] [logstash的端口]并输入任何文本（例如telnet 52.207.254.8 25826）
一旦你可以在Kibana中看到文本，则意味着已为ELK设置了连接性。
接下来，我们将看到如何将日志从微服务推送到ELK。
设置系统日志驱动程序
为了从EC2中寄托的微服务发送日志，我们可以使用syslog驱动程序将日志推送到Logstash。 我正在使用该项目作为日志。 我们将在EC2中运行此项目。
我们需要对Ubuntu计算机中存在的rsyslog.conf进行更改。
vi /etc/rsyslog.conf
取消注释以下行：
现在，在spring boot项目的logback.xml中添加以下行：
<appender name=”SYSLOG” class=”ch.qos.logback.classic.net.SyslogAppender”>
<syslogHost>{logstash host }</syslogHost>
<port>{ logstash port 25826 }</port>
<facility>LOCAL1</facility>
<suffixPattern>[%thread] %logger %msg</suffixPattern>
</appender>上面的设置会将日志推送到Logstash。
如果项目是使用Docker构建的，那么我们需要使用docker run命令添加驱动程序：
–log-driver syslog –log-opt syslog-address = tcp：// {logstashhost}：{logstashport}
在启动服务器并点击API时，你可以在Kibana中看到日志。
好了，祝一切顺利！
喜欢这篇文章的可以点个赞，欢迎大家留言评论，记得关注我，每天持续更新技术干货、职场趣事、海量面试资料等等
?> 如果你对java技术很感兴趣也可以交流学习，共同学习进步。?
不要再用"没有时间“来掩饰自己思想上的懒惰！趁年轻，使劲拼，给未来的自己一个交代
文章写道这里，欢迎完善交流。最后奉上近期整理出来的一套完整的java架构思维导图，分享给大家对照知识点参考学习。有更多JVM、Mysql、Tomcat、Spring Boot、Spring Cloud、Zookeeper、Kafka、RabbitMQ、RockerMQ、Redis、ELK、Git等Java干货
关于使用Spring Boot Microservices设置ELK堆栈
原文：https://blog.51cto.com/14634606/2469138