在应用系统日常运维过程中，我们经常需要对应用的日志进行检索，以便快速地定位到故障点的位置及其原因，现在主流的方案有ELK和EFK下面就Java应用日志如何接入ELK or EFK的技术方式进行说明ELK（Elasticsearch + Logstash + Kibana）和 EFK（Elasticsearch + Filebeat + Kibana）的区别在于
EFK将Logstash(java项目)替换为Filebeat(golang项目)，提升服务器资源利用率和日志的处理能力Java应用日志如何接入ELK or EFKJava应用日志接入ELK or EFK有两种方式，一是由应用日志框架通过网络将日志发送到Logstash或Filebeat，再由这两个组件将日志存储到Elasticsearch；二是应用日志先写入本地服务器文件中，再由Logstash或Filebeat读取本地日志文件，再将日志写入Elasticsearch。
最后通过Kibana连接Elasticsearch对应于日志进行检索分析
一般采用应用日志先写入本地文件，再进一步由Logstash或Filebeat采集的方式该方式主要是考虑降低业务应用系统和日志组件之间的耦合度，具体分析如下：第1种方式：Logstash或Filebeat故障时，可能会导致应用日志丢失（缓冲区溢出）；另外Logstash或Filebeat重新部署时其IP或端口发生了变化，需要调整应用系统配置参数，这会侵入业务应用系统运维，影响业务。
第2种方式：日志组件在维护时，不影响应用日志写入本地文件（即不影响到业务应用系统），并且Logstash或Filebeat通过自身的已完成日志采集的位置信息恢复日志采集，不会导致日志记录丢失下面就第2种方式Filebeat采集日志方式，了解如何快速实现日志归集。
Filebeat采集日志在完成安装Elasticsearch和Kibana组件之后，在应用系统服务上运行日志采集器Filebeat，并配置其inputs和output项Filebeat其配置非常丰富且配置简单，具体可参考官网说明。
下面就上述方案2给出参考配置如下：采集日志文件，主要是配置inputs项，其类型为filestream：filebeat.inputs:-type:filestreamid:my-filestream-id
paths:-/var/log/*.log将日志写入Elasticsearch日志存储，主要是配置output项：output.elasticsearch: hosts: ["https://myEShost:9200"
] username: "filebeat_writer" password: "YOUR_PASSWORD" ssl.certificate: "/etc/pki/client/cert.pem"
ssl.key: "/etc/pki/client/cert.key"Kubernetes容器平台日志归集k8s容器平台采用EFK方式，具体原理如上述，区别在于k8s平台通过DaemonSet将Filebeat组件部署到需要日志采集的服务器上，并且将filebeat.inputs采集文件路径指定到/var/log/containers/*.log（k8s pod容器日志输出文件linux链接到该目录下），使用filebeat processors add_kubernetes_metadata插件实现k8s pod container相关信息的额外采集，并同日志记录存入Elasticsearch，如pod的名称、pod所在的服务器ip等。
通过将应用系统日志归集，我们可以方便地在web可视化工具Kibana上检索需要的应用运行信息为充分利用Elasticsearch的搜索和统计能力，可以考虑使用logback或log4j2 MDC方式增加自定义的KeyValue输出，在Kibana上利用Key精确的过滤出所关注的日志信息和基本的数据统计图示分析。
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。