微服务-3、环境搭建(测试logstash 读取文本，输出)

懒人一键安装

yum install java*

查看JDK版本信息

java -version

rpm -ivh logstash-5.5.0.rpm

input
{
   file {
        path => "../config/account.txt"
   }

}
output{
  stdout{codec =>json }
}

input {
  file {
    path => ["/data/apps/logstash/config/account.txt"]
    # 监听文件的起始位置，默认是end
    start_position => end

   # 设置多长时间检测文件是否修改(单位：秒)
    stat_interval => 1

    # 监听文件读取信息记录的位置
    sincedb_path => "/data/apps/logstash/test/since_db.txt"
    
    # 设置多长时间会写入读取的位置信息(单位：秒)
    sincedb_write_interval => 5
    
        codec => plain{
        charset=>"GBK"
        }
    }
}

filter {
    #去除每行记录中需要过滤的\N，替换为空字符串
    mutate{
        gsub => [ "message", "\\N", "" ]   
    }
    
    # 日期格式化
    #date{
    #    match => ["create_time", "yyyy-MM-dd HH:mm:ss"]
    #    locale => "cn"
    #}
    
    csv {
        # 每行记录的字段之间以|分隔
        separator => ","
                                #指定csv文件的字段，必须要和csv文件中的字段顺序一致
        columns => ["id","name"]
        
        # 过滤掉默认加上的字段
        remove_field => ["@timestamp","@version","host", "tags", "path", "message"]
    } 
}
output {
    #stdout { codec => json }
    stdout { codec => json_lines }
}