Client side Fluentd configuration
type tail tag underutilized.log path /var/log/utilization/monthly_summary.log format / ^，HOST，（？[^，]），DATE，（？[^，]），STREAK，（？[^，]） ，CPU_DAY_UTIL，（？[^，]）$ / pos_file /var/spool/fluentd/underutilized.log.position.txt
打印副本
类型文件路径/var/log/fluentd/underutilized.log压缩gzip
type forward buffer_path /var/spool/fluentd/underutilized.*.buffer buffer_type file flush_interval 30s send_timeout 30s
heartbeat_type tcp
heartbeat_interval 10m
<server>
name dstsrvr01
host dstsrvr01.abc.com
port 24224
</server>
[user1 @srvr05~] $ tail -3 /var/log/utilization/monthly_summary.log,HOST,srvr05,DATE,2018-10-10,STREAK,123,CPU_DAY_UTIL,0%,HOST,srvr05,DATE,2018- 10-11，STREAK，124，CPU_DAY_UTIL，0％，HOST，srvr05，DATE，2018-10-12，STREAK，125，CPU_DAY_UTIL，0％
Destination Server dstsrvr01 Kibana configuration
在/etc/td-agent/td-agent.conf中
type elasticsearch logstash_format true flush_interval 5s logstash_prefix未充分利用
如果我们在dstsrvr01卷曲'localhost：9200 / _cat / indices？v'中运行curl，我们就能看到生成的索引 . grep未充分利用黄开未充分利用-208.09.02 S9PURAzIT2-SSo6QuIPH_Q 5 1 1554 0 390.9kb 390.9kb黄开未充分利用-2018.08.29 itVOHT7_Qg6B-RNSAY40Bw 5 1 1563 0 404.7kb 404.7kb黄开未充分利用-2018.06.10 LD0rp2rvQ8yW4j4kZjjR7g 5 1 62 0 138.5kb 138.5kb黄色未充分利用-2018.07.09 7GljpUOQQByol0gv-C5ZSg 5 1 2043 0 463.8kb 463.8kb
我们通过Kibana显示这些数据 . 我们特别关注STREAK值，我们希望它是整数格式 . 但是这里它是STRING格式的默认值，并且不能应用数值滤波器（例如STREAK> 40） . 可以选择将特定字段转换为整数 .
客户端版本：fluentd-0.10.31-1.el5服务器版本：td-agent-2.3.6-0.el7.x86_64 kibana-5.6.9-1.x86_64 elasticsearch-5.6.9-1.noarch