-
2 votesanswersviews
Logstash通过调用API转换数据
我是logstash的新手,并且想知道是否可以通过调用http API来转换数据 . 我真正想要实现的是将id从我们的分支转换为地理定位,以便能够在 Map 上可视化kibana中的数据 . 有人可以帮助我如何做到这一点,或指出我正确的方向 . -
0 votesanswersviews
在logstash中对多个已定义的模式进行Grok过滤
我试图过滤我的日志,匹配我的几个模式 . 例如: E/vincinity/dholland_view_sql_global/IN/Cluster_Node/SSL-CACHE/Dsal1 F/vincinity/dholland_view_sql_local/IN/Cluster_Node3/SSL-CACHE/Dsal4 R / vincinity / dholland_view_sql_br... -
0 votesanswersviews
BIND9日志的Grok模式
我需要为 bind9 DNS日志编写一个grok过滤器 . 示例日志如下所示: 17-Feb-2018 23:06:56.326 queries: info: client @0x563d72c3ea20 172.26.0.1#34564 (test.example.com): query: test.example.com IN A +E(0)K (172.26.0.3) 我验证了grokc... -
1 votesanswersviews
在Kubernetes中使用helm进行Logstash:grok过滤器无法正常工作
我在Kubernetes中使用helm chart安装了一个filebeat - > logstash - > elasticsearch - > kibana堆栈: helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator helm install --name el... -
1 votesanswersviews
Logstash-5.6.0和Elastic Search-6.2.1
我在logstash.conf中有以下配置,使用以下命令启动我的logstash logstash --verbose -f D:\ELK\logstash-5.6.0\logstash-5.6.0\logstash.conf` 并且弹性搜索在9200端口运行,但是logstash没有将解析的日志文件内容流水线化为弹性搜索 . 我错过了任何配置吗?或者我在这里做错了什么 input{ f... -
0 votesanswersviews
无法在elasticsearch中查看Apache日志
我在Windows上安装了ELK堆栈并配置了Logstash以读取Apache日志文件 . 我似乎无法在Elasticsearch中看到输出 . 我是ELK堆栈的新手 . Environment SetupElasticsearch:http://localhost:9200/Logstash:Kibana:http://localhost:5601/ 上述所有3个应用程序都作为服务运行 . 我创... -
48 votesanswersviews
如何处理不匹配的Logstash grok过滤器
我想知道使用我的Logstash Grok过滤器的最佳方法是什么 . 我有一些特定日志条目的过滤器,不适用于所有条目 . 那些不适用的标签始终生成_grokparsefailure标签 . 例如,我有一个grok过滤器,用于每个日志条目,它工作正常 . 然后我有另一个过滤器,用于带有回溯的错误消息 . 回溯过滤器为每个没有回溯的日志条目抛出grokparsefailure . 如果没有匹配而不是添... -
0 votesanswersviews
对于kibana上的一些日志,过滤器无法识别
我有一个与kibana的logstash集成,并且accesslogs被发布到kibana仪表板 . 现在我有一些日志和一些模式来识别这些日志 . 模式中定义了一些过滤器,现在我看到,对于某些日志,过滤器会被识别 . 对于某些日志,过滤器不会出现 . 当我使用grok调试器测试时,模式看起来很好 . 可能是什么问题? 记录哪种模式不匹配 2015-07-31 04:02:40 0.001 377 ... -
0 votesanswersviews
ELK - 具有多种格式和多行事件的不规则日志
我有来自某些通信设备的事件跟踪/日志(以“消息”的形式) . 我的最终目标是能够(接近)实时地对来自设备的数据流进行一些监控和分析 . 跟踪是设备内部操作的转储,包含多种类型的事件,其中一些事件跨越多个“消息” - 我现在正在解析一个文件(所以处理行)但最终会解析stdin或者一些一种流 . 我希望每小时可以获得大约300万条消息,并且有几个这样的设备可供监控 . 我目前面临两个挑战(刚刚开始:-... -
0 votesanswersviews
Elasticsearch geoip.location映射到double而不是geo_point
我正在运行Elasticsearch版本1.5.2 . Logstash 1.5.4版 . 大多数logstash设置都是默认设置: geoip { source => "ipaddress" } output { elasticsearch { host => "127.0.0.1" port =... -
0 votesanswersviews
AWS GLUE分类器:grok表达式以正确确定csv文件架构
我希望能够使用aws glue确定csv的数据类型 . 为此,我为我的抓取工具创建了一个分类器,以匹配以下记录: 1234 abcd 01.01.11 09.11.17 abe12321344421 154746 1 1 0 sometxt 09.11.17 SYS_JOB 09.11.17 但我的Grok表达式与文件不匹配 . 这里是: %{CSV... -
0 votesanswersviews
AWS Glue不会对我的数据进行分类
我有一个html文件,其结构如下: <!doctype html public "-//w3c//dtd html 4.0transitional//en"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=... -
10 votesanswersviews
多个Grok过滤器不存储第一个过滤器匹配记录
我正在使用Logstash来解析postfix日志 . 我主要专注于从postfix日志中获取退回的电子邮件日志,并将其存储在数据库中 . 为了获取日志,首先我需要找到与我的message-id对应的postfix生成的ID,并使用该Id,我需要查找电子邮件的状态 . 对于以下配置,我可以获取日志 . grok { patterns_dir => "patterns&... -
1 votesanswersviews
关于匹配grok调试器模式的_grokparsefailure
我在使用logstash来识别我的模式时遇到了一些问题,这个模式似乎与Grok Debugger(https://grokdebug.herokuapp.com/)相匹配 . 这与其他StackOverflow问题(logstash _grokparsefailure issues)上发现的问题类似,但不幸的是那里的解决方案似乎没有用 . 这些是我想要匹配的日志: Mon Jan 25 11:12... -
6 votesanswersviews
用于uwsgi日志的Logstash Grok过滤器
我是ELK堆栈的新用户 . 我正在使用UWSGI作为我的服务器 . 我需要使用Grok解析我的uwsgi日志,然后分析它们 . 这是我的日志格式: - [pid: 7731|app: 0|req: 357299/357299] ClientIP () {26 vars in 511 bytes} [Sun Mar 1 07:47:32 2015] GET /?file_name=123&... -
0 votesanswersviews
Logstash Grok过滤器每次匹配获得多个值
我有一个服务器以自定义日志格式将访问日志发送到logstash,并使用logstash过滤这些日志并将它们发送到Elastisearch . 日志行看起来像这样: 0.0.0.0 - GET / 200 - 29771 3 ms ELB-HealthChecker/1.0\n 并使用此grok过滤器进行解析: grok { match => [ "message&q... -
1 votesanswersviews
Logstash grok过滤器:解析自定义应用程序日志
I'm trying to parse my application logs using logstash filters. The log file contents are like below 17 May 2016 11:45:53,391 [tomcat-http--10] INFO com.visa.vrm.aop.aspects.LoggingAspect - RTaBzeTuar... -
1 votesanswersviews
Logstash grok过滤器比Java正则表达式模式匹配慢
我有一些RFC-5424格式的系统日志消息 . 我正在使用logstash grok过滤器和java正则表达式模式匹配来解析日志 . 我正在比较两种相同输入的方法 . java正则表达式解析是从stdin读取输入并在单线程中运行 . Logstash还从stdin读取输入,我已将工作线程配置为1,管道批处理大小等于消息数,以便在一个批处理中处理所有消息 . I can see that java ... -
0 votesanswersviews
Logstash grok匹配2种模式
日志行示例: 2017-05-04 10:37:22,972 INFO [My.Super.JAVA.CLASS] Outbound Message bla bla 2017-05-04 10:38:22,972 INFO [My.Super.JAVA.CLASS] Inbound Message bla bla 2017-05-04 10:39:22,972 INFO [My.Super.JAV... -
0 votesanswersviews
Logstash '_grokparsefailure'问题
我使用自定义grok模式来解析我的日志文件,无论我做什么它总是给我_grokparsefailure异常 . 但是,它完美地工作在https://grokdebug.herokuapp.com/ 我的自定义模式文件位于, C:\ Users \ Username \ projects \ Logstash \ bin \ patterns文件名:mylogpattern LogLevel [I... -
3 votesanswersviews
在Logstash中使用Syslog forware HAProxy日志过滤
我在理解如何正确执行此操作时遇到问题 . 我有以下Logstash配置: input { lumberjack { port => 5000 host => "127.0.0.1" ssl_certificate => "/etc/ssl/star_server_com.crt" ssl_key =>... -
-1 votesanswersviews
如何从LogStash事件中删除日期
我的日志文件中有以下消息... 2015-05-08 12:00:00,648064070: INFO : [pool-4-thread-1] com.jobs.AutomatedJob: Found 0 suggested order events 这是我在Logstash / Kibana中看到的(选择了日期和消息)... May 8th 2015, 12:16:19.691 2015-... -
0 votesanswersviews
设置相当于我的日志文件的时间戳的Kibana时间戳
我正面临着与kibana相关的时间问题 . 我的日志文件具有较旧的时间戳,但是当我解析日志文件时,@ timestamp会获取当前时间戳而不是日志文件的原始时间 . 这是我的日志文件条目的示例: 2015-12-25 17:39:45+0000 [SSHChannel session (0) on SSHServicessh-connection on HoneyPotTransport,2143... -
1 votesanswersviews
grok过滤器logstash JSON解析错误,原始数据现在在消息字段中
我正在使用带有配置输入的logstash filter output 从兔子我收到这种格式的nginx日志: - - [06/Mar/2017:15:45:53 +0000] "GET /check HTTP/1.1" 200 0 "-" "ELB-HealthChecker/2.0" 我正在使用grok过滤器,如下所示: filt... -
1 votesanswersviews
在logstash中使用grok过滤日志
我试图过滤掉在grok的帮助下收到的日志 . 以下是示例日志 INFO | jvm 1 | main | 2013/04/05 01:08:47.048 | [m[32mINFO [TaskExecutor-master-2443-ProcessTask [31111111112]] [b2cConfirmationAction] CRON JOB ID : 101AA1C, A... -
1 votesanswersviews
Grok解析消息中的特殊字符
在Logstash / grok中,我如何解析丹麦字母表中包含特殊字符的消息,例如æøå? 我正在尝试解析以下消息(IIS日志文件): 2016-06-12 18:15:10 server01 192.168.10.1 GET /test/charæfoobar pagenumber=2 443 - 192.168.100.31 HTTP/1.1 Mozilla/5.0+(Windows+NT+1... -
0 votesanswersviews
Logstash grok过滤器不解析消息
在grok Debugger一切正常,但在我开始logstash时不解析 . 日志行: # Time: 170904 10:16:01\n# User@Host: mmcite[mmcite] @ localhost []\n# Thread_id: 18712 Schema: mmcite QC_hit: No\n# Query_time: 0.502068 Lock_time: 0.00... -
0 votesanswersviews
用于php monolog多行(stacktrace)日志的Logstash grok过滤器配置
[2018-02-12 09:15:43] development.WARNING: home page [2018-02-12 09:15:43] development.INFO: home page [2018-02-12 10:22:50] development.WARNING: home page [2018-02-12 10:22:50] development.INFO... -
2 votesanswersviews
用于tomcat日志的Logstash GROK过滤器
我是elk的新手,我需要能从tomcat日志中找到“transactionid以下值并创建单独字段的模式” 样本日志如下... 2018-03-14 10:58:36,853 INFO so:165 - Female Value : 0.084370888769626617 for transactionId ABCsdf62969 2018-03-14 10:58:36,853 INFO so:... -
1 votesanswersviews
如何添加条件到我的logstash grok过滤器?
我有3台服务器: Elasticsearch / Kibana Logstash Web服务器 在Web服务器上,我运行了filebeat和metricbeat . 我希望filebeat发送的apache日志是grok'd,而不是metricbeat系统日志 . 在我的logstash服务器上,我在/etc/logstash/conf.d/中有一个名为“apache-filter...