-
1 votesanswersviews
Logstash:与 WebHDFS 的 HTTPS 连接
我正面临着 WebHDFS 的问题。 我的组织在端口 50470 上使用 WebHDFS,它既是“kerberized”又需要 HTTPS。 在https://github.com/elastic/logstash/issues/8791中跟踪线程并克服 Kerberos 问题之后,我仍然面临使用带有 HTTPS for WebHDFS 的 Kerberos 身份验证的问题。 我收到以下日志: ... -
0 votesanswersviews
如何定义grok过滤?
如何为Kibana中显示的以下示例日志消息定义grok过滤模式?我已经定义了更多模式,但得到 _grokparsefailure 2018-12-10 14:50:01,497 [traceID : 46072cedb98568e3 spanID: 46072cedb98568e3 parent: ] service : networkService [XNIO-2 task-1] org... -
1 votesanswersviews
在ELK中,如何搜索与另一个不匹配的日志?
假设我在操作之前和之后都有日志,如下所示: [XXXX]操作A开始了[XXXX]操作A完成 假设XXXX对于每次执行都是唯一的,现在我想找出已经启动但尚未完成的执行 . 这意味着我需要找出具有“已启动”日志的XXXX,但没有“已完成”日志 . 我怎样才能做到这一点? -
0 votesanswersviews
ELK - 具有多种格式和多行事件的不规则日志
我有来自某些通信设备的事件跟踪/日志(以“消息”的形式) . 我的最终目标是能够(接近)实时地对来自设备的数据流进行一些监控和分析 . 跟踪是设备内部操作的转储,包含多种类型的事件,其中一些事件跨越多个“消息” - 我现在正在解析一个文件(所以处理行)但最终会解析stdin或者一些一种流 . 我希望每小时可以获得大约300万条消息,并且有几个这样的设备可供监控 . 我目前面临两个挑战(刚刚开始:-... -
24 votesanswersviews
如何在Kibana / ELK中进行“where not exists”类型过滤?
我正在使用ELK从我的日志文件创建仪表板 . 我有一个日志文件,其中的条目包含一个id值和一个“success”/“failure”值,显示具有给定id的操作是成功还是失败 . 每个操作/ id可以无限次地失败并且最多可以成功一次 . 在我的Kibana仪表板中,我想显示每个操作ID的“失败”值的日志条目计数,但我想过滤出id存在“成功”日志条目的情况 . 即我只对从未成功的行动感兴趣 . 任何可... -
0 votesanswersviews
使用logstash(ELK)轮询日志
关于轮询/存储日志文件,我遇到了两难境地 .情况是我们需要从Cloudhub监控我们的日志,使用Logstash聚合它们并存储它们(可能使用ElasticSearch) . Anypoint Runtime Manager似乎只支持在内部部署时(而不是从 Cloud 端)将事件推送到第三方系统,因此我决定通过logstash http-poller插件通过REST api进行轮询日志演示 . 我有... -
0 votesanswersviews
无法将Filebeat连接到logstash以使用ELK进行日志记录
嗨,我一直在使用弹性堆栈进行自动记录 . 我有 filebeat 正在从路径读取日志,并且输出设置为通过端口 5044 进行logstash . logstash配置有一个输入,监听 5044 并输出推送到localhost:9200 . 问题是我可以发生这种情况 . 以下是文件: My filebeat.yml 路径: etc/filebeat/filebeat.yml #==========... -
0 votesanswersviews
如何使用ElasticSearch评估日志消息之间的时间
我想知道我的旧PHP Web应用程序中的不同操作需要多长时间 . 有一个日志文件,在操作开始和结束时写出消息 . 看起来像这样 . LOGFILE 2018-08-13 13:05:07,217 [30813] ControllerA: actionA start 2018-08-13 13:05:07,280 [30813] ControllerA: actionA end 2018-08-13... -
0 votesanswersviews
在ELK日志解析中支持多个多行模式
TL;DR :如何在ELK日志解析中最好地支持多个多行模式? 随着Docker,Python和ELK的普及,人们会认为将正确解析的Python日志从Docker转换为ELK会非常简单,但我找不到令人满意的方法来做到这一点 . 我有一个docker swarm-mode集群,运行着许多应用程序和服务,包括traefik,nginx,MongoDB,Postgres和许多Python 3服务 . 我有... -
0 votesanswersviews
Logstash jenkins插件给出对象映射错误
我正在使用 logstash 插件将数据发送到弹性搜索 . 我正在使用master并且能够为所有作业发送日志,除了我得到以下错误的一个: RESPONSE:HttpResponseProxy {HTTP / 1.1 400 Bad Request [content-type:application / json;字符集= UTF-8] org.apache.http.client.entity.... -
0 votesanswersviews
Elasticsearch geoip.location映射到double而不是geo_point
我正在运行Elasticsearch版本1.5.2 . Logstash 1.5.4版 . 大多数logstash设置都是默认设置: geoip { source => "ipaddress" } output { elasticsearch { host => "127.0.0.1" port =... -
0 votesanswersviews
在Windows上,即使配置正常,如何调试logstash?
我的logstash导入一些CSV文件的配置如下: input { file { path => [ "C:\Data\Archive_ATS_L1\2016-10-08-00-00_to_2016-10-09-00-00\S2KHistorian\Historian\S2KEventMsg_Table.csv", "... -
0 votesanswersviews
弹性搜索LogStash无法连接
我正在尝试使用docker容器创建Elastic搜索安装 . 我只使用elastic.io提供商的图片 . 我在启动logstash实例时遇到错误 . 这是我的配置: 泊坞窗,compose.yml version: '2' services: elasticsearch1: image: docker.elastic.co/elasticsearch/elasticsearch:5.... -
0 votesanswersviews
在logstash配置中作为文件路径输入不起作用
当我运行这样的命令时(在Windows系统上): logstash -f logstash-apache.conf 有's no output and it didn' t存储任何日志到elasticsearch . 所以我觉得它没用 . 顺便说一下,我参考了网站:https://www.elastic.co/guide/en/logstash/current/config-examples.h... -
1 votesanswersviews
logstash配置文件错误
我正在尝试使用logstash将csv文件中的数据提供给弹性搜索 . 我的logsatsh配置文件如下所示: input { file { path => "C:\Users\shreya\Data\RetailData.csv" start_position => "beginning" ... -
0 votesanswersviews
大家好,我们正在尝试将数据从csv文件推送到弹性搜索,但我们面临以下问题?
我们正在使用的环境:Ubuntu 14.x [错误] 2018-01-25 06:05:03.376 [[main] -pipeline-manager] elasticsearch - 无法安装模板 . {:message => "Template file '' could not be found!",:class => "ArgumentErr... -
0 votesanswersviews
logstash 6.2.4将IIS日志转换为elasticsearch未知设置
Logstash 6.2.4,ElasticSearch 6.2.4首次使用这些工具 . 我试图在此示例后将IIS日志转换为elasticsearch:Importing iis logs into elasticsearch using logstash 使用以下命令运行独立测试时: . \ logstash.bat agent -f .. \ conf导致这些错误: [2018-06-01T... -
0 votesanswersviews
Logstash 6.2.4陷入无限重试循环
我正在使用logstash 6.2.4以及以下yml设置 - pipeline.batch.size: 600 pipeline.workers: 1 dead_letter_queue.enable: true 用于运行logstash应用程序的conf文件是 - input { file { path => "/home/administrator/D... -
2 votesanswersviews
一个elasticsearch / logstash实例,具有多个具有唯一索引的应用程序
我们使用swisscoms应用程序 Cloud ,目前正在评估新的Elasticsearch服务 . 我们设置它包括logstash和kibana . 我们现在为应该使用常见elasticsearch / logstash / kibana实例的每个应用添加了用户提供的服务 . 当我们第一次登录kibana时,我们看到有一个名为 logstash- 的索引,其中包含所有应用程序的所有日志 . 现在... -
2 votesanswersviews
Logstash通过调用API转换数据
我是logstash的新手,并且想知道是否可以通过调用http API来转换数据 . 我真正想要实现的是将id从我们的分支转换为地理定位,以便能够在 Map 上可视化kibana中的数据 . 有人可以帮助我如何做到这一点,或指出我正确的方向 . -
48 votesanswersviews
如何处理不匹配的Logstash grok过滤器
我想知道使用我的Logstash Grok过滤器的最佳方法是什么 . 我有一些特定日志条目的过滤器,不适用于所有条目 . 那些不适用的标签始终生成_grokparsefailure标签 . 例如,我有一个grok过滤器,用于每个日志条目,它工作正常 . 然后我有另一个过滤器,用于带有回溯的错误消息 . 回溯过滤器为每个没有回溯的日志条目抛出grokparsefailure . 如果没有匹配而不是添... -
3 votesanswersviews
使用grok过滤器与logstash和Windows文件的问题
我试图使用Logstash和grok过滤SQL Server错误日志 . Logstash 1.3.3使用NSSM和JRE6作为Windows服务运行 . 我的配置文件如下 input { file { path => "c:\program files\microsoft sql server\mssql10_50.mssqlserver\mssql\... -
0 votesanswersviews
对于kibana上的一些日志,过滤器无法识别
我有一个与kibana的logstash集成,并且accesslogs被发布到kibana仪表板 . 现在我有一些日志和一些模式来识别这些日志 . 模式中定义了一些过滤器,现在我看到,对于某些日志,过滤器会被识别 . 对于某些日志,过滤器不会出现 . 当我使用grok调试器测试时,模式看起来很好 . 可能是什么问题? 记录哪种模式不匹配 2015-07-31 04:02:40 0.001 377 ... -
2 votesanswersviews
如何测试ElasticSearch Logstash和Kibana
我已经将elasticsearch,logstash和kibana安装到我的Debian服务器上 . 问题是Kibana没有显示任何统计信息或日志 . 我不知道有什么问题以及如何调试这个问题 . 当我测试每个组件(elasticsearch,kibana和logstash)时,一切看起来都正常 . ElasticSearch测试 检查elasticsearch-cluster状态: 卷曲'l... -
1 votesanswersviews
如何配置logstash以创建elasticsearch索引?
elasticsearch版本:elasticsearch-2.2.0.rpm logstash版本:logstash-2.2.2-1.noarch.rpm 我启动elasticsearch,然后使用具有基本stdin / stdout的/etc/logstash/conf.d/logstash.conf进行logstash,但不创建弹性搜索索引 . 如果我将以下内容添加到我的logstash输出... -
0 votesanswersviews
ELK LDAP日志过滤
两件事:我们的日志看起来像这样 -May 11 06:51:31 ldap slapd[6694]: conn=1574001 op=1 SRCH base="cn=s_02,ou=users,o=meta" scope=0 deref=0 filter="(...)" 我需要1)拿出时间戳并将其设置在Kibana的左栏"time" 's... -
2 votesanswersviews
负载 balancer 日志通过logstash流动更多多个服务
我们有一个ElasticSearch-Logstash-Kibana部署,其中多个logstash-forwarders(来自多个服务日志)将日志推送到logstash然后将其发送到Kafka,然后又有一个logstash从Kafka中提取这些日志并在ElasticSearch集群中对它们进行索引 . 有人可以告诉我: - 在此类部署中处理流量高峰的最佳方法是什么? 我们可以配置Kafka... -
0 votesanswersviews
有关ElasticSearch群集配置的建议
Elasticsearch全新 . 我一直在做大量的阅读,但我希望SO上的专家可以权衡我的群集配置,看看是否有我遗漏的东西 . 目前我使用ES(1.7.3)为每个文件索引一些非常大的文本文件(约7亿行)并查找每个文件一个索引 . 我使用logstash(V2.1)作为索引文件的首选方法 . 配置文件在这里是我的第一个索引: input { file { path =>... -
4 votesanswersviews
如何管理从多个节拍到集中式Logstash的输入
我想使用Elastic Stack进行日志聚合,以便从10台计算机中获取日志 . 我希望在10台机器上安装Filebeat并从每台机器上获取日志并将其发送到安装在单独机器中的集中式Logstash服务器 . 在单独的机器中,安装了Logstash Elasticsearch&Kibana . 我需要Logstash,因为我想在使用beats收集日志后处理和解析数据 . 根据这种架构,我面临着识别和... -
7 votesanswersviews
Logstash CSV无法使用
我正在尝试在logstash中读取CSV数据,但有些logstash无法将字符串视为csv logstash config input { file { path => [ "/root/logstash/temp.csv" ] start_position => "beginning" } } f...