我正在研究使用BigQuery获取应用程序日志文件的见解的优点 . 这些日志由Java和C＃应用程序生成，其中大部分位于基于 Cloud 的VM上 . 我很想知道其他人是否已经这样做以及BigQuery vs ElasticSearch / Logstash / Kibana的相对优点 .
BigQuery的优势似乎是它可以处理大量数据，而ELK解决方案似乎更适合日志文件的非结构化特性，特别是当它们来自不同的系统时 .
我还想在仪表板上显示信息 . Kibana似乎非常好 . 使用Google解决方案（使用Google工作表等）创建仪表板有多容易？
想法，用例？
1 回答
2017年更新：GCP正式支持Elastic
Elasticsearch和BigQuery一起工作很好 . BigQuery将获取尽可能多的数据，并在几秒钟内以任何方式查询它 . 同时，经过良好调优的Elasticsearch安装将在不到一秒的时间内为您提供答案，但仅针对有限数量的数据进行某些查询 .
请阅读Ory at Rounds的这篇文章，详细介绍了他们如何使用两者：
https://www.rounds.com/blog/collecting-user-data-and-usage/
两个最重要的 Headers 总结了他们两个原因：
使用Elasticsearch实时数据
使用Google BigQuery的大数据