我正在研究一个实时商业智能项目，我正在使用弹性堆栈火花流和 Kafka ？但我想知道我是否可以使用redis而不是kafka，因为看起来redis在内存中可以实时转发数据，我很困惑任何人都可以帮助我选择正确的技术，我已经在在这里问一下实时BI的架构，他们告诉我下一个架构：LOgstash => kafka => spark streaming => elasticsearch => kibana感谢您的回答
简而言之，如果数据很大并且数据应该重复使用，那么首先应该考虑Kafka，否则在处理具有最小延迟的实时消息处理时，首先应该尝试使用Redis .
您可以尝试Redis，因为Redis可以支持 生产环境 ELK（Elasticsearch，Logstash，Kibana）堆栈 . Redis是一家内存商店 . 这意味着它使用其主存储器进行存储和处理，这使得它比基于磁盘的Kafka快得多 . Redis内存存储的唯一问题是我们无法长时间存储大量数据 . 由于主内存小于磁盘，我们必须通过自动将数据从内存中移动到磁盘并为新数据腾出空间来定期清除它 . 此外，Redis没有像Kafka那样的并行概念，其中多个进程可以同时使用数据 .
Redis架构 - ：logstash（托运人） - > redis < - logstash（索引器） - >弹性搜索 - > kibana . 如果logstash（索引器）关闭，Redis也有缓冲设施 .
要知道，你如何使用带有logstash和弹性的redis，这里有很好的解释： - https://ianunruh.com/2014/05/monitor-everything-part-2.html
为了收集关于redis vs kafka的知识，你可以查看这个链接： - https://logz.io/blog/kafka-vs-redis/ https://www.quora.com/What-are-the-advantages-of-Kafka-over-Redis-for-pub-sub
1 回答
简而言之，如果数据很大并且数据应该重复使用，那么首先应该考虑Kafka，否则在处理具有最小延迟的实时消息处理时，首先应该尝试使用Redis .
您可以尝试Redis，因为Redis可以支持 生产环境 ELK（Elasticsearch，Logstash，Kibana）堆栈 . Redis是一家内存商店 . 这意味着它使用其主存储器进行存储和处理，这使得它比基于磁盘的Kafka快得多 . Redis内存存储的唯一问题是我们无法长时间存储大量数据 . 由于主内存小于磁盘，我们必须通过自动将数据从内存中移动到磁盘并为新数据腾出空间来定期清除它 . 此外，Redis没有像Kafka那样的并行概念，其中多个进程可以同时使用数据 .
Redis架构 - ：logstash（托运人） - > redis < - logstash（索引器） - >弹性搜索 - > kibana . 如果logstash（索引器）关闭，Redis也有缓冲设施 .
要知道，你如何使用带有logstash和弹性的redis，这里有很好的解释： - https://ianunruh.com/2014/05/monitor-everything-part-2.html
为了收集关于redis vs kafka的知识，你可以查看这个链接： - https://logz.io/blog/kafka-vs-redis/ https://www.quora.com/What-are-the-advantages-of-Kafka-over-Redis-for-pub-sub