Spark Streaming与Kafka性能问题-Java 学习之路

有哪些方法可以改善Spark Streaming中的改组性能？基本上，我使用Spark Streaming（1.6.2）和Kafka（0.10）每天处理100 PB的数据，因为数据速度非常大，所以稳定整个Streaming应用程序非常困难 . 执行所有代码级别优化并减少shuffle . 寻找一些核心调优配置，以至少改善洗牌性能 .

相关问题

0 生产环境者/消费者Kafka Spark Streaming的消息问题
4 Spark Streaming中的Kafka消费者
0 制片人/消费者Kafka Spark Streaming
0 Spark Streaming DStream元素与RDD
7 如何使Spark Streaming（Spark 1.0.0）读取Kafka的最新数据（Kafka Broker 0.8.1）
0 Apache Spark Kafka集成问题
1 Spark可以在同一节点上与Kafka一起运行，通过使Spark Streaming ETL进程更接近实时数据来进行优化吗？
2 通过Spark Streaming从Kafka代理中的主题的特定分区读取数据
0 Spark Streaming For Kafka：无法从Kafka主题中读取数据
4 Spark Kafka Streaming Issue