Kafka 有一个主题有9个分区 . 我的flink工作需要使用该主题来执行ETL并将数据接收到另一个主题 . 所以我的flink工作并行的源操作符配置9. flink集群有3个任务管理器,每个任务管理器有3个源操作符 . 但来自kafka的flink来源操作员的dafa是不均匀的 .
源操作员代码:
env.addSource(new FlinkKafkaConsumer09<byte[]>(topic, new DeserializationSchema<byte[]>() {
@Override
public byte[] deserialize(byte[] bytes) throws IOException {
return bytes;
}
@Override
public boolean isEndOfStream(byte[] bytes) {
return false;
}
@Override
public TypeInformation<byte[]> getProducedType() {
return PrimitiveArrayTypeInfo.BYTE_PRIMITIVE_ARRAY_TYPE_INFO;
}
}, props)).setParallelism(9);
我附上下面的显示器截图:enter image description here
我该怎么做才能增强这个缺陷?