-
1 votesanswersviews
.NET Kerberos从Windows到Linux(不同领域)
问:如果我有差异kerberos领域,并且经纪人坐在Linux上, 生产环境 者坐在Windows上,如何使用Kerberos启用连接?我有有效的keytab . 这是krb5 请在此链接中查看此问题的明确答案 . Connect to Kafka on Unix from Windows with Kerberos 下面的问题是@Samson解释的第三种情况的延续 . 回答一些Samson的建议... -
3 votesanswersviews
如何使用.net客户端生成和使用来自kafka的消息
我是kafka,docker和kubernetes的新手 . 我试图在minikube中运行单节点或多节点kafka集群,并使用.net控制台应用程序生成/使用来自kafka代理的消息 . 任何人都可以指向/指出.net应用程序的任何工作解决方案吗?使用哪个我可以创建一个简单的POC,它能够向/从kafka经纪人发送/接收消息? 我花了太多时间使用solsson/kafka-persistent和... -
0 votesanswersviews
kafka流ktable数据丢失
我有一个包含2个主题源的流应用程序 . 一个主题读作KStream,另一个主题读作KTable . 我通过在KTable上执行连接操作来过滤掉KStream中的消息 . 问题是,经过一段时间(几天),KTable的一些记录正在消失 - 连接不能按预期工作 . 我的KTable主题是使用紧凑策略定义的 . 如果我重新启动kafka流应用程序认为按预期工作,所以我猜它与RocksDB有某种关系 . 请... -
1 votesanswersviews
如何提取Kafka Streams中消息中嵌入的时间戳
我想提取嵌入每条消息的时间戳,并将它们作为json有效负载发送到我的数据库中 . 我想获得以下三个时间戳 . Event-time: The point in time when an event or data record occurred, i.e. was originally created “by the source”. Processing-time: The point ... -
0 votesanswersviews
kafka 生成器参数需要发送一条消息才能生效
我正在使用 confluent-kafka-python(https://github.com/confluentinc/confluent-kafka-python)使用 Python 向 Kafka 发送一些消息。我不经常发送消息,所以希望延迟真的很低。 如果我这样做,我可以向消费者显示大约 2 毫秒延迟的消息: conf = { "bootstrap.servers" :... -
1 votesanswersviews
在 Confluent Kafka 的消费者类中,关键字的反序列化意味着什么?
汇合的 kafka 文档说,Consumer 类定义如下: Class Consumer<TKey, TValue> 上面的使用者类实现了 high-level Apache Kafka 使用者(具有键和值反序列化)。 我理解 TKey 和 TValue 用于反序列化密钥,密钥是从生产者发送的。例如,像 从生产者发送密钥看起来像 var deliveryReport = produc... -
0 votesanswersviews
在aws linux机器上通过yum安装librdkafka1时出现libsasl依赖性问题
我正在尝试使用pip安装python confluent-kafka包 . 我正在尝试运行amazon linux的aws ec2实例(版本Amazon Linux AMI版本2016.09) . 我只是这样做: pip install pip install confluent-kafka 但是会产生以下错误: In file included from confluent_kafka/src... -
0 votesanswersviews
客户端kerberos身份验证confluent-kafka python
我在cloudera集群上运行kafka,并有一个kerberos用户(用户名/密码)进行身份验证 . 我正在尝试验证汇合的kafka 生产环境 者/消费者,但我遇到了麻烦 . 我能够在本地站起来kafka并且没有任何问题地生成/消费,并且能够在添加kerberos之前击中群集上的kafka实例 . 我能够找到一些关于为集群设置Kerberos的文档(这已经完成),但不是如何使用username ... -
4 votesanswersviews
Kafka SASL握手花了太长时间
Description: 使用SASL / SCRAM或SASL / PLAINTEXT进行身份验证大约需要9秒钟才能完成 . 这是正常的吗? How to reproduce: 一个Kafka代理实例(v1.1.0) 一个C# 生产环境 者(Confluent Kafka Client v0.11.4)执行以下操作: var producerConfig = ... -
1 votesanswersviews
Kafka 花了太多时间开始阅读
目前我正在使用Confluent kafka nuget包,但不要使用Confluent平台本身(https://github.com/confluentinc/confluent-kafka-dotnet) . 根据应用程序需求,需要创建使用者,获取第一条消息并关闭使用者 . 整个周期应该尽快完成(最多1秒) . 我遇到过的问题 - 读取第一条消息需要很多poll()周期(数据已经生成并存在于主... -
0 votesanswersviews
如何使用Kerberos在C#中配置kafka生成器
嗨我在服务器上连接到kafka有问题... 我在Linux服务器上使用kafka(使用Kerberos),通过添加配置keytab,principal(jaas config)连接到它的java客户端,现在我需要向c#app添加类似的配置,这将生成一些消息给kafka . C#app可以在Windows机器上运行 . C#app正在使用Confluent.Kafka,连接到没有kerberos ... -
0 votesanswersviews
如何从Confluent kafka C#库中获取Kafka主题的最新偏移量?
我正在使用Confluent kafka C#client . 如何获取此主题消耗的最新偏移量? -
0 votesanswersviews
无法在汇合的Kafka 3.2.0上使用消息并在另一个端口上安全生成
我在docker上做了一个kafka 3.2.0集群设置 . 我创建了一个主题,描述它,在其上产生了一些信息 . 我正在关注汇合的链接: https://docs.confluent.io/3.2.0/cp-docker-images/docs/quickstart.html 我能够执行以上所有三个步骤 . 但是当我尝试消耗部分时,我没有得到任何o / p . 可能是什么原因以及我应该看到哪些日... -
1 votesanswersviews
Kafka状态存储在拓扑异常上回滚
我正在尝试使用状态存储来对kafka-streams拓扑接收的消息进行重复数据删除(即,如果 生产环境 者在很长一段时间内复制消息,则基于某些业务导出的重复数据删除密钥进行重复) . 我注意到,如果我在转换步骤期间向密钥库添加值,然后在后续步骤中抛出异常,则订阅将回滚到上一个检查点,但状态存储会保留其值,这似乎不正确 . 是否存在在拓扑中使用状态存储的“正确”方法,以便在拓扑引发异常时回滚状态? ... -
0 votesanswersviews
无法从EC2上的汇合kafka访问消息
汇聚Kafka 5.0.0已安装在AWS EC2上,其公共IP为54.XX.XX.XX在EC2计算机上打开端口9092,0.0.0.0 在/etc/kafka/server.properties我有 advertised.listeners=PLAINTEXT://54.XX.XX.XX:9092 listeners=PLAINTEXT://0.0.0.0:9092 在 /etc/kafka... -
0 votesanswersviews
无法使用AWS Lambda函数编写的 生产环境 者向AWS EC2上的kafka发送消息
Conflunet Kafka 5.0.0已安装在AWS EC2上,其公共IP为54.XX.XX.XX在EC2计算机上打开端口9092,0.0.0.0 在/etc/kafka/server.properties中我广告了.listeners = PLAINTEXT://54.XX.XX.XX:9092以及listeners = PLAINTEXT://0.0.0.0:9092在/etc/kafka... -
0 votesanswersviews
将容器中的消息发布到在容器外部运行的kafka
我有一个docker容器映像,它生成一些消息到kafka的主题,它在同一节点/机器的容器外运行 . 当我运行docker容器发布一些消息到kafka主题得到以下错误 . [root @ lm - mro-cloudnative - central docker_producer] #docker run test-producer%3 | 1544419029.623 | FAIL | ... -
1 votesanswersviews
对于某个主题的某些分区,kafka偏移和滞后是未知的
我正在使用https://github.com/confluentinc/confluent-kafka-go的消费者 . kafka版本是0.10.1.0 . 这是我的消费者的配置: kafkaClient, err := kafka.NewConsumer(&kafka.ConfigMap{ "bootstrap.servers": ... -
1 votesanswersviews
Camus Migration - Kafka HDFS Connect不从设置偏移量开始
我目前正在使用Confluent HDFS Sink Connector(v4.0.0)来取代Camus . 我们正在处理敏感数据,因此我们需要在切换到连接器时保持偏移的一致性 . 转换计划: 我们创建了hdfs sink连接器并订阅了一个写入临时hdfs文件的主题 . 这将创建一个名为 connect- 的使用者组 使用DELETE请求停止连接器 . 使用 /usr/bin/kafk...