-
2 votesanswersviews
Spring Cloud Stream w / Kafka Confluent Schema Registry Client坏了?
好奇,如果有人有这个工作,因为我目前正在努力 . 我创建了简单的Source和Sink应用程序来发送和接收基于Avro架构的消息 . 消息的架构保存在Confluent架构注册表中 . 这两个应用程序都配置为使用ConfluentSchemaRegistryClient类,但我认为这里可能存在一个错误 . 这就是我看到的让我惊讶的地方 . 如果我与Confluent注册表的REST API交互,我... -
0 votesanswersviews
用于弹性搜索错误的 kafka 连接器
您好,我在为 Kafka 安装 elasticsearch 连接器时遇到了问题。我听过这个教程:https://sematext.com/blog/kafka-connect-elasticsearch-how-to/ 我尝试在独立模式下启动连接器时的错误是: (org.apache.kafka.connect.cli.ConnectStandalone:74) Exception in thre... -
0 votesanswersviews
kafka connect avro enums 解析为字符串
我正在使用来自汇编的 kafka connect 框架来生成从我的应用程序服务器到 kafka 集群的消息(用于 avro 支持的 zookeeper 代理模式注册表)。 我通过 connect 发送的数据由 avro 架构定义。我的架构表示包含 ENUMS 的结构化对象。事实上,Apache avro 支持支持枚举类型。我不必将我的架构提交到注册表,因为 kafka connect API 会自... -
1 votesanswersviews
Kafka-connect 与 sqlserver
这些是我正在运行的命令: - bin/zookeeper-server-start etc/kafka/zookeeper.properties & bin/kafka-server-start etc/kafka/server.properties & bin/schema-registry-start etc/schema-registry/schema-registry.pr... -
0 votesanswersviews
在火花流中消耗 Avro 事件并创建 data-frame
我是一个新兴的引发流和 scala 并需要一些帮助来消费来自 kafka 的 Avro 消息并将其转换为 spark 数据帧。 请参考以下来自 Confluent kafka connect 的 Avro事件,其中包含Schema和Data-payload。 我需要使用它,然后从中创建一个包含“Data Rows”和“Schema”的数据帧。这听起来有点复杂,但是请您提供一些我可以使用的示例代码吗... -
2 votesanswersviews
Kafka Connect JDBC接收到Oracle任务FAILED
我正在尝试将数据从Kafka avro主题中提取到我之前创建的现有Oracle数据库表中 . 我以分布式模式运行Kafka Connect(3名工作人员) . 当我通过REST提交新连接器时,它会创建一个连接器,一个新任务,但任务立即失败 . 无法理解为什么?以下是任务错误和我的配置 . Task Error {"state":"FAILED","... -
0 votesanswersviews
在使用guest虚拟机主机名称宣传Kafka侦听器后,Confluent无法启动
我正在使用一个解决方案,我在一个主机系统中将Kafka和Confluent部署在两个不同的Docker容器中 . 为了我的测试目的,我需要向Kafka提供一些测试数据 . 所以我正在修改Kafka server.configuration 以修改正在运行的docker容器中的"listeners"和"advertised.listeners"属性,如下所示... -
1 votesanswersviews
融合的卡夫卡休息 avrò制片人
我使用汇合 kafka-rest 来生成 avro 消息,当我使用其余端点来使用它时,返回格式是这样的。 { "key":null, "value": {ACTUAL_PAYLOAD}, "partition":X,"offset":0 } 我想知道 kafka 中的消息实际上是这种格式,或者... -
0 votesanswersviews
在kafka开始多个经纪人
初学者在kafka和汇合包 . 我想启动多个经纪人,以便消费该主题 . 它可以通过此设置完成 - {'bootstrap.server' : 'ip:your_host,...',} 此设置可以在服务器配置文件中定义,也可以在脚本中定义 . 但是我该怎么办呢?如果我只是向引导服务器添加多个 endpoints ,则会出现以下错误: java.lang.IllegalArgumentExcep... -
2 votesanswersviews
Kafka ,无法制作和消费活动
当试图在2个奴隶和1个主盒子上设置kafka时,得到了一个奇怪的情况,我无法消耗或产生一个主题 . 使用 Mirror Maker 在 slave <--> Master 之间同步数据 . 获取以下日志无休止: [2016-08-26 14:28:33,897] WARN Bootstrap broker localhost:9092已断开连接(org.apache.kafka.cl... -
1 votesanswersviews
是否可以在Confluent KSQL查询中使用多个左连接?尝试加入超过1个表的流,如果没有,那么解决方案是什么?
流: describe ammas; Field | Type ------------------------------------- ROWTIME | BIGINT (system) ROWKEY | VARCHAR(STRING) (system) ID | INTEGER ... -
0 votesanswersviews
KSQL:将多个子记录附加到父记录
我正在尝试使用KSQL(作为confluent-5.0.0的一部分)从一组父记录和子记录中创建单个记录,其中每个父记录都有多个子记录(特别是付款细节和涉及的各方)在付款) . 这些父/子记录由父母的id链接 . 为了说明,我正在处理源系统中大致这种结构的记录: payment: | id | currency | amount | payment_date | |--------------... -
0 votesanswersviews
KSQL / Kafka Stream:设置和数据的复杂性?
上周我问过这个问题:KSQL: append multiple child records to parent record 然而,在我对这个问题的解释中,我确实简化了事情,而且我发现我有点担心现实世界中设置的复杂性 . 为了快速重申,我正在使用的数据类型是付款和参与付款的各方: payments: | id | currency | amount | payment_date | |---... -
0 votesanswersviews
Kafka - 使用pyspark进行Spark流式集成:面向PythonRunner:91 - Python工作人员意外退出(崩溃)错误
当我们尝试使用pypark整合spark spark和kafka之间的代码时,我们正面临 PythonRunner:91 - Python worker exited unexpectedly (崩溃) . 你能帮我们解决这个问题吗? 2018-08-02 16:53:00 ERROR PythonRunner:91 - Python worker exited unexpectedly (cra... -
1 votesanswersviews
kafka elasticsearch连接器的问题
我有一个奇怪的问题与kafka - > elasticsearch连接器 . 我第一次开始这一切都很棒,我收到了elasticsearch中的新数据并通过kibana仪表板检查了它,但是当我使用相同的 生产环境 者应用程序向kafka生成新数据并尝试再次启动连接器时,我没有'获取elasticsearch中的任何新数据 . 现在我遇到了这样的错误: [2018-02-04 21:38:04... -
0 votesanswersviews
Kafka JDBC sink连接器很慢
我已经配置了各种JDBC接收器连接器,以便将数据从kafka主题流式传输到MySQL表中 . 我注意到,一旦我将 POST 请求发送到Kafka Connect,一些行(约1/3)将被直接插入到相应的表中,然后根本没有进展,几分钟后剩下的行是最后补充道 . 即使对于包含5行数据的非常小的主题,也会发生这种情况(前两个条目立即添加,其余3个在1-2分钟后插入) . 我也试图修改 batch.size... -
0 votesanswersviews
Kafka在scala中连接avro消费者
我有一个使用kafka connect的 生产环境 者,它使用Confluent Kafka Connect API,它以“SourceRecord”格式发布消息,其中包含“schema”和“struct”,如下所示 . 我正在寻找一个示例代码来在scala中构建一个kafka使用者,它消费该消息并将其反序列化为一个对象 import org.apache.kafka.connect.source... -
0 votesanswersviews
Kafka sink connect - 如何为每个主题创建一个任务(表)
我们为名为Ampool ADS的产品实现了一个kafka接收器连接器,它将来自kafka主题的数据输入到相应的安瓿表 . 主题和表格按名称进行映射 . 我需要处理单个主题(从主题--->表中提取)到专用的sink任务中 . 因此,例如,如果我的配置包含3个不同的主题(topic1,topic2,topic3),则Sink连接器应创建3个不同的sink任务,每个任务(每个表)并行地专门提取到它... -
0 votesanswersviews
Kafka jdbc sink connect上的模式异常
我试图使用Kafka jdbc sink connect将行插入到我的Oracle表中 . 我在我的Kafka主题(JSON)中有消息,如下所示; [{"f1":"qws","f2":"zcz","f3":"SDFF","f4":"f33bfed57... -
0 votesanswersviews
Kafka的消息订单保证
我有一个包含10个分区的主题,使用以下配置通过JDBC sink连接器流式传输到MariaDB表: { "name":"sink-connector-mariadb", "config": { "connector.class":"io.confluent... -
1 votesanswersviews
Kafka接收器连接器:即使在重新启动后也没有分配任务
我在一组Docker容器中使用Confluent 3.2,其中一个容器运行kafka-connect工作器 . 由于我不清楚的原因,我的四个连接器中的两个 - 具体而言,hpgraphsl的MongoDB sink connector - 停止工作 . 我能够确定主要问题:连接器没有分配任何任务,可以通过调用 GET /connectors/{my_connector}/status 看到 . ... -
0 votesanswersviews
使用kafka connect的hdfs中没有avro数据
我正在使用kafka connect distribution . 该命令是:bin / connect-distributed etc / schema-registry / connect-avro-distributed.properties 工作人员配置是: bootstrap.servers=kafka1:9092,kafka2:9092,kafka3:9092 group.id... -
0 votesanswersviews
使用kafka s3 sink connect时,我可以使用模式注册表来获取模式吗?
我有一个kafka主题,其值为avro格式,其中架构存储在架构注册表中 . 现在我想设置一个S3 Sink,如下:https://docs.confluent.io/current/connect/connect-storage-cloud/kafka-connect-s3/docs/s3_connector.html#basic-example 在网页中,他们使用 schema.generato... -
0 votesanswersviews
Kafka connect:基于模式将单个主题接收到多个表
我是Kafka connect的新手 . 我有一个类似下面的用例: 有一个共享主题,我在其中获取不同实体的消息,比如Employee,department(实际表名不同) 员工和部门的架构在架构注册表中注册 使用Kafka接收器连接器,是否可以根据模式分离每个实体的数据并写入相应的表示例,来到主题的员工数据应该转到员工表和部门数据到部门表 如果没有,还有其他更好的方法吗? -
1 votesanswersviews
汇总的kafka到s3连接失败,出现ERROR线程中的意外异常[KafkaBasedLog工作线程 -
我在EC2上设置了从kafka读取并写入S3的汇合(4.0)连接器 . 独立尝试很顺利: bin / connect-standalone etc / standalone / example-connect-worker.properties etc / standalone / example-connect-s3-sink.properties 但是,分布式版本仍然失败 [2018-01-3... -
0 votesanswersviews
Kafka Connect:找不到合适的司机
我正在使用JDBC-sink连接器尝试使用Postgres Sink的Kafka . Exception: INFO Unable to connect to database on attempt 1/3. Will retry in 10000 ms. (io.confluent.connect.jdbc.util.CachedConnectionProvider:91) java.sql.S... -
0 votesanswersviews
Confluent 5.0.0 kafka connect hdfs sink:升级后无法描述kafka connect consumer group滞后
我们从Confluent 4.0.0升级到5.0.0,升级后我们无法列出kafka connect hdfs sink connector消费者滞后 . $ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend Note: T... -
3 votesanswersviews
Kafka Connect HDFS Sink Issue
我正在尝试使用Kafka-Connect和HDFS Sink Connector来传输数据 . 独立模式和分布式模式都运行良好,但它只写入HDFS一次(基于flush-size),而不是稍后流式传输 . 如果我遗漏了一些东西,请帮忙 . 汇编2.0.0和Kafka 0.9.0 -
0 votesanswersviews
Kafka基于密钥连接读取值并写入HDFS
有没有办法从kafka主题中仅将特定事件类型吸收到HDFS,使用kafka connect HDFS连接器过滤其余类型? 我们可以根据某些键来隔离输入事件并写入不同的分区 . 这样特定键的值会转到特定的分区吗? 我们可以使用存储在模式注册表中的密钥来获取特定于特定密钥的avro格式数据主题中的值吗?如果我的理解需要清晰,请告诉我 . If Kafka connect does no... -
0 votesanswersviews
汇合Kafka Connect for Oracle
我使用Confluent Kafka Connect连接到oracle,创建并启动连接器 [2016-04-10 23:23:01,998] INFO创建的连接器oracle-connect-test(org.apache.kafka.connect.cli.ConnectStandalone:82)[2016-04-10 23:23:02,629] INFO Source任务线程[Worker...