-
0 votesanswersviews
如何使用debezium更改数据捕获在mysql中捕获数据并使用kafka connect中的jdbc接收器消耗?
我有使用debezium更改数据捕获在mysql中捕获数据并使用kafka connect jdbc sink将其消耗给另一个mysql的问题 . 因为debezium对kafka主题产生的模式和有效负载与kafka connect jdbc sink期望的模式不兼容 . 当jdbc接收器想要使用数据并在另一个mysql中创建记录时,我得到异常 . 我该如何解决这个问题? -
6 votesanswersviews
无法使用kafka elsaticserach接收器将kafka主题数据转换为结构化json
我正在使用Kafka构建数据管道 . 数据流如下:捕获mongodb中的数据更改并将其发送到elasticsearch . MongoDB的 版本3.6 分片群集 Kafka Confuent Platform 4.1.0 mongoDB源连接器:debezium 0.7.5 elasticserach水槽连接器 Elasticsearch 版本6.1.0 由于... -
-1 votesanswersviews
使用kafka容器为CDC部署debezium / postgres图像时没有开始
属于此数据库系统的文件将归用户"postgres"所有 . 此用户还必须拥有服务器进程 . 数据库集群将使用locale "en_US.utf8"进行初始化 . 因此,默认数据库编码已设置为"UTF8" . 默认文本搜索配置将设置为"english" . 数据页校验和已禁用 . initdb:无法更改目录"... -
0 votesanswersviews
Kafka与Debezium联系
我使用'Postgresql'数据库设置环境,使用'Debezium'连接器与Kafka Connect和Kafka . Kafka有多个实例(3)正在运行,并且它配置了Zookeeper(3) . 整个管道中的连接正在工作,但是根据Debezium的文档,没有根据表中的表自动创建主题 . 数据库 . 如果是某个模式中的表A和表B,我假设在Kafka中隐式创建了2个主题 . RUNNING,连... -
0 votesanswersviews
无法传输来自Kafka Debezium连接器的avro格式数据
我通过Kafka流式传输mongo oplog数据 . 我使用Debezium CDC Kafka连接器来尾随mongo oplog . Schema注册表使用AvroConverter转换器来序列化密钥和值 bootstrap.servers = localhost:9092 Kafka key.converter = io.confluent.connect.avro.AvroConvert... -
1 votesanswersviews
无法阅读Kafka主题avro消息
Debezium连接器的Kafka连接事件是Avro编码的 . 在传递给Kafka connect独立服务的connect-standalone.properties中提到了以下内容 . key.converter=io.confluent.connect.avro.AvroConverter value.confluent=io.confluent.connect.avro.AvroConver...