首页 文章
  • 0 votes
     answers
     views

    KSQL的一致性

    我正在使用dotnet和ksql进行PoC . https://github.com/pablocastilla/kafkiano/ 总的想法是看看我是否可以使用KSQL实现业务逻辑 . 在示例中,我介绍了库存中的设备并从中发出订单 . 这个例子包括: 两个主要流: 库存流接收库存的添加事件 . 订单流接收产品订单 . 使用这些流我创建了两个表: 产品库存:它只是将产品添加到库存...
  • 0 votes
     answers
     views

    使用Apache Kafka查询MySQL表

    我正在尝试使用Kafka Streams来实现用例 . 我在MySQL中有两个表 - 用户和帐户 . 我正在使用Kafka MySQL连接器从MySQL获取事件到Kafka . 我需要从Kafka本身获取帐户中的所有用户ID . 所以我打算在MySQL输出主题上使用 KStream ,处理它以形成输出并将其发布到一个主题,其中Key作为account-id,值作为userIds用逗号(,)分隔 ....
  • 2 votes
     answers
     views

    是否可以从ksql流创建ksql表?

    我是ksql的新蜜蜂 . 我只是在玩溪流阅读kafka主题,它很棒 . 此外,尝试从kafka主题创建一个表并失败 . 意识到我需要在kafka主题中设置一个密钥集,它被认为是ksql表中的主键 . 所以我尝试从流中创建表,但也失败了 . 查询/脚本: CREATE TABLE DETAILS_TABLE AS SELECT SEQ, Server1, ServerId, NumberUri, S...
  • 0 votes
     answers
     views

    KSQL Steam-table部分(并且无声地)左连接无法填充值

    我正在用 table 加入一个流 . 连接的结果只是部分成功 . 某些值已准确填充,而其他值为null . 我检查以确保表和流中都存在值,并且用于连接的列是两者的关键 . 我正在使用汇编来加载使用jdbc从MSSQL中的表中读取的主题 . 然后我使用KSQL从相应的主题创建流和表,并且数据都是JSON格式 . 表中缺失数据的时间戳早于流的时间戳 . create stream casecode_c...
  • 1 votes
     answers
     views

    是否可以在Confluent KSQL查询中使用多个左连接?尝试加入超过1个表的流,如果没有,那么解决方案是什么?

    流: describe ammas; Field | Type ------------------------------------- ROWTIME | BIGINT (system) ROWKEY | VARCHAR(STRING) (system) ID | INTEGER ...
  • 0 votes
     answers
     views

    kafka stream to ktable join

    我想加入一个 KStream:从主题创建,主题具有JSON值 . 我使用值中的两个属性重新键入流 . 示例值(json的片段) . 我创建了一个自定义pojo类并使用自定义serdes . {"value":"0","time":1.540753118800291E9,,"deviceIp":"111....
  • 4 votes
     answers
     views

    KSQL - 确定何时加载表

    如何确定KSQL何时将我的数据从Kafka主题完全加载到我的表中? GOAL: 获取2个Kafka主题,加入它们并将结果写入新的Kafka主题 . EXAMPLE: 我正在使用Ksql的Rest API发出以下命令 . CREATE TABLE MyTable (A1 VARCHAR, A2 VARCHAR) WITH (kafka_topic='topicA', key='A1', value_...
  • 0 votes
     answers
     views

    KSQL:将多个子记录附加到父记录

    我正在尝试使用KSQL(作为confluent-5.0.0的一部分)从一组父记录和子记录中创建单个记录,其中每个父记录都有多个子记录(特别是付款细节和涉及的各方)在付款) . 这些父/子记录由父母的id链接 . 为了说明,我正在处理源系统中大致这种结构的记录: payment: | id | currency | amount | payment_date | |--------------...
  • 0 votes
     answers
     views

    KSQL / Kafka Stream:设置和数据的复杂性?

    上周我问过这个问题:KSQL: append multiple child records to parent record 然而,在我对这个问题的解释中,我确实简化了事情,而且我发现我有点担心现实世界中设置的复杂性 . 为了快速重申,我正在使用的数据类型是付款和参与付款的各方: payments: | id | currency | amount | payment_date | |---...
  • 0 votes
     answers
     views

    Kafka Streams窗口如何工作?

    我很难理解Windowing在Kafka Streams中是如何工作的 . 结果似乎与我到目前为止所阅读和理解的内容不一致 . 我创建了一个带有支持主题的KSQL Stream . KSQL SELECT语句中的一个“列”已被指定为该主题的TIMESTAMP . CREATE STREAM my_stream WITH (KAFKA_topic='my-stream-topic', VALUE_...

热门问题