首页 文章

如何提取Kafka Streams中消息中嵌入的时间戳

提问于
浏览
1

我想提取嵌入每条消息的时间戳,并将它们作为json有效负载发送到我的数据库中 .

我想获得以下三个时间戳 .

Event-time: The point in time when an event or data record occurred, i.e. was originally created “by the source”.

Processing-time: The point in time when the event or data record happens to be processed by the stream processing application, i.e. when the record is being consumed.

Ingestion-time: The point in time when an event or data record is stored in a topic partition by a Kafka broker.

这是我的流应用程序代码:

Properties props = new Properties();

props.put(StreamsConfig.APPLICATION_ID_CONFIG, "streams-pipe");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, BROKER_URL + ":9092"); // pass from env localhost:9092 ,BROKER_URL + ":9092"
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

final StreamsBuilder builder = new StreamsBuilder();

KStream<String, String> source_o365_user_activity = builder.stream("o365_user_activity");

source_o365_user_activity.flatMapValues(new ValueMapper<String, Iterable<String>>() {
    @Override
    public Iterable<String> apply(String value) {
        System.out.println("========> o365_user_activity_by_date Log:     " + value);
        ArrayList<String> keywords = new ArrayList<String>();
        try {
            JSONObject send = new JSONObject();
            JSONObject received = new JSONObject(value);

            send.put("current_date", getCurrentDate().toString()); // UTC TIME
            send.put("activity_time", received.get("CreationTime")); // CONSTANTS FINAL STATIC(Topic Names, Cassandra keys)
            send.put("user_id", received.get("UserId"));
            send.put("operation", received.get("Operation"));
            send.put("workload", received.get("Workload"));
            keywords.add(send.toString());

        } catch (Exception e) {
            // TODO: handle exception
            System.err.println("Unable to convert to json");
            e.printStackTrace();
        }

        return keywords;
    }
}).to("o365_user_activity_by_date");

在代码中,我只是获取每条记录,对其进行一些流处理并将其发送到不同的主题 .

现在我要将每条记录发送到有效负载中的 Event-timeProcessing-timeIngestion-time .

我查看了 FailOnInvalidTimestampWallclockTimestampExtractor ,但我对如何使用它感到困惑 .

请指导我如何实现这一目标 .

1 回答

  • 3

    Timestamp 提取器只能为您提供一个时间戳 - 此时间戳用于基于时间的操作,如窗口聚合或连接 . 看来你没有做任何基于时间的计算思想,因此,从计算的角度来看它并不重要 .

    请注意,记录只有一个元数据时间戳字段 . 此时间戳字段可用于存储可由 生产环境 者设置的事件时间戳 . 作为替代方案,您可以让代理使用代理提取时间覆盖 生产环境 者提供的时间戳 . 这是一个主题配置 .

    要访问记录元数据时间戳(独立于事件时间或摄取时间),默认时间戳提取器会为您提供此时间戳 . 如果要在应用程序中访问它,则需要使用Processor API,即在您的情况下使用 .transform() 而不是 .flatMap 运算符 . 您的 Transformer 将使用 context 对象进行初始化,该对象允许您访问提取的时间戳 .

    由于记录只能存储一个元数据时间戳,并且您希望将其用于代理提取时间,因此上游 生产环境 者必须将事件时间戳直接放入有效负载中 .

    对于处理时间,只需按照代码段中的指示进行系统调用 .

相关问题