我想提取嵌入每条消息的时间戳,并将它们作为json有效负载发送到我的数据库中 .
我想获得以下三个时间戳 .
Event-time: The point in time when an event or data record occurred, i.e. was originally created “by the source”.
Processing-time: The point in time when the event or data record happens to be processed by the stream processing application, i.e. when the record is being consumed.
Ingestion-time: The point in time when an event or data record is stored in a topic partition by a Kafka broker.
这是我的流应用程序代码:
Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "streams-pipe");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, BROKER_URL + ":9092"); // pass from env localhost:9092 ,BROKER_URL + ":9092"
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());
final StreamsBuilder builder = new StreamsBuilder();
KStream<String, String> source_o365_user_activity = builder.stream("o365_user_activity");
source_o365_user_activity.flatMapValues(new ValueMapper<String, Iterable<String>>() {
@Override
public Iterable<String> apply(String value) {
System.out.println("========> o365_user_activity_by_date Log: " + value);
ArrayList<String> keywords = new ArrayList<String>();
try {
JSONObject send = new JSONObject();
JSONObject received = new JSONObject(value);
send.put("current_date", getCurrentDate().toString()); // UTC TIME
send.put("activity_time", received.get("CreationTime")); // CONSTANTS FINAL STATIC(Topic Names, Cassandra keys)
send.put("user_id", received.get("UserId"));
send.put("operation", received.get("Operation"));
send.put("workload", received.get("Workload"));
keywords.add(send.toString());
} catch (Exception e) {
// TODO: handle exception
System.err.println("Unable to convert to json");
e.printStackTrace();
}
return keywords;
}
}).to("o365_user_activity_by_date");
在代码中,我只是获取每条记录,对其进行一些流处理并将其发送到不同的主题 .
现在我要将每条记录发送到有效负载中的 Event-time
, Processing-time
和 Ingestion-time
.
我查看了 FailOnInvalidTimestamp
和 WallclockTimestampExtractor
,但我对如何使用它感到困惑 .
请指导我如何实现这一目标 .
1 回答
Timestamp
提取器只能为您提供一个时间戳 - 此时间戳用于基于时间的操作,如窗口聚合或连接 . 看来你没有做任何基于时间的计算思想,因此,从计算的角度来看它并不重要 .请注意,记录只有一个元数据时间戳字段 . 此时间戳字段可用于存储可由 生产环境 者设置的事件时间戳 . 作为替代方案,您可以让代理使用代理提取时间覆盖 生产环境 者提供的时间戳 . 这是一个主题配置 .
要访问记录元数据时间戳(独立于事件时间或摄取时间),默认时间戳提取器会为您提供此时间戳 . 如果要在应用程序中访问它,则需要使用Processor API,即在您的情况下使用
.transform()
而不是.flatMap
运算符 . 您的Transformer
将使用context
对象进行初始化,该对象允许您访问提取的时间戳 .由于记录只能存储一个元数据时间戳,并且您希望将其用于代理提取时间,因此上游 生产环境 者必须将事件时间戳直接放入有效负载中 .
对于处理时间,只需按照代码段中的指示进行系统调用 .