-
1 votesanswersviews
Apache Nifi HBASE查找
我是Apache Nifi的新手 我们创建了Nifi流，它正在消耗来自kafka的json数据，并且在富集之后将结果发送到另一个kafka主题 . 但是HBase查找不返回key的值 . 相反，它返回键，值对，如 MapRecord[{SERIAL_NUM=123456789}] . 但我只要求值为'123456789' . 我无法解决这个问题 . 任何人都可以帮我这个话题吗？ 我正在分享我的流... -
0 votesanswersviews
用于图形数据库（Neo4j）插入的Spark UDF优化
这是我发布的第一个问题，如果我错过了一些信息和平庸的格式，请道歉 . 我可以根据需要更新 . 我会尽量添加尽可能多的细节 . 我有一个不太优化的Spark Job，它将RDBMS数据转换为Neo4j中的图形节点和关系 . 去做这个 . 以下是我遵循的步骤： 使用spark sql和join创建一个非规范化的数据帧'data' . 'data'中的foreach行运行graphInsert函... -
1 votesanswersviews
使用NiFi将数据加载到Hive的最佳方法是什么？
我已经开始使用NiFi了 . 我正在研究一个用例来将数据加载到Hive中 . 我得到一个CSV文件，然后我使用SplitText将传入的流文件拆分为多个流文件（按记录拆分记录） . 然后我使用ConvertToAvro将拆分的CSV文件转换为AVRO文件 . 之后，我将AVRO文件放入HDFS目录中，并使用ReplaceText PutHiveQL处理器触发“LOAD DATA”命令 . 我正在按...