首页 文章
  • 2 votes
     answers
     views

    NiFi构建错误

    我正在尝试从https://github.com/apache/nifi克隆它之后构建Apache NiFi,并且它仍然无法在nifi标准处理器项目上进行测试 . 我打开了surefire-reports目录中的输出文件,然后在目录/ var / test中运行程序"cmd",因为没有这样的文件或目录 . 我第一次运行安装它只需要很少的步骤就可以完成这个操作 . 它们发布在下面...
  • 0 votes
     answers
     views

    NiFi:传入的流文件无法读取为Avro文件

    我刚开始使用NiFi 1.4 . 我试图通过kafka将管道分隔的消息发送到Hive . 所以我使用的是ConsumeKafkaRecord_0_10和PutHivStreaming处理器 . 消费Kafka读者将成功数据发送给PutHiveStreaming . 使用Kafka读者以avro格式编写数据,但PutHiveStreaming给出了错误 传入的流文件无法读取为Avro文件:java...
  • 1 votes
     answers
     views

    带Hive的NiFi PutHiveStreaming处理器:连接到EndPoint失败

    有人会在Nifi 1.3.0和Hive上帮助解决这个问题 . 我得到了与hive 1.2和Hive 2.1.1相同的错误 . 配置单元格是 partioned , bucketed 并存储为 ORC 格式 . The partition is created on hdfs but data failed on writing stage . 请检查日志如下: [5:07 AM] papesdi...
  • 1 votes
     answers
     views

    如何在Github maven项目上开始调试

    我是调试从Github克隆的代码的新手 . 但是,到现在为止,我已经完成了以下工作: 将repo克隆到我的本地机器(git clone)以及使用"sourcetree"软件 . 构建代码(mvn clean install) 能够在IDE中导入maven项目(Ecliplse,InteliiJ) 构建完成后,我能够在构建后创建的target / bin目录中启动...
  • 2 votes
     answers
     views

    Apache Nifi:使用OAuth 2.0访问Google AnalyticsAPI

    我尝试在Apache Nifi中使用OAuth 2.0访问Google API(Google AnalyticsAPI v4) . 我使用基于此文档的服务帐户:https://developers.google.com/identity/protocols/OAuth2ServiceAccount 如果使用OAuth 2.0 for Service Account(Google API),则有一个...
  • 0 votes
     answers
     views

    如何在NiFi中使用计数器的 Value

    在NiFi 1.3.0中,我创建了一个流程来拆分JSON文件并使用名称 filenamecounter 更新计数器,以便我可以将每个拆分保存到不同的文件名中 . 我看到当我查看NiFi计数器窗格时,计数器值会更新 . 但是如何获取此值? 我尝试使用计数器名称和计数器属性设置属性 . 像 ${filenamecounter} 和 ${filenamecounter.counter} 但不成功 .
  • 2 votes
     answers
     views

    根据NiFi中的内容更新属性

    在开发Apache NiFi cusom处理器时,如何向当前流文件添加属性 .我想要做的是将新属性(或至少更新当前属性)添加到具有计算值的当前流文件 .或者我可以使用已经构建的处理器吗?
  • 1 votes
     answers
     views

    Apache Nifi - 获取文件属性并通过自定义处理器构建json

    我正在使用自定义处理器进行csv到json转换,它将csv文件数据转换为包含数据的json对象的json数组 . 我的要求是获取文件属性,如filename,uuid,path等,并从中构造一个json . Question: 如何获取文件的相关属性并构造一个json对象,将其附加到之前构造的同一个json中 . 只是几天使用apache nifi,所以现在只需要使用自定义处理器的确切要求 .
  • 3 votes
     answers
     views

    NiFi SplitJSON和ExecuteSQL

    在NiFi流程中,我想读取JSON结构,拆分它,使用有效负载执行SQL查询,最后将每个结果输出到JSON文件中 . 但是,我在检索 ExecuteSQL 处理器中拆分的FlowFile属性的值时遇到问题 . GenerateFlowFile 处理器,JSON结构为 Custom Text SplitJSON ,将数据作为要拆分的属性 ExecuteSQL ,带有我正在尝试执行的查询...
  • 0 votes
     answers
     views

    Apache Nifi:如何使用Nifi处理器将字符串(text / plain)转换为JSON类型?

    请引导我使用适当的Nifi处理器组件将字符串转换为json的正确组件 . Input是一个内容类型为text / plain的字符串 { productName : "tv", locationName: " chennai"} EvaluateJsonPath的输出仍然与我无法根据json路径评估json属性相同,因为输入的内容类型错误 . { pr...
  • 2 votes
     answers
     views

    Apache nifi evaluateJsonPath splitJson

    使用ConvertRecord处理器,我已将csv文本文件转换为json文件,如下所示: [ {"A":1001,"B":"20170101","C":0.3}, {"A":1001,"B":"20170102","C":0....
  • 2 votes
     answers
     views

    使用外部文件配置NiFi处理器

    我正在使用NiFi链接几个API调用 . 通过在外部配置文件中设置API密钥/ endpoints (例如JSON,甚至是 nifi.properties 文件),我可以使我的流程更易于配置 . 如何在处理器的属性中使用此配置文件中的信息? 先感谢您!
  • 0 votes
     answers
     views

    如何抓取文件upto putfile完成?

    我在PutFile之后使用FetchFile处理器 . 因为我使用带有'append'的Putfile作为冲突解决策略来将类似的行合并到特定文件 . 总的来说,将近200个成功状态发送到fetchfile处理器,只有5个完全附加的文件 . 这导致带有deletefile选项的fetch文件导致找不到剩余195成功状态的文件 . 我想在对类似的流文件进行分组后,仅针对特定文件名发送一次成功 . 由于...
  • 1 votes
     answers
     views

    来自KafkaConsumer的NiFi Flowfile属性

    我一直在尝试从Spark Streaming中的Kafka消息访问NiFi Flowfile属性 . 我使用Java作为语言 . 场景是NiFI使用GetSFTP处理器从FTP位置读取二进制文件,并使用publishKafka处理器将byte []消息发布到Kafka . 这些byte []属性使用Spark Streaming作业转换为ASCII数据,这些解码的ASCII写入Kafka进行进一步...
  • 1 votes
     answers
     views

    Nifi:如何避免复制部分写入的文件

    我正在尝试使用Nifi从SFTP服务器获取文件 . 文件可能很大,所以我的问题是如何避免在编写文件时获取文件 . 我打算使用ListSFTP FetchSFTP,但如果可以避免复制部分写入的文件,也可以使用GetSFTP . 谢谢
  • -2 votes
     answers
     views

    如何在apache NIFI中将文本文件转换为avro

    我们试图在Nifi中使用ConvertCSVToAvro将文本文件(逗号分隔)转换为avro,但输出是ConvertCSVToAvro处理器的文本文件 .
  • 0 votes
     answers
     views

    从NIFI调用extern REST服务

    我需要配置一个NIFI流,调用在远程服务器上构建的jenkins . curl命令可以在我的nifi主机的cmd行中正常工作 curl "http://sktpprdjci01.ccta.dk/jenkins/job/prod-jobs-batch/job/testModel02_batch/buildWithParameters?token=8eabad81fd14bb3f0e8a&...
  • 1 votes
     answers
     views

    使用Docker时如何在集群NiFi中外部化授权和用户文件?

    我正在运行一个安全的NiFi集群,其中每个NiFi节点都在Docker容器中运行 . 我需要外部化用户和策略的状态,所以基本上这两个文件: authorizations.xml users.xml 做这个的最好方式是什么? 在非集群环境中对我来说很好的一种天真的方法是在Docker容器中安装外部卷并将authorizations.xml,users.xml文件放在那里 . 通过这种方法...
  • 2 votes
     answers
     views

    将unix时间戳属性转换为正常日期

    我的Apache Nifi模板中的转换unix timestamp属性有问题 . FlowFile :ListenTCP组件侦听传入的Squid日志 . 然后,UpdateAttribute组件将相应的schema.name分配给适当的模式 . 随后ConvertRecord部件,从所述格式转换文件以CSV(在部件GrokReader / RecordWriter的/ CSVRecordSetWr...
  • 0 votes
     answers
     views

    在NiFi中将流文件的文件名附加到CSV文件

    首先,我使用listFile处理器列出特定 Map 中的所有文件 . 然后,我想在NiFi中将$ 的流文件追加到extern文件example.csv中 . 我曾考虑过使用Python的ExecuteScript,但不知道如何使用 . 我尝试了以下方法: 使用两个列表处理器,一个用于映射,另一个用于example.csv文件 . replaceText处理器将文本替换为 ${filename} ...
  • 0 votes
     answers
     views

    NiFi:无法从外部属性文件中读取表达式语言变量

    我试图将硬编码值外部化到属性文件中,并在我的nifi工作流程中使用表达式语言语法 . 我用以下内容更新了nifi.properties nifi.variable.registry.properties=/opt/nifi/config/nifi_variables_dev.properties prop文件中的一个条目是 zookeeper.url=192.168.134.120:2181 ...
  • 0 votes
     answers
     views

    NiFi定制处理器表达语言

    我正在尝试在Apache NiFi中创建一个自定义处理器,它可以将属性/字符串添加到流文件内容中的JSON对象 . 目前它只是在我使用字符串时工作,但是当我使用NiFi的表达式语言时它不起作用,尽管我的代码支持它 . 表达式语言100%正确,因为它在另一个处理器中工作,我也尝试了不同的属性,以确保它不是属性 . property : public static final PropertyDesc...
  • 0 votes
     answers
     views

    Nifi表达语言if else语句

    我有一个用例,我在我的流文件中有两个属性,在我的fetchdistributedcachemap处理器中,我需要测试 if uuid is empty then use device_id 他们是否有任何方式在nifi表达式语言中执行此操作?或者我是否需要执行updateAttribute?
  • 0 votes
     answers
     views

    访问队列属性?

    我有许多GenerateTableFetch处理器,它们将Flowfiles发送到下游的UpdateAttributes处理器 . 从UpdateAttributes,Flowfile传递给ExecuteSQL处理器: 是否有任何方法可以将一个属性添加到队列中的流文件中,并将该文件放在队列中?例如,在重置/清除GenerateTableFetch的状态后,我想知道这是否是来自GenerateTa...
  • 0 votes
     answers
     views

    Nifi QueryDatabaseTable处理器,何时会重置该值?

    根据下面提到的文档,似乎我将重新启动处理器,它将重置我提供的最大列值的值,并将从头开始获取数据 . Document Link: https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-standard-nar/1.5.0/org.apache.nifi.processors.standard.QueryDat...
  • 6 votes
     answers
     views

    NIFI - Dev to Test to Prod

    我们正在努力寻找更新处理器配置的最佳方法,因为流程通过开发,测试和产品阶段进行 . 当流被部署到特定环境时,我们真的希望避免在处理器中操纵主机,端口等引用 . 至少在我们的例子中,我们将为ElasticSearch,PostGres等提供不同的主机 . 其他人如何处理这个? 我们考虑过的事情: 使用表达式语言从属性文件中提取配置 . 这对于启用了EL的处理器非常有用,但对于没有启用EL的处理器...
  • 3 votes
     answers
     views

    Apache Nifi ExecuteSQL处理器

    我正在尝试使用ExecuteSQL处理器从oracle数据库中获取数据 . 我有一些查询,比如我的oracle数据库中有15条记录 . 当我运行ExecuteSQL处理器时,它将作为流处理连续运行并将整个记录存储为HDFS中的单个文件并重复执行相同操作 . 因此,hdfs位置中将有许多文件将从oracle db获取已经获取的记录,这些文件包含相同的数据 . 如何使这个处理器在这样的数据库中运行它必...
  • -1 votes
     answers
     views

    Apache NiFi RouteText,配置为'route to matched…'但标记为无效(“必须是要匹配的动态属性”)

    我正在尝试使用RouteText处理器(在Apache NiFi中)提取CSV文件的内容以转换为JSON;我已经正确配置了RouteText处理器(我相信),“如果行符合所有条件,则路由匹配”,并且我已将“匹配”关系附加到下游处理器 . 但处理器不会运行:它被标记为“动态属性无效,因为为了路由文本,必须有动态属性来匹配” . 据我所知(https://nifi.apache.org/docs/ni...
  • 5 votes
     answers
     views

    Apache NiFi:转换JSONtoSQL(Oracle数据库)

    我想通过使用ConvertJSONtoSQL处理器将我的JSON字符串转换为SQL语句 . 示例:JSON字符串 - {"cpuwait":"0.0","servernamee":"mywindows","cpusys":"5.3","cpuidle":&qu...
  • 1 votes
     answers
     views

    在Apache NiFi中支持JSON Jolt中的concat

    使用Apache NiFi我想基于两个其他字段的串联为JSON流文件中的所有元素添加一个新字段 . 我正在尝试使用 JoltTransformJSON 处理器,但是,我想使用的Jolt变换可以正常使用在线tools但在NiFi中不起作用 . 我怀疑版本问题,但我的Jolt规范可能有些愚蠢 . 输入JSON看起来像这样...... [ { "id": 485842, ...

热门问题