-
1 votesanswersviews
Ingress Controller（Traefik）与Kubernetes后端服务之间的安全通信
我试图在Traefik代理后面的Kubernetes集群中保护Nifi . 两者都在K8S中作为服务运行 . Traefik获得公共证书 . 我希望它将呼叫重定向到nifi，同时确保Traefik（作为Ingress Controller）和后端pod之间的通信：Nifi . 看起来安全配置应该在我的Ingress YAML描述符中使用 . 看起来我应该发出一个CA root来生成Nifi自签名... -
8 votesanswersviews
带解码器问题的 Kafka Avro Consumer
当我尝试使用我各自的模式对数据运行Avaf 的卡夫卡消费者时，它返回错误“AvroRuntimeException：格式错误的数据。长度为负：-40”。我看到其他人有类似的问题将字节数组转换为 json，Avro 写和读和Kafka Avro Binary *编码员。我也引用了这个消费者群体示例，这些都有帮助，但到目前为止这个错误没有任何帮助..它可以工作直到这部分代码(第 73 行) 解码器解码... -
0 votesanswersviews
如何为nifi-famework生成的战争文件NiFi进行Hotfix部署
任何人都可以建议如何为nifi-famework生成的war文件进行热修复部署 . 我想作下nifi-NAR-束在nifi-Web的用户界面的一些CSS和JS的变化，并希望新的版本会自动每次我做的修改被复制，我nifi组件/目标/ ... （父目录） . 有没有办法进行自动部署，无需每次都进行maven构建，这会占用大量时间，以及每次都可以反映我的最新更改而不进行构建 我想复制 nifi-NAR-... -
0 votesanswersviews
从NiFi发布到Azure Cosmos Db
我为我的文档创建了Azure CosmosDb数据库和容器 . 我使用NiFi作为主要数据提取工具，并希望使用NiFi流文件中的文档为我的容器提供信息 . 任何人都可以分享一种从NiFi向Azure Cosmos Db发布流文件内容的方法吗？ 提前致谢 -
4 votesanswersviews
Nifi 1.6.0内存泄漏
我们正在 生产环境 运行NiFi 1.6.0的Docker容器，并且必须遇到内存泄漏 . 一旦启动，应用程序运行正常，但是，在4-5天后，主机上的内存消耗不断增加 . 在NiFi群集UI中检查时，JVM堆大小几乎不使用大约30％，但OS级别的内存大小为80-90％ . 在运行docker启动命令时，我们发现NiFi docker容器正在消耗内存 . 收集JMX指标后，我们发现RSS内存不断增长 .... -
1 votesanswersviews
如何在Github maven项目上开始调试
我是调试从Github克隆的代码的新手 . 但是，到现在为止，我已经完成了以下工作： 将repo克隆到我的本地机器（git clone）以及使用"sourcetree"软件 . 构建代码（mvn clean install） 能够在IDE中导入maven项目（Ecliplse，InteliiJ） 构建完成后，我能够在构建后创建的target / bin目录中启动... -
1 votesanswersviews
无法从Apache Nifi连接到Docker中的Hadoop
我正在尝试运行以下Apache Nifi流并将数据从Kafka放入HDFS： 我正在运行Confluent Kafka，我的Hadoop实例是Cloudera快速入门 . Cloudera Quickstart docker run --hostname=quickstart.cloudera --privileged=true -t -i -p 8888:8888 -p 7180:7180 -... -
0 votesanswersviews
如何从apache nifi在kafka主题中生成Avro消息，然后使用kafka流读取它？
我想使用apache nifi在kafka主题中生成一些通用数据，我希望这些数据采用avro格式 . 我为它做了什么： 在架构注册表中创建新架构： {“type”：“record”，“name”：“my_schema”，“namespace”：“my_namespace”，“doc”：“”，“fields”：[{“name”：“key”，“type” ：“int”}，{“name”：“val... -
0 votesanswersviews
头盔无法读取Chart.yaml
我正在尝试使用helm在Kubernetes上部署Apache Nifi，但是当我执行此命令时： helm install --name test-nifi --namespace nifi ./apache-nifi-helm 我立刻得到一个错误说： Error: cannot read Chart.Yaml in directory "/home/mydir/test/apache-... -
2 votesanswersviews
如何读取Apache NiFi中的属性值
我正在研究一个样本NiFi流程，我将Json文件作为输入 . 我使用 EvaluateJsonPath 处理器来获取所需路径的值 . 我已将EvaluateJsonPath的目标设置为"flow-file attribute"，并添加了具有所需JsonPath的新属性 . 例如：属性名称：用户名，值：$ .input.username . 现在，我将在下一个处理器中需要这个值 ... -
1 votesanswersviews
在nifi中，如何调用在参数中询问输入文件和输出文件的外部程序
我有一个外部程序，一个电子书转换器，将.epub转换为.txt . 这个转换器请求一个文件作为输入，另一个文件作为输出，文件名在这里很重要，因为扩展用于确定应该进行哪个转换，也是从我在测试时看到的，程序在输入文件上执行搜索 . 因此，这些禁令阻止使用命名管道或SDTIN重定向 . 对于另一个项目，或者至少是一个POC，我将必须封装一个现有的工具包，其工作方式与上面相同，并重新创建Nifi之间的工作... -
0 votesanswersviews
Nifi：PutSolrContentStream不评估EL
我使用值为"test"的UpdateAttribute处理器向我的流文件添加一个属性（solrCoreSuffix） . 然后，在我的PutSolrContentStream处理器中，我将Solr Location属性设置为：“http://localhost:8983/solr/mycore- $ ". I expect the Solr processor to... -
1 votesanswersviews
更新Apache-Nifi中的Json-Attributes：Jolt
我是Apache Nifi的新手，有以下问题：我想按如下方式转换json文件：来自： { "Property1": "x1", "Property2": "Tag_**2ABC**", "Property3": "x3", "Proper... -
0 votesanswersviews
Apache NiFi evaluatejsonpath处理器：用于连接2个属性的JSONPath表达式
我在NiFi中使用EvaluateJsonPath处理器来指定用于将我的JSON数据写入elasticsearch的复合主键 . 我必须通过连接两个属性来创建一个名为'key'的属性，让我们说'attr1'和'attr2' . 在EvaluateJsonPath配置中，我添加了一个值为'$ $ '的属性'key'（我使用此密钥来避免elasticsearch中的冗余） . 但我得到一个错误：'k... -
0 votesanswersviews
Nifi validaterecord和convertrecord使用avroschemaregistry验证和转换json记录
我需要帮助了解NiFi中 ValidateRecord 和 ConvertRecord 处理器的理解和功能 . My requirement 我有一个具有各种属性的JSON流文件内容，很少有字段是必需的，很少是可选的，也很少有字段是时间戳字段和少数双字型 . 有些字段应该具有LOV中的值 我使用了 AvroSchemaRegistry 及以下的架构定义： { "namespace... -
0 votesanswersviews
Nifi操纵Invokehttp中的所有Json Key值
我有一个来自InvokeHTTP的json . 我做了一个Split Json和JoltTransform来获取Key，Values，但我需要将所有Key从Camelcase更改为snakecase . 每个InvokeHttp调用我的密钥都不同 . 我已经尝试过AttributestoJson和EvaluateJsonPath以及一些替换文本，但还没有找到一种方法来动态更改键，然后合并回值而无需... -
0 votesanswersviews
Nifi将FetchHBaseRow的输出/附加回输出到流文件
我有一个包含10个字段的csv文件 . 我需要查找hbase以获取与其中一个csv字段对应的值 . 生成的hbase字段应附加到csv文件 . 使用Nifi，我构建了以下流程 . GenerateFlowFile（创建csv记录） - > UpdateRecord（配置的avro模式名称以读取传入的csv文件） - > ConvertRecord（已配置的CSV阅读器和JSON编写器... -
0 votesanswersviews
NiFi - 如何通过InvokeHTTP处理器发送带有JSON的GET请求？
我需要将以下带有JSON的GET请求发送到https://www.example.com/api/ GET /path/to/data { "abcd": [ "a1", "a2" ] } 以这种方式在URL中编码：https://www.example.com/api/path/to/data?json=%8B%0... -
0 votesanswersviews
NiFi - 更改文件名（CSV），从传入的JSON添加属性
我试图修改一些文件的名称，NiFi从JSON获取一个值，添加到原始文件名（例如filename.csv（原始名称）1月（提供传入JSON的名称）） . 为此，我将CSV文件重定向到updateAttribute以更改de Filename . 另一方面，我收到的JSON具有属性，该属性将成为文件名的一部分 . 在evaluateJsonPath上，配置是下一个（我正确地接收它的值）： 最后我尝... -
0 votesanswersviews
Apache Nifi中的数据聚合
我正在使用Apache nifi来处理来自不同资源的数据，并且我为每个数据流创建了独立的管道 . 我想将这些数据结合起来进一步处理 . 有什么方法可以聚合数据并将其写入单个文件 . 数据以Nifi中的flowfiles属性的形式出现 . -
3 votesanswersviews
将SQL连接到apache nifi
我是nifi的新手，我想将SQL服务器数据库连接到nifi并使用处理器创建数据流 . 我怎么能这样做，任何人都可以清楚地帮助我 . 先谢谢Sam -
2 votesanswersviews
Apache Nifi - 在单个流中读取多个表中的数据
我打算将Apache Nifi用于数据提取用例 . 源可以是平面文件和 Teradata 数据库，输出接收器可以是 Oracle 数据库 . 我使用 GetFile 创建了几个使用 GetFile 和Teradata数据库从平面文件读取数据的流，并使用 PutSQL 将数据加载到Oracle数据库 . 一切似乎都很好 . 我们预测未来源系统可能会发生变化，我注意到Nifi中的处理器可用于支持这些源... -
0 votesanswersviews
NiFi：传入的流文件无法读取为Avro文件
我刚开始使用NiFi 1.4 . 我试图通过kafka将管道分隔的消息发送到Hive . 所以我使用的是ConsumeKafkaRecord_0_10和PutHivStreaming处理器 . 消费Kafka读者将成功数据发送给PutHiveStreaming . 使用Kafka读者以avro格式编写数据，但PutHiveStreaming给出了错误 传入的流文件无法读取为Avro文件：java... -
1 votesanswersviews
NiFi SpringContextProcessor中断流程
我在我的NiFi流程中添加了一个SpringContextProcessor，它按预期执行并更新FlowFile内容和属性 . 但是在NiFi的数据来源部分而不是看到SEND / RECEIVE，我看到了 03/27/2017 11:47:57.164 MDT RECEIVE 42fa1c3f-edde-4cb7-8e73-ce752f7e3d66 03/27/2017 11:47:57.163 ... -
4 votesanswersviews
从InvokeHTTP POST获得响应
新的NiFi！ 我正在使用InvokeHTTP nifi处理器（以此链接为例来实现我的流程http://www.tomaszezula.com/2016/10/30/nifi-and-http-post-configuration/） . 我目前需要进行POST以便对我正在使用的服务器进行身份验证 . 我能够成功发布 . 但是，我需要能够从执行的POST的响应中获取返回的数据 . 当我查看Invo... -
0 votesanswersviews
Nifi Flowfile进展
我正在试图找出一个人可以做什么来查看一个流文件在http通过nifi流的位置 . 例如，假设我有一个用户可以上传文件的网页 . 我想向用户表明该文件当前正在被摄取/处理，并且可能是其所处的阶段 . 我可以利用nifi提供什么来获取这些信息？就像有没有办法看到流文件经过哪些处理器，或者它目前处于哪个处理器/队列？ 谢谢 -
2 votesanswersviews
NiFi构建错误
我正在尝试从https://github.com/apache/nifi克隆它之后构建Apache NiFi，并且它仍然无法在nifi标准处理器项目上进行测试 . 我打开了surefire-reports目录中的输出文件，然后在目录/ var / test中运行程序"cmd"，因为没有这样的文件或目录 . 我第一次运行安装它只需要很少的步骤就可以完成这个操作 . 它们发布在下面... -
2 votesanswersviews
Apache Nifi：使用OAuth 2.0访问Google AnalyticsAPI
我尝试在Apache Nifi中使用OAuth 2.0访问Google API（Google AnalyticsAPI v4） . 我使用基于此文档的服务帐户：https://developers.google.com/identity/protocols/OAuth2ServiceAccount 如果使用OAuth 2.0 for Service Account（Google API），则有一个... -
1 votesanswersviews
带Hive的NiFi PutHiveStreaming处理器：连接到EndPoint失败
有人会在Nifi 1.3.0和Hive上帮助解决这个问题 . 我得到了与hive 1.2和Hive 2.1.1相同的错误 . 配置单元格是 partioned ， bucketed 并存储为 ORC 格式 . The partition is created on hdfs but data failed on writing stage . 请检查日志如下： [5:07 AM] papesdi... -
0 votesanswersviews
Apache Nifi：如何使用Nifi处理器将字符串（text / plain）转换为JSON类型？
请引导我使用适当的Nifi处理器组件将字符串转换为json的正确组件 . Input是一个内容类型为text / plain的字符串 { productName : "tv", locationName: " chennai"} EvaluateJsonPath的输出仍然与我无法根据json路径评估json属性相同，因为输入的内容类型错误 . { pr...