首页 文章
  • 1 votes
     answers
     views

    无法从Apache Nifi连接到Docker中的Hadoop

    我正在尝试运行以下Apache Nifi流并将数据从Kafka放入HDFS: 我正在运行Confluent Kafka,我的Hadoop实例是Cloudera快速入门 . Cloudera Quickstart docker run --hostname=quickstart.cloudera --privileged=true -t -i -p 8888:8888 -p 7180:7180 -...
  • 8 votes
     answers
     views

    带解码器问题的 Kafka Avro Consumer

    当我尝试使用我各自的模式对数据运行Avaf 的卡夫卡消费者时,它返回错误“AvroRuntimeException:格式错误的数据。长度为负:-40”。我看到其他人有类似的问题将字节数组转换为 json,Avro 写和读和Kafka Avro Binary *编码员。我也引用了这个消费者群体示例,这些都有帮助,但到目前为止这个错误没有任何帮助..它可以工作直到这部分代码(第 73 行) 解码器解码...
  • 0 votes
     answers
     views

    如何从apache nifi在kafka主题中生成Avro消息,然后使用kafka流读取它?

    我想使用apache nifi在kafka主题中生成一些通用数据,我希望这些数据采用avro格式 . 我为它做了什么: 在架构注册表中创建新架构: {“type”:“record”,“name”:“my_schema”,“namespace”:“my_namespace”,“doc”:“”,“fields”:[{“name”:“key”,“type” :“int”},{“name”:“val...
  • 0 votes
     answers
     views

    Apache Nifi中的数据聚合

    我正在使用Apache nifi来处理来自不同资源的数据,并且我为每个数据流创建了独立的管道 . 我想将这些数据结合起来进一步处理 . 有什么方法可以聚合数据并将其写入单个文件 . 数据以Nifi中的flowfiles属性的形式出现 .
  • 3 votes
     answers
     views

    将SQL连接到apache nifi

    我是nifi的新手,我想将SQL服务器数据库连接到nifi并使用处理器创建数据流 . 我怎么能这样做,任何人都可以清楚地帮助我 . 先谢谢Sam
  • 2 votes
     answers
     views

    Apache Nifi - 在单个流中读取多个表中的数据

    我打算将Apache Nifi用于数据提取用例 . 源可以是平面文件和 Teradata 数据库,输出接收器可以是 Oracle 数据库 . 我使用 GetFile 创建了几个使用 GetFile 和Teradata数据库从平面文件读取数据的流,并使用 PutSQL 将数据加载到Oracle数据库 . 一切似乎都很好 . 我们预测未来源系统可能会发生变化,我注意到Nifi中的处理器可用于支持这些源...
  • 1 votes
     answers
     views

    NiFi SpringContextProcessor中断流程

    我在我的NiFi流程中添加了一个SpringContextProcessor,它按预期执行并更新FlowFile内容和属性 . 但是在NiFi的数据来源部分而不是看到SEND / RECEIVE,我看到了 03/27/2017 11:47:57.164 MDT RECEIVE 42fa1c3f-edde-4cb7-8e73-ce752f7e3d66 03/27/2017 11:47:57.163 ...
  • 4 votes
     answers
     views

    从InvokeHTTP POST获得响应

    新的NiFi! 我正在使用InvokeHTTP nifi处理器(以此链接为例来实现我的流程http://www.tomaszezula.com/2016/10/30/nifi-and-http-post-configuration/) . 我目前需要进行POST以便对我正在使用的服务器进行身份验证 . 我能够成功发布 . 但是,我需要能够从执行的POST的响应中获取返回的数据 . 当我查看Invo...
  • 0 votes
     answers
     views

    Nifi Flowfile进展

    我正在试图找出一个人可以做什么来查看一个流文件在http通过nifi流的位置 . 例如,假设我有一个用户可以上传文件的网页 . 我想向用户表明该文件当前正在被摄取/处理,并且可能是其所处的阶段 . 我可以利用nifi提供什么来获取这些信息?就像有没有办法看到流文件经过哪些处理器,或者它目前处于哪个处理器/队列? 谢谢
  • 2 votes
     answers
     views

    Apache Nifi:使用OAuth 2.0访问Google AnalyticsAPI

    我尝试在Apache Nifi中使用OAuth 2.0访问Google API(Google AnalyticsAPI v4) . 我使用基于此文档的服务帐户:https://developers.google.com/identity/protocols/OAuth2ServiceAccount 如果使用OAuth 2.0 for Service Account(Google API),则有一个...
  • 0 votes
     answers
     views

    头盔无法读取Chart.yaml

    我正在尝试使用helm在Kubernetes上部署Apache Nifi,但是当我执行此命令时: helm install --name test-nifi --namespace nifi ./apache-nifi-helm 我立刻得到一个错误说: Error: cannot read Chart.Yaml in directory "/home/mydir/test/apache-...
  • 2 votes
     answers
     views

    如何读取Apache NiFi中的属性值

    我正在研究一个样本NiFi流程,我将Json文件作为输入 . 我使用 EvaluateJsonPath 处理器来获取所需路径的值 . 我已将EvaluateJsonPath的目标设置为"flow-file attribute",并添加了具有所需JsonPath的新属性 . 例如:属性名称:用户名,值:$ .input.username . 现在,我将在下一个处理器中需要这个值 ...
  • 1 votes
     answers
     views

    在nifi中,如何调用在参数中询问输入文件和输出文件的外部程序

    我有一个外部程序,一个电子书转换器,将.epub转换为.txt . 这个转换器请求一个文件作为输入,另一个文件作为输出,文件名在这里很重要,因为扩展用于确定应该进行哪个转换,也是从我在测试时看到的,程序在输入文件上执行搜索 . 因此,这些禁令阻止使用命名管道或SDTIN重定向 . 对于另一个项目,或者至少是一个POC,我将必须封装一个现有的工具包,其工作方式与上面相同,并重新创建Nifi之间的工作...
  • 0 votes
     answers
     views

    Nifi:PutSolrContentStream不评估EL

    我使用值为"test"的UpdateAttribute处理器向我的流文件添加一个属性(solrCoreSuffix) . 然后,在我的PutSolrContentStream处理器中,我将Solr Location属性设置为:“http://localhost:8983/solr/mycore- $ ". I expect the Solr processor to...
  • 1 votes
     answers
     views

    更新Apache-Nifi中的Json-Attributes:Jolt

    我是Apache Nifi的新手,有以下问题:我想按如下方式转换json文件:来自: { "Property1": "x1", "Property2": "Tag_**2ABC**", "Property3": "x3", "Proper...
  • 0 votes
     answers
     views

    Apache NiFi evaluatejsonpath处理器:用于连接2个属性的JSONPath表达式

    我在NiFi中使用EvaluateJsonPath处理器来指定用于将我的JSON数据写入elasticsearch的复合主键 . 我必须通过连接两个属性来创建一个名为'key'的属性,让我们说'attr1'和'attr2' . 在EvaluateJsonPath配置中,我添加了一个值为'$ $ '的属性'key'(我使用此密钥来避免elasticsearch中的冗余) . 但我得到一个错误:'k...
  • 0 votes
     answers
     views

    Nifi validaterecord和convertrecord使用avroschemaregistry验证和转换json记录

    我需要帮助了解NiFi中 ValidateRecord 和 ConvertRecord 处理器的理解和功能 . My requirement 我有一个具有各种属性的JSON流文件内容,很少有字段是必需的,很少是可选的,也很少有字段是时间戳字段和少数双字型 . 有些字段应该具有LOV中的值 我使用了 AvroSchemaRegistry 及以下的架构定义: { "namespace...
  • 0 votes
     answers
     views

    Nifi操纵Invokehttp中的所有Json Key值

    我有一个来自InvokeHTTP的json . 我做了一个Split Json和JoltTransform来获取Key,Values,但我需要将所有Key从Camelcase更改为snakecase . 每个InvokeHttp调用我的密钥都不同 . 我已经尝试过AttributestoJson和EvaluateJsonPath以及一些替换文本,但还没有找到一种方法来动态更改键,然后合并回值而无需...
  • 0 votes
     answers
     views

    Nifi将FetchHBaseRow的输出/附加回输出到流文件

    我有一个包含10个字段的csv文件 . 我需要查找hbase以获取与其中一个csv字段对应的值 . 生成的hbase字段应附加到csv文件 . 使用Nifi,我构建了以下流程 . GenerateFlowFile(创建csv记录) - > UpdateRecord(配置的avro模式名称以读取传入的csv文件) - > ConvertRecord(已配置的CSV阅读器和JSON编写器...
  • 0 votes
     answers
     views

    NiFi - 如何通过InvokeHTTP处理器发送带有JSON的GET请求?

    我需要将以下带有JSON的GET请求发送到https://www.example.com/api/ GET /path/to/data { "abcd": [ "a1", "a2" ] } 以这种方式在URL中编码:https://www.example.com/api/path/to/data?json=%8B%0...
  • 0 votes
     answers
     views

    NiFi - 更改文件名(CSV),从传入的JSON添加属性

    我试图修改一些文件的名称,NiFi从JSON获取一个值,添加到原始文件名(例如filename.csv(原始名称)1月(提供传入JSON的名称)) . 为此,我将CSV文件重定向到updateAttribute以更改de Filename . 另一方面,我收到的JSON具有属性,该属性将成为文件名的一部分 . 在evaluateJsonPath上,配置是下一个(我正确地接收它的值): 最后我尝...
  • 4 votes
     answers
     views

    Nifi 1.6.0内存泄漏

    我们正在 生产环境 运行NiFi 1.6.0的Docker容器,并且必须遇到内存泄漏 . 一旦启动,应用程序运行正常,但是,在4-5天后,主机上的内存消耗不断增加 . 在NiFi群集UI中检查时,JVM堆大小几乎不使用大约30%,但OS级别的内存大小为80-90% . 在运行docker启动命令时,我们发现NiFi docker容器正在消耗内存 . 收集JMX指标后,我们发现RSS内存不断增长 ....
  • 2 votes
     answers
     views

    NiFi构建错误

    我正在尝试从https://github.com/apache/nifi克隆它之后构建Apache NiFi,并且它仍然无法在nifi标准处理器项目上进行测试 . 我打开了surefire-reports目录中的输出文件,然后在目录/ var / test中运行程序"cmd",因为没有这样的文件或目录 . 我第一次运行安装它只需要很少的步骤就可以完成这个操作 . 它们发布在下面...
  • 2 votes
     answers
     views

    根据NiFi中的内容更新属性

    在开发Apache NiFi cusom处理器时,如何向当前流文件添加属性 .我想要做的是将新属性(或至少更新当前属性)添加到具有计算值的当前流文件 .或者我可以使用已经构建的处理器吗?
  • 1 votes
     answers
     views

    Apache Nifi - 获取文件属性并通过自定义处理器构建json

    我正在使用自定义处理器进行csv到json转换,它将csv文件数据转换为包含数据的json对象的json数组 . 我的要求是获取文件属性,如filename,uuid,path等,并从中构造一个json . Question: 如何获取文件的相关属性并构造一个json对象,将其附加到之前构造的同一个json中 . 只是几天使用apache nifi,所以现在只需要使用自定义处理器的确切要求 .
  • 0 votes
     answers
     views

    如何为nifi-famework生成的战争文件NiFi进行Hotfix部署

    任何人都可以建议如何为nifi-famework生成的war文件进行热修复部署 . 我想作下nifi-NAR-束在nifi-Web的用户界面的一些CSS和JS的变化,并希望新的版本会自动每次我做的修改被复制,我nifi组件/目标/ ... (父目录) . 有没有办法进行自动部署,无需每次都进行maven构建,这会占用大量时间,以及每次都可以反映我的最新更改而不进行构建 我想复制 nifi-NAR-...
  • 0 votes
     answers
     views

    NiFi如何在UpdateAttribute处理器中获取更新的JSON值?

    我有以下工作流程: ConsumeKafkaData-> EvaluateJsonFlow-> UpdateRecord-> PUTFILE . 我有以下简单的JSON消息:{“name”:“Yeshwant”,“active”:false} 在EvaluateJsonPath中,我在配置中创建了一个属性“name”,该属性链接到上面json数据的“name”属性 . 在Upda...
  • 0 votes
     answers
     views

    从NiFi发布到Azure Cosmos Db

    我为我的文档创建了Azure CosmosDb数据库和容器 . 我使用NiFi作为主要数据提取工具,并希望使用NiFi流文件中的文档为我的容器提供信息 . 任何人都可以分享一种从NiFi向Azure Cosmos Db发布流文件内容的方法吗? 提前致谢
  • 1 votes
     answers
     views

    如何在Github maven项目上开始调试

    我是调试从Github克隆的代码的新手 . 但是,到现在为止,我已经完成了以下工作: 将repo克隆到我的本地机器(git clone)以及使用"sourcetree"软件 . 构建代码(mvn clean install) 能够在IDE中导入maven项目(Ecliplse,InteliiJ) 构建完成后,我能够在构建后创建的target / bin目录中启动...
  • 0 votes
     answers
     views

    NiFi:传入的流文件无法读取为Avro文件

    我刚开始使用NiFi 1.4 . 我试图通过kafka将管道分隔的消息发送到Hive . 所以我使用的是ConsumeKafkaRecord_0_10和PutHivStreaming处理器 . 消费Kafka读者将成功数据发送给PutHiveStreaming . 使用Kafka读者以avro格式编写数据,但PutHiveStreaming给出了错误 传入的流文件无法读取为Avro文件:java...

热门问题