首页 文章
  • 0 votes
     answers
     views

    如何使用odbc for filemaker将数据从filemaker pro移动到microsoft sql server studio

    我的客户端已经在FileMaker pro中维护了数据库,现在我必须将这个数据库移动到另一个Salesforce数据库,他们为我提供了FileMaker Pro的ODBC,我想以excel或csv格式导出完整的数据Filemaker来插入它在salesforce中 . 我可以从SQL Server导出Excel中的数据,因此我可以使用给定的odbc从我的文件制作者获取数据到我的SQL Server...
  • 1 votes
     answers
     views

    tbigqueryinput Talend limit error

    每当我从Bigquery表中获取指定超过100000条记录的数据时,它就会给我以下错误 运行查询:SELECT action_payout FROM [FreeBStaging.fb_appreporting] LIMIT 1000000组件中的异常tBigQueryInput_1 com.google.api.client.googleapis.json.GoogleJsonResponseE...
  • 0 votes
     answers
     views

    在ETL作业中用作中间数据源的用途是什么?

    我正在创建一个使用各种源的ETL管道,并将数据发送到Big Query . 对于我的用例,Talend无法在一个作业中处理关系数据库组件和非关系数据库组件,所以这就是我目前的工作方式: JOB 1 - 从源(SQL Server,API等)获取数据,对其进行转换并将转换后的数据存储在分隔文件(text或csv)中作业1 - 使用JOB 1中分隔文件中存储的转换数据作为源和然后根据大查询对其进行...
  • 0 votes
     answers
     views

    确定在CLoud上的OLTP(DB)内部部署和OLAP / Analytics平台之间传输数据的网络带宽

    我希望在 Cloud 端(AWS或Azure)上为我的OLTP数据库运行分析 . 因此我想在下面提供帮助; 我可以使用哪些ETL工具(例如Talend) 我需要考虑数据传输的网络带宽 . 是否有任何最佳实践来实现这种混合架构 . 非常感谢..!
  • 3 votes
     answers
     views

    使用API的ETL /数据仓库方法

    我有大约20个不同的数据源,所有小应用程序都有API(一些肥皂和一些休息) . 我需要将所有这些数据组合起来,将其转换并将数据存储到数据仓库中 . 我正在考虑Azure SQL数据库 . 但是,我不确定我可以用什么工具来实际获取API和数据 . 每个数据源在一天内可以进行连接方面存在限制,并且大多数这些AP需要运行多个API来获取数据 . 我查看了Azure数据工厂----它不支持我看过Logic...
  • 1 votes
     answers
     views

    Can(Open Studio)Talend可用于自动从文件夹到vertica的数据加载吗?

    我一直在寻找一种方法来自动将数据加载到vertica而不是每次手动导出平面文件,并偶然发现了ETL Talend . 我一直在使用包含多个csv文件的测试文件夹,并且我正在尝试找到一种构建作业的方法,以便将文件放入vertica . 但是,我在open studio版本(免费)中看到,如果您的文件没有相同的模式,那么如果没有企业版中的动态模式选项,这几乎是不可能的 . 我从tFileList开始并...
  • 0 votes
     answers
     views

    将excel文件作为资源导入Talend

    我'm new with Talend. I'已经有一个带有 Headers 行和过滤器的excel文件 . 我的工作将此文件复制到工作目录( tFile_copy ),然后使用从数据库中选择的数据填充文件 . 然后它通过邮件发送结果文件 . 一切正常,但我想将我的“模板”excel文件存储到我的Talend项目中,以便将其放入svn并在几个月后再次需要此工作时轻松找到它 . “导入项目”菜单不允...
  • 0 votes
     answers
     views

    将转换加载提取到MySql中

    我基本上是从微软背景上为SSL寻求项目的SSIS工作 . 现在我手头有另一个项目来处理将.csv文件加载到MySql数据库中 . 在加载这些表的过程中,数据必须经历一些转换然后进入目标表 . 这是ETL项目的大部分内容 . Client doesn't have SSIS (BIDS) and am compelled to use open source tools. 我做了一些研究,发现 Ta...
  • 6 votes
     answers
     views

    tOracleOutput组件中的Talend ETL作业错误

    我是TalendETL的新手,我正在使用Talend Open Studio for Big Data 5.4.1版 . 我开发了一个简单的Talend ETL作业,它从csv文件中获取数据并将数据插入到我的本地Oracle数据库中 . 以下是我的包的样子: 作业在csv文件的最后一条记录之后返回 ArrayIndexOutOfBounds 的异常 . 但我不确定为什么它应该首先归还?我查看了此...
  • 1 votes
     answers
     views

    Talend:使用Google Spreadsheets作为输入和输出

    我正在使用Talend进行多项ETL工作 . 主要关注于将本地Excel文件中定义的数据插入和更新到Salesforce . Excel和Salesforce大量用作输入和输出连接 . 这就像一个魅力! 现在我需要使用 Google Spreadsheets 作为数据输入/输出而不是Excel . 只需手动下载Excel就不够好了 . 原因:我需要一个高速重复的过程,双向执行数千次 . 上传/下...
  • 0 votes
     answers
     views

    错误:无法并行更新分发列的更新声明

    尝试使用talend ETL服务器从源(MSSQLSERVER)到目标(greenplum数据库)复制数据时 . 描述:对GreenPlum执行UPDATE语句时,抛出上述错误 . GIVEN 获取目标的记录数量约为30万 Update is failing with error ERROR: CANNOT PARALLELIZE AN UPDATE STATEMENT THAT UPDATES ...
  • 2 votes
     answers
     views

    一次又一次地查询数据库或一次性将所有数据存储在文件中并查询文件?

    我正在制作一组Talend作业,我将根据作业的需要以不同方式查询同一组表 . 这些表很大 . 如果在运行作业之前我查询所有表并从数据库中获取所有数据并将它们存储在一个文件中,然后将这些文件用于Talend作业中的各种查询,那会不会很好这些文件将存储在将运行作业的同一位置,而DB服务器将位于其他位置 . 如果我没有错,那么DBs本身就会实现某种缓存和索引,以便更快地进行查询和优化 . 那么,是否值得...
  • 0 votes
     answers
     views

    Talend中的数据库查找

    在我的工作中,我将数据从Excel复制到SQL表 . 为了保持外键约束,我必须在复制数据之前进行查找 . 任务就是这样 . 我必须复制Table2中的数据(id键值) . 我的Excel工作表包含id和keys列的数据 . 表1有两列id和value . 对于值列的数据,我想查看Table1的相应条目,其中包含Table2中当前记录的id . 我必须将Table1的value列中的数据复制到Tab...
  • -2 votes
     answers
     views

    如何在Talend Java中将带小数的String转换为BigDecimal并保留小数?

    我正在Talend中创建一个Job,使用来自数据库的一些数据转换来自.csv文件的数据,然后合并到另一个.csv文件中 . 在转换期间,需要对值执行一些计算: value1 / value2 * value3 Value1取自.csv文件,默认情况下是表示金额f.e的String . “15.25” 值2和3取自数据库,是BigDecimals,带有4个小数位 . 计算结果必须四舍五入到小...

热门问题