-
2 votesanswersviews
Oracle转储文件表数据提取到文件（原始exp格式）
我有使用原始exp（不是expdp）创建的Oracle转储文件（EXPORT：V10.02.01，Oracle 10g） . 它们仅包含四个表的表数据 . 1）我想将表数据提取到文件（平面/固定宽度，CVS或其他文本文件）中，而不将它们导入另一个Oracle DB . [优选的] 2）或者，我需要一个可以将它们导入普通用户（而不是SYSDBA）的解决方案，以便我可以使用其他工具来提取数据 . 我... -
0 votesanswersviews
Druid.io：通过Kafka（Druid Kafka索引服务）的流更新/覆盖现有数据
我正在使用 Druid Kafka indexing service从Kafka加载流 . 但是我上传的数据总是被更改，所以我需要重新加载它，并且如果数据已经加载则避免重复和冲突 . 我在德鲁伊研究关于Updating Existing Data的文档 . 但有关Hadoop Batch Ingestion的所有信息，Lookups . 是否有可能在Kafka流期间更新现有的德鲁伊数据？ 换句话... -
1 votesanswersviews
oledb目的地中的主键冲突问题
我创建了一个包含一个执行任务和一个dft的ssis包 . 在executionql任务中，我只是截断目标表数据，在dft内部，我从oledbsource插入记录，这是目标sql server上同一结构表中的一个表 . 执行此包时，存在主键冲突错误 . 表源和目标具有相同的主键，并且我在插入之前截断整个表 . 我可以在这种情况下检查.Executesql在我执行没有dft的情况下截断数据并检查表中的... -
1 votesanswersviews
SSIS：Unicode数据是列的奇数字节大小应该是偶数字节大小
我正在运行一个SSIS包，将数据从一个SQL服务器提取到其他SQL Server . 源表和目标表具有相同的架构 . 其中一列是nvarchar（max）数据类型 . 当我试图插入数据时 - 它给了我nvarchar（max）类型列的跟随错误 - 错误：SSIS错误代码DTS_E_OLEDBERROR . 发生OLE DB错误 . 错误代码：0x80004005 . OLE DB记录可用 . ... -
2 votesanswersviews
SSIS - 派生列 - 子串/ Charindex - 语句时的情况
我有这个SQL代码： Select [Name] = case when CHARINDEX(''.'', [Name])>0 then LEFT([Name],CHARINDEX(''.'', [Name])-1) else [Name] end, [System] =... -
3 votesanswersviews
使用SSIS以不同方式填充从CSV到表的日期列
我有CSV文件 **date column** 06/04/1999 06/04/2000 . . .06/04/2017 我只是使用SSIS将此文件从Csv文件加载到数据库表 平面文件源到OLEDB目标 其中date列绝对是DT_STR，SQL表日期列是varchar（50） 但是当我加载时，它的行为会有所不同 **date column** 06/04/1999 06/0... -
0 votesanswersviews
SSIS连接管理器不存在
我通过SSIS中的任务脚本创建了一个数据库 . 当我稍后尝试通过Connection Manager连接到该数据库时，我被告知Connection Manager不存在 . 数据库在服务器中 . 在脚本中创建新数据库后，如何 Build 与数据库的连接以加载数据？ 错误：连接“Data Source = ..; Initial Catalog = 8888888; Provider = SQ... -
2 votesanswersviews
脚本任务填充：尚未初始化SelectCommand.Connection属性
尝试使用SSIS连接到TSQL数据库时，我收到以下错误，以便将数据导出到Excel文件 . System.InvalidOperationException：Fill：SelectCommand.Connection属性尚未初始化 . 在System.Data.Common.DbDataAdapter.GetConnection3（DbDataAdapter的适配器，IDbCommand的命令，... -
-2 votesanswersviews
如果在ETL测试中源和目标不同，如何验证数据 . 除了使用excel表进行比较之外，请告诉我
如果在ETL测试中源和目标不同，如何验证数据 . 除了使用excel表进行比较之外，请告诉我 如果我们使用相同的数据库MINUS.Lets说源是Oracle，目标是Db2 . 我们如何测试这个？请建议是否有任何自动脚本或其他任何比较 -
5 votesanswersviews
如何将数据从Glue移动到Dynamodb
我们正在为我们的仪表板应用程序设计大数据解决方案，并认真考虑Glue用于我们的初始ETL . 目前Glue支持JDBC和S3作为目标，但我们的下游服务和组件将更好地与dynamodb一起使用 . 我们想知道什么是最终将记录从Glue转移到Dynamo的最佳方法 . 我们应该首先写入S3然后运行lambdas将数据插入Dynamo吗？这是最好的做法吗？或者我们是否应该为Dynamodb使用第三方JD... -
3 votesanswersviews
SSIS：截断Excel目标
我正在创建一个SSIS包，它将数据从 SQL Server Source 推送到 Excel Destination . 如何在运行之前截断电子表格？我尝试了以下方式（使用 Execute SQL Task 但没有成功 . -
1 votesanswersviews
SSIS行每批表达式
是否可以通过表达式设置“每批次行”和“最大插入提交大小”？即，以便它们可以由配置表驱动？我知道缓冲区大小可以，但我找不到这两个属性的任何东西 . -
2 votesanswersviews
使用SSIS或类似技术加载一个巨大的列
我需要从SQL-Server-2012源加载一个表，它有一个 varchar(max) 列，该列很大 . 表中该列的总大小约为 2.02 TB ，表大小为 3.5 TB . 加载这样一个具有如此大的列的表的最佳方法是什么？我必须在每日增量负载之后进行初始加载 . 谢谢， -
1 votesanswersviews
加载到Fact Table中
我有四个维度表（ Headers ，出版商，商店，期间），我喜欢将数据加载到事实表中，但我没有使用SSIS，并且在这个事实表的度量中我有数量和营业额（chiffre d 'affaire) that i need to calculate but i din't知道如何 . 加上我的源数据我在每个日期都有一个数量 . 我想知道我需要使用哪些ssis工具来实现计算度量 . 我从源头计算qte但它没有... -
1 votesanswersviews
使用SSIS将数据从Oracle导入SQL服务器
我们希望使用SSIS从Oracle导入数据到SQL服务器我能够将数据从Oracle传输到SQL中的一个表（Staging） . 然后我需要转换数据，我发现我需要运行存储过程来将数据从Staging转换为Actual 生产环境 数据 . 但我想知道我们怎么做 . EDIT #1 源表有四个列，其中一个字段包含日期，但其数据类型为字符串 目标表还有四列但不会存储两列，因为源列和目标列之间存在... -
0 votesanswersviews
SSIS未插入所有行
我有 VS SSDT 2017, SSIS Express Edition 的问题 . 我的源是Oracle 12G，Destination是SQL Server 2017.我的包由简单的数据加载任务组成;源连接和目标连接 . 数据来自SQL脚本 . 使用OLE DB连接 . 在源中计数表示238674行，但SSIS加载并仅插入144254行，并且没有任何错误 . 包装成功结束（绿色复选标记） .... -
1 votesanswersviews
需要建议设计/架构Spring Batch ETL作业
我需要就如何为Spring Batch中的目标Summary表设计ETL过程提出意见 . Situation 我确实有一个（怪物）查询，它将多个查询的组合连接在一起，生成我想要作为我的最终汇总表的网格 . 查询的“形状”如下： select A.student_id, A.anoterField, B.anotherField, B.anotherFiel... -
0 votesanswersviews
Spring Batch作为ETL用于呼叫数据记录加载到DB -Telecom
如果有人可以共享信息，关于用作ETL工具的 spring 批次 . 特别是在电信公司从网络交换机进行呼叫数据记录加载（CDR） . 在内部ETL使用 spring 批量开发 . 生产环境 中的表现如何？ 任何与Spring批处理一起使用的 Cloud 计算平台都可以实现可扩展性 . -
0 votesanswersviews
设计防弹ETL作业以使用Java，SQL和（可能）Spring批处理来聚合数据
我必须重写遗留的ETL作业（5年，逐渐发展），将数据从Oracle DB聚合到mySQL DB以进行开票和报告 . 现有作业使用自定义构建框架以Java编写 . 该框架可用于从Datasource A读取，处理和写入数据到Datasource B.该配置基于XML，在某些方面类似于Spring批处理 . 这些是框架的核心功能 作业需要指定源和目标数据源 . 物化视图用作源表，并且针对它运行非常... -
3 votesanswersviews
spring 批量Vs ETL过程[关闭]
我有一个产品，用户可以通过它创建信息说用户详细信息，员工详细信息等 . 此产品/ Web应用程序主要是在Spring和hibernate中开发的 . 现在，当我将产品销售给公司时，他们正在寻找批量加载工具来加载说用户和公司 . 在这种情况下，我可以选择Spring批次（从未使用 Spring 季批次但是听说过它）？因为我已经在我的应用程序中使用了Spring，所以我也可以使用相同的编码和业务逻辑实... -
2 votesanswersviews
有哪些测试数据分析系统和ETL过程的方法？
我主要从事所谓的“大数据”工作; ETL和分析部分 . 我经常遇到的挑战之一就是找到一种“测试我的数据”的好方法 . 对于我的mapreduce和ETL脚本，我编写了可靠的单元测试覆盖率，但是如果数据本身存在意外的底层更改（来自多个应用程序系统），则代码不一定会引发明显的错误，这使我的数据不好/改变了不知道 . 是否有任何最佳实践可以帮助人们关注基础数据可能发生变化的方式/方式？ 我们的技术堆栈是... -
2 votesanswersviews
测试应用程序仪表板数据的最佳实践
我们有一个信息中心，其中包含基于6个月报告期的指标 . 用户根据当前的6个月报告期登录并查看其指标 . 每隔6个月，我们会在DEV / QA环境中加载新指标，并为即将到来的报告期配置它们，以便我们进行测试 . 但是，我们的应用程序和ETL使用GETDATE（），所以为了让ETL正确计算，所以一切都会计算并显示，好像我们将来一样 . 我们的DBA小组现在告诉我们，不应该这样做，业内其他人也不会这样... -
0 votesanswersviews
ETL到Impala的EMR上
我们有一个运行Impala的EMR集群 . 我们在DynamoDB和S3中有很多数据 . 将数据从Dynamo中获取到我们的HDFS EMR集群的最佳/推荐方法是什么（这样我之后可以将其导入Impala）？我应该编写一个导入 boto 和一些HDFS库的python脚本来完成它，我应该直接学习PIG，还是有更好的解决方案？ -
0 votesanswersviews
将input_file_path参数提供给Glue控制台的 Binders
我想传递一个s3文件名作为input_file_path，我想从Glue console执行作业 . 是否可以通过AWS Glue控制台提供input_file_path参数？ -
2 votesanswersviews
SSIS数据错误地进入excel目的地
在SSIS包中，我将数据从平面文件导入数据库，执行SQL查询并将结果导出到Excel目标 . 我的问题是我有一个转换，转换语句在sql中很好，它返回一个值为 HH:MM:SS . 该字段是一个字符串 . 我的问题是当它进入excel时它显示列数据为 MM:SS:0 我需要它保持为HH：MM：SS我试图使用数据转换和派生列 . 但我似乎无法做到这一点 . 在我的SQL数据库中我有2个数据类型的字段... -
1 votesanswersviews
使用read（）方法从Amazon S3读取大型JSON文件时的MemoryError
我正在尝试使用Python将大量的JSON FILE从Amazon S3导入AWS RDS-PostgreSQL . 但是，这些错误发生了， 回溯（最近一次调用最后一次）：文件“my_code.py”，第67行，在file_content = obj ['Body'] . read（） . decode（'utf-8'） . splitlines（True）File“/ home /user/a... -
0 votesanswersviews
在Oracle物化视图中记录导致错误的数据的方法？
我们创建了一些物化视图，可以对照实际应用数据的副本 . 该应用程序不会监控自己的数据 . 从那时起，一些用户可能在他们的数据输入中粗心或有创意 . Mview现在窒息死亡 . 错误消息表明我们从一个或多个函数返回多行 . 我们一直在尝试使用EXCEPTIONS - 在第一行object_id的DBMS_Output上取得了一些成功，导致（其中一个）函数失败 . 最好能够完成MView的运行，并... -
14 votesanswersviews
在Oracle 11g partiitioned表上收集并发统计信息
我正在开发Oracle 11g上的DWH . 我们有一些大表（2.5亿行），按值划分 . 每个分区都分配给不同的馈送源，每个分区独立于其他分区，因此可以同时加载和处理它们 . 数据分布非常不均匀，我们有数百万行的分区，并且分区不超过一百行，但我没有选择分区方案，顺便说一下我无法改变它 . 考虑到数据量，我们必须确保每个分区始终具有最新的统计信息，因为如果后续的详细说明没有对数据的最佳访问权限，它们... -
0 votesanswersviews
＃在CSV Headers 中
验证通过某个ETL工具生成的csv文件时，我们常常在 Headers 的开头突出显示＃present的问题 . 只是想知道如果csv文件在haeder的开头有一个＃会有什么影响 . -
0 votesanswersviews
如何在SSIS中进行增量加载
我有Oracle 12C源和SQL Server目的地 . 在Fact表中，我需要每日快照（而不是整个数据），在Dimension表中我只需要新行，而不是整个表 . 似乎在Oracle方面不可能使用变量 . 什么是最好的方法？