-
0 votesanswersviews
SSIS - 将数据从Excel导出到sql表
当我尝试使用ssis将数据从excel导出到sql表时，将插入所有行 . 但是，当我插入一个长度大于255的数据来表示excel时会发生截断错误 . 在输出列中，我将其更改为500.在外部列输入中，我无法更改它 . 在我的excel表中有2808行..但是当这个错误产生它只插入1632行而其他整行都被截断了....如果有人知道这个，请帮助我..我真的被困在这个.... 谢谢.. -
2 votesanswersviews
使用SSIS将SQL Azure联合数据库提取到数据仓库
我正在尝试将 生产环境 数据传输到数据仓库以进行报告 . 我已经尝试了SSIS for Azure and Hybrid Data Movement中的"Importing to Federations"部分，但是我需要将数据从我的联合移动到数据仓库 . 我也在SQL Server Central找到了一个很好的资源，但我仍然无法在数据流向导中显示联合表 . 我也不能在ODBC... -
0 votesanswersviews
在SSIS中更新Azure数据仓库的维度表
是否可以像更新SSIS中的sql数据库行一样更新一行azure数据仓库表？ bcs当我把OLE DB命令并插入sql命令时： Update ryan_dwa.dbo.PartsTable set lsteffdt =? where material =? 它显示警告 数据流任务1错误[OLE DB命令[2496]]：SSIS错误代码DTS_E_OLEDBERROR . 发生OLE DB错误 .... -
2 votesanswersviews
如何将实体映射到包含层次结构的维度表？
考虑以下层次结构： Department -> Category -> Product （每个部门包含多个类别，每个类别包含多个产品 . ） 使用Kimball方法dimensional modeling，我创建了一个包含以下列的ProductDim表： ProductKey Product Category Department 我正在尝试使用EF 4.1将我的 Departme... -
0 votesanswersviews
日期表上的总和值，其中一列等于另一列的选定值
我有一个 DimDate 表，其中 Billable Day Portion 字段可以介于0和1之间 . 对于当前 Bonus Period 中的每一天，我想将该日部分乘以10，然后返回总和 . 为了找出我们所处的 Bonus Period ，我返回 ContinuousBonusPeriod ，其中日期等于今天： Current Continuous Bonus Period:= CALCULA... -
-2 votesanswersviews
如果在ETL测试中源和目标不同，如何验证数据 . 除了使用excel表进行比较之外，请告诉我
如果在ETL测试中源和目标不同，如何验证数据 . 除了使用excel表进行比较之外，请告诉我 如果我们使用相同的数据库MINUS.Lets说源是Oracle，目标是Db2 . 我们如何测试这个？请建议是否有任何自动脚本或其他任何比较 -
0 votesanswersviews
数据仓库测试方法
我正在测试数据仓库的空间 . 在我新创建的范围和应该验证的维度和事实 . 根据我的知识和通过浏览获得的信息，我将决定覆盖以下内容 根据规范验证Facts和Dimension表的模式 数据重复检查事实和维度表 维度表的查找验证 还有什么我可以在这里验证的吗？ 另外只是好奇我如何检查数据是否正确填充到Fact表和行计数，正确的代理键等 . 在开发人员的角度来看，他们是否使用DML脚本来... -
0 votesanswersviews
在将日期列从varchar转换为sql中的datetime格式之前，将一个表的记录复制到另一个表
我需要将一个表的记录复制到另一个表但在此之前，我需要转换日期时间格式的日期戳列（nvarchar），因为日期是varchar格式，因此我无法查询表 . 我知道如何转换日期时间格式的varchar，但它是针对单个记录 . 任何人都可以用一种简单而快速的方式来指导我以日期时间格式转换整列，然后将记录复制到另一个表格 . varchar datestamp的格式是2013年1月16日星期三 . dec... -
1 votesanswersviews
独特的约束性能
当拥有一个包含4.5亿条记录和唯一约束的表（没有主键，只有6列的约束）时，如何在每天插入500万行的同时提高其性能 . 目前我只是禁用约束并在加载完成后启用它 . 但这需要一些时间 . 顺便说一句，没有唯一的索引支持约束......它只会变得非常巨大 -
9 votesanswersviews
如何创建历史事实表？
我的数据仓库中有一些实体： Person - 具有属性personId，dateFrom，dateTo和其他可以更改的属性，例如姓氏，出生日期等 - 缓慢变化的维度 Document - documentId，number，type Address - addressId，city，street，house，flat （人与文件）之间的关系是一对多，（人与地址）是多... -
2 votesanswersviews
使用SSIS 2012从Sql Server 2014将数据导出到Excel文件
我使用的是Windows 8.1，Office 2013，Visual Studio 2013，SQL Server 2014和SSIS 12.0 我有一个数据流，它有OLE DB源，数据转换和Excel目标 . 我的OLEDB来源 数据转换我在（C：\ XX）文件夹中创建了一个Excel文件StudentInfo.xls并 Build 连接 一切都很好，但是当我执行它时，我给了我以下错误： 错... -
6 votesanswersviews
星型模式对于大型数据仓库仍然是必需的吗？
我正在使用hive设计一个新的基于hadoop的数据仓库，我想知道在这种情况下经典的星形/雪花模式是否仍然是“标准” . 大数据系统采用冗余，因此完全规范化的模式通常性能较差（例如，在HBase或Cassandra等NoSQL数据库中） . Is still a best practice making star-schema data warehouses with hive? Is it be... -
0 votesanswersviews
Oracle物化视图：分区策略
我有一个摘要物化视图按年（char），月（char）和其他3个维度组织，然后是许多度量 . 我的数据从2013年到现在，并且持续增加 . 由于基础事实表是巨大的（每年增加100 M的500 M行），我正在考虑对表和MV进行分区，以便刷新MV中的最后12个月 . 经过多次阅读后，我应该按范围（每月）对事实表进行分区，并按月对MV进行分区，并按年分区 . 我知道分区策略对于性能至关重要，所以我要问的是... -
1 votesanswersviews
SSIS - 删除并插入所有行或更新和插入
我试图找出最好的方法 . 查看实时数据，我想将行插入到DW表中 . 不确定什么会更有效率 . 从目标表中删除所有行并插入整个视图 . 仅更新或插入新行 . It takes 4 mins to delete the rows and insert the entire view. Trying to see if update and insert only new will make... -
0 votesanswersviews
第三方报告工具
有没有人知道一个报告工具，它允许我从我自己的数据库构建报告和图表？ 客户端要求报告构建器可供任何技术业务类型的人员使用 . 我们的想法是，我们为数据仓库提供基于其构建的第三方报告解决方案 . 理想情况下，此工具将基于Web，并允许将报告持久/上载到定制的报告管理应用程序 . 这将理想地与asp.net环境集成 . 有没有人遇到这样的事情？ -
2 votesanswersviews
使用Azure Data Lake时是否需要数据仓库？
我正在探索Azure Data Lake，我是这个领域的新手 . 我探索了很多东西并阅读了很多文章 . 基本上我必须从不同来源的数据开发 Power BI dashboard . 在经典的SQL Server堆栈中，我可以编写一个ETL（提取，转换，加载）过程，将数据从我的系统数据库带入数据仓库数据库 . 然后使用SSAS等将该数据仓库与Power BI一起使用 . 但我想使用Azure Dat... -
-1 votesanswersviews
在同一工具下同步所有数据操作
在我的公司，我们每天都有Pentaho Kettle做我们的ETL工作（一台机器就足够了我们拥有的所有数据），这意味着： 从不同的，主要是关系数据库，电子表格和API中读取数据 应用转换，并将数据插入Redshift 对外部SAAS工具执行API调用 我们正计划在更高级的工具中重做它，这将使我们： 更新dwh比一天更频繁 更容易获取并将数据推送到我们使用的SAAS API（... -
3 votesanswersviews
数据仓库：使用累积数据
我们的数据仓库使用累积数据（并且无法反转累积）从数据源创建雪花模式 . 我们必须应对的一个要求是我们的架构必须可用于根据日期范围创建报告 . 我们的架构看起来像这样（简化）： +------------------------------------------+ | fact | +-------+-------------... -
44 votesanswersviews
数据仓库注意事项：何时以及为何？
这里有一点背景： 我知道what a data warehouse is，或多或少 . 我用SSAS玩了，我知道星型模式和维度表以及事实表是什么，我知道ETL是什么以及如何做到这一点 . This is not a "how" question or a request for tutorials. 我的问题是，我读过的关于数据仓库的所有材料似乎都掩盖了构建数据仓库的基本原... -
1 votesanswersviews
星型模式设计 - 一个列维度
我是数据仓库的新手，但我认为我的问题可以相对容易地回答 . 我构建了一个星型模式，其中包含维度表'product' . 该表有一列'PropertyName'和一列'PropertyValue' . 因此，维度看起来有点像这样： surrogate_key | natural_key (productID) | PropertyName | PropertyValue | ... 1 ... -
2 votesanswersviews
数据仓库中每个事实的开始和结束周期
我被要求在我们的数据仓库中添加一个新表 . 目前，我们将事实分为月度表，季度表和年度表，每个表都有时间维度 . 每个事实记录都有一个时间值 . 数据在源系统中按开始和结束周期生成，结束日期成为事实记录的时间维度值 . 事实流入月，季度或年事实表告诉人如何理解记录中的日期以及如何使用它们 . 我被要求让新表包含每条记录中的开始和结束日期 . 我被告知这违反了数据仓库原则，但它更好地代表了数据的生成方... -
0 votesanswersviews
数据集市中的代理键
我有三个事实表的32维，我目前正在研究SQL Server 2012！ 由于SQL Server的外键每个索引限制为16，这是否意味着我必须使用代理键来索引事实表中的数据？或者这个问题有另一种解决方案吗？ 由于我的ETL每个月执行一次，我应该在每次数据泵之前检查我插入的数据（外键串联）是否已经存在？ 如果我决定使用代理键并且因为我正在使用Mondrian多维数据集（pentaho），那么worki... -
1 votesanswersviews
数据仓库 - 在Fact表中存储历史数据
我是DataWarehousing的初学者 . 我们创建了一个数据集市，一个星型模式设计来加载季度数据 . 我们在该季度的业务批准时加载了当前数据 . 现在我们需要返回并加载历史数据（3年，大约40GB） . 加载此数据的维度与用于qaurterly加载的维度相同 . 但是，我们可以将这些历史数据加载到同一个事实表中，还是我们必须创建一个重复的事实表来单独加载历史数据？这是DW标准吗？我试图找到按... -
2 votesanswersviews
数据仓库多值属性
Disclaimer: 我之前从未创建过数据仓库 . 我已经阅读了Kimball数据仓库工具包的几个章节 . Background: 工厂（工厂）管理团队需要能够以各种方式切割和切割 生产环境 信息，我们希望我们部门的制造工厂能够采用一致的报告格式 . 通过业务分析，我们得出结论，每个过程完成的事实是一行 . 完成的过程可以表示"machine"或"assemble.... -
1 votesanswersviews
数据仓库 - 多个部门的重复维度成员
我对数据仓库和SSIS相当陌生，但我的任务是使用来自母公司的两个不同部门的销售交易记录来填充数据仓库 . 我的问题......我正在修改填充产品（SKU）维度的SSIS包，以适应与这两个部门相关的产品，并且我最终得到了两个部门中存在的一些产品名称 . 我需要一个解决方案来容纳SAME维度表中每个部门的产品列表 . 这可能吗？？ 为了显示： https://www.dropbox.com/s/hkd... -
0 votesanswersviews
将事实数据与重复数据删除的维度记录进行匹配
我正在为具有多个物理位置的客户开始数据仓库项目的工作，每个位置都有相同LOB数据库的单独实例 . 这些站点之间有一些“常见”数据，但系统是孤立的，因此概念上指同一事物的数据在源中有不同的表示 . 例如，考虑产品类别 . 每个位置的产品类别列表都相同，但自动生成的密钥会有所不同 . 当数据被提取，分阶段并加载到仓库中相应的产品类别维度表中时，这些类别被有效地复制，因为它们具有不同的源系统或“自然”密... -
0 votesanswersviews
DataWarehouse - 具有不同粒度/维度度量的事实表
我有以下格式的数据 . RoadAccidents (pk_accidentIdentifier) 与关系 1..* 至 Vehicles(fk_accidentIdentifier, ordinalNumber) -> 自然PK（复合）和代理，这简直就是 rowID ） . ordinalumber 只是一个迭代参与事故的车辆的数字 . --Sample Row Accident001... -
0 votesanswersviews
SSIS单服务器ETL到仓库
我正在将集合从事务数据库转换为仓库 . 只有一个源服务器而没有其他数据源（例如Web服务，平面文件，Excel等） . 这些作业很简单，可以用TSQL存储过程编写 . 我还想在SSIS中对工作进行建模，以获得清晰度，文档，可伸缩性等 . 实施SSIS建模似乎需要更长的时间 . 问题是：与直接SP相比，SSIS ETL建模的好处是否提供了ROI？ -
1 votesanswersviews
ETL测试数据集/框架
我正在尝试为我们的ETL过程创建合理的测试 . 我认为需要参考/测试摄取数据集 . 我不想使用客户端数据（这是另一种选择） . 然后，我将在此测试数据集上运行当前ETL以获取参考转换 . 这样，当源代码更改时，我们可以测试对ETL中当前生成的内容的引用，并确保没有创建回归 . 我不确定这是正确的做法 . 例如，如果在源代码中更改了转换，则与引用转换相比较的测试将正确失败 . 我们必须为该转换创建一... -
1 votesanswersviews
从多个源SSIS中提取并加载数据
我打算使用SSIS从Oracle创建数据仓库并加载数据到SQL Server . DWH的延迟时间为5分钟 . 我需要每隔5分钟运行一个包，因为源上的update_date_time在上次更新和当前时间之间 . 我打算在目标数据库中创建一个新表，它记录运行提取的时间，以便我可以比较该表的时间 . 你能告诉我如何使用SSIS实现这一目标吗？ 如果我使用下面的包，它会更新新表多次，但我只希望每次运行...