-
0 votesanswersviews
对存储在BigQuery中的数据进行预处理
我刚开始使用GCP,我对它的一些工具的正确使用有一些疑问 . 特别是,我正在尝试将Google Analytics中的数据提取到BigQuery中 . 是否可以在存储在BigQuery中的数据上使用Dataprep?几乎我见过的每个例子都使用Dataprep可视化存储在Google Storage中的数据,但没有任何内容涉及BigQuery . 任何帮助将非常感激 . -
2 votesanswersviews
按最新日期过滤BigQuery行的最有效方法
我目前正在使用一个使用BigQuery存储登台数据的ETL管道,然后使用Dataprep转换数据并将其存储在新的BigQuery表中以进行 生产环境 . 我们遇到的问题是找到最经济有效的方法,将这些转换应用于少量数据,通常只是登台数据表中当前最大日期的最后X天数 . 例如,我们需要计算登台数据中的最大可用日期,然后检索此日期过去3天内的所有行 . 遗憾的是,我们不能依赖临时数据中的“最大日期”始... -
0 votesanswersviews
使用gcloud cli执行具有多个输入/输出的Dataflow作业
我在Dataprep中设计了一个数据转换,现在正尝试使用Dataflow中的模板来运行它 . 我的流有几个输入和输出 - 数据流模板将它们作为json对象提供,每个输入和位置都有键/值对 . 它们看起来像这样(添加了换行符以便于阅读): { "location1": "project:bq_dataset.bq_table1", #... ...