-
5 votesanswersviews
BigQuery Standard SQL中的REGEXP_MATCH
虽然BigQuery Standard SQL文档提到函数 REGEXP_MATCH [1]，但在运行查询时似乎不可用，并且Web界面返回： Error ：找不到函数：REGEXP_MATCH 什么是使用它的替代方案？ [1] https://cloud.google.com/bigquery/sql-reference/functions-and-operators#regexp_match -
0 votesanswersviews
BigQuery / SQL：由辅助表指示的时间间隔求和
假设我有两个表： intervals 包含索引间隔（其列为 i_min 和 i_max ）， values 包含索引值（列为 i 和 x ） . 这是一个例子： values: intervals: +---+---+ +-------+-------+ | i | x | | i_min | i_max | +-------+ +---------------+ | 1... -
2 votesanswersviews
Bigquery标准SQL中的“contains”
我希望从旧版SQL迁移到标准SQL 我在Legacy SQL中有以下代码 SELECT hits.page.pageTitle FROM [mytable] WHERE hits.page.pageTitle contains '%' 我在标准SQL中尝试过这个： SELECT hits.page.pageTitle FROM `mytable` WHERE STRPOS(hits.... -
-1 votesanswersviews
在大查询中连接多个表
我想在BigQuery中加入多个表，但是Joining multiple tables in bigquery的解决方案并没有帮助我得到我想要的输出 . 我的出发点如下 . 我正在创建5个单独的表，显示特定页面可能的每个评级值 . 请参阅此处的示例输出： raw tables 该表按以下方式创建： #standardSQL CREATE TEMPORARY FUNCTION tables_in... -
2 votesanswersviews
如何使此查询高效运行？
在BigQuery中，我们尝试运行： SELECT day, AVG(value)/(1024*1024) FROM ( SELECT value, UTC_USEC_TO_DAY(timestamp) as day, PERCENTILE_RANK() OVER (PARTITION BY day ORDER BY value ASC) as rank F... -
14 votesanswersviews
我应该何时更喜欢批量分析而非交互式分析？
使用批量查询而不是交互式模式查询的动机是定价，但随着更新的价格变化，不再存在成本差异 - 那么是否还有其他激励（配额，性能，其他......）来使用批量查询？ -
2 votesanswersviews
多个小计 - 字段的汇总顺序
我正在尝试运行一个聚合数据的查询，按几个不同的字段对结果进行分组，并提取 all 相关的"SubTotal"排列 . （类似于MSSQL中的CUBE（）） 使用 Group By Rollup() 时，我只根据 Rollup 函数中 Group By 字段的顺序获取排列 . 例如，下面的查询（在公共数据集上运行），它按年份，年份和月份，或年，月和奖章返回小计...但它不按小奖... -
3 votesanswersviews
如何有效地告诉ga_sessions_intraday_中有新数据
根据the docs，Google Analytics数据应该每天导出3次Big Query . 我试图确定在ga_sessions_intraday_表中提供检测新数据的有效方法，并在BQ中运行查询以提取新数据 . 我最好的想法是每小时运行一次SQL查询来轮询ga_sessions_intraday_ . 我会跟踪最大的visitStartTime（在某处存储状态），如果在ga_sessions... -
1 votesanswersviews
如何有效地获取BigQuery表的分区
有没有办法在BigQuery日期分区表中获取分区列表？现在我发现这样做的最好方法是使用 _PARTITIONTIME 元列，但这需要扫描所有分区中的所有行 . 在 bq 命令行工具中是否存在等效的 show partitions 调用或某些内容？ -
1 votesanswersviews
在BigQuery中有效地加入IP范围
我有一个IP地址表和一个IP地址范围表（start ip，end ip），我想一起加入 . 我已经能够使用以下查询来完成此工作： SELECT * FROM `ips` i JOIN `ranges` a ON NET.SAFE_IP_FROM_STRING(i.ip) BETWEEN NET.SAFE_IP_FROM_STRING(a.start_ip) AND NET.SAFE_IP_F... -
4 votesanswersviews
BigQuery有效查询最新表
我正在尝试从数据集中的最新表中有效地查询，该数据集由 project_id:dataset:dataset_20160101 ， project_id:dataset:dataset_20160102 等表格组成 . 此查询似乎是推荐的解决方案： SELECT * FROM `project_id.dataset.*` WHERE _TABLE_SUFFIX=(SELECT MAX(table_... -
1 votesanswersviews
BigQuery SQL - 正则表达式并作为数组收集
我有一个大小的字符串列，其中有空格但有些我想保留，然后将它们收集到一个数组中 例如英国8 US 9 EU 42 至 [英国8，美国9，欧盟42] 我在正则表达式上很糟糕，在标准SQL中我该怎么做呢？ 谢谢 -
3 votesanswersviews
从Bigquery中的时间戳中提取日期：一种更好的方法
Bigquery大师的一个快速问题 . 以下是使用standardSQL从Bigquery中的时间戳中提取日期的两种方法 #standardSQL #1 DATE(TIMESTAMP_MILLIS(CAST((timestamp) AS INT64))) #2 EXTRACT(DATE FROM TIMESTAMP_MILLIS(timestamp)) 哪一个更可取，为什么？谢谢！ -
2 votesanswersviews
BigQuery - 改变模式中字段的顺序
我有一个现有的表有两个子元素包含相同的数据，但元素中的字段以不同的顺序定义 . 下面是模式的一个示例（真正的模式要复杂得多，并且包含多个级别的嵌套和重复字段） +- record2: record | +- list: record (repeated) | | |- field1: integer | | |- field2: int... -
0 votesanswersviews
带有条件的bigquery查询计数列
我有一个BigQuery表，其结构如下： file_id | file_name | error_time_stamp _ _ _ _ _ _| _ _ _ _ _ _ _ _ | _ _ _ _ _ _ _ _ _ _ _ _ 1 | abcd.txt | 2015-08-19 19:29:22 2 | ... -
0 votesanswersviews
用于查找购买为空的唯一访问的行计数的大查询
我有一张 table visit_num visid_high visid_low visit_page_num purchase 1 123 456 1 null 1 123 456 2 12 2 ... -
0 votesanswersviews
如何从已发布的数据中返回正确的总计（BigQuery中的Google Analytics数据）
我正在对BigQuery中的GA数据运行一些查询，当我想从一个unnested表中返回一个数据总和时，我遇到了一个反复出现的问题，我的总数远高于预期 - 我怀疑未计算的行被计算，导致计数不准确 . 这是一个例子： SELECT DATE, SUM(totals.transactions) FROM `PROJECTNAME.43786551.ga_sessions_20*` AS GBP ... -
1 votesanswersviews
大查询，错误：标量子查询生成多个元素
我有一个查询遇到此错误消息：错误：标量子查询生成多个元素 我想连接表示在不同时间段内发生的行为的表，但是正常连接似乎不起作用： 选择ag，count（*）from（select user_id as user，（选择x.value.string_value from analytics_156934592.events_20180701，unnest（event_params）as x，其中x.... -
0 votesanswersviews
优先权申请与申请在Google专利申请优先权之间有何区别？
我想在应用程序声明优先级中按应用程序编号计算正向引号 . 以下可以通过优先级应用程序中的应用程序实现目的 . 谁能帮我纠正呢？ SELECT c.publication_number AS Pub, COUNT(DISTINCT REGEXP_EXTRACT(p.publication_number, r'(.+-.+)-')) AS CitedByCount FROM `patent... -
0 votesanswersviews
如何在BigQuery中按申请号查找专利公布号
我有很多专利的申请号，但没有出版物编号 . 出版号对于计算正向引用次数至关重要 . 谁可以帮我一个忙？ SELECT c.publication_number AS Pub, COUNT(DISTINCT REGEXP_EXTRACT(p.publication_number, r'(.+-.+)-')) AS CitedByCount FROM `patents-public-dat... -
1 votesanswersviews
是否可以将firebase自定义属性分析设置为数组？
我打算将Firebase Analytics用于我的应用 . 根据Firebase文档，可以在此处设置自定义用户属性文档Android和IOS . 后者可以使用这些属性在Firebase Analytics信息中心中创建受众群体，如此处所述Analytics DashBoard 我想将用户自定义属性用作数组 . 例如： 将用户属性设置为 TagsUserLikes = [“ hashtagBlu... -
1 votesanswersviews
访问Google Cloud Dataflow中的模板化运行时参数 - Python
我正在尝试为Google Cloud Dataflow创建自己的模板，以便可以从GUI执行作业，从而使其他人更容易执行 . 我已经按照教程，创建了自己的PipelineOptions类，并使用parser.add_value_provider_argument（）方法填充它 . 当我尝试将这些参数传递到管道中时，使用my_options.argname.get（），我收到一个错误，告诉我该项未从运... -
0 votesanswersviews
应用程序脚本/制造商和大查询
我有一个谷歌应用程序（应用程序制造商），我编写以下代码： function runQuery() { var projectId = 'projekte-123425512'; var request = { query: 'SELECT title FROM [bigquery-public-data:samples.wikipedia] where title contain... -
1 votesanswersviews
可能的BigQuery错误（返回的行不够）
使用莎士比亚公共数据集，我尝试运行以下（查询的完整代码，加上错误）：`bq query "SELECT word FROM publicdata:samples.shakespeare WHERE word = 'huzzah' IGNORE CASE"等待bqjob_ref3f8f63522c642_0000014452358cb2_1 ...（0s）当前状态：DONEBig... -
4 votesanswersviews
BigQuery流插入数据可用性延迟
我已经使用BigQuery大约2个月了 . 在那段时间里，我使用流式插入每分钟添加数千个条目 . 我已经能够在几分钟内查询该数据，如果不是立即实现的话 . 几天前开始，我的一张 table 突然开始显示数据可用性延迟，从20到60分钟不等 . 这只发生在我的一个表中 . 插入其他表格的数据几乎可以立即获得 . Is this kind of data availability delay norm... -
5 votesanswersviews
是否可以根据窗口元素的时间戳动态生成BigQuery表名？
例如，如果我有一个5分钟窗口的数据流流媒体作业从PubSub读取，我理解如果我将一个超过两天的时间戳分配给一个元素，将会有一个带有此元素的窗口，如果我使用的示例将每日表输出到BigQueryIO.java中描述的BigQuery，该作业将使用实际日期在BigQuery表中写入过去两天的元素 . 我想将过去的元素写入BigQuery表中，并使用窗口元素的时间戳而不是当前窗口的时间，是否可能？ 现在我... -
2 votesanswersviews
错误：时间戳字段的架构已更改（附加）
当我查询具有可空时间戳字段的数据集中的特定表时，收到错误消息 . 在BigQuery Web工具中，我运行简单查询，例如： SELECT * FROM [reztrack.201401] LIMIT 100 我得到的结果是： Error: Schema changed for Timestamp field date 示例作业ID：esiteisthebomb：job_6WKi7ZhSi8D_Ew... -
4 votesanswersviews
Firebase数据到Google BigQuery
Firebase提供private backups on Google Cloud Storage . 其中一个特色用例是"Ingestion into Analytics Products"： Private Backups provides a perfect pipeline into cloud analytics products such as Google’s B... -
1 votesanswersviews
将许多BigQuery表导出为一个
我们正在开始从许多表中提取数据并写入单个表的bigquery查询 . 我们使用Python来运行带有参数的作业： job = bq_client.run_async_query(jobname, select_query) job.destination = bq_table job.write_disposition = 'WRITE_APPEND' 500个工作岗位将在20个时候开始 . 不... -
0 votesanswersviews
我可以在BigQuery中可靠地查询Firebase日内表并获得100％的事件数据吗？
我有两个Firebase项目（一个iOS和一个Android）加入Bigquery . 我需要将两个项目中的一些特定数据合并，展平并聚合到一个组合表中，以便我可以在不查询所有日常表中的所有数据行的情况下报告它 . 为了填充这个聚合表，我目前有两个python脚本每5分钟查询一次iOS和Android日内表 . 该脚本从聚合表中获取最大时间戳，然后查询日内表以获取具有更大时间戳的任何记录（我分别跟踪...