-
2 votesanswersviews
sdk上Cloudstorage文件的URL
我正在尝试在Appengine上使用Google Cloud Storage . 我安装了新的cloudstorage python api代码,并且一切运行良好 . 我部署了我的代码,它也运行良好 . 我的ACL(正确)设置为公共读取,我可以在http://commondatastorage.googleapis.com/上查看我添加的文件/在appspot上调用cloudstorage时就可以... -
8 votesanswersviews
在Google App Engine中存储旋转/翻转的图像
我正在尝试旋转/翻转已经位于Google Cloud 端存储中的图像 . 这是blobkey: BlobKey blobKey = new BlobKey(upload.getBlobKey()); 然后我检索图像并应用图像变换: ImagesService imagesService = ImagesServiceFactory.getImagesService(); Image image ... -
0 votesanswersviews
为什么通过createUploadUrl()上传文件会填满我的数据存储区和blobstore,如何删除它们?
我在Google App Engine上有一个PHP应用程序,最近在数据存储存储数据中最大化了1GB的免费配额 . 我甚至不知道GAE上的PHP甚至可以使用数据存储区 . 事实证明,通过CloudStorageTools :: createUploadUrl()上传的任何文件都会在 BlobInfo 下的数据存储区中创建条目 SELECT * FROM __BlobInfo__ Blob Vie... -
-1 votesanswersviews
无法在Google App Engine,Python上显示来自 Cloud 存储的图像
我在Mac上使用App Engine python开发服务器1.9.20 . 我在Blobstore上取得了成功,但在启动我的网站之前,我正在将代码转换为使用cloudstore . 我在控制台中没有收到任何错误 . 但我没有在浏览器中显示图像 . 浏览器显示“图像未找到图标” . (Safari中的“?”) 我从SO上引用的示例中拼凑了我的 Cloud 存储代码 . 主要来自voscausa的... -
6 votesanswersviews
gcloud.exceptions.Forbidden:403权限丢失或不足
我是Google Cloud 端平台的新手 . 我已经设置了Google VM实例 . 运行命令时,我在Local Machine上遇到身份验证问题: python manage.py makemigrations 你能否提出一些建议/步骤来解决这个问题? Error Trace File "/constants.py", line 18, in <module> ... -
8 votesanswersviews
将数据流管道的输出写入分区目标
我们有一个单独的流媒体事件源,每秒有数千个事件,这些事件都标有一个id,用于标识事件所属的数万个客户中的哪一个 . 我们想使用这个事件源来填充数据仓库(在流模式下),但是,我们的事件源不是持久性的,所以我们还希望将原始数据存档在GCS中,以便我们可以通过我们的数据重放它仓库管道,如果我们进行需要它的更改 . 由于数据保留要求,我们持久存储的任何原始数据都需要由客户进行分区,以便我们可以轻松删除它 ... -
3 votesanswersviews
将存储在Google Cloud 端存储上的数据加载到BigQuery的多字符分隔符
我想将多个字符分隔符的数据加载到BigQuery . BQ load命令目前不支持多个字符分隔符 . 它仅支持单个字符分隔符,如“|”,“$”,“〜”等 我知道有一种数据流方法,它将从这些文件中读取数据并写入BigQuery . 但是我有大量的小文件(每个400MB的文件)必须写一个表的单独分区(分区编号大约700) . 这种方法在数据流方面很慢,因为我必须使用for循环启动不同的数据流作业,以... -
1 votesanswersviews
从本地磁盘将数据加载到BigQuery和Google Cloud 存储的策略
我在本地磁盘中有2年大小约为300GB的组合数据,这是我从teradata中提取的 . 我必须将相同的数据加载到谷歌 Cloud 存储和BigQuery表 . 谷歌 Cloud 存储中的最终数据应该以压缩格式进行日间隔离(每天文件应该是gz格式的单个文件) . 我还必须在日常分区表中加载BigQuery中的数据,即每天的数据应存储在一个分区中 . 我首先将2年的组合数据加载到谷歌存储 . 然后尝试... -
0 votesanswersviews
Apache Beam DynamicDestinations的文件结构写入BigQuery
我正在使用DynamicDestinations(来自BigQueryIO)将数据从一个Cassandra表导出到多个Google BigQuery表 . 该过程包括几个步骤,包括将准备好的数据写入Google Cloud 端存储(作为JSON格式的文件),然后通过加载作业将文件加载到BQ . 问题是导出过程已在最后一步因内存不足错误而结束(将文件从Google Storage加载到BQ) . 但... -
3 votesanswersviews
授权给Google客户端
我正在编写一个用于为Bigquery和Google Cloud Storage创建授权的课程 . 在过去,我使用过已弃用的CredentialStore . 我正在尝试使用DataStoreFactory,但我发现它允许我在需要Credential时仅使用StoredCredential . 我知道可以从Credential转换为StoredCredential但我不确定如何将它们转换为相反的方向... -
-1 votesanswersviews
上传时的Google Cloud 存储错误
# Includes the autoloader for libraries installed with composer require __DIR__ . '/vendor/autoload.php'; # Imports the Google Cloud client library use Google\Cloud\Storage\StorageClient; # Your Goo... -
1 votesanswersviews
远程气流Dags
我计划在 Cloud 存储上部署气流dags,并提供与GCS的连接,并从运行在Google Compute Engine实例上的Airflow访问这些dag . 从文档中可以清楚地看到远程日志记录是可行的 . 我想在GCS上完全保留Airflow的存储(Logs and Dags)部分,因为我必须管理这些文件 to avoid modifying the files on the VM once ... -
0 votesanswersviews
将Google Cloud 存储桶配置为Airflow Log文件夹
我们刚刚开始在我们的数据管道项目中使用Apache airflow . 在探索这些功能后,我们开始了解如何将远程文件夹配置为气流中的日志目标 . 为此我们 创建了一个谷歌 Cloud 桶 . 从Airflow UI创建了一个新的GS连接 我无法理解所有字段 . 我刚从谷歌控制台在我的项目下创建了一个示例GS Bucket,并将该项目ID提供给此Connection.Left密钥文件路径和范围为空... -
0 votesanswersviews
气流mysql到gcp Dag错误
我最近开始使用Airflow . 我正在研究DAG: 查询MySQL数据库 解压缩查询并将其作为JSON文件存储在 Cloud 存储桶中 将存储的JSON文件上传到BigQuery Dag进口三个运营商: MySqlOperator , MySqlToGoogleCloudStorageOperator 和 GoogleCloudStorageToBigQueryOperator ... -
0 votesanswersviews
Google Cloud 端存储
我最近开始使用Google Cloud Platform服务开发Java应用程序,我想使用谷歌 Cloud 存储来存储图像/视频 . 通过谷歌自己的文档彻底研究后发现有几种使用 Cloud 存储服务的方法我有点困惑.. 根据我的阅读,可以使用XML API或JSON API访问该服务 . 假设我选择了JSON API,这也按照here所描述的两种方式划分 . 使用Google API客户端库或使用... -
3 votesanswersviews
适用于Google Cloud Platform的API:gcloud API或Google API客户端
我正在使用谷歌 Cloud 平台 . 学习并尝试Bigquery和Google Cloud Storage等一些东西 . 我觉得令人困惑的是,所有这些东西都有两个官方API:gcloud API和Google API Python Client . 在google cloud的"getting started"教程中,推荐的API是 Google API (Python) Cl... -
2 votesanswersviews
将电子表格写入Google Cloud 端存储
我想通过App Engine Python将电子表格写入Google Cloud 端存储 . 我的代码与blobstore中的Files API一起使用,并且最初尝试使用(不推荐使用的)GCS Files API切换出存储后端,该API具有与blobstore非常相似的代码 . 它一直给我 UnknownError: ApplicationError: 7 ,这是一个问题 . 但我更大的问题是,是... -
2 votesanswersviews
是否/何时使用JSON API发布带有Google Cloud 端存储的应用程序是否安全?
我注意到Google Cloud 端存储的JSON API正如它所说的那样“实验”,并且我应该使用的URL都包含'v1beta2' . 从5月7日开始,它似乎没有被触及,我想知道如果我希望我的应用程序在一两个月内上线,是否值得创建一个将此服务作为主存储服务的新项目 . 是否有某个发布日期,或者它更像是“它需要花费多长时间”-kinda的事情? 请不要't downvote, I wanted to... -
7 votesanswersviews
我应该如何将blob从BlobStore移动到Google Cloud 端存储?
我们的应用程序已使用Blobstore在App Engine上运行多年 . 我们希望将视频文件移至Google Cloud 端存储 . 将大Blob从Blobstore迁移到GCS的最佳实践是什么? 是否只是使用BlobReader并一次向GCS写入一个字节?或者还有其他快捷方式/工具吗? 至于从App Engine写入GCS,可供选择的库不缺: Blobstore API(可以为GCS对象生... -
7 votesanswersviews
使用Google App Engine将文件上传到Google Cloud 端存储(Python)
我正在尝试 Build 一个基于python的基本谷歌应用引擎网站,允许用户将文件上传到谷歌 Cloud 存储(主要是图像) 我一直在浏览JSON API和GCS客户端库概述(以及blobstore等)的文档,但仍然没有很好的处理哪种方法最好以及它们是如何相关的 . 如果有人可以对此进行概述或指出我可以查看的一些资源,那将会很棒 此外,任何示例代码都可以在此处运行上传示例,但不确定它们是否对应用程... -
0 votesanswersviews
各种客户端库中的混淆以及将App Engine与 Cloud 存储集成的API
对谷歌 Cloud 平台有点新意,我正在尝试使用客户端库/ apis了解谷歌 Cloud 存储的应用引擎集成选项 . 但是我现在对于存在的客户端库选项的多种选择更加困惑 . 我试着寻找答案,但我还是有些疑惑 . 所以我在下面发布了具体的问题/方案 . 此外,由于我看到的论坛数量有点陈旧,所以我希望确保根据Google Cloud Platform中当前支持的功能获得答案,因为它们有时会不断更改/升... -
1 votesanswersviews
用Python创建Google Storage存储桶
我正在尝试使用python在Google Cloud上创建一个存储桶,用于教我自己的python和 Cloud 计算 . 我在下面创建了脚本并且运行良好: """Creates a new bucket.""" import gcloud from gcloud import storage client = storage.Clien... -
2 votesanswersviews
通过Cloud SQL API将CSV上传到Google Cloud 端存储时出错
我在Google Cloud SQL中有一些数据,我正在尝试使用Cloud SQL API(测试版)(导出)功能将其传输到Google Cloud 端存储 . 为此,我在谷歌计算引擎上安装了jupyter笔记本,我正在运行python代码(连接到 Cloud sql API并将日期导出到csv文件中的 Cloud 存储) . python代码不会抛出任何错误,并且API响应中也没有错误主体 . 但... -
0 votesanswersviews
firebase.json用于 Cloud 功能配置?
我的Firebase项目使用 Cloud 功能存储触发器使用的几个不同的存储桶 . 虽然我可以在控制台中更改特定 Cloud 存储功能的默认存储桶,或者在部署之后使用CLI更改默认存储桶,但我想知道是否有办法在firebase.json中配置这些设置(存储桶,内存限制,zip部署位置)并在部署期间自动接收它们 . 有时整个项目的部署会重置 Cloud 功能设置,这会给我们的用户带来问题 . 谢谢!... -
0 votesanswersviews
加拿大的Google Speech API合规性
我正在与之合作的客户希望使用Google Speech API来转录音频,但存在合规问题 . 我知道您可以直接上传文件或在Google Cloud 端存储中拥有API访问文件 . 对于这些方法中的任何一种,是否有人熟悉它们如何与加拿大的数据合规性法律相互作用? 例如,如果将音频文件上传到蒙特利尔数据中心的 Cloud 存储桶,并且我们对其进行API调用,该文件是否会离开该数据中心? 提前感谢任何见... -
2 votesanswersviews
BlobStore vs Cloud Storage用于存储用户上传的图像
我是AppEngine的新手,我正在构建一个接受Android设备用户图片上传的应用 . 我使用 Cloud 存储构建它但后来我意识到我在上传大文件时遇到问题(可能是因为请求时间限制?) 所以我想我应该使用Blobstore的上传URL来正确上传多个大文件 . Blobstore还具有即时图像大小调整功能,非常好用 . 问题是, Cloud 存储比Blobstore便宜 . 我应该在上传后将上传... -
2 votesanswersviews
获取图片网址Firebase存储(管理员)
我必须将图像上传到firebase存储 . 我没有使用网络版的存储空间(我不应该使用它) . 我正在使用firebase管理员 . 没问题,我上传文件没有困难,我得到变量“文件”中的结果 . 如果我访问firebase存储控制台,图像就在那里 . 行 . return admin.storage().bucket().upload(filePath, {destination: 'demo/ima... -
0 votesanswersviews
有没有办法将谷歌 Cloud 图像的大小调整到顶部裁剪
我从像这样的面向公众的图像网址获取 . http://lh4.ggpht.com/ID5nDUlKkB_YmWizfCrtCIwbQeqanL6CPAG3T215XaGwjyERnJ0IiPvQwf8rR3-KLgg0qRF2bZBJA0xP_1EYC353jp7TqGQ 并添加 -wXXX (宽度)或 -hXXX (高度)或 -c (裁剪) 例如http://lh4.ggpht.com/ID5n... -
0 votesanswersviews
Google Image Serving URL调整大小错误
我想调整大小为0px和裁剪的谷歌服务网址图片 . 我的链接如下获取错误: http://lh3.googleusercontent.com/AB-uiNFQXbUfnIZ6NXNJg-XNjN_smoMbY4SwkqAdPEQKxshtkWp0hx0IR2bi87Hkd_5a3KgbHDj5fMPw6LXuGzZJxPHdJ5aLAVWFWDw=s0-c 但如果删除调整大小并裁剪如下,图像显示成功... -
2 votesanswersviews
Google Cloud 端存储getImageServingUrl返回错误的图片
我正在使用Google Cloud 端存储来存储用户上传的图片 . 我使用此Google App Engine api PHP功能创建了一个通过Google服务提供图像的网址 . CloudStorageTools::getImageServingUrl($image_file, $options); 此服务返回图像的公共URL . 这个url有一些参数可以附加到url的末尾,这允许我返回不同版...