问题标签 [gcs]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
98 浏览

google-cloud-platform - 使用“gsutil”(GCS)删除“.txt”文件中列出的多个文件(对象)

我可以在Cloud Shell上使用以下“gsutil”命令删除GCS上的 3 个文件(对象)、“apple.jpg”“orange.png”“kiwi.gif”

现在,我想删除3 个相同的文件“apple.jpg”“orange.png”“kiwi.gif”以及“fruits.txt”文件,其中列出了 3 个相同的文件

水果.txt:

但是,我不知道用“gsutil”运行什么命令来用“fruits.txt”文件删除它们。我应该运行什么命令?

0 投票
2 回答
287 浏览

google-cloud-platform - 在 GCS 和 Cloud Shell 之间下载和上传文件和文件夹

我在GCS(Google Cloud Storage)上有一些文件和文件夹:

在此处输入图像描述

我在Cloud Shell上也有一些文件和文件夹:

在此处输入图像描述

现在,我想在GCSCloud Shell之间下载和上传这些文件和文件夹:

有没有办法做到这一点?

0 投票
0 回答
26 浏览

java - Apache Flink Parquet 文件加载 gcs

使用 Apache Flink 将镶木地板文件上传到 GCS 时出现此错误。你能帮助我吗

java.io.IOException:从元数据服务器获取访问令牌时出错:http: //169.254.169.254/computeMetadata/v1/instance/service-accounts/default/token

0 投票
1 回答
68 浏览

javascript - (重新工具)向 GCS 创建一个“.txt”文件,但我收到错误“无法在 'Window' 上执行 'atob':要解码的字符串未正确编码。”

Retool 上,我正在尝试为Google Cloud Storage(GCS)创建一个带有一些单词的“.txt”文件,但我收到了这个错误

在此处输入图像描述

makeTXTFile: 无法在 'Window' 上执行 'atob': 要解码的字符串未正确编码。

这是Retool上的查询设置,用于将“.txt”文件制作到GCS

在此处输入图像描述

动作类型内容类型

在此处输入图像描述

上传文件名

在此处输入图像描述

上传数据

在此处输入图像描述

我想要在每一行中都有一个水果名称的“.txt”文件,如下所示

在此处输入图像描述

有什么方法可以使“.txt”文件从RetoolGCS而不会出现错误

0 投票
1 回答
45 浏览

ruby-on-rails - 图像处理 gem 在 GCS 中创建调整大小的文件

我有 # 的 Item 对象has_many_attached :photos。我的活动存储服务是 GCS。我为 Item 创建了一个#thumbnail() 实例方法。像这样:

我在项目 show.html.erb 文件中将其称为:

然而,这会导致调整大小的照片上传到 GCS 存储桶中。所以我最终在我的桶中得到了正常尺寸的照片和调整大小的照片。我怎样才能避免这种情况?

0 投票
0 回答
22 浏览

airflow - 如何从气流中识别gcs存储桶中对象的所有者

我想识别在 GCS 存储桶中上传了哪个对象并希望在该 ID 上发送邮件的用户,其中包含他加载的所有对象的列表。我们如何从气流python代码中实现这一点

0 投票
2 回答
169 浏览

firebase - 将 GCS 存储桶链接到 Firebase (projects.buckets.addFirebase) 时出现 RESOURCE_EXHAUSTED 错误

我有一个创建 GCS 存储桶的脚本,将其链接到 firebase 并在存储桶上应用 firebase 规则。最近,我遇到了无法将 GCS 存储桶链接到 Firebase 的错误。

我正在使用 REST 方法projects.buckets.addFirebase将 GCS 存储桶导入到 Firebase。 https://firebasestorage.googleapis.com/v1beta/{bucket=projects/*/buckets/*}:addFirebase

API 的响应表明资源已耗尽。

所以我检查了 firebase googleapis 的配额,它说每分钟的使用量已达到限制。好的,如果是这样的话,为什么即使在几天不活动之后它也不会重置。每次发出请求时都会收到错误消息。如果是每分钟限制,为什么不在下一分钟重置?如果我达到每分钟限制一次,我们以后不能使用该服务吗?

在此处输入图像描述

我尝试删除 Firebase 安全规则(存储和 Firestore),但仍然出现同样的错误。

我真的不明白错误和它所链接的配额。我该如何克服这个错误?我现在无法向 Firebase 添加任何存储桶。我知道我们可以增加配额,但是当这个限制也超过时,我可能会遇到同样的情况。

0 投票
1 回答
289 浏览

google-cloud-platform - 如何使用 terraform 配置 GCS 存储桶权限?

我想在存储桶 bucket_A 上设置服务帐户 sa-email.com 的权限。

如何使用 terraform 进行如下配置?

  1. sa-email.com 可以在 bucket_A 中创建文件
  2. sa-email.com 无法删除 bucket_A 中的文件

更新:
现在在我的项目中,sa-email 是存储对象管理员。

我的项目中有大约 20 个桶。
我只想将权限更改为一个存储桶。
我是否必须使用 google_storage_bucket_iam_member 来设置 20 个存储桶?
有没有办法做一点更新?

Update2:
我的解决方案
google_project_iam_member 带有“条件”

0 投票
0 回答
51 浏览

google-cloud-platform - 使用谷歌数据传输将多个 Json 文件从 GCS 传输到 Bigquery 时出错

我在尝试将文件从 Google 云存储传输到 Google 大查询时遇到错误。这是错误:

错误 INVALID_ARGUMENT 失败:读取数据时出错,错误消息:JSON 表遇到太多错误,放弃。行数:1;错误: 1. 请查看 errors[] 集合以获取更多详细信息。

当我查看错误时,我有这个:

读取数据时出错,错误消息:从位置 0 开始的行中的 JSON 解析错误:没有这样的字段:_ttl。

我不明白问题出在哪里。如果我只是尝试传输 1 个文件,则数据将发送到我的 Bigquery 表。但我需要每天传输所有文件。这是我的数据格式示例:

我的数据来自 S3 存储桶,我从 dynamodb 批量处理。

0 投票
1 回答
127 浏览

google-cloud-platform - 是否可以使用 Terraform 实现用于云存储传输的 BigQuery 数据传输服务?

这更多是关于可能性的问题,因为 GCP 上没有关于此的文档。我正在使用 BigQuery DTS 将我的 CSV 从 GCS 存储桶移动到 BQ 表。我已经手动尝试过了,它可以工作,但我需要一些自动化,并希望使用 Terraform 来实现它。我已经检查过这个链接,但它并没有帮助: https ://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/bigquery_data_transfer_config

任何帮助,将不胜感激。谢谢!