问题标签 [gcs]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-platform - 使用“gsutil”(GCS)删除“.txt”文件中列出的多个文件(对象)
我可以在Cloud Shell上使用以下“gsutil”命令删除GCS上的 3 个文件(对象)、“apple.jpg”、“orange.png”和“kiwi.gif”:
现在,我想删除3 个相同的文件,“apple.jpg”、“orange.png”和“kiwi.gif”以及“fruits.txt”文件,其中列出了 3 个相同的文件:
水果.txt:
但是,我不知道用“gsutil”运行什么命令来用“fruits.txt”文件删除它们。我应该运行什么命令?
java - Apache Flink Parquet 文件加载 gcs
使用 Apache Flink 将镶木地板文件上传到 GCS 时出现此错误。你能帮助我吗
java.io.IOException:从元数据服务器获取访问令牌时出错:http: //169.254.169.254/computeMetadata/v1/instance/service-accounts/default/token
ruby-on-rails - 图像处理 gem 在 GCS 中创建调整大小的文件
我有 # 的 Item 对象has_many_attached :photos
。我的活动存储服务是 GCS。我为 Item 创建了一个#thumbnail() 实例方法。像这样:
我在项目 show.html.erb 文件中将其称为:
然而,这会导致调整大小的照片上传到 GCS 存储桶中。所以我最终在我的桶中得到了正常尺寸的照片和调整大小的照片。我怎样才能避免这种情况?
airflow - 如何从气流中识别gcs存储桶中对象的所有者
我想识别在 GCS 存储桶中上传了哪个对象并希望在该 ID 上发送邮件的用户,其中包含他加载的所有对象的列表。我们如何从气流python代码中实现这一点
firebase - 将 GCS 存储桶链接到 Firebase (projects.buckets.addFirebase) 时出现 RESOURCE_EXHAUSTED 错误
我有一个创建 GCS 存储桶的脚本,将其链接到 firebase 并在存储桶上应用 firebase 规则。最近,我遇到了无法将 GCS 存储桶链接到 Firebase 的错误。
我正在使用 REST 方法projects.buckets.addFirebase
将 GCS 存储桶导入到 Firebase。
https://firebasestorage.googleapis.com/v1beta/{bucket=projects/*/buckets/*}:addFirebase
API 的响应表明资源已耗尽。
所以我检查了 firebase googleapis 的配额,它说每分钟的使用量已达到限制。好的,如果是这样的话,为什么即使在几天不活动之后它也不会重置。每次发出请求时都会收到错误消息。如果是每分钟限制,为什么不在下一分钟重置?如果我达到每分钟限制一次,我们以后不能使用该服务吗?
我尝试删除 Firebase 安全规则(存储和 Firestore),但仍然出现同样的错误。
我真的不明白错误和它所链接的配额。我该如何克服这个错误?我现在无法向 Firebase 添加任何存储桶。我知道我们可以增加配额,但是当这个限制也超过时,我可能会遇到同样的情况。
google-cloud-platform - 如何使用 terraform 配置 GCS 存储桶权限?
我想在存储桶 bucket_A 上设置服务帐户 sa-email.com 的权限。
如何使用 terraform 进行如下配置?
- sa-email.com 可以在 bucket_A 中创建文件
- sa-email.com 无法删除 bucket_A 中的文件
更新:
现在在我的项目中,sa-email 是存储对象管理员。
我的项目中有大约 20 个桶。
我只想将权限更改为一个存储桶。
我是否必须使用 google_storage_bucket_iam_member 来设置 20 个存储桶?
有没有办法做一点更新?
Update2:
我的解决方案
google_project_iam_member 带有“条件”
google-cloud-platform - 使用谷歌数据传输将多个 Json 文件从 GCS 传输到 Bigquery 时出错
我在尝试将文件从 Google 云存储传输到 Google 大查询时遇到错误。这是错误:
错误 INVALID_ARGUMENT 失败:读取数据时出错,错误消息:JSON 表遇到太多错误,放弃。行数:1;错误: 1. 请查看 errors[] 集合以获取更多详细信息。
当我查看错误时,我有这个:
读取数据时出错,错误消息:从位置 0 开始的行中的 JSON 解析错误:没有这样的字段:_ttl。
我不明白问题出在哪里。如果我只是尝试传输 1 个文件,则数据将发送到我的 Bigquery 表。但我需要每天传输所有文件。这是我的数据格式示例:
我的数据来自 S3 存储桶,我从 dynamodb 批量处理。
google-cloud-platform - 是否可以使用 Terraform 实现用于云存储传输的 BigQuery 数据传输服务?
这更多是关于可能性的问题,因为 GCP 上没有关于此的文档。我正在使用 BigQuery DTS 将我的 CSV 从 GCS 存储桶移动到 BQ 表。我已经手动尝试过了,它可以工作,但我需要一些自动化,并希望使用 Terraform 来实现它。我已经检查过这个链接,但它并没有帮助: https ://registry.terraform.io/providers/hashicorp/google/latest/docs/resources/bigquery_data_transfer_config
任何帮助,将不胜感激。谢谢!