问题标签 [gcs]

在启用工作负载身份的 GKE 集群中，服务签署了 GCS 文件，但在大约 10 天后得到：“SignatureDoesNotMatch”。

系统管理的私钥轮换是否会导致它？

我应该怎么做才能解决它？

寻找 python 代码循环遍历文件夹内的多个日期目录 YYYY-MM-DD，其中包含要复制到另一个 GCS 存储桶的 Json 文件；

我还想将“dt =”附加到目标上的每个日期目录，同时我复制文件以使它们投诉到 Hive 分区文件夹结构以构建一个大查询外部表。

相当于

我正在尝试使用云功能将文件从 SFTP 服务器上传到 GCS 存储桶。但是这段代码不起作用。我能够sftp。但是当我尝试在GCS存储桶中上传文件时，它不起作用，要求是使用Python的云功能。

任何帮助将不胜感激。这是我正在尝试的示例代码。这段代码除了sftp.get("test_report.csv", bucket_destination). 请帮忙。

当总记录数较高（以百万计）时，将 iterator_1 设置为非常小的值，例如几千。但是当数据较少时，两者都具有相同的记录集。在 iterator_1 中仅获取值然后设置迭代器。在 iterator_2 中获取所有记录并设置迭代器。

理想情况下，两者都是一样的，对吧？但是得到不一致的输出。有人可以帮忙理解吗？

我正在尝试使用getValues()如下方式迭代 TableResult 中的行。如果我使用getValues()，它只检索第一页行。我想使用getValues()和不使用迭代所有行iterateAll()。在下面的代码中，问题是它的无限时间。没有结束。while(results.hasNextPage())没有结束。下面的代码有什么问题？

我在源表中只有 200,000 条记录。下面是输出，我强行停止了这个过程。

我有这段长时间运行的代码，它将文件从一个 GCS 存储桶中的多个日期前缀复制到另一个并添加了一些dt前缀，并且此代码在 composer/Airflow 中运行了 4 个小时，有时它会失败。我正在寻找并行化/优化它的方法，以使 copy_blob 操作更快，类似于gsutil -m cp -r使用 Python

我已经从https://stackoverflow.com/a/59008580/8518878将函数带到GCS中的list_directories

这是我的实际代码片段，我在其中调用包装在气流中的上述函数，该函数运行了四个小时并且无法复制 160 个日期目录，每个目录中平均有 50 个文件

选项1：

选项 2：

哪个更好。我看不出所用时间有什么不同。getValues() 比 iterateAll() 有什么优势吗？

尝试在 GCS 中解压缩受密码保护的文件，但在下面的代码中出现错误。下面的代码适用于普通的 .gz 文件，但无法解压缩受密码保护的文件。

在这里我们有一个问题，是否有任何可能的方法可以将经过测试的 android 应用程序的工件（..logs）从 GCS 复制到 gitlab？在 firebase 测试实验室进行测试。

我也做了'df -h'来查看它是否正确安装，然后它显示它是：

gs://bucketname/* 1.0P 0 1.0P 0% /home/admin/（vm实例中的目录）

但是当我输入 ls -l 时，在 vm 实例的目录中，我得到了总 0。它背后的原因是什么？