问题标签 [gcs]

我想使用 Dataflow 和 Python 将 GCS 中存在的 Avro 文件中的数据导出到 BigQuery 表中。谁能让我知道该怎么做？因为在数据流中，没有现成的模板可以将批处理模式下的 Avro 文件传输到 BigQuery 表。

我有 2 个用于 GCS（谷歌云存储）的脚本来上传和下载文件。我使用pip install google. 我的脚本正在运行，但现在我看到错误： ModuleNotFoundError: No module named 'google'

我在这里阅读了很多关于同一问题的问题，但没有找到解决方案。

我尝试了什么：

• 升级点

• pip uninstall google和pip3 install google

• 重新安装 VS 代码

• 我试过以下：

  pip install virtualenv virtualenv venv source venv/bin/activate pip install google-cloud-storage

这里source venv/bin/activate没有在终端中运行

你能帮我么？

当我这样做时，pip list我看到：

人们问我的代码。这里是。（虽然不需要解决问题）我运行的代码：

注意：（它上传到GCS。文件的名称如“客户- ...”，“帐户- ...”。文件的类型被上传到相应的命名存储桶中的前缀[bucket_name/Prefix_name]我称之为file_type_name在代码中）

我们正在尝试创建文件，检查文件，然后使用 GCSFS 库从气流中删除文件。它可以正常创建和检查文件，但我们无法使用此库删除文件。下面是我们的代码，

当我们执行此代码时，删除部分将输出为“Opps 文件仍然存在”。我在这里想念什么？

我正在尝试为 DAG 创建一个 Jenkins 管道，以便从那里存储在谷歌云存储中，云作曲家连接到拉 DAG。在创建管道时，我创建了一个 Jenkins 服务帐户，并且我使用相同的 Jenkins 来访问 GCS。但是，当我通过全局凭据在 Jenkins UI 中创建凭据并使用密钥在几分钟后被删除时，我的构建失败说未知凭据，因为它无法获取任何凭据，因为它被删除并且无法访问任何服务帐户。以前有人遇到过类似的问题吗？我关心的是如何将秘密传递给詹金斯。？我应该将它作为 JCasC 传递吗？

使用以下方法，我从 BigQuery 获取数据

这里，results.iterateAll()是从结果中获取所有记录。但我只想从结果中检索特定数据。

考虑到结果给出 10 条记录，我想根据从 0 开始的索引逐行迭代。

我没有找到任何方法来实现这一点。有人可以帮忙吗？

是否可以使用“{gcs_domain}/anybucket/folder1/?{gcs_headers}”之类的 GCS 签名 url 上传多次不同的文件（有一个或多个请求，没关系）？

最后给出：-folder1 --file1.txt --file2.txt ...

还是 Signed Url 与一个对象严格配对？

我查看了 Signed Url 文档，但没有找到此信息。

谢谢。

我正在将文件上传到 GCS（谷歌云存储）。我的脚本正在运行。但现在我尝试在终端中运行它python uploadtogcs.py 'C:/Users/AS/Documents/GCSUploadParameters.json'

我收到错误：

我试着写json.load()，但它没有帮助。我也尝试删除file.read(). 然后我有另一个错误。我想从终端运行并在那里给出论点。

这是我的代码：

你能帮我么？

亲切的问候，安娜

我有一个在服务器上存储文件的客户端-服务器应用程序，但是我想集成谷歌云。

我必须马上说，用户可以通过电子邮件登录，也可以通过电话登录（在这种情况下，他不会有电子邮件）。

我的主要任务是让每个特定用户的前端能够直接将文件上传到谷歌云存储（无权删除它们）

我的主要想法是赋予特定用户将新文件添加到特定范围的权利。起初，我想我会在后端创建一个具有管理员权限的服务帐户，并使用我的后端将特定购物篮文件夹的访问权限授予特定用户。但是，据我了解，最好为每个用户创建一个单独的存储桶，并赋予用户创建新文件的权利。主要问题是如何为前端提供一个令牌，该令牌将包含仅添加到此存储桶的权利。最初，我希望我可以创建某种令牌，而无需在 Google Cloud 端创建用户实体。但经过一番谷歌搜索后，我意识到我需要使用 IAM。IAM 提供了多种用户识别选项：

• Google 帐户电子邮件：user@gmail.com - 但正如我之前写的，我可能没有电子邮件，只有电话号码
• Google 群组：admins@googlegroups.com - 不是我的选择
• 服务帐户：server@example.gserviceaccount.com - 但据我了解，前端不允许使用服务帐户。
• Google Workspace 域：example.com - 不是我的选择

也许还有其他一些选择。理想情况下，我想要一个永久令牌，用于特定存储桶，而无需在 Google 存储端创建用户，因为我自己的数据库中已经有一个用户。

我的环境创建了一些目录，例如 /bucket_name/dir1/dir2/file.zip 当我得到 blob 时，返回：

blob：<Blob：bucket_name，dir1/dir2/file.zip，1642517390301538>

blob.name：dir1/dir2/file.zip

我创建了一个目录并放置相同的文件并返回不同的：

**

blob：<Blob：bucket_name，dir1/dir3/，1642527281034072>

blob.name: dir1/dir3/

blob：<Blob：bucket_name，dir1/dir3/file.zip，1642527394949187>

blob.name：dir1/dir3/file.zip

**

我只需要返回文件，而不是像以前那样返回目录。

有人知道为什么会发生这种不同的行为吗？有没有办法只返回关于文件（而不是目录）的 blob 和 blob.name ？

示例代码：

我有一个临时文件夹，我想在 gcp 存储桶中删除它我想删除它的所有内容，我想到的是我可以将此临时文件夹的路径作为前缀传递并列出其中的所有 blob 并删除每个blob，但我怀疑它会在不删除文件夹本身的情况下删除其中的 blob，对吗？目标是在 folder1/没有临时文件夹的情况下找到空文件夹，但是当我尝试时发现意外行为，我发现包含此临时文件夹的文件夹已被删除！例如，如果我们有folder1/tempfolder/file1.csv并且folder1/tempfolder/file2.csv我发现在应用我的更改后删除了 folder1，那么应用的更改如下：

PS：BucketUri是一个类，其中bucket_uri.name检索存储桶名称并bucket_uri.key检索路径folder1/tempfolder/