问题标签 [gcs]

我正在尝试在本地读取带有火花作业的对象。我之前在本地使用另一个 Spark 作业创建。查看日志时，我没有看到任何奇怪的东西，并且在 spark UI 中，工作只是卡住了

在我开始读取作业之前，我将 spark 配置更新如下：

然后我就这样读

我的服务帐户具有这些权限，我确实添加了我可以找到的对象存储的所有权限

这就是我之前编写对象的方式

这些是我的依赖

知道为什么写入会成功但读取会像这样卡住吗？

我在运行地精作业时遇到错误。我的 core-site.xml 看起来不错，并且具有所需的值。

核心站点.xml

错误

我能够在命令行中运行 GS 命令而没有任何问题。例如：hadoop fs -ls gs://<<bucketName>>产生所需的输出。

任何帮助，将不胜感激 。

我们将审计日志存储在 GCS 存储桶中。我们希望在需要时（不定期）使用 filebeat 将它们摄取到 Elasticsearch。我已经检查了 S3 选项，它让我们使用 s3 like storages 作为输入，使用providers。

我正在使用以下配置，但它没有写入任何数据，但是当我测试 filebeat 配置时它很好，但是输入停止工作。

这是来自日志的警告

我怀疑我的输入配置在某种程度上是不正确的。请检查以下内容并帮助我了解问题所在

我们在 Linode 上的 kubernetes 集群有问题！当我们从 eu.gcr.io 拉取图像时，我们得到这个错误：

我可以使用相同的凭据（服务帐户访问密钥）从 GCR 中提取图像：

cat key.json | docker login -u _json_key --password-stdin https://eu.gcr.io

docker pull eu.gcr.io/folder/image_name:master

请帮忙！

我有一个使用 Terraform 创建的存储桶。我在这个存储桶上定期上传，一切正常。现在，我想监控这个桶上的对象数，当我去监控并选择 GCS 桶和桶名过滤器时，它没有显示这个桶。所有其他存储桶都是可见的。任何帮助，将不胜感激。

我需要访问存储在 GCS bukcet 中的文档，以便从本地 Web 服务器访问。我的服务器将列出文档名称。用户将单击文档名称，实习生控制应来到 GCS，文档应下载到他的笔记本电脑/PC 上。我遇到了一个解决方案，让服务帐户与从 Web 服务器触发的每个请求相关联，并对 GCS 进行 Oauth 身份验证，并通过 GET 请求下载文档。问题是如何获取与存储在 GCS 存储桶中的每个文档相关联的 GCS 存储桶路径以及构建此解决方案的任何新想法。回应表示赞赏。

我的数据流从 gcs 读取文件并写入另一个 gcs 存储桶。

在我将 sdk 版本从 2.25.0 更新到 2.34 之前，它运行良好。

2.25 版
当输出文件不存在时，数据流将创建它。
当输出文件已经存在时，数据流将更新它。

2.34 版
当输出文件不存在时，数据流将创建它。
当输出文件已经存在时，数据流将不做任何事情，并且不会在日志中出错。

ver2.25 的行为是我想要的。
我怎么能用ver2.34做到这一点？

我的代码写入 gcs 文件如下。

我的绒球

我正在尝试使用签名 URL 从浏览器将文件上传到 GCS。

我已经在存储桶上设置了 CORS 策略：

然后我生成一个签名的 URL：

但是当我OPTIONS对存储桶进行调用时，我看不到 CORS 标头：

我不知道我在做什么错。任何帮助表示赞赏。

我是 GCP 和 GCP 存储的新手。我想将文件从 PC 上的文件系统上传到 GCS 存储桶。我找到了以下代码并对其进行了更改。

但我有文件位于这样的文件夹中：\F1\Data\Export\PlayOnUsers\2021\12\ 那是 2021 年零 12 个月 - 十二月

所以\F1\Data\Export\PlayOnUsers\变了之后。

我需要输入与 GCS 类似的格式。我需要创建子存储桶2021\和12\

这是怎么做到的？我也没有看到您放置 GCS 凭证的部分

到目前为止我有这个代码：

我正在使用以下代码行从 Google Bigquery 获取数据。

我在源表中有 12 条记录，从 1,2,3...12 开始 id 值。由于我在 ID 上应用了 Mod，结果集的 id 值应为 2、4、6、8、10、12。

相反，它将整个数据作为结果集返回。

因此，where 子句中的条件不适用。

寻求帮助。