问题标签 [google-cloud-python]

我正在使用适用于 Google Cloud Dataproc 的 Python 客户端库运行一个脚本，该脚本会自动配置集群、提交作业等。但是在尝试提交作业时，它会返回ImportError: no module named pandas. 我在运行作业的脚本中导入了 pandas 以及其他几个包。我不确定如何解决这个问题。

那么这有意义吗？

这是我更新的 bash 脚本：

我有一个长期运行的 Python 脚本，可以将文档从 MongoDB 上传到 GC 存储。文档首先导出到本地 csv 文件，然后将该 csv 文件上传到 GC 存储。

在出现错误之前，脚本运行了大约 10 个小时，没有出现任何问题。是什么导致了这个错误？

我使用 GCS 的代码：

堆栈跟踪：

因此，我正在尝试使用google-cloud-storagePython 库（https://googlecloudplatform.github.io/google-cloud-python/latest/storage/blob.html）为我的 Google Cloud Storage 对象生成临时的全局可读 URL - 更具体地说Blob.generate_signed_url() 方法。我在命令行 Python 脚本中的 Compute Engine 实例中执行此操作。而且我不断收到以下错误：

我知道在 GCE（https://github.com/GoogleCloudPlatform/google-auth-library-python/issues/50）中执行此操作存在问题，但我已按照此处的说明创建了一个新的服务帐户凭据：https://cloud.google.com/storage/docs/access-control/create-signed-urls-program我的 key.json 文件肯定包含一个私钥。我仍然看到那个错误。

这是我的代码：

我已经阅读了这里的问题跟踪器https://github.com/GoogleCloudPlatform/google-cloud-python/issues?page=2&q=is%3Aissue+is%3Aopen并且没有任何相关的跳出所以我假设这应该可以工作. 看不到这里出了什么问题。

所以我试图在 Python API 中配置一个 Google Dataproc 集群。下面是我用来创建集群的函数，但是当我尝试运行脚本时，它会吐出一个错误，所以出了点问题，但我不知道是什么。

当我通过以下方式创建集群时它可以工作： gcloud dataproc clusters create testing-automation --image-version 1.1 --project perfect-atrium-179917 --bucket hail-qc-data --master-machine-type n1-standard-2 --worker-machine-type n1-standard-2 --zone us-east4-b --initialization-actions gs://hail-qc-data/initialization_action.sh --metadata HASH=6e815ac3d973,SPARK=2.0.2,HAIL_VERSION=0.1

设置：Python 标准环境上的 Google App Engine 应用程序。

目前，该应用程序使用 NDB 库从其数据存储区读取/写入。它使用异步小任务从 Datastore 和 memcache 进行并行、异步读取。

如果我想使用 Firestore 作为 Datastore 的替代品，我似乎必须使用 Google Cloud Client Library for Python。我相信 google-cloud lib 不支持像 tasklet 这样的机制。但我想知道：lib 是否使用线程安全缓存机制来请求 Firestore API，甚至可能是 GAE 的内存缓存？

google-api-python-client图书馆会很快终止支持吗？

我一直在使用这个库做很多事情，我遇到了多个问题，因为这个库不是线程安全的。

我应该使用一些包装类来实现线程安全吗？我是否应该转移到 google-cloud 提供的其他库，因为这既不是线程安全的（导致很多问题），也不是持久的。

我遇到了 Google Cloud Bigtable Python 客户端的性能问题。我正在开发一个烧瓶 API，它可以写入和读取 GCP Bigtable 实例。该 API 使用 python 客户端与 Bigtable 通信，并部署到 GCP App Engine 柔性环境中。

在低流量下，API 工作正常。然而，在负载测试期间，与不与 Bigtable 通信的类似端点相比，读取和写入 Bigtable 的端点性能大幅下降。502 Bad Gateway此外，即使在 App Engine 中关闭了运行状况检查，大部分发送到端点的请求也会收到。

我知道客户目前处于 Alpha 阶段。我想知道性能问题是否已知，或者是否有人也遇到过同样的问题

更新

我从谷歌找到了一份文档说明：

网络连接存在问题。网络问题会降低吞吐量并导致读取和写入花费比平时更长的时间。特别是，如果您的客户端未在与您的 Cloud Bigtable 集群相同的地区中运行，您会发现问题。

就我而言，我的客户位于不同的区域，通过将其移动到同一区域，性能得到了巨大的提升。但是性能问题仍然存在，文档中的建议是将客户端放在与 Bigtable 相同的区域中。

我还考虑过使用容器引擎或计算引擎来更容易指定区域，但我想继续使用 App Engine 的自动缩放功能和托管服务。

我必须以固定的时间间隔从 App Engine 触发数据流作业模板以进行修复间隔我使用过 cron 作业，但不知道如何用 Java 语言触发模板我需要以下 Java 形式的代码。

上面的程序运行完美，但要部署单个应用程序，Python 中的许多依赖项已经完成，并且某些功能不可用，因为我需要在 Java 中更改我的 App Engine 程序。所以我可以在我的应用程序中使用 Apache 光束。

如标题所示，在运行应用服务器时，我得到了 DistributionNotFound 异常google-cloud-storage：

文件“/home/[me]/Desktop/apollo/lib/pkg_resources/ init .py”，第 867 行，在解决 raise DistributionNotFound(req, requirers) DistributionNotFound: The 'google-cloud-storage' distribution was not found and is应用程序要求

运行pip show google-cloud-storage发现它很好，在我的 venv 的站点包目录中。一切似乎也都井井有条python -c "import sys; print('\n'.join(sys.path))"；如果这很重要，云 SDK 目录也在那里。

不知道下一步该怎么做。

给定一个查询示例，例如

如何获取表的架构？行，在前面的示例中具有形式

但我找不到，对于包 google-cloud-bigquery==0.28.0 提取标头 JSON 的方式。当然，表模式的提取对我来说也很好，但当前的谷歌文档看起来不适用于最后一个版本......