问题标签 [google-cloud-python]

I am clipping images in Python 2.7 on Windows 10 and would like to send them to Google's Cloud Vision API. For images saved locally, I can send them using the google.cloud python module like this:

Documented here

I would rather not save each crop to file, just to send the numpy arrays directly. I could change the numpy arrays to str objects and use

but then Cloud Vision API would not be able to read them in my bucket. Is there any way to pipe from python to cloud storage bucket without wasting time/space saving them as an intermediate temporary object?

我有一个项目经常需要将数百万个微小（1 - 3 KB）的图像文件上传到谷歌云存储。推荐的方法/库是什么？我目前正在使用gsutil但想知道是否有更好的库。我最近遇到了google-cloud，但它似乎更慢（使用blob.upload_from_filename()）。

我希望能够通过 Python（Windows）来做到这一点，但如果它们提供显着的性能优势，我愿意接受其他选项。

有什么建议么？

我正在为 Google Cloud Vision API 使用 Python 客户端，与文档http://google-cloud-python.readthedocs.io/en/latest/vision/中的代码基本相同

问题是响应没有字段“注释”（因为它是文档），但基于文档有每个“类型”的字段。因此，当我尝试获取 response.face_annotations 时，我得到了并且基本上我不知道如何从响应 (AnnotateImageResponse) 中提取 Vision API 的结果以获取类似 json/dictionary 之类的数据。google-cloud-vision 的版本是 0.25.1，它被安装为完整的 google-cloud 库（pip install google-cloud）。我认为今天不是我的日子我感谢任何澄清/帮助

我正在编写一个数据流管道来处理来自谷歌云存储桶的视频。我的管道将每个工作项下载到本地系统，然后将结果重新上传回 GCP 存储桶。继上一个问题之后。

管道在本地 DirectRunner 上工作，我在 DataFlowRunnner 上调试时遇到问题。

错误读取

尝试在以下范围内执行blob.download_to_file(file_obj)时：

我猜工人不允许在本地写作？或者数据流容器中可能没有 /tmp 文件夹。我应该在哪里写对象？如果不访问环境，很难调试。是否可以从工作人员访问标准输出以进行调试（串行控制台？）

编辑#1

我尝试过明确传递凭据：

以及写入 cwd()，而不是 /tmp/

从 gcp 下载 blob 时仍然出现神秘错误。

完整的流水线脚本如下，setup.py 在这里。

我正在使用 Google 的Stackdriver Logging Client Libraries for Python以编程方式检索日志条目，类似于使用gcloud beta logging read.

Stackdriver 还提供了一个 API 来检索日志名称列表，这很可能是gcloud beta logging logs list使用的。

如何将该 API 与 Python 客户端库一起使用？我在文档中找不到任何东西。

尝试在 Windows 10 上为所有用户安装 Google Cloud SDK(Python)。收到以下错误。

这是新机器，开始重新构建。在此之前安装了 python 2.7 版本。

请帮我解决这个问题。

输出文件夹：C:\Program Files (x86)\Google\Cloud SDK 正在下载 Google Cloud SDK 核心。提取 Google Cloud SDK 核心。创建 Google Cloud SDK bat 文件：C:\Program Files (x86)\Google\Cloud SDK\cloud_env.bat 安装组件。欢迎使用 Google Cloud SDK！这将安装使用 Google Cloud Platform 所需的所有核心命令行工具。回溯（最后一次调用）：文件“C:\Program Files (x86)\Google\Cloud SDK\google-cloud-sdk\bin\bootstrapping\install.py”，第 214 行，在 main() 文件“C: \Program Files (x86)\Google\Cloud SDK\google-cloud-sdk\bin\bootstrapping\install.py"，第 192 行，在主安装（pargs.override_components，pargs.additional_components）文件“C:\Program Files ( x86)\Google\Cloud SDK\google-cloud-sdk\bin\bootstrapping\install.py",kwargs)，无文件“C:\Program Files (x86)\Google\Cloud SDK\google-cloud-sdk\lib\googlecloudsdk\core\url_opener.py”，第 73 行，在 urlopen 返回 opener.open(req, data ，超时）文件“c:\users\cpa8161\appdata\local\temp\tmpxcdivh\python\lib\urllib2.py”，第 429 行，打开响应 = self._open(req, data) 文件“c:\users \cpa8161\appdata\local\temp\tmpxcdivh\python\lib\urllib2.py"，第 447 行，在 _open '_open'，req) 文件 "c:\users\cpa8161\appdata\local\temp\tmpxcdivh\python\ lib\urllib2.py”，第 407 行，在 _call_chain 结果 = func(*args) 文件“C:\Program Files (x86)\Google\Cloud SDK\google-cloud-sdk\lib\googlecloudsdk\core\url_opener.py "，第 58 行，在 https_open 返回 self.do_open(build, req) 文件 "c:\users\cpa8161\appdata\local\temp\tmpxcdivh\python\lib\urllib2.py"，第 1195 行，在 do_open h.request(req.get_method(), req.get_selector(), req.data, headers) 文件中“c:\users\cpa8161\appdata\local\temp\tmpxcdivh\python\lib\httplib.py”，第 1042 行，在请求 self._send_request（方法、url、正文、标题）文件“c:\users\cpa8161 \appdata\local\temp\tmpxcdivh\python\lib\httplib.py”，第 1082 行，在 _send_request self.endheaders(body) 文件“c:\users\cpa8161\appdata\local\temp\tmpxcdivh\python\lib\ httplib.py”，第 1038 行，在 endheaders self._send_output(message_body) 文件“c:\users\cpa8161\appdata\local\temp\tmpxcdivh\python\lib\httplib.py”，第 882 行，在 _send_output self.send （味精）文件“c:\users\cpa8161\appdata\local\temp\tmpxcdivh\python\lib\httplib.py”，第 844 行，在发送 self.connect() 文件“C:\Program Files (x86)\Google\Cloud SDK\google-cloud-sdk\lib\third_party\httplib2__init__.py”中，第 1081 行，在连接中引发 SSLHandshakeError(e ) **httplib2.SSLHandshakeError: [SSL: CERTIFICATE_VERIFY_FAILED] 证书验证失败 (_ssl.c:661)安装失败。

我正在使用适用于 Python 的 BigQuery API将数据插入到带有table.insert_data().

有时，一行将包含 在表模式中设置为模式的字段的None 值。REPEATED发生这种情况时，API会返回以下错误：

我希望这些行被忽略。这是我正在使用的函数的原型，也可以在这里找到：

这是我感兴趣的参数，因为它似乎完全符合我的需求：

它在主 API中反映了这个参数：

但是，通过使用 with 函数skip_invalid_rows=True，会引发相同的错误。

这个参数是否意味着我认为的意思？

值得指出：

• 为什么文档中描述的末尾有一个问号skip_invalid_rows？
• ignore_unknown_values=True为自己的目的工作正常。

非常感谢任何帮助。:)

谷歌云的 python 文档有一个脚本（python-docs-samples/dataproc/submit_job_to_cluster.py），它具有以下功能：

我想知道是否可以在此函数中为集群的主节点和工作节点指定机器类型？

GCP python 文档有一个具有以下功能的脚本：

我在脚本中创建了一个参数解析函数，该函数接受多个参数（文件名）以上传到 GCS 存储桶。我正在尝试调整上述函数来解析这些多个参数并上传这些文件，但不确定如何继续。我的困惑在于上面的“文件名”和“文件”变量。如何根据我的特定目的调整该功能？

我有一个基于 GCP 的 python 客户端库的脚本，用于配置集群并向它们提交作业。当我运行脚本时，它成功地将文件上传到谷歌存储，创建集群并提交作业。当它运行我的“wait_for_job()”函数时会出现错误，如下所示：

这是我的wait_for_job()功能：

这是我的create_cluster()功能：

您认为问题与地区/地区有关吗？我的集群在us-east4-b并且尝试的作业提交在us-east4.