问题标签 [dataproc]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

63 问题
Newest
Active
Bountied
318
Unanswered
0 投票
0 回答
8 浏览

google-cloud-platform - 升级现有 dataproc 集群上的主节点配置

我正在学习 PDE 证书，因此我目前正在参加 Coursera 的课程 6：准备 Google Cloud 专业数据工程师考试课程。对于第 4 周的实验室，我应该升级现有 dataproc 集群上的主节点配置。为此，我停止了集群，转到 VM 实例并更改主 VM 的类型，但是当我返回集群配置时没有进行任何更改，并且当使用“新配置”提交新作业时，时间仍然是相同。一些文档指出垂直缩放目前是不可能的，但由于它是在课程中，我不确定。

0 投票
0 回答
38 浏览

java - 在 dataproc 集群上运行时，无法从 spark jar 中创建 bigquery 连接

我想从运行在 dataproc 集群上的 Spark 中删除 bigquery 表中的数据。但是在运行 Spark 应用程序时出现 SIGSEGV 运行时错误。这是尝试时的完整错误：

这是我正在关注的示例代码：

}

0 投票
0 回答
23 浏览

google-cloud-platform - DataprocClusterCreateOperator 没有要定义的 temp_bucket 变量

我正在尝试通过 DataprocClusterCreateOperator 通过 Apache 气流 Airflow 版本创建 dataproc 集群：1.10.15 Composer 版本：1.16.4 我想将项目使用的临时存储桶分配给集群，而不是谷歌在运行时创建的存储桶。当我们使用 --temp-bucket 选项通过命令行创建集群时，此选项可用，但无法通过 ClusterCreateOperator 传递相同的变量。

Dataproc 运营商信息： https ://airflow.apache.org/docs/apache-airflow/1.10.15/_modules/airflow/contrib/operators/dataproc_operator.html

通过命令创建集群：


12345678910