问题标签 [google-cloud-dataproc]

我正在尝试使用 Dataproc 集群的实例将大型 CSV 文件导入 HDFS，然后将它们导出为SequenceFile格式，最后将最新的导入 Bigtable，如下所述： https ://cloud.google.com/bigtable /docs/exporting-importing

我最初将 CSV 文件作为外部表导入到 Hive 中，然后通过将它们插入到 SequenceFile 支持的表中来导出它们。

但是（可能是因为 Hive 1.0 似乎附带了 dataproc？），我遇到了这里提到的强制转换异常错误：Bigtable import error

我似乎无法在 dataproc 主 VM 上启动并运行 HBase shell 或 ZooKeeper，因此我无法从 CLI 运行简单的导出作业。

1. 有没有另一种方法可以从 dataproc 导出与 bigtable 兼容的序列文件？

2. 从 Dataproc VM 主节点运行 HBase 和 ZooKeeper 的正确配置是什么？

我正在尝试hdfs:///home/bryan/test_file/通过将 Spark 作业提交到 Dataproc 集群来写入 HDFS 目录。

我收到名称节点处于安全模式的错误。我有一个解决方案可以让它退出安全模式，但我担心这可能是由于另一个原因而发生的。

为什么 Dataproc 集群处于安全模式？

我正在尝试通过 JDBC 编写：

Spark 文档解释说，如果在客户端模式（Dataproc 运行的模式）下运行，则配置选项不能spark.driver.extraClassPath用于添加 JDBC 驱动程序 JAR，因为 JVM 已经启动。

我尝试在 Dataproc 的提交命令中添加 JAR 路径：

我还添加了加载驱动程序的命令：

但我仍然得到错误：

根据 Dataproc文档，它具有“与 BigQuery 的本机和自动集成”。

我在 BigQuery 中有一张表。我想使用我创建的 Dataproc 集群（使用 PySpark 作业）读取该表并对其执行一些分析。然后将此分析的结果写回 BigQuery。您可能会问“为什么不直接在 BigQuery 中进行分析！？” - 原因是因为我们正在创建复杂的统计模型，而 SQL 级别太高，无法开发它们。我们需要 Python 或 R 之类的东西，因此 Dataproc。

他们有任何可用的 Dataproc + BigQuery 示例吗？我找不到任何东西。

似乎无法将服务帐户与 Dataproc 一起使用，因为在将服务帐户与 Cloud Dataproc 一起使用时，我遇到了权限错误。

例如，运行命令gcloud beta dataproc clusters list会产生一个错误，上面写着(gcloud.beta.dataproc.clusters.list) Request had insufficient authentication scopes

Cloud Dataproc 是否允许使用服务帐号？

BigQuery Hadoop 连接器是否与Dataproc集群一起自动部署？

我正在尝试通过 Google Developers Console (GDC) 创建 Dataproc 集群，但在单击“创建集群”后不断收到错误“加载失败”。

1. 计费已启用
2. 启用的 API 包括 Dataproc

有人知道我错过了什么吗？

我有许多图像需要通过 java 程序运行以创建更多图像文件——一个令人尴尬的并行案例。每个输入文件大约 500 mb，在处理过程中需要大约 4 GB 的内存，并且需要 30 秒到 2 分钟才能运行。java 程序是多线程的，但更多的收益来自于输入文件的并行化而不是使用更多的线程。我需要每天启动几次进程（我不想手动打开/关闭集群，也不想 24/7 支付）。

我对那里的各种云选项有点迷失：

• Amazon lambda系统资源不足（内存不足）。
• Google Cloud DataFlow，看来我必须编写自己的管道源才能使用他们的 Cloud Storage 存储桶。很好，但是如果这不是一个合适的解决方案（可能是这样，我还不能确定），我不想浪费时间这样做。
• 亚马逊数据管道看起来相当于谷歌云数据流。（为完整起见，在编辑中添加。）
• Google Cloud Dataproc，这不是 map/reduce hadoop-y 的情况，但可能仍然有效。不过，我宁愿不管理自己的集群。
• 谷歌计算引擎或具有自动缩放功能的 AWS，我只是为机器上的每个核心启动进程。我有更多的管理，但没有 API 可以学习。
• Microsoft Data Lake尚未发布，看起来像 hadoop-y。
• Microsoft Batch似乎很合适（但我之所以这么问，是因为我对其他选项仍然感到好奇）。

谁能建议对此有什么合适的解决方案？

当我创建Google Cloud Dataproc集群时，我收到错误 403PERMISSION_DENIED错误。错误的确切文本是：

这个错误是什么意思，我该如何解决？

我想在Cloud Dataproc上使用Jupyter/ iPython 。创建新集群时如何自动安装和配置它？