问题标签 [cdap]

我第一次使用Google Data Fusion（它在大约 4 小时前发布到测试版），我想做的第一件事是相当愚蠢的 - 读取驻留在一个 JSON 文件的内容GCS 存储桶。GCS 源代码似乎是一件显而易见的事情。我已经这样配置它：

如果我点击预览选项卡，我会看到一条消息

“Google Cloud Storage”阶段的预览数据不可用。

这是因为我做错了什么还是因为 GCS 源不支持预览数据？如果是后者，我会有点失望，预览数据在这样的工具中非常有用。

我刚刚安装了 Cloud Data Fusion，当我尝试探索“Cloud Storage Default”存储桶时收到此错误。我该如何解决？

cloud-datafusion-management-sa@xxxxxxxxxxxx-tp.iam.gserviceaccount.com does not have storage.buckets.list access to project xxxxxxxxxxxxx

我是 CDAP / 数据融合的新手。我创建了一个准备/牧马人，其中包括一组指令。我发现我现在希望编辑这些以前输入的指令，但似乎不知道如何执行此任务。

例如，在以下屏幕截图中，如何使用 UI 将quantity列的数据类型更改为浮点数？我目前的技术是删除指令 4、5 和 6 并重新输入，但我必须相信有比这更好的编辑技术。

我是谷歌融合的新手，并开始创建一个管道，其中源是驻留在存储桶中的文件并写入谷歌数据存储区。我的管道运行良好，没有任何错误，但我没有看到在数据存储中创建表。我可能会缺少哪些属性？

我尝试将我的接收器更改为保存在我正在阅读的同一位置的任何随机文件，但它不起作用。

我正在尝试使用 Wrangler Plugin 上的列使用自定义转换。

是否有任何文档可以找到应用自定义转换的函数列表？同样对于特定情况，我想根据 IF-ELSE 条件（或多个情况）替换列的值。有什么办法吗？

我正在 Google Data Fusion 中创建一个管道，允许我使用我的 bing-ads 开发人员令牌将我的 bing-ads 数据导出到 Bigquery。我在数据融合中找不到任何应该添加到我的管道中的数据源。Google Data Fusion 是否支持从 API 调用中获取数据，如果支持，如何实现？

我正在寻找一种方法来实现从多个输入消耗的 SparkCompute（或 SparkSink）插件的 SparkCompute（或 SparkSink）插件。

看界面，SparkCompute和SparkSink插件都仅限于使用一个。

这是摘自io.cdap.cdap.etl.api.batch.SparkCompute

（只有一个JavaRDD<IN>（方法签名中

有没有办法访问所有的输入（通过SparkExecutionPluginContext context或类似的东西）？

我正在创建一个数据融合管道以将 csv 数据从 GCS 加载到 BigQuery，以用于我需要创建属性宏并在运行时提供值的用例。需要了解我们如何将架构文件作为宏传递给 BigQuery 接收器。如果我只是将 json 模式文件路径传递给宏值，我会收到以下错误。

java.lang.IllegalArgumentException：无效架构：使用 JsonReader.setLenient(true) 在第 1 行第 1 列接受格式错误的 JSON

我正在按照Cloud Data Fusion 示例教程中的说明进行操作，一切似乎都运行良好，直到我尝试在最后运行管道。根据说明为 Google 托管服务帐户设置 Cloud Data Fusion Service API 权限。管道预览功能没有任何问题。

但是，当我部署并运行管道时，它会在几分钟后失败。在状态从配置更改为运行后不久，管道停止并出现以下权限错误：

xxxxxxxxxxx-compute@developer.gserviceaccount.com 是我项目的默认 Compute Engine 服务帐号。

“Project X”不是我的，但我不知道为什么管道启动代码试图在那里创建一个存储桶，它确实成功地在我的项目失败前。

我已经用两个单独的帐户尝试过这个，并且在两个地方都得到了相同的错误。我曾尝试将存储/管理员角色添加到各种服务帐户但无济于事，但那是在我意识到它试图完全访问不同的项目之前。

您好，我想使用 CDAP 将这种格式 /Date(1577746800000+0100)/ 的日期转换为简单的日期。有人可以帮助我吗？谢谢

日期示例