问题标签 [cdap]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-cloud-platform - 从 PubSub 提取 CDAP
我正在尝试将 PubSub 消息中的数据加载到 GCS 文件中。简单管道：PubSub 源 -> JSON 解析器 -> GCS 接收器。
由于 PubSub 只接受作为 utf-8 的 data 参数，我如何在 CDAP 中对其进行解码？我应该构建一个实现解码功能的自定义插件，还是使用 PuSub 消息中的属性而不是“数据”将我的数据作为字符串传递更好？
google-cloud-pubsub - 参数订阅必须符合模式^projects/[^/]+subscriptions/[^/]+$
.我正在尝试创建一个数据融合管道，该管道从 pub sub 和使用的投影中获取数据以将消息转换为字符串（如您所说），然后将其保存到 GCS。
但是，它给了我错误：参数订阅必须符合模式 ^projects/[^/]+subscriptions/[^/]+$
我正在使用正确的主题和订阅名称 projects/test/subscriptions/dataFusionSubscribe projects/test/topics/DataFusionTopic
google-cloud-data-fusion - 如何编辑已发布的 Cloud Data Fusion Pipeline
我在 Google Cloud Data Fusion 中部署了一个数据管道，但它没有按预期工作。有没有办法在 Cloud Data Fusion 中编辑已部署的数据管道，还是必须将其删除并从头开始重建并再次部署？
cdap - table-lookup 指令找不到准备数据的现有表
您好：我是使用 CDAP（Cask™ 数据应用平台）的新手。
我已经解析了 states.json 文件并成功编写了名为“StateTableDataset1”的 CDAP 表数据集。
当我在客户选项卡中执行查表状态 StateTableDataset1 时，发生异常。异常信息为：io.cdap.directives.lookup.TableLookup@3031fd7b：请检查是否存在 Table 类型的数据集“StateTableDataset1”。
StateTableDataset1 数据集截图：
请问有没有省略步骤，谢谢
google-cloud-data-fusion - 相当于谷歌云数据融合数据管道牧马人中的 LEFT() 函数？
我需要将 dataprep 配方中的配方移植到数据融合管道管理器中。
derive type: single value: LEFT(column3, 3) as: 'column3'
当我输入自定义转换时，它给了我一个错误：
io.cdap.wrangler.expression.EL.compile@1:6 unsolvable function/method 'LEFT'
google-cloud-data-fusion - 可以使用 Cloud Data Fusion 管道修改或删除 BigQuery 数据集中表中的行吗？
我需要构建 Data Studio 仪表板并使用 BigQuery 数据集中的数据。
我已经使用 Data Fusion 从本地 MS SQL 服务器将我的数据导入到 BQ，要求是我必须删除最后 5 天的记录，并在记录的顶部导入相同时间范围内的新更新记录BQ 数据集...
到目前为止，我能够使用管道完成所有工作，但是当我运行管道时，它确实将数据再次附加到 BQ 表中，最终得到重复数据。
我正在寻找一种在 BQ 从管道接收新数据之前对数据进行一些操作的方法。数据融合中有什么可以帮助解决这个问题的吗？
问候
maven - 尝试将 Google Cloud 的最新插件上传到 Data Fusion，但上传时出错
参考我之前的这篇文章：可以使用 Cloud Data Fusion 管道从 BigQuery 数据集中的表中修改或删除行？我正在尝试按照建议的答案编译最新版本的 Google Cloud Platform 插件并上传到 Data Fusion，以便我可以使用最新功能。
我们已经下载了代码，编译它并得到 2 个文件：
- google-cloud-0.13.0-SNAPSHOT.jar
- google-cloud-0.13.0-SNAPSHOT.json
在 JSON 文件中，父工件的最后几行是：
最初我去 Data Fusion 并选择上传一个新插件，但我收到一个关于父工件不存在的错误。所以我做了一些挖掘，发现 Data Fusion 上使用的工件的版本目前是 6.0.1：
所以我将父工件修改为正确的版本，现在 JSON 文件中的最后几行显示：
当我尝试再次上传插件时，它似乎通过了工件检查步骤，但在某种类检查中失败了，我在上传屏幕中看到了这个：
检查插件的工件时找不到类。请检查依赖项是否可用，并且指定了正确的父工件。错误类：类 java.lang.NoClassDefFoundError，消息：io/cdap/cdap/etl/api/validation/ValidationException。
所以现在我真的不知道这里出了什么问题。我怀疑数据融合中使用的工件版本没有引发错误的类？如果是这样，我如何更新工件本身？
或者，如果在整个过程中我还缺少其他东西，那么我将非常感谢您对此的任何指导或支持！问候
google-bigquery - 管道无法放入 BigQuery Sink MapReduce 程序“阶段 1”失败
我正在尝试构建一个简单的管道，将数据从我们的 Cloud SQL (MySQL) 移动到 BigQuery。所有 JDBC 驱动程序工作正常（如果我使用垃圾桶作为接收器，我可以看到预览数据）并且传播了架构。
我创建了 BigQuery 数据库和表——但是当我运行管道时，我得到了以下错误，它并没有告诉我任何事情。这里出了什么问题？
pipeline - 除了 UI 之外，我如何导入 CDAP 管道？
有没有办法使用 CDAP CLI 导入管道？我对自动化管道部署感兴趣。
cdap - 元数据/数据沿袭应用程序是否有用于外部数据源的 API？
我们的项目在 AWS 上，我们已经在为我们的数据管道使用不同的 AWS 服务。所以想知道我们是否可以将这些信息推送到您的元数据/数据沿袭 (FFL) 应用程序中？
-VVS