问题标签 [spring-xd]

我们正在使用 Spring XD，获取一些 JSON 数据，需要创建 tap 并需要使用 groovy 脚本对记录求和..

还需要一些聚合函数，如 Min，Max 通过使用 groovy 脚本..

任何有想法的人喜欢如何做到这一点..

我使用以下命令创建了一个邮件流--------

参考 - http://docs.spring.io/spring-xd/docs/1.0.0.BUILD-SNAPSHOT/reference/html/#modules

但是在 xd-singletone 控制台中，我得到-

如何解决这个问题。

还有 --password=secret - 如何让我的密码在 XD shell 中不可见或保密

/香卡

我已经能够通过 eclipse 运行 SingleNodeApplication 来启动 spring-xd 单节点，但是当我尝试通过浏览器访问管理应用程序时，它会出现 403 错误。在我继续花时间调查它的原因之前，我想知道 spring-xd 团队使用什么实践/过程通过 eclipse IDE 运行 spring-xd。我查看了文档和谷歌，但找不到任何链接。

我无法在此处开始另一篇文章，因此请编辑同一篇文章并提供更多详细信息。

首先，设计讨论不应该在这个地方进行，但我发现论坛不活跃，不知道为什么会这样。我一直在计划开发大数据平台，似乎该平台的大部分功能都包含在 spring-xd 中，因此我正在评估是否可以在其之上构建附加功能。到目前为止，我几乎没有在 spring-xd 中看到的要求

1) 平台应该支持热部署模块，我在 sprind-xd 中没有找到，至少我无法从文档中看到它，我尝试更新模块中的 xml，期望出现的部署跟踪没有出现。所以我假设现在没有热部署功能，请在我深入研究代码之前确认一下。

2）我怎么能写一个不是模块的服务，可能是一些后台作业，它们会发送容器的系统信息或做一些清理，我可以把它写成作业，但我认为合适的术语是服务不做任何 ETL 的东西，它是普通的服务。推荐的方法是什么？

谢谢。

我正在使用 spring-xd-1.0.0.M6。

我尝试将 mysql DB 配置为 Spring-xd 的接收器

我关注 - http://theblasfrompas.blogspot.in/2014/01/springxd-filetail-input-ingestion-jdbc.html

我把我的 jdbc.properties 文件 - 在

1)spring-xd-1.0.0.M6/xd/modules/sink/jdbc/config 位置

2）我把mysql连接器罐子放在

我创建一个文件 - input.txt 并将其放在文件夹中 -/<some path>/temp/input.txt

该文件包含

jdbc 文件包含以下信息。

现在在 XD shell 我执行以下

我的 my-sql 数据库表名是 - file_test，它有 2 列 id 和 name - 与中提到的相同Example Link

但我明白了

如果我指定 tableName 参数，我也会得到 ..

我也参考 - https://github.com/spring-projects/spring-xd/pull/621

但线索少了....最新的 Spring-xd 版本

Spring XD 有一个非常有趣的 API，用于提供批处理作业的创建/部署/取消部署。

但是，我想知道为什么 Spring XD 没有在其 REST Api 中提出 GET 方法来访问作业执行（和步骤执行）的结果数据集？

我是否需要插入另一个 Spring MVC 应用程序来显示我的批处理作业结果？

非常感谢。

Spring XD 是否支持自动部署新模块？

查看文档，似乎您需要重新启动服务器才能部署 ${xd.home}/lib 目录中添加的新模块。

如果不支持，是否在路线图中？

谢谢。

我已将 Sql Server 配置为用作批处理作业工作流数据库。我遵循了文档中的建议，效果很好。

我想知道数据源连接是否被池化，以便我可以在调试模式下连接到 XD 并捕获其中一个JdbcTemplate.update(..)调用。我可以看到 DataSource 实现是org.apache.tomcat.jdbc.pool.DataSource并且已经配置了池大小。是否可以对此配置进行一些控制？

回答问题：

在 spring-xd-reference 的第 20 页上，有一条注释说：

“在为 Oracle、Sybase 和其他数据库添加完整模式支持之前，您需要将 .jar 文件放在 xd/lib 目录中，其中包含与这些 DDL 脚本等效的功能”

基本上，您使用其他示例的名称模式创建 2 个文件，然后将其放在同一个类路径中。您在配置中使用的模式用于获取文件。

spring: 数据源: url: jdbc:sqlserver://192.168.3.23:1433;databaseName=jobdb 用户名: asdf 密码: asdf driverClassName: com.microsoft.sqlserver.jdbc.SQLServerDriver

所以只需从 mysql 复制两个文件并将 mysql 部分更改为 sqlserver

stream create --name TailTest --definition "tail --name=/Users/name/Documents/SpringXD/PoC/input/Try.txt --outputType=text/plain --lines=1 |file --name=output --dir=/Users/name/Documents/SpringXD/PoC/output --mode=APPEND" --deploy

在这里，我看到，只要在 Try.txt 中输入了额外的行并保存，我是否给出 --lines=1 或 2 或 0，它正在读取整个 Try.txt 并将其转储到输出文件中。同样，当我向 Try.txt 添加一行时，它会读取整个文件内容，而不仅仅是最后一行，并将其附加到输出中前一个内容的末尾，知道这里可能出了什么问题，为什么 tail 没有只读取最后 1 行（或指定的 n 行）我在输入文件的每一行末尾输入了 enter 吗？

我已经设法让 Spring Xd 为我有来自一个 JMS 代理的数据的场景工作。我可能面临这样一种情况，即数据摄取可能来自不同的来源，因此需要我连接到不同的代理。根据我目前的理解，我不太确定如何执行此操作，因为存在一个 JMS 配置文件，它只允许您设置一个代理。

有解决方法吗？

我正在尝试使用 xd-singlenode 和 xd-shell 将 Spring XD 流存储到 Hortonworks 沙箱 2.0 版。没有创建 xd 目录，也没有流存储在 Hortonworks hadoop hdfs 中。

环境：Apple OSX 10.9.3，在 Oracle Virtualbox（Red Hat 64 位）中运行的 Hortonworks Sandbox，使用桥接模式网络。我在我的 WiFi 路由器中为 Virtualbox MAC 地址分配了一个固定的 IP 地址（192.168.178.30）。当我使用 OSX Safari 浏览到 192.168.178.30:8000 时，我可以使用 Hortonworks 菜单，例如文件浏览器、Pig、Beeswax (Hive) 等。Hortonworks 菜单中的“检查错误配置”会导致：

我使用 Homebrew 安装 Spring XD。我在 OSX 中更改了 /usr/local/Cellar/springxd/1.0.0.M6/libexec/xd/config/servers.yml 文件以包含

和

在 Virtualbox 中，我将文件 /etc/hadoop/conf.empty/hadoop-env.sh 更改为包括：

我使用以下命令在 OSX 中启动 Spring XD：

在第二个 OSX 终端中：

在 xd-shell 我输入：

xd-shell 中的“hadoop fs ls /”命令会导致：

当我使用命令创建 Spring XD 流时

然后在 OSX 中创建 /tmp/xd/output/twvoetbal.out 文件。Spring XD 接缝工作，包括我的 Twitter 开发人员密钥。

当我使用命令创建 Spring XD 流时

然后在 hadoop hdfs 中没有创建 xd 目录和文件。

问题：

1. 如何解决 xd-shell 中的“无法从 SCDynamicStore 加载领域信息”错误？
2. 如何解决 xd-shell 中的“WARN Spring Shell util.NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable”错误？
3. 我还能做错什么？