问题标签 [spring-xd]

我希望以分布式模式启动 Spring XD（更具体地说是使用 BOSH 部署它）。管理组件如何与模块容器通信？

如果是通过 TCP/HTTP，我肯定必须告诉管理组件所有容器在哪里？如果是通过 Redis，我会认为我需要告诉容器 Redis 实例在哪里？

更新

我试过在一个盒子上运行xd-admin和 Redis，在另一个盒子上xd-container运行redis.properties更新以指向管理框。容器启动时不报告任何异常。

运行示例流提交curl -d "time | log" http://{admin IP}:8080/streams/ticktock不会产生任何一个控制台的输出，也不会输出到日志。

只是快速浏览一下 Spring XD，我查看了文档并有一些关于安全性的问题。

首先，我注意到通信的默认传输是 Redis，它更喜欢存在于受信任的网段中。在我们的环境中，无论是策略还是实际的网络和系统拓扑术语，都不是入门者，因此我们需要交换其他可以进行适当身份验证的东西。开发团队中是否有人对非 redis 且支持身份验证的传输有任何实际经验？

其次，如何在应用程序中完成身份验证和授权。如果我能联系到管理员，我可以部署任何我喜欢的东西吗？我想我错过了关于如何保护基础设施和层间通信和信息流的重要部分。

我完全欣赏这是 M1 和弹簧安全的血统（我们经常使用的东西）我敢肯定这一切都在等待你有时间喘口气的时候。目前，我们可能会感兴趣地观察和等待。

亲切的问候，马克斯

我正在积极寻找实时大数据分析解决方案。

现在我已经确定了一个成熟的演员Twitter Storm和一个年轻的挑战者Spring XD。

有谁知道Spring XD是否可以像 Storm 一样实时处理日志事件流或 Twitter 流？

这两种技术的已知限制是什么？

Spring XD 是否能够支持 Cloudera CDH？

http://docs.spring.io/spring-xd/docs.../#using-hadoop提到 CDH 是一种选择。但是，xd-admin 命令仅接受 --hadoopDistro 参数的以下参数：hadoop10、hadoop11、hadoop20、phd1。这些都不是针对 CDH 的。

由于需要 CDH 支持，我编译了最新的 spring-xd。我可以启动服务器，但是当我通过 xd-shell 连接到服务器时，我尝试更改“配置”。这也是一个 kerberized 集群，我不确定 xd 将/可以如何处理它。

第一种情况：

1. 管理员配置服务器 --uri http:// testdomain:10111
2. hadoop config fs --namenode hdfs://nameservice1:8020
3. hadoop config props 设置 hadoop.security.group.mapping=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
4. hadoop 配置道具加载 hadoop.security.group.mapping
5. hadoop fs ls

错误信息：

第二种情况

或者我删除了一些 java opts

从上一个场景运行步骤 1、2

然后

1. hadoop 配置道具设置 hadoop.security.authorization=true
2. hadoop config props 设置 hadoop.security.authentication=kerberos

下面的错误

16：50：29,682 WARN Spring Shell util.NativeCodeLoader：62 - 无法为您的平台加载本机 hadoop 库...在适用的情况下使用内置 java 类 ls：授权（hadoop.security.authorization）已启用，但身份验证（hadoop .security.authentication) 配置为简单。请配置另一种方法，如 kerberos 或摘要。

感谢您的帮助 - 迫不及待地想让这个工作！

Spring XD 在分布式模式下运行时是否支持自动故障转移？现在，如果我在具有两个容器的设置上创建一个简单的流，源将部署到一个容器，而接收器将部署到另一个容器。如果我关闭第二个容器，则流被列为已部署。如果我再次取消部署并部署流，则在将源和接收器都部署到一个容器时，事情会按预期开始工作。我希望这会自动发生。我正在使用版本 1.0.0.M3 和以下示例流：

流创建--定义“时间|日志”--名称滴答声

关于将模块部署到 Spring XD 容器的三个问题：

1. 对于某些源和接收器，有必要说明模块应该部署到哪个容器。假设我们在不同的机器上有很多容器，我们想建立一个从一台机器读取日志文件的流。tail 类型的源模块必须使用日志文件部署到机器上运行的容器中。你怎么能那样做？

2. 您可能希望将模块的执行限制为一组容器。假设我们有一些强大的机器用于批处理，上面有容器，我们还有其他机器，我们的容器与其他一些进程并行运行，仅用于摄取数据（日志文件等）。那可能吗？

3. 如果我们有一个自定义模块，是否可以将模块 xml 和 jars 添加到某些容器中，以便这些模块在那里执行？或者我们有必要在所有容器上都有相同的模块定义吗？

谢谢！

I am trying to do the Hortonworks tutorial "Using Spring XD to stream Tweets to Hadoop for Sentiment Analysis"

As part of the step I am using the command:

At this point I get a timeout exception.

Thus, I used the next step of creating a stream

At this point I get the following error:

Caused by: java.net.ConnectException: Call to localhost/127.0.0.1:8020 failed on connection exception: java.net.ConnectException: Connection refused: no further information at org.apache.hadoop.ipc.Client.wrapException(Client.java:1142) at org.apache.hadoop.ipc.Client.call(Client.java:1118) at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) at com.sun.proxy.$Proxy52.getProtocolVersion(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

I am using a Windows 7 laptop where I have the Hortonworks Sandbox.

In the Hortonworks sandbox setting I have:

1) Network --> Disabled the NAT driver 2) USing the Bridged Adapter --> Intel(R) Contrino(R) Ultimate-N 6300 AGN.

I am new to this, so pardon me if I have done small mistake

我有一个仪表板 Web 应用程序，它当前启动一个线程并跟踪一个日志文件，即使将一行添加到文件中，tailer 也会选择它，解析它，然后在应用程序周围发布一个事件，这反过来会执行诸如发送之类的事情它通过网络套接字发送给客户端或更新存储在磁盘上的总数。

这一切都很好，到目前为止似乎每天处理 500,000 个日志事件而无需担心。

但是看看 Spring 家族，也许有更好的方法以更“标准化”的方式来做这件事，这样可以更容易地维护代码并让其他人支持它。

由于我是 Spring 新手，有人可以告诉我这种东西是否最适合 Spring Integration 或 Spring XD，还是我应该更进一步并使用 Spring Integration 和 Rabbit MQ？

是否有任何 Spring 项目提供用于插入或使用 Greenplum 的模板或实用程序？

我知道一种方法是使用 Spring Batch 让一个 tasklet 调用 Greenplum gpload 实用程序，然后它将指定的文件插入数据库。

然而，考虑到 Spring Data 和 Spring XD 项目都旨在抽象数据访问和处理大数据需求这一事实，似乎应该为这个需求定制一些东西。鉴于 Pivotal 现在与 GreenPlum 和 Spring 的关系如此密切，情况尤其如此。

如果有人有任何使用 Spring 和 Greenplum 的经验并且可以提供任何指示或最佳实践，我们将不胜感激。