问题标签 [spring-cloud-dataflow]

尝试在数据流服务器或 shell 中创建新流时，不会显示任何选项/属性。下面来自 shell 的类似输出。我还包括来自 SCDF 服务器的日志 - https://gist.githubusercontent.com/pbarriscale/d88802c7b96316636d3db441f3a7633c/raw/00f338bee957aa26c4ac621d95a680f67d24f982/scdf.log

我可以部署和启动一个成功运行的简单时间戳任务应用程序。

我已按照http://docs.spring.io/spring-cloud-dataflow-server-kubernetes/docs/current-SNAPSHOT/reference/htmlsingle/#_getting_started中概述的说明进行操作

在 SCDF UI 上使用批量导入应用程序，并选择基于 Docker 的流应用程序与 Kafka Binder 和基于 Docker 的任务应用程序。

我的系统信息。

CoreOS 稳定版 (1185.3.0) Docker 1.11.2 Kubernetes v1.3.7 3 Kubernetes 节点

谢谢

我是否需要自己在主服务器上安装 Spring Cloud Data Flow 的实例，还是作为部署的一部分“自动”安装？

这从http://docs.spring.io/spring-cloud-dataflow-server-kubernetes/docs/current-SNAPSHOT/reference/htmlsingle/#_deploying_streams_on_kubernetes的描述中不太清楚

我已经按照指南进行了操作，但删除了 MySQL 的每个配置。也许这是必需的。虽然我有点卡住了，因为它只是没有分配外部 IP，而且我不明白为什么，如何调试，以及我是否错过了安装一些必需的组件。

编辑：为了澄清，我在运行时看到一个 scdf 服务条目

但是此服务永远不会获得外部 IP。

我正在尝试设置和执行分区批处理作业的 Spring Cloud Tasks 示例（https://github.com/spring-cloud/spring-cloud-task/tree/master/spring-cloud-task-samples/partitioned-batch -job ) 在 Spring Cloud Data Flow Server 中。

但是由于某种原因，分区作业任务中存在错误：

此作业的作业执行已在运行：JobInstance: id=2, version=0, Job=[partitionedJob]

分区作业是否与 Spring Cloud Dataflow 服务器不兼容？

我正在遵循 [1] 中的入门指南，但我已从配置设置中删除了 MySQL 和分析内容，因为我不打算使用任何分析功能。然而，scdf 服务后来崩溃了，说没有配置数据源。

好的，所以似乎仍然需要在 scdf-config-kafka.yml [2] 中配置数据源（尽管从阅读文档中我认为它仅用于分析内容）。

但为了什么？数据源是用来持久化Kafka消息，还是在节点间建立云流消息？

我找不到关于大多数配置文件的可能属性的任何描述。我知道这是一个 Kubernetes ConfigMap，但这基本上是我能找到的。

[1] http://docs.spring.io/spring-cloud-dataflow-server-kubernetes/docs/current-SNAPSHOT/reference/htmlsingle/#_deploying_streams_on_kubernetes

[2] https://github.com/spring-cloud/spring-cloud-dataflow-server-kubernetes/blob/5ae02de306af66423d6933a0acb55315e2983a51/src/etc/kubernetes/scdf-config-kafka.yml

假设我有一个包含 3 个应用程序的流 - 一个源、处理器和接收器。

我需要保留从来源收到的消息的顺序。当我收到消息 A、B、C、D 时，我必须将它们作为 A、B、C、D 发送到接收器。（我不能将它们作为 B、A、C、D 发送）。

如果我每个应用程序只有 1 个实例，那么一切都将按顺序运行并保留顺序。

如果每个应用程序有 10 个实例，则消息 A、B、C、D 可能会在不同实例中同时处理。我不知道这些消息会以什么顺序结束。

那么有什么方法可以确保在使用多个实例时保留消息的顺序？

我已经用一个典型的简单流程成功地评估了 Spring Cloud DataFlow：source | 处理器 | 下沉。

对于部署，将有多个源输入此管道，我可以使用数据流标签来完成。一切都很好。

每个源都是一个不同的 rabbitmq 实例，并且因为处理器需要知道消息来自哪里（因为它必须回调源系统以获取更多信息），所以我想到的策略是用 header 来丰富每个消息有关源系统的详细信息，然后透明地传递给处理器。

现在，我精通 Spring、Spring Boot 和 Spring Integration，但我不知道如何丰富数据流源组件中的每条消息。

源组件绑定到 org.springframework.cloud.stream.app.rabbit.source.RabbitSourceConfiguration。源使用默认的 Source.OUTPUT 通道。如何获取源中的每条消息以丰富它？

我的处理器组件使用一些 Spring Integration DSL 来完成它需要做的一些事情，但是这个处理器组件根据定义同时具有 INPUT 和 OUTPUT 通道。RabbitSourceConfiguration 源并非如此。

那么，这可以做到吗？

我是spring cloud的新手，希望将我们的mono结构更改为微服务，这首先说明了我现在想要做的事情如下

1. 接收请求以从不同来源调用 Web 服务（外部系统）。在任何特定时间，这可以是 1 个请求或最多 100K 个请求。
2. 外部系统支持批量，所以如果我可以汇总消息并批量发送它们会更好。例如，继续聚合直到达到数量阈值（100 条消息）或达到时间阈值 2 秒。
3. 另外，如果我收到错误，我想以指数方式退后

我的第一个想法是在执行上述聚合的 Sink 之前创建一个处理器。

这是云计算中的正确思维方式还是他们的另一条路要走？

工作解决方案

有人可以帮我解决这些问题。我有非常大的文件（带有 5 列的 csv 格式）aprox 500Mb-1Gb 我需要插入到 greenplum 数据库中。我使用源文件通过选项 --mode=lines 读取这些文件并接收 gpfdist 以将这些数据导入 greenplum，但此操作的速度非常非常差。这个怎么调？？我尝试更改选项 batchcount flushcount flushtime batchtime 等，但没有运气。使用 gpload 只需 ~20-30 秒即可插入文件 ~800Mb。

文件 --directory=/data --filename-pattern=*.csv --mode=lines --prevent-duplicates=false --markers-json=false | gpfdist --db-user=**** --db-name=**** --column-delimiter=, --mode=insert --gpfdist-port=8000 --db-password=**** --db-host=**** --table=test --flush-count=200 --batch-count=1000000 --batch-period=2

tnx

我可以将 spring-cloud-dataflow(kubernetes) 用于递归任务吗？我需要根据当前结果（递归）创建新的流实例。我需要分布式处理任务。

1）我需要使用消息源吗？据我了解，数据流使用自己的消息代理（rabbit，kafka）。我需要安装另一个代理还是可以在数据流代理中创建队列？

2）我可以不排队吗？

3）流与任务？

谢谢

我们有一个场景，我们必须处理数据库表中的每个数据条目。但这应该是用户在决定开始处理时触发的。

我们对流处理很满意，因为我们可以将每个流程步骤解耦到流应用程序中，并根据需要对其进行扩展。我们的另一个选择是让它成为批处理作业的任务。

如果我们要通过流来做到这一点，我们正在考虑一种方法来拥有一个 http 源（获取触发器）-> jdbc 源/处理器（检索每条记录）-> 应用程序处理器（处理每条记录）-> jdbc sink（保存到数据库）

有没有优雅的解决方案或其他方式通过spring cloud stream和spring cloud data flow来做到这一点？