streamsets - 流集代码背后

Question

我有兴趣在 Streamsets 上工作。但是，我想集成到我的代码中，而不是在 UI 上工作。它们是如何编写的，我可以访问 Directory 和 file tail 后面的代码吗？如果他们在背后使用 Spark 流式传输或其他技术？

Answer 1

以下是在 UI 开发模式下启动 SDC 的步骤。

启动 SDC 时，传递 flag -Dsdc.static-web.dir=/<SDC_SOURCE_CODE_DIR>/datacollector/datacollector-ui/target/dist，如下所示：

export SDC_JAVA_OPTS="-Dsdc.static-web.dir=/Users/madhu/Documents/projects/datacollector/datacollector-ui/target/dist" bin/streamsets dc -verbose

转到文件夹<SDC_SOURCE_CODE_DIR>/datacollector/datacollector-ui/并运行以下命令以进行实时重新加载

grunt watch --force

通过以上步骤，您将可以直接在文件夹中修改 UI 源文件<SDC_SOURCE_CODE_DIR>/datacollector/datacollector-ui/src，只需刷新即可在浏览器中反映更改，无需构建任何内容。