问题标签 [apache-dolphinscheduler]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
56 浏览

apache-dolphinscheduler - 如何使用 apache-dolphinscheduler 的队列?

我对 apache-dolphinscheduler 的队列感到困惑,因为在用户指南中,队列用于 spark、mapreduce。但我想使用 python 代码产品种子来排队,工作人员中的另一个 python 代码从队列中提取种子并运行任务。你能告诉我 dolphinscheduler 是否可以处理它还是我必须使用其他工具,例如 Redis?谢谢。

0 投票
1 回答
72 浏览

apache-dolphinscheduler - dolphinscheduler 租户管理和用户管理

我已经在服务器后台部署了 Dolphin Scheduler,并在首页成功使用。但仍然存在以下问题:

  1. 租户管理问题:我以管理员身份登录后,创建了一个租户。在这种情况下,租户是否是任意创建的?在我的测试中,我发现租户必须对应于在后台部署 Dolphin Scheduler 的 Linux 主用户(部署 DS 的用户)。否则workerserver任务失败(用户没有权限,Permission Denied),我在worker-server日志中发现
  2. 用户管理问题:创建用户时有以下参数,租户,队列等,这里的租户是任意选择的,但是退出管理员登录用户登录,在执行任务流程时可以为用户选择租户,一个用户可以对应多个租户可以理解吗?但是您一次只能使用一个租户?
  3. 队列管理问题:这里队列的目的是什么?以什么方式?
  4. 如果任务流被拆分并分发给不同的serverworkers,如果存在依赖关系(例如,任务2需要在任务1完成后执行),这两个任务是同时分配还是顺序分配?
0 投票
2 回答
48 浏览

apache-dolphinscheduler - 如何将工具栏中的 datax 切换到 Addax 或工具栏新工具

由于datax中greenplum同步效率太低,需要切换到别的插件同步

0 投票
1 回答
33 浏览

apache-dolphinscheduler - dev 分支删除了 install.sh 脚本?

dev 分支删除了 install.sh 脚本。

为什么?

未来版本将如何部署以及计划是什么。

0 投票
1 回答
51 浏览

apache-dolphinscheduler - apache dolphinscheduler--ApiExceptionHandler:41 - null org.eclipse.jetty.io.EofException: null

当我尝试在进程中创建“SQL”任务时,出现下一个日志中的错误。但创建“shell or spark”任务是正常的。在具有相同配置的另一台服务器中创建“sql”任务时也是正常的。

0 投票
1 回答
43 浏览

apache-dolphinscheduler - Apache DolphinScheduler 调度系统在调度任务时中断

Apache DolphinScheduler 调度系统在调度任务时被中断。我在网上找了很久。但是没有用。请帮助或尝试提供一些想法如何实现这一目标。

0 投票
2 回答
44 浏览

apache-dolphinscheduler - 如何将 dophinscheduler 与 python 环境集成到系统中?

当我在开发一个边缘系统(python 环境)时,对于调度器部分,dolphinscheduler 非常适合我们的系统。但是dolphinscheduler主要是用java编写的。如何将 dolphinscheduler 集成到具有 python 环境的系统中?

0 投票
2 回答
78 浏览

apache-dolphinscheduler - 错误:在 dolphinscheduler 中运行进程实例时,工作服务器上发生 java.lang.NullPointerException

使用 Standalone 部署成功部署 dolphinscheduler。按照教程视频(https://www.bilibili.com/video/BV1d64y1s7eZ),当我尝试在 dolphinscheduler 中运行 Process Instance 时,workerserver 和 ApiApplicationserver 发生了一些错误。【workerserver错误图片】:https ://i.stack.imgur.com/lWQsU.png

ApiApplicationserver 错误图片

0 投票
1 回答
29 浏览

hive - pyhive,无法初始化集群。请检查您的配置

我在我的程序中使用 pyhive 和 dolphinscheduler,它在开发环境中运行良好,但在生产环境中有时会失败,有时会成功。我不知道为什么?

示例代码

软件版本

/tmp/hive/XXX 日志

pyhive 错误消息

0 投票
0 回答
14 浏览

apache-dolphinscheduler - 在docker swarm上部署Dolphinscheduler时,zookeeper的连接地址不一致

使用docker swarm部署DS时,master日志中出现错误提示是zookeeper的连接地址不是zookeeper容器的地址。例如,使用

命令查看zookeeper容器地址,结果是10.0.11.6,但是master容器日志显示的连接zookeeper地址是10.0.11.5:2181