问题标签 [airflow]

我正在尝试使用 Airflow 创建与 Oracle 数据库实例 (oracle:thin) 的连接。

根据他们的文档，我输入了我的主机名，后跟端口号和 SID：

主机：example.com:1524/sid

填写其他字段为：

连接类型：甲骨文

架构：用户名（文档说：使用您的用户名作为架构）

登录：用户名

密码：* * *

建立连接后，它会为我尝试执行的每个查询提供保存错误代码 ( ORA-12514 )。似乎 oracle 不允许气流连接：

ORA-12514: TNS:listener 当前不知道连接描述符中请求的服务

以前有没有人遇到过同样的问题。我的意思是，对于像这样的大平台，连接到数据库应该不是问题。或者我可能做错了什么。谢谢

版本：Airflow v1.7.0，Oracle11g

编辑：

我使用的主机名与在 Oracle SQLDeveloper 客户端中使用的主机名相同：

我正在尝试使用气流来定义我想从命令行手动触发的特定工作流程。

我创建了 DAG 并添加了一堆任务。

然后我在终端运行

什么也没有发生。调度程序正在另一个线程中运行。任何方向都非常感谢。谢谢你

我好像在做某事。错误的。

https://pythonhosted.org/airflow/start.html

python --version
Python 2.7.10

这很奇怪 - 安装似乎运行良好（有一些警告 - 没什么严重的）说：气流，烧瓶等已成功安装。但即使在重新启动 PC（Ubuntu 15.10）之后，气流似乎也不是一个命令。

我有一个每天 3:00 运行的 DAG，过去几周运行良好。

我已将日期更新为现在在 7:00 运行，但显然过去 2 天它没有运行。我可以看到这两天的任务，状态为“正在运行”（绿色），但没有触发任何命令。

是否需要做更多的事情来改变 DAG 的运行时间？

我知道过去解决此问题的一种方法是在元数据库中清理此 DAG 的任务，并更新 start_date，但我宁愿避免再次这样做。

有人有建议吗？

我已按照此处的文档说明将气流安装到我的服务器上。

安装看起来包含主（服务器）和从（客户端）。

如何在另一台计算机上安装 Airflow 的从属/客户端组件？还是每次安装都需要同时包含服务器和客户端？

我更喜欢使用原始 SQL（主要是 select + insert）而不是 O/R 映射器，因为执行查询会很困难。

（RDBMS 是 postgres9.4）

所以问题是

我可以将原始 SQL 用于 Airflow 中的逻辑部分吗？

但是口译员没有问题：

我假设它必须与以下内容有关：

所以在解释器中它使用dateutilfrom/u/lib/python2.7而在气流中它使用datutilfrom build/bdist.linux-x86_64/egg/dateutil??

我什至不知道在哪里build/bdist.linux-x86_64/egg/dateutil。

有人可以告诉我发生了什么以及如何告诉气流从正确导入dateutil吗？

在气流网络控制台的 DAG 视图中有一个名为“着陆时间”的部分。

从 airbnb 的博客中截取的示例屏幕截图：

但是这是什么意思？文档或其存储库中没有定义。

在不同的机器上运行工作人员会导致下面指定的错误。我已按照配置说明同步 dags 文件夹。

我还要确认一下，RabbitMQ和PostgreSQL只需要安装在Airflow核心机器上，不需要安装在worker上（worker只连接核心）。

设置的规格详述如下：

气流核心/服务器计算机

已安装以下内容：

• Python 2.7 与
  • 气流（AIRFLOW_HOME = ~/airflow）
  • 芹菜
  • 精神科gp2
• 兔MQ
• PostgreSQL

在airflow.cfg 中进行的配置：

• sql_alchemy_conn = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow
• executor = CeleryExecutor
• broker_url = amqp://username:password@192.168.1.2:5672//
• celery_result_backend = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow

进行的测试：

• RabbitMQ 正在运行
• 可以连接到 PostgreSQL 并且已经确认 Airflow 已经创建了表
• 可以启动和查看网络服务器（包括自定义 dags）

.

.

气流工作者计算机

已安装以下内容：

• Python 2.7 与
  • 气流（AIRFLOW_HOME = ~/airflow）
  • 芹菜
  • 精神科gp2

airflow.cfg 中的配置与服务器中的配置完全相同：

• sql_alchemy_conn = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow
• executor = CeleryExecutor
• broker_url = amqp://username:password@192.168.1.2:5672//
• celery_result_backend = postgresql+psycopg2://username:password@192.168.1.2:5432/airflow

在工作机器上运行的命令的输出：

运行时airflow flower：

运行时airflow worker：

当celery_result_backend更改为默认值db+mysql://airflow:airflow@localhost:3306/airflow并airflow worker再次运行时，结果为：

我错过了什么？我该如何进一步诊断？

我想确认每周一上午 9 点执行我的 python 脚本任务的正确语法。目前，我的脚本设置为每周日上午 12 点（0 0 * * 0）发送。