0

我已经在本地安装了气流，并且正在更改执行程序以运行并行任务为此，我更改了

1- 数据库到 Postgres 13.3

2- 在配置文件中 sql_alchemy_conn = postgresql+psycopg2://postgres:postgres@localhost/postgres

3-执行者=本地执行者

我已经使用气流数据库检查检查了数据库并且没有错误 - > INFO - 连接成功。气流数据库初始化->初始化完成

我收到的错误，我根本不使用 SQLite

1- {dag_processing.py:515} 警告 - 因为我们在使用 SQLite 时不能使用超过 1 个线程（parsing_processes = 2）。所以我们将并行度设置为 1。

2- 我从气流网络界面收到此错误

The scheduler does not appear to be running.
The DAGs list may not update, and new tasks will not be scheduled.

那么我应该做任何其他改变吗？

4

2 回答 2

2

更改配置后，您是否真的重新启动了 Airflow 网络服务器/调度程序？

于 2021-06-27T19:23:19.677 回答
0

以下日志记录语句：

{dag_processing.py:515} WARNING - Because we cannot use more than 1 thread (parsing_processes = 2 ) when using SQLite. So we set parallelism to 1.

它来自Airflow 2.0.1，带有以下代码片段

if 'sqlite' in conf.get('core', 'sql_alchemy_conn') and self._parallelism > 1:
    self.log.warning(
        "Because we cannot use more than 1 thread (parsing_processes = "
        "%d ) when using sqlite. So we set parallelism to 1.",
        self._parallelism,
    )
    self._parallelism = 1

这意味着不知何故，根据您的[core] sql_alchemy_conn设置，它仍然在“sqlite”上。我认为，如果您确定更改并重新启动所有气流服务，那么它可能会获取您期望airflow.cfg的另一个副本。airflow.cfg请检查日志以验证它使用的是正确的日志。

于 2021-06-28T06:44:30.783 回答