0

我正在尝试运行一个示例 papermill 笔记本，您可以在此处找到：在 Official Apache Airflow url

气流-github

与相应的 dag 文件，在上面指定的同一目录中找到。

我使用 docker-compose 程序集在本地运行此程序，您可以在 Airflow 网站上找到该程序集：

气流码头页面

我不得不使用 Papermill 自定义构建图像，因为它看起来没有被烘焙到图像中：

在此处输入图像描述

这是我得到的一个错误：

raise NoSuchKernel(kernel_name)

jupyter_client.kernelspec.NoSuchKernel：没有名为 python3 的内核

如何添加内核？

更新：我设法解决了这个问题，但现在有了这个：

[2021-10-28, 22:47:57 UTC] {execute.py:84} INFO - 输入笔记本：/opt/ /dags/example_notebook.ipynb [2021-10-28, 22:47:57 UTC] { execute.py:85} INFO - 输出笔记本：out-2021-10-28T22:47:55.826195+00:00.ipynb [2021-10-28, 22:47:57 UTC] {driver.py:192} INFO - 从 /home/ /.local/lib/python3.6/site-packages/blib2to3/Grammar.txt [2021-10-28, 22:47:57 UTC] {driver.py:195} INFO生成语法表-将语法表写入 /home/ /.cache/black/21.9b0/Grammar3.6.15.final.0.pickle [2021-10-28, 22:47:57 UTC] {driver.py:199} INFO - 写入失败：[Errno 2] 没有这样的文件或目录：'/home/airflow/.cache/black/21.9b0/tmp27kcm8y_' [2021-10-28, 22:47:57 UTC] {driver.py:192} INFO -从 /home/ 生成语法表/.local/lib/python3.6/site-packages/blib2to3/PatternGrammar.txt [2021-10-28, 22:47:57 UTC] {driver.py:195} INFO - 将语法表写入 /home/ / .cache/black/21.9b0/PatternGrammar3.6.15.final.0.pickle [2021-10-28, 22:47:57 UTC] {driver.py:199} 信息 - 写入失败：[Errno 2] 没有这样的文件或目录：'/home/airflow/.cache/black/21.9b0/tmpnexc_sob' [2021-10-28, 22:47:57 UTC] {warnings.py:99} 警告 - /home/ /.local/lib /python3.6/site-packages/IPython/paths.py:67: UserWarning: IPython parent '/home/***' 不是可写位置，使用临时目录。" 使用临时目录。".format(parent))

4

1 回答 1

0

我和你有同样的问题，

我通过在 Docker 文件中添加行来解决它

RUN pip install --upgrade pip ipython ipykernel
RUN ipython kernel install --name "python3" --user

接着

docker-compose build
docker-compose up

这是我完整的 Dockerfile

FROM apache/airflow:2.2.1   
COPY requirement.txt .   
RUN pip install -r requirement.txt
RUN pip install --upgrade pip ipython ipykernel   
RUN ipython kernel install --name "python3" --user
CMD python -m ipykernel_launcher -f $DOCKERNEL_CONNECTION_FILE
于 2021-11-02T10:44:50.980 回答