问题标签 [bonobo-etl]

我编写了一个 bonobo 脚本来提取一些数据，并且我想在我的工作运行时使用 python 的日志记录模块将一些状态消息写入文件。我做了以下事情：

如果我只是在 Pycharm 中运行脚本，它会按照我的预期记录到文件中。但是，如果我使用 bonobo run 命令从命令行运行它，它会忽略文件名并记录到标准输出。我该如何解决？我需要在某处设置标志或环境变量吗？

在 bonobo 文档中，他们有以下配置服务依赖项的示例：

我试图做类似的事情，并得到一个错误。这是我的脚本的一个非常简化的版本：

如果我尝试运行它，我会收到以下错误：

CRITICAL:bonobo.execution.contexts.base:<NodeExecutionContext(+listen_for_file) in=1 err=1> Traceback（最近一次调用最后）：文件“C:\Users\mfrants\AppData\Local\Programs\Python\Python37\ lib\site-packages\bonobo\config\processors.py”，第 102 行，在调用中 绑定 = self._bind(_input) 文件“C:\Users\mfrants\AppData\Local\Programs\Python\Python37\lib\site -packages\bonobo\config\processors.py”，第 89 行，在 _bind 中返回 bind(*self.args, *_input, **self.kwargs) 文件“C:\Users\mfrants\AppData\Local\Programs\Python \Python37\lib\inspect.py”，第 3015 行，在绑定中返回 args[0]._bind(args[1:], kwargs) 文件“C:\Users\mfrants\AppData\Local\Programs\Python\Python37\ lib\inspect.py"，第 2930 行，在 _bind 中从 None TypeError 中引发 TypeError(msg)：缺少必需的参数：'ftp'

上述异常是以下异常的直接原因：

回溯（最后一次调用）：文件“C:\Users\mfrants\AppData\Local\Programs\Python\Python37\lib\site-packages\bonobo\execution\contexts\node.py”，第 102 行，在循环中自我.step() 文件“C:\Users\mfrants\AppData\Local\Programs\Python\Python37\lib\site-packages\bonobo\execution\contexts\node.py”，第 129 行，步骤结果 = self._stack (input_bag) 文件“C:\Users\mfrants\AppData\Local\Programs\Python\Python37\lib\site-packages\bonobo\config\processors.py”，第 114 行，调用中 ）来自 exc bonobo.errors.UnrecoverableTypeError : <function listen_for_file at 0x000002A591047F78> 的输入没有绑定到节点签名。Args: () Input: () Kwargs: {'ftp1': <ftplib.FTP object at 0x000002A5910CF708>} 签名: (ftp)

我可以让它运行的唯一方法是在 listen_for_file 函数中将 ftp 更改为 ftp1 。我在这里做错了什么？

我想用慢速网络服务传输数据；但我还是想避免忙着等待。有没有办法可以在 ETL 图中执行 asyncio.sleep ？其他 async/await 命令可以在 bonobo 中使用吗？

我正在尝试在运行管道的其余部分之前验证少量样本行的提取操作（数据库查询）的结果

我使用了一个验证器，如果样本数据的形状错误，它将引发异常。我不想将结果传递到另一个阶段，但我希望管道的其余部分在继续之前等待样本提取和验证发生。有谁知道如何做到这一点？

谢谢

取这个节点：

当 Extract_fungi 是类的默认调用方法时，节点终端中的名称变为__call__，当传递这样的类时，如何阻止 _name 参数被覆盖？