1

我正在尝试使用flowers-sample中包含的预处理脚本（我看到它今天已被修改并且不再被弃用）。但是，安装所需的包后，管道失败并输出这些错误日志

(caeb3b0a930d0a6): Workflow failed. Causes: (caeb3b0a930d587): S01:Save to disk/Write/WriteImpl/InitializeWrite failed.

和

(d50acb0dd46c44c6): Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 666, in run
    self._load_main_session(self.local_staging_directory)
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 411, in _load_main_session
    pickler.load_session(session_file)
  File "/usr/local/lib/python2.7/dist-packages/apache_beam/internal/pickler.py", line 230, in load_session
    return dill.load_session(file_path)
  File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 363, in load_session
    module = unpickler.load()
  File "/usr/lib/python2.7/pickle.py", line 858, in load
    dispatch[key](self)
  File "/usr/lib/python2.7/pickle.py", line 1090, in load_global
    klass = self.find_class(module, name)
  File "/usr/local/lib/python2.7/dist-packages/dill/dill.py", line 423, in find_class
    return StockUnpickler.find_class(self, module, name)
  File "/usr/lib/python2.7/pickle.py", line 1124, in find_class
    __import__(module)
ImportError: No module named util

我从两个不同的谷歌计算引擎运行这个过程时遇到了同样的错误，我安装了 requirements.txt 中列出的包。

它是指util.pytrainer 目录中的文件还是我应该安装其他软件包以避免此错误？

4

1 回答 1

1

我找到了一种解决方法：在我已将包preprocess.py的导入替换为包含在.utilget_cloud_project()util.py

我不知道问题是否是由数据流上使用的本地包引起的。我不认为是这种情况，因为get_cloud_project()在管道定义中没有调用，但这是我第一次使用数据流。

如果其他人知道是否可以在不修改代码的情况下使代码工作，请告诉我！

于 2017-03-30T13:06:18.647 回答