0

我有一个luigi管道。有一个文件Google Cloud被设置为目标位置:

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/luigi_pipeline/lib/hail_tasks.py#L37

现在,有一种run_vep()方法可以调用其他方法,最终会调用以下不同的方法run_vep()

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/hail_scripts/v02/utils/hail_utils.py#L103

我们正在使用Google Cloud路径来访问文件,但我现在想访问本地文件。有没有办法改变luigi临时查找文件的位置?问题是我有两个位置luigi可以获取文件,并且需要两个位置都可以访问,而不仅仅是一个或另一个。这个问题怎么处理luigi

4

1 回答 1

0

事实证明,他们的函数hl.vep()实际上期望config应该有本地路径而不是本地路径hadoop。指定本地路径后,事情对我有用。知道如何直接访问这个或那个文件系统仍然很有趣,因为它的源代码hl.vep()也可能有用。

于 2019-11-27T20:49:58.447 回答