0

我正在使用google composer.

我们如何在.google composer environment

这个页面有在 Linux 机器上安装hadoopy 的步骤

Github 克隆

git clone https://github.com/bwhite/hadoopy.git
cd hadoopy
sudo python setup.py install

画中画安装

sudo pip install -e git+https://github.com/bwhite/hadoopy#egg=hadoopy

我不知道如何在 Google Composer 环境中安装它

4

1 回答 1

3

该包似乎在Python Package Index上可用。因此，您可以通过 Web UI 安装它（您的 composer environment > Pypi packages tab > edit > add <your_dependency>==<version>）。您也可以通过命令行执行此操作：

gcloud composer environments update ENVIRONMENT-NAME \
    --update-pypi-packages-from-file requirements.txt \
    --location LOCATION

requirements.txt然后应该包含类似的内容：

hadoopy==0.6.0

请注意，安装依赖项可能会很长（Composer 需要使用包含的包重新构建 Docker 映像）。

如果您想直接从 Github 上的源添加依赖项，则必须按照文档中描述的步骤操作：安装本地 Python 库。

于 2018-09-29T12:28:05.513 回答