问题标签 [google-cloud-datalab]

我用 jupyter 创建了一个谷歌计算实例，我想使用 datalabs 拥有的所有好东西。有没有办法获得像 gcp 这样的包和像 %%sql 和 %%storage 这样的 cellmagic。我找到了 gcloud 和 google-api-python-client 包，但我不知道它是否相同。

Datalab 目前似乎正在运行 0.6.0。我想更新到 0.8.0 版

我做了：

我有：

我怎样才能解决这个问题？

我有一个 zip 文件，其中包含存储在 Google Cloud Storage 实例中的 zip 文件中的相对较大的数据集 (1Gb)。

我需要使用托管在 Google Cloud Datalab 中的笔记本来访问该文件和其中包含的数据。我该怎么做？

谢谢你。

我的 Google Cloud Datalab 实例在进行了一些操作后一直处于关闭状态，并且查看统计数据似乎经常会出现 CPU 使用率达到 100% 的情况。

如何升级我的 VM 实例以提高处理能力？

该 wiki非常有助于提供有关在 GCE 中部署自定义数据实验室 vm 的过程的大量详细信息。

特别是，“发布构建”页面记录了最新 Datalab Docker 容器的以下位置：gcr.io/cloud_datalab/datalab:latest。

最终，对于生产，我将遵守所有发布步骤，尤其是在本地进行测试。但是，由于我在沙盒中工作，因此我相信我可以简化流程。也就是说，我想简单地克隆 datalab:latest，进行更改，将其保存到我的 Git 存储库，然后使用 Deployer App 创建一个新版本（具有适当的名称）并将container =部署程序 URL 参数设置为我的自定义图像（即 Docker 文件）。

我的问题是：

1. 这似乎是一种正确合理的方法吗？
2. 这是datalab :latest Docker 文件吗？
3. dockerfile.in 是我需要克隆然后对其进行更改的吗？

我有一些文件存储在 Google Cloud Storage 中，我从 Google Cloud Datalab 的 Notebook 运行以下命令：

但是在运行此代码时出现错误Invalid source format CSV 。你知道我在这里可能做错了什么吗？

谢谢！

我见过很多类似的问题，但它们并不特定于 Google Cloud Datalab 并且同时使用 UDF，例如查询执行显示 Unknown TVS 错误并通过 python API 从查询结果创建表。

当未使用 UDF 时，我设法创建了表，但是当它使用时，它返回错误“未知 TVF：myFunc”。

编辑 这是我正在使用的代码：

然后我在 sql 查询中使用了上面的 udf 函数：

然后我想使用该查询来创建另一个表，如下所示：

但它一直显示此错误：

未知 TVF：TRANSFORM_FIELD

我有一个使用 Pandas 作为工具访问 Big Query 的 Jypyter Notebook：

这在我的本地机器上运行良好！（很棒，事实上！）但是当我将同一个笔记本加载到 Cloud DataLab 时，我得到：

这似乎相当令人失望！我相信该模块应该与 Pandas 一起安装。但不知何故谷歌不包括它？出于一系列原因，最好不必将代码从我们在本地机器上开发的代码更改为 Cloud DataLab 中需要的代码，在这种情况下，我们会大量参数化数据访问......

好的，我跑了：

现在，当我运行笔记本时，我收到一个身份验证提示，由于 DataLab 位于远程计算机上，因此我无法解决：

没有看到一个明显的答案？

在更新笔记本中的 google-api-python-client 之后，我在同一笔记本中使用@Anthonios Partheniou 建议的下面的代码（在单元块中执行它），我得到了以下回溯：

他提到需要从同一个文件夹中执行笔记本，但我知道执行数据实验室笔记本的唯一方法是通过 repo？

虽然使用新 Jupyter Datalab 模块的新模块是一种可能的替代方案，但在本地和 DataLab 实例上使用完整的 Pandas BQ 界面的能力将非常有帮助！所以用我的手指寻求解决方案！

结尾

这是我尝试过的：（ipython笔记本，带有python2.7）

哪个失败了。
你有什么线索我做错了吗？

我正在尝试使用 pip 在 google datalab 上使用以下代码安装 PIL：

%bash pip install pil

并收到以下错误：

下载/解压 pil 找不到任何满足要求的下载 pil 清理... 根本没有找到 pil 的分发版 在 /root/.pip/pip.log 中存储失败的调试日志

任何帮助将不胜感激谢谢。