问题标签 [google-cloud-datalab]

我正在尝试部署 DataLab。已确认我的项目在美国地区。我尝试创建新项目并在那里部署，但无济于事。到目前为止，似乎一切正常。需要注意的是，我的项目 ID 没有前面的 s~ （不确定这是否重要，或者它是否只是 DataLab / Google Cloud 中使用的一个符号。我在两天的时间里尝试了大约 10 次，但没有成功。

我已经登录了我的 gmail 帐户。我已让我的 GAE 项目访问 Google Cloud 和 Google Cloud API。

然后我去了

https://datalab.cloud.google.com/

我单击部署，即使 30 分钟后也没有任何反应，单击日志显示此 URLhttps://00e9e64bac0377838a54d60264cce65997c8b2f438815a30ac-apidata.googleusercontent.com/download/storage/v1_internal/b/tournamentparsertest-datalab/o/logs%2Fmain-20151107-21-44-24。txt?qk=AD5uMEsFO2dC4jsdMW0k1Gcc3Q7TC4xr8eTyHIfuBTe07xUG3WqUpOLtYbnmcW5EQDjzkyNeKx2CNpNTLgBY5ZhqaU4IzxR3x88_YR7Hy_rrQR7j8ilRK4FMi7JwZnwMW0heRr1-_awb3JdImjmDgIuGSzQBRqEsHWJupwLC8flsZAToymWG9CtlogUwYz4YOsNVHS01zJ9JoMEyfqGvaqJvmjUhVLqF9g8CgvIpGz6ZNSOOo1x_UYgR9BOUkT60buuWeAtE_Hv9VypbK6upM3SR-MADhTLndy7V5PBY6tCTLDUYQycd4vct2rLmaBgjZxNB8Pu1JvoJe6EIsnh8ADpUHSJq5q5BFi27ls2O09YUWU8W4na0-f9fjFC3-2UFWY6FBmwTGHWtdgP9uDJiOSkUfyAhl70w7VuAQQDybK88DtPVOOE9VvbF13jMieYusHI9O9dFTloPBXCoJGDhhyWhgrozCs5g5XM7oC3X_aIV4-ZXGzW9WZ4jYlDMU2FdCZ-lCKm_d9Xt8n3OP6ls_gxkRZ9tGK6IqJaIL0TOSDPlNqvo4fJSnLwY49ZCFw8pm2z1Zv_xnIaCtWSdOKyM9aU9uq6CkB6pZZxufUuxMGScxb2qcLxTkLcWV5mFN6z7fZvIxz30BtCfoyUNsYwFqSORzyiR23V88GbjsjGPN16kTphoWWnBrde_FQ2mO-SwdnTMmmEvGGIeyNgvEREuXfME1tpweZOokl8umReoTBB13FwVdL75-55bhxLgiSLaB_sinHy45pntUvKyPZHYHd6eIps-89kSOsGwJAlAJUcaOW8oIV7l4DYFUSTpVd9_bBOH0TfZeH8QZRGee_kbPjLYCj2PGr_h_GodOTEt7VRb4VJysQwyqsg 在页面上显示“未找到”。

如果我删除云存储中的虚拟机。尝试重新部署，然后日志显示这一点。请让我知道下一步应该是什么。

11 月 7 日 21:49:52 datalab-deploy-main-20151107-21-49-16 startupscript：运行启动脚本 /var/run/google.startup.script 11 月 7 日 21:49:52 datalab-deploy-main-20151107- 21-49-16 启动脚本：确保存储桶... 11 月 7 日 21:49:54 datalab-deploy-main-20151107-21-49-16 启动脚本：创建 gs://tournamentparsertest-datalab/... 11 月 7 日 21 :49:55 datalab-deploy-main-20151107-21-49-16 startupscript: 开始部署 Datalab 实例 main... Nov 7 21:49:55 datalab-deploy-main-20151107-21-49-16 startupscript: Setting向上源存储库分支... 11 月 7 日 21:49:56 datalab-deploy-main-20151107-21-49-16 启动脚本：创建默认存储库... 11 月 7 日 21:49:56 datalab-deploy-main-20151107- 21-49-16 启动脚本：步骤检查默认存储库成功。11 月 7 日 21:49:57 datalab-deploy-main-20151107-21-49-16 启动脚本：创建主分支 11 月 7 日 21:49:57 datalab-deploy-main-20151107-21-49-16 启动脚本：在 /master_branch/.git/ 中初始化空 Git 存储库 11 月 7 日 21:49:57 datalab-deploy-main-20151107 -21-49-16 startupscript: [master (root-commit) 1c57abe] master creation Nov 7 21:49:58 datalab-deploy-main-20151107-21-49-16 startupscript: fatal: remote error: Repository not found。11 月 7 日 21:49:58 datalab-deploy-main-20151107-21-49-16 startupscript：您可能需要使用源代码选项卡为此项目创建存储库 未找到存储库。11 月 7 日 21:49:58 datalab-deploy-main-20151107-21-49-16 startupscript：您可能需要使用源代码选项卡为此项目创建存储库 未找到存储库。11 月 7 日 21:49:58 datalab-deploy-main-20151107-21-49-16 startupscript：您可能需要使用源代码选项卡为此项目创建存储库https://console.developers.google.com 11 月 7 日 21:49:59 datalab-deploy-main-20151107-21-49-16 启动脚本：创建主分支的步骤失败。

我上周才开始使用新的 Google Cloud Datalab 和 IPython（尽管我已经使用 BigQuery 几个月了）。github 中的教程和示例非常有用，但是随着我的脚本和查询变得更加复杂，我想知道一些事情。第一个是这样的：我可以在后面的 %%sql 模块中引用一个 %%sql 模块中定义的查询吗？另一个有点相关的问题是，我能否以某种方式存储来自一个 %%sql 模块的结果，然后将该信息放入后续 %%sql 模块中的 IN 子句之类的东西中？

datalab github 存储库（位于 datalab/tutorials/BigQuery/ 下）的“SQL 参数”IPython 笔记本中的参数化示例显示了如何更改在 WHERE 子句中测试的值。是否可以使用参数来更改正在选择的字段的名称？

例如：SELECT COUNT(DISTINCT $a) AS n FROM [...]

在我收到下面的答案后，这就是我所做的（显然是一个虚拟表名和字段名）：

%%sql --module test01 DEFINE QUERY get_counts SELECT $a AS a, COUNT(*) AS n FROM [project_id.dataset_id.table_id] GROUP BY a ORDER BY n DESC

table = bq.Table('project_id.dataset_id.table_id') field = table.schema['field_name'] bq.Query(test01.get_counts,a=field).sql bq.Query(test01.get_counts,a=field).results()

当我尝试将 Datalab 部署到我现有的项目之一时，我在启动脚本中遇到了“由于暂时性错误而放弃”（下面的日志输出尾部的倒数第二行）。所有尝试都将自己记录在自动创建的 PROJECT-datalab/logs 存储桶中，第一次尝试一开始就有一些额外的内容（我相信一次性引导），但都以同样的方式失败。

我还可以在云控制台下看到一个 datalab 模块仪表板。如果我返回https://datalab.cloud.google.com/并选择项目，则唯一可能的选项仍然是“部署 Datalab”；“启动 Datalab”和“管理 Datalab”显示为灰色。

这是日志输出的尾部（除了我检查的所有日志文件的时间戳外，其余相同）：

知道问题可能是什么吗？在过去 4 小时内分散的 10 次尝试中的每一次都发生了这种“暂时”错误。这可能是那些目前在没有人工干预的情况下无法工作的现有项目之一吗？

顺便说一句，如果我按照“部署 Datalab”页面中的日志链接，它会经历一个循环：

然后更改为

最后结束于

我认为这实际上可能是一个多 Google 帐户问题并且不相关，因为完整的日志文件（没有该 401 消息）确实出现在存储桶中，但以防万一。

我使用命令创建了一个名为“passthrough”的udf，

然后，它返回了错误。

JavaScript 必须使用有效的 jsdoc 格式注释声明输入行和输出发射器参数。输入行参数声明必须键入 {{field:type, field2:type}}，输出发射器参数声明必须键入 function({{field:type, field2:type}}。

所以，我在 passthrough 函数上面添加了 jsdoc 注释，

并运行 sql 命令。但它仍然返回错误“未知 TVF：直通”。

如何声明参数，稍后在 datalab 上使用 UDF？

如果有效的 BigQuery 查询返回 0 行，则 to_dataframe() 会崩溃。（顺便说一句，我在 Google Cloud Datalab 上运行它）

例如：

产生：

这是一个已知的错误？

我有一个 DataFrame df。我创建了一个 BigQuery 表。

我想使用 Pandas 函数 [to_gbq()][1] 来存储 DataFrame。

尽管表存在，但这会返回“未找到异常”。我刚刚在上面的代码中创建了它。有人可以帮我解决问题的真正原因吗？

NotFoundException：无效的表名。应该是“datasetId.tableId”的形式

如果我做：

我得到：

我一直在使用 python（与 BigQuery 和 Cloud Storage 交互）几个月，最近一直在使用 Datalab 来完成类似的任务。我希望澄清gcloud（又名gcloud-python）包和数据实验室示例中使用的gcp包之间的区别。Datalab 似乎不了解 gcloud（尝试导入它会导致“ImportError：没有名为 gcloud 的模块”）。

更新：我项目的开发人员在过去一年中使用了各种 python 包来使用谷歌云平台。有时，一些软件包不稳定，但随着后续版本的改进。在某些情况下，这些包中的功能重叠，我们正在寻找关于哪些包进行标准化的专家意见，和/或关于哪些包最适合哪些用例的建议。

• 谷歌云平台gcloud-python
• Cloud Datalab gcp
• 适用于 Python 的 Google API 客户端库
• 博托

特别是，我们在 gcloud-python 不稳定的时候使用了 boto，但我们假设如果我们不需要支持对 AWS 的访问，我们最好使用 Google 特定的库而不是 boto。 这个使用 boto 描述/推荐（？）的页面似乎得到了积极维护——这是否意味着它是一个首选的替代方案，或者仅仅是为开发人员提供许多替代方案的目标？

如果这不是一个合适的 SO 问题，我将删除。

使用 Datalab 进行分析，我需要从 bigquery 中采样数据。当我刷新我的示例时，有时会收到此错误：

此行为在迭代（100 次迭代）时随机发生。

有什么线索吗？