2

我是 MS Azure 的新手。我正在尝试下载 Microsoft Academic Graph 进行各种分析,但他们不提供批量下载结构化数据集。openacademicgraph 等外部资源并不是很有用,所以我想我可以尝试通过 Azure 下载数据。

幸运的是,有专门的手册 - “在 Azure 存储上获取 Microsoft Academic Graph - docs.microsoft.com/en-us/academic-services/graph/get-started-setup-provisioning”。

我按照手册中的步骤为 MAG 创建了一个 Azure 帐户,收到了来自 Academic Knowledge API 的以下电子邮件 -


欢迎使用 Microsoft Academic Graph (MAG) Azure Storage (AS) 分发预览版。请注意,此发行版处于免费预览阶段。定价结构可能会发生变化。

您的 Azure 存储已成功设置为通过 Azure 数据工厂接收 MAG 更新。每个 MAG 数据集都被配置到一个名为“mag-yyyy-mm-dd”的单独容器中。2020-02-14 数据集已推送到您的 Azure 存储。

由于 MAG 附带 ODC-BY 许可证,因此您有权根据开放数据许可证的条款(例如,在您的产品、服务或社区活动中对 MAG 的归属)增加价值和重新分发衍生产品。

MAG 的每个快照都将作为不同的容器显示在您的 Azure 存储中。在 Microsoft Academic Graph 文档中,您可以找到使用 Azure Databricks 从 MAG 中为您的应用程序提取知识的示例。还有一个使用 U-SQL 的示例,它是 Azure Data Lake Analytic Framework 的成员。

我们还将用于我们的 WWW 会议分析博客文章的出色分析和可视化示例放在一起。我们希望这可以帮助您加快开发过程并激发想象力!


下一步是“为 Microsoft Academic Graph 设置 Azure Databricks - docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks”,我遵循了这一步骤。我能够为 MAG 创建一个 Azure Databricks(我不知道它们是什么,因为我是新手),但现在我无法让它运行。

以下是我收到的错误消息:


信息

集群终止。原因:云提供商启动失败

启动工作程序节点时遇到云提供商错误。有关详细信息,请参阅 Databricks 指南。

Azure 错误代码:OperationNotAllowed

Azure 错误消息:操作无法完成,因为它导致超出批准的总区域核心配额。其他详细信息 - 部署模型:资源管理器,位置:centralus,当前限制:4,当前使用:4,需要额外:4,(最低)需要新限制:8。在https://aka提交配额增加请求。 ms/ProdportalCRP/?#create/Microsoft.Support/Parameters/~~~通过指定“详细信息”部分中列出的参数以使部署成功。请在https://docs.microsoft.com/en-us/azure/azure-supportability/regional-quota-requests阅读有关配额限制的更多信息。


我不确定我应该做什么。

超出“总区域核心配额”,不是我的个人订阅等。我如何要求增加整个区域的配额?他们说我需要申请更大的配额,而我按照手册创建的免费试用帐户无法做到这一点。这是否意味着手册有误,我必须成为现收现付?“当前使用情况:4”但我目前没有使用任何东西。我只有一个 Azure 存储和一个未运行的 Databrick 集群。我重新尝试启动集群,第二次成功启动,只是在几分钟后停用并显示相同的错误消息。

我不会做任何复杂的查询和东西——这会很昂贵。作为糟糕的研究等,我想要得到的只是遵循 MAG 模式的数据集;我将在我的桌面上运行任何免费的分析,但速度较慢。任何帮助将非常感激。

4

5 回答 5

5

要试用 Azure Databricks,您需要订阅“即用即付”。

Azure Free Trail 有 4 个核心的限制,您不能使用免费试用订阅创建 Azure Databricks 群集,因为要创建需要 4 个以上核心的 Spark 群集。

如果您有免费帐户,请转到您的个人资料并将您的订阅更改为现收现付。然后,取消支出限制,并请求增加您所在地区的 vCPU 配额。创建 Azure Databricks 工作区时,可以选择试用(高级 - 14 天免费 DBU)定价层,为工作区提供 14 天免费高级 Azure Databricks DBU 的访问权限。

有关详细信息,请参阅“注册免费 Azure Databricks 试用版”。

于 2020-03-04T04:19:08.500 回答
2

您可以使用 databricks 社区版尝试大多数示例:

https://community.cloud.databricks.com/login.html

于 2020-03-05T06:16:01.040 回答
1

我将集群模式更改为单节点。这个对我有用。

于 2021-03-10T10:10:44.960 回答
0

您的订阅对整个事物的总核心数限制为 4 个。您的指南 ( https://docs.microsoft.com/en-us/academic-services/graph/get-started-setup-databricks ) 中的图片显示了使用 Standard_DS3_v2 大小的虚拟机(至少有 2 个工作人员)设置数据块集群. 图片进一步显示 DS3 vm 有 4 个核心,因此 2x4 = 8 个核心供您订阅。

您需要至少有 1 个工作人员或使用较小的 VM 大小。我还建议关闭自动缩放以避免出现问题。

于 2020-03-04T00:34:36.353 回答
0

使用免费的 Azure 订阅和试用层进行数据块我在执行此模块时遇到了同样的错误https://docs.microsoft.com/en-us/learn/modules/describe-azure-databricks/

创建集群时,我将集群模式从“标准”修改为“无”,问题解决了;我可以运行 python 笔记本。

于 2020-11-27T17:44:11.013 回答