问题标签 [azure-machine-learning-studio]

我正在编写一个要在 AzureML 中使用的 python 脚本。我的数据集很大。我有一个数据集，其中包含名为 ID(int) 和 DataType(text) 的列。我想将这些值连接起来，使其只有一列包含 ID 和 DataType 以逗号分隔的文本。

执行此操作时如何避免出现错误。我的代码中是否有任何错误？

当我运行此代码时，我收到以下错误：

我的代码如下：

当我在 AzureML 中运行默认的 python 代码时，我得到了同样的错误。所以我很确定我的数据不适合数据框。

默认脚本如下：

我正在尝试使用 Pycharm IDE 运行一个 python 程序，但如果不偶然发现“您的系统已用完应用程序内存”就无法这样做。经过一番研究，我发现了使用 Microsoft Azure ML 的建议。任何人都可以向我指出一些可以帮助我入门的有用链接或任何其他建议吗？

编辑：我正在处理一个包含 400,000 个样本和约 5000 个样本的数据，我想使用 chi2 特征选择，但我无法运行该程序。

Azure ML Experiments 提供了通过Reader和Writer模块读取和写入 CSV 文件到 Azure blob 存储的方法。但是，我需要将 JSON 文件写入 blob 存储。由于没有模块可以这样做，我试图从一个Execute Python Script模块中这样做。

但是，这会导致错误：ImportError: No module named azure.storage.blob

这意味着azure-storagePython 包未安装在 Azure ML 上。

如何从 Azure ML Experiment 内部写入 Azure Blob 存储？

这是填充错误消息：

感谢大家！

更新：感谢 Dan 和 Peter 提供以下想法。这是我使用这些建议所取得的进展。我创建了一个干净的 Python 2.7 虚拟环境（在 VS 2005 中），并将pip install azure-storage依赖项放入我的站点包目录中。然后我压缩了 site-packages 文件夹并作为 Zip 文件上传，按照下面 Dan 的说明。然后我包含了对站点包目录的引用并成功导入了所需的项目。这导致写入博客存储时出现超时错误。

这是我的代码：

这是新的错误日志：

我目前的探索是requests在azure-storage. requests在 Python 2.7 中有一个已知错误，用于调用较新的 SSL 协议。不确定，但我现在正在那个地区挖掘。

更新 2：此代码在 Python 3 Jupyter 笔记本中运行良好。此外，如果我让 Blob 容器对公共访问开放，我可以通过 URL 直接从容器中读取。例如：df = pd.read_csv("https://mystorageaccount.blob.core.windows.net/upload/test.csv")轻松地从 Blob 存储中加载文件。但是，我不能使用azure.storage.blob.BlobService从同一个文件中读取。

更新 3：Dan 在下面的评论中建议我尝试使用托管在 Azure ML 上的 Jupyter 笔记本。我一直在本地 Jupyter 笔记本上运行它（参见上面的更新 2）。 但是，从 Azure ML Notebook 运行时它会失败，并且错误再次指向requires包。我需要找到该包的已知问题，但根据我的阅读，已知问题是 urllib3 并且只影响 Python 2.7 而不是任何 Python 3.x 版本。这是在 Python 3.x 笔记本中运行的。嗯。

更新 4：正如 Dan 在下面指出的，这可能是 Azure ML 网络的一个问题，因为Execute Python Script它相对较新并且刚刚获得网络支持。但是，我还在一个完全不同的 Azure 平台上的 Azure App Service webjob 上对此进行了测试。（它也在完全不同的 Python 发行版上，支持 Python 2.7 和 3.4/5，但仅支持 32 位 - 即使在 64 位机器上也是如此。）那里的代码也失败了，并显示一条InsecurePlatformWarning消息。

我正在使用带有 URL 和 API 密钥的代码，但每次我都会收到 405 或 400 的错误。是否有任何正确的方法可以在 Rails 中实现 Azure ML API。

代码如下：-

数据 = {

复制：https ://social.msdn.microsoft.com/Forums/azure/en-US/6560c2d6-9836-41a1-8076-caf0d514222a/azure-machine-learning-reader-table-storage?forum=MachineLearning

我目前有一个不断执行插入的表存储设置。表存储中大约有 2.6 亿行。

我设置了两个机器学习实验来使用“阅读器”从“Azure 表”中读取数据。

实验 1 设置为读取所有行来训练模型。

实验 2 设置为只读取前 1000 行来训练模型。

实验 1 已经运行了 5 个多小时，但没有任何结果。

实验 2 已经运行了 1 个多小时，但没有任何结果。

它卡在“阅读器”进程上。

我不明白为什么实验 2 需要这么长时间。我知道我已经正确设置了这个，因为我用另一个表存储测试了“阅读器”。提前感谢您的任何帮助/建议。

我是天蓝色机器学习的新手。我们正在尝试使用 azure 机器学习来实现问题相似性算法。我们有大量的问题和答案。我们的目标是确定新添加的问题是否重复？就像 Stackoverflow 在我们提出新问题时建议现有问题一样？我们可以使用 azure 机器学习服务来解决这个问题吗？有人可以指导我们正确的方向吗？

我设计、训练并发布了一个 Azure ML 实验（使用两类决策丛林）作为 Web 服务的模型 ，可以很好地调用它并返回预期结果（基于 0.5 的阈值）。

问题 但是，我想操纵返回的结果以提供更接近我想要的准确度、精度和召回率的结果，这些结果恰好与默认阈值 0.5 不一致。我可以通过 ML Studio 轻松地做到这一点，方法是可视化评估结果并将阈值滑块从中心 (0.5) 向左或向右移动。

我已经在 Google 上搜索并阅读了许多 Azure ML 文档和教程，但到目前为止，我还无法弄清楚如何在经过训练和发布的实验中更改阈值并返回不同的得分概率。

即使我向 Web 服务发出一个请求（并发设置为 200），也会得到以下响应。

{状态：503，标题：'{“内容长度”：“174”，“内容类型”：“应用程序/json；字符集=utf-8”，“etag”：“\”8ce068bf420a485c8096065ea3e4f436\“”，服务器":"Microsoft-HTTPAPI/2.0","x-ms-request-id":"d5c56cdd-644f-48ba-ba2b-6eb444975e4c","date":"2016 年 2 月 15 日星期一 04:54:01 GMT" ,"connection":"close"}', body: '{"error":{"code":"ServiceUnavailable","message":"服务暂时不可用。","details":[{"code": "NoMoreResources","message":"没有可供请求的资源。"}]}}' }

请求-响应 Web 服务是一个推荐器再训练 Web 服务，其训练集包含接近 20 万条记录。训练集已经存在于我的 ML Studio 数据集中，请求中只传递了 10-15 条额外记录。直到 2016 年 2 月 13 日，相同的实验都可以完美运行。我已经尝试增加并发性，但仍然是同样的问题。我什至将训练集的大小减少到 20 条记录，但仍然没有用。

我有两个 Web 服务都在做类似的事情，并且自 2016 年 2 月 13 日以来都没有工作。

最后，我创建了一个非常小的实验（skill.csv --> split row ---> web output），它不接受任何输入。它只需要返回数据集的一部分。无效，响应代码 503。

我得到的日志如下

{“版本”：“2014-10-01”，“诊断”：[{..... {“类型”：“GetResourceEndEvent”，“时间戳”：13.1362，“resourceId”：“5e2d653c2b214e4dad2927210af4a436.865467b9e7c5410e9ebe829abd0050cdv1。 default-111", "status": "Failure", "error": "未指定目标存储位置的 Uri。请考虑更改请求的位置模式。" }, { "type": "InitializationSummary", "time": "2016-02-15T04:46:18.3651714Z", "status": "Failure", "error": "目标存储位置的 Uri 不是指定。请考虑更改请求的位置模式。”

我错过了什么？还是我做错了？

先感谢您。

PS：数据存储在mongoDB中，然后导入为CSV

机器学习可以用来转换/修改数字列表吗？

我有许多从车辆 ECU 读取的二进制文件，一个在车辆调整之前的原始文件或库存文件，以及一个更改了引擎参数的修改文件。这些文件基本上是小端或大端 16 位数字的列表。

我想知道是否有可能将这些文件对输入机器学习，并让它获取一个新的库存文件并尝试转换或调整该库存文件。

如果有人能告诉我这是否完全有可能，我将不胜感激。我发现的所有示例似乎都是根据数据做出决策，而不是进行任何类型的转换。

我也希望为此使用天蓝色。

所以我目前正在使用 Azure 机器学习实验。我能够创建一个模型并将其作为 Web 服务发布。我还能够使用创建 Web 服务时生成的 API 文档中提供的 C# 中的示例请求/响应代码来获取响应。

我的问题是，Web 服务提供的响应包含许多信息（一长串信息），包括我的 C# 应用程序唯一需要的预测分数。唯一想到的是使用字符串操作方法来提取我想要的信息。但我认为还有比这更好的方法。我是 HTTP 请求/响应的新手，所以请详细说明答案和解释。

这是我的代码：

这是响应消息：

我只想要“Values”中的值：[[...]]，在这种情况下，第 9 个索引或“1”。