问题标签 [svmlight]

使用 h2o R 包（v 3.24.0.5）进行一些深度学习，我需要将一些大的稀疏矩阵 [2M * 10k] 导入其中。我尝试使用 fwrite，但遇到 cholmod 问题太大错误，所以使用 svmlight。原始矩阵如下所示：

为此，我使用了 sparsio 包，写入正常，但是当使用 h2o.importFile 读取文件时，我发现了一些错误：我在每个数字前面都得到了列索引，如下所示：

关于如何摆脱这些的任何想法？

数据应如下所示：

当我在 mac 中运行这段代码时：

我在 bash 中收到此错误：

如果我在 shell 中运行它，我会遇到这个错误：

我怎么解决这个问题？

我有 SVMlight 格式的数据（标签 feature1:value1 feature2:v2 ...）

我试过sklearn.load_svmlight_file了，但它似乎不适用于分类字符串特征和标签。我正在尝试将其存储到 pandas DataFrame 中。任何指针将不胜感激。

实际上，我正在Ubuntu 16.04 上使用著名的 SVM-struct 项目 ( http://www.cs.cornell.edu/people/tj/svm_light/svm_struct.html )。我按照http://www.cs.cornell.edu/people/tj/svm_light/svm_multiclass.html中的说明使用 SVM-multiclass，下载了源代码和make. 但是我在构建项目时遇到了一些错误：

我认为 Makefile 已经包含-lm.

我在我的 Windows 机器上，我正在尝试将扩展 SVM-Light https://pypi.org/project/svmlight/安装到我的 Python 目录中。我已经将文件解压缩到我的目录文件夹，但我似乎无法正确安装它。

使用命令pip install svmlight我收到以下错误：

使用python setup.py install提示符上的命令，我得到一个非常相似的错误，但是在提示符上

该文件指出：

但输入这些命令也会返回语法错误。

如果有人曾经在 python-windows 上安装过这个包，并且知道如何全面地解释如何这样做，并且可以在这件事上帮助我，将不胜感激！

我有一个关于 Pyspark 地图的问题。

例如，我有如下数据：

我想将数据转换为：按 ID 分组：

所以每一行代表ID，第一个值代表目标，特征：value1

重点之一是，对于每一行，特征必须是从小到大！！！！！！！！！！

您能否提供任何示例代码或建议？

太感谢了！！！！！！！！！！！

我有一个包含 2 列的数据集：文本和标签 为了运行这部分代码，我需要将我的训练和测试数据转换为 libsvm 的格式，如何将 csv 格式转换为 libsvm？

X, y, X_test, y_test = load_svmlight_files((train_data, test_data), dtype='float32') # 加载tf向量

我已经看到我可以使用dump_svmlight_file函数将 numpy 数组转换为 libsvm：https ://scikit-learn.org/stable/modules/generated/sklearn.datasets.dump_svmlight_file.html

在将它们转换为 libsvm 格式之前，我对 、 和数组的格式X有y疑问。query_id

因此，让我们举一个简短的例子。

最初，我在 Pandas 数据框中有特色文档（前 5 列）及其标签（最后一列; 1 = relevant, 0 = irrelevant），如下所示：

此外，我有两个查询：query1和query2。最初它们是两个字符串："this is query 1"和"this is query 2"分别。

这里的事情是前两行文档（样本）用于，query1最后两行用于query2。

我了解在转换为 libsvm 格式之前：

• X必须是一个 numpy 数组，其中 4 个样本从index 一列到另一component列
• y必须是一个 numpy 数组，只有 4 个样本和label列

这个对吗？我的疑问是：

• query_id在这种情况下数组将如何？
• 如何指示前两行是 for query1，最后两行是 for query2？