对于快速测试、调试、创建可移植示例和基准测试,R 提供了大量数据集(在 Base Rdatasets
包中)。R 提示符下的命令library(help="datasets")
描述了近 100 个历史数据集,每个数据集都有相关的描述和元数据。
Python有这样的东西吗?
您可以使用rpy2
包从 Python 访问所有 R 数据集。
设置界面:
>>> from rpy2.robjects import r, pandas2ri
>>> def data(name):
... return pandas2ri.ri2py(r[name])
然后data()
使用可用数据集的任何数据集名称调用(就像在 中一样R
)
>>> df = data('iris')
>>> df.describe()
Sepal.Length Sepal.Width Petal.Length Petal.Width
count 150.000000 150.000000 150.000000 150.000000
mean 5.843333 3.057333 3.758000 1.199333
std 0.828066 0.435866 1.765298 0.762238
min 4.300000 2.000000 1.000000 0.100000
25% 5.100000 2.800000 1.600000 0.300000
50% 5.800000 3.000000 4.350000 1.300000
75% 6.400000 3.300000 5.100000 1.800000
max 7.900000 4.400000 6.900000 2.500000
要查看可用数据集的列表以及每个数据集的描述:
>>> print(r.data())
注意:rpy2 需要R
使用设置R_HOME
变量安装,并且pandas
必须安装。
我刚刚创建了PyDataset,这是一个简单的模块,可以让从 Python 加载数据集变得像R
's 一样简单(并且它不需要R
安装,只需pandas
)。
要开始使用它,请安装模块:
$ pip install pydataset
然后只需加载您想要的任何数据集(目前大约有 757 个数据集可用):
from pydataset import data
titanic = data('titanic')
Scikit-Learn库中也有可用的数据集。
from sklearn import datasets
这个包中有多个数据集。一些玩具数据集是:
load_boston() Load and return the boston house-prices dataset (regression).
load_iris() Load and return the iris dataset (classification).
load_diabetes() Load and return the diabetes dataset (regression).
load_digits([n_class]) Load and return the digits dataset (classification).
load_linnerud() Load and return the linnerud dataset (multivariate regression).
我最初将其发布在相关问题Sample Datasets in Pandas 中,但由于它与 pandas 外部相关,因此我也将其包括在此处。
现在有许多方法可用于访问 Python 中的示例数据集。就个人而言,我倾向于坚持使用我已经在使用的任何包(通常是 seaborn 或 pandas)。如果您需要离线访问,使用 Quilt 安装数据集似乎是唯一的选择。
出色的绘图包seaborn
有几个内置的样本数据集。
import seaborn as sns
iris = sns.load_dataset('iris')
iris.head()
sepal_length sepal_width petal_length petal_width species
0 5.1 3.5 1.4 0.2 setosa
1 4.9 3.0 1.4 0.2 setosa
2 4.7 3.2 1.3 0.2 setosa
3 4.6 3.1 1.5 0.2 setosa
4 5.0 3.6 1.4 0.2 setosa
如果您不想导入seaborn
,但仍想访问其示例数据集,则可以从其 URL 中读取 seaborn 示例数据:
iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')
请注意,包含分类列的示例数据集的列类型修改为sns.load_dataset()
,直接从 url 获取结果可能不一样。iris 和tips 样本数据集也可以在pandas github repo 中找到。
由于可以通过 读取任何数据集,因此可以通过从该 R 数据集存储库pd.read_csv()
复制 URL 来访问所有 R 的示例数据集。
加载 R 样本数据集的其他方法包括
statsmodel
import statsmodels.api as sm
iris = sm.datasets.get_rdataset('iris').data
from pydataset import data
iris = data('iris')
scikit-learn
将样本数据作为 numpy 数组而不是 pandas 数据框返回。
from sklearn.datasets import load_iris
iris = load_iris()
# `iris.data` holds the numerical values
# `iris.feature_names` holds the numerical column names
# `iris.target` holds the categorical (species) values (as ints)
# `iris.target_names` holds the unique categorical names
Quilt是为促进数据集管理而创建的数据集管理器。它包括许多常见的示例数据集,例如 来自uciml 示例存储库的几个。快速入门页面展示了如何安装和导入 iris 数据集:
# In your terminal
$ pip install quilt
$ quilt install uciml/iris
安装数据集后,可以在本地访问它,因此如果您想离线处理数据,这是最佳选择。
import quilt.data.uciml.iris as ir
iris = ir.tables.iris()
sepal_length sepal_width petal_length petal_width class
0 5.1 3.5 1.4 0.2 Iris-setosa
1 4.9 3.0 1.4 0.2 Iris-setosa
2 4.7 3.2 1.3 0.2 Iris-setosa
3 4.6 3.1 1.5 0.2 Iris-setosa
4 5.0 3.6 1.4 0.2 Iris-setosa
Quilt 还支持数据集版本控制,并包含每个数据集的简短描述。
在 Joran 的评论之后,我发现了statsmodels模块,它提供了自己的datasets
包。在线文档显示了如何导入 R 中可用的数据集的示例:
import statsmodels.api as sm
duncan_prestige = sm.datasets.get_rdataset("Duncan", "car")
print duncan_prestige.__doc__
MyMVPA 是另一个可以轻松访问数据库的模块。您可以查看下面的链接。
>>> from mvpa2.tutorial_suite import *
>>> data = [[ 1, 1, -1],
... [ 2, 0, 0],
... [ 3, 1, 1],
... [ 4, 0, -1]]
>>> ds = Dataset(data)
>>> ds.shape
(4, 3)
>>> len(ds)
4
链接中的示例
具体来说,使用@tmthydvnprt 示例:
from sklearn import datasets
iris = datasets.load_iris()
实际数据集可以通过doing调用iris.data
。
http://scikit-learn.org/stable/datasets/
运行 Python 3.5