31

对于快速测试、调试、创建可移植示例和基准测试,R 提供了大量数据集(在 Base Rdatasets包中)。R 提示符下的命令library(help="datasets")描述了近 100 个历史数据集,每个数据集都有相关的描述和元数据。

Python有这样的东西吗?

4

6 回答 6

60

您可以使用rpy2包从 Python 访问所有 R 数据集。

设置界面:

>>> from rpy2.robjects import r, pandas2ri
>>> def data(name): 
...    return pandas2ri.ri2py(r[name])

然后data()使用可用数据集的任何数据集名称调用(就像在 中一样R

>>> df = data('iris')
>>> df.describe()
       Sepal.Length  Sepal.Width  Petal.Length  Petal.Width
count    150.000000   150.000000    150.000000   150.000000
mean       5.843333     3.057333      3.758000     1.199333
std        0.828066     0.435866      1.765298     0.762238
min        4.300000     2.000000      1.000000     0.100000
25%        5.100000     2.800000      1.600000     0.300000
50%        5.800000     3.000000      4.350000     1.300000
75%        6.400000     3.300000      5.100000     1.800000
max        7.900000     4.400000      6.900000     2.500000

要查看可用数据集的列表以及每个数据集的描述:

>>> print(r.data())

注意:rpy2 需要R使用设置R_HOME变量安装,并且pandas必须安装。

更新

我刚刚创建了PyDataset,这是一个简单的模块,可以让从 Python 加载数据集变得像R's 一样简单(并且它不需要R安装,只需pandas)。

要开始使用它,请安装模块:

$ pip install pydataset

然后只需加载您想要的任何数据集(目前大约有 757 个数据集可用):

from pydataset import data

titanic = data('titanic')
于 2016-01-22T09:42:57.677 回答
20

Scikit-Learn库中也有可用的数据集。

from sklearn import datasets

这个包中有多个数据集。一些玩具数据集是:

load_boston()          Load and return the boston house-prices dataset (regression).
load_iris()            Load and return the iris dataset (classification).
load_diabetes()        Load and return the diabetes dataset (regression).
load_digits([n_class]) Load and return the digits dataset (classification).
load_linnerud()        Load and return the linnerud dataset (multivariate regression).
于 2016-05-22T14:00:35.940 回答
11

我最初将其发布在相关问题Sample Datasets in Pandas 中,但由于它与 pandas 外部相关,因此我也将其包括在此处。

现在有许多方法可用于访问 Python 中的示例数据集。就个人而言,我倾向于坚持使用我已经在使用的任何包(通常是 seaborn 或 pandas)。如果您需要离线访问,使用 Quilt 安装数据集似乎是唯一的选择。

海博恩

出色的绘图包seaborn有几个内置的样本数据集。

import seaborn as sns

iris = sns.load_dataset('iris')
iris.head()
   sepal_length  sepal_width  petal_length  petal_width species
0           5.1          3.5           1.4          0.2  setosa
1           4.9          3.0           1.4          0.2  setosa
2           4.7          3.2           1.3          0.2  setosa
3           4.6          3.1           1.5          0.2  setosa
4           5.0          3.6           1.4          0.2  setosa

熊猫

如果您不想导入seaborn,但仍想访问其示例数据集,则可以从其 URL 中读取 seaborn 示例数据:

iris = pd.read_csv('https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv')

请注意,包含分类列的示例数据集的列类型修改为sns.load_dataset(),直接从 url 获取结果可能不一样。iris 和tips 样本数据集也可以在pandas github repo 中找到

R 样本数据集

由于可以通过 读取任何数据集,因此可以通过从该 R 数据集存储库pd.read_csv()复制 URL 来访问所有 R 的示例数据集。

加载 R 样本数据集的其他方法包括 statsmodel

import statsmodels.api as sm

iris = sm.datasets.get_rdataset('iris').data

PyDataset

from pydataset import data

iris = data('iris')

scikit-学习

scikit-learn将样本数据作为 numpy 数组而不是 pandas 数据框返回。

from sklearn.datasets import load_iris

iris = load_iris()
# `iris.data` holds the numerical values
# `iris.feature_names` holds the numerical column names
# `iris.target` holds the categorical (species) values (as ints)
# `iris.target_names` holds the unique categorical names

被子

Quilt是为促进数据集管理而创建的数据集管理器。它包括许多常见的示例数据集,例如 来自uciml 示例存储库的几个。快速入门页面展示了如何安装和导入 iris 数据集:

# In your terminal
$ pip install quilt
$ quilt install uciml/iris

安装数据集后,可以在本地访问它,因此如果您想离线处理数据,这是最佳选择。

import quilt.data.uciml.iris as ir

iris = ir.tables.iris()
   sepal_length  sepal_width  petal_length  petal_width        class
0           5.1          3.5           1.4          0.2  Iris-setosa
1           4.9          3.0           1.4          0.2  Iris-setosa
2           4.7          3.2           1.3          0.2  Iris-setosa
3           4.6          3.1           1.5          0.2  Iris-setosa
4           5.0          3.6           1.4          0.2  Iris-setosa

Quilt 还支持数据集版本控制,并包含每个数据集的简短描述

于 2018-07-22T14:49:35.677 回答
4

在 Joran 的评论之后,我发现了statsmodels模块,它提供了自己的datasets包。在线文档显示了如何导入 R 中可用的数据集的示例:

import statsmodels.api as sm
duncan_prestige = sm.datasets.get_rdataset("Duncan", "car")
print duncan_prestige.__doc__
于 2013-05-16T05:40:00.683 回答
1

MyMVPA 是另一个可以轻松访问数据库的模块。您可以查看下面的链接。

>>> from mvpa2.tutorial_suite import *
>>> data = [[  1,  1, -1],
...         [  2,  0,  0],
...         [  3,  1,  1],
...         [  4,  0, -1]]
>>> ds = Dataset(data)
>>> ds.shape
(4, 3)
>>> len(ds)
4

链接中的示例

http://www.pymvpa.org/tutorial_datasets.html

于 2014-05-20T06:34:56.663 回答
0

具体来说,使用@tmthydvnprt 示例:

from sklearn import datasets
iris = datasets.load_iris()

实际数据集可以通过doing调用iris.data

http://scikit-learn.org/stable/datasets/

运行 Python 3.5

于 2016-06-28T02:24:10.073 回答