2

我正在做一个相当简单的插入到来自 Python pandas DataFrame 的本地 MongoDB 中。本质上，我正在调用 datframe.loc[n].to_dict() 并直接从 df 获取我的字典。到目前为止一切都很好，直到我尝试插入，我得到一个“无法编码对象”。直接查看 dict 表明一切看起来都很好，但随后（在写这个问题时）我突然想到检查 dict 中的每种类型，发现一个长 ID 号已转换为 numpy.int64 而不是简单的 int （当我手动创建了 dict，因为 int 可以很好地插入）。

因此，我无法在 pandas 文档中找到任何关于向 to_dict 添加参数的内容，这将允许我覆盖此行为，虽然有解决此问题的蛮力方法，但必须有一些更有说服力的方法来解决此问题不诉诸这种事情。

那么问题是，如何将数据帧的一行转换为字典以插入 MongoDB，确保我只使用可接受的内容类型......或者，我可以在这里进一步备份并使用更简单的方法来获取每一行一个数据框成为Mongo中的一个文档？

谢谢

根据要求，这是该帖子的附录，其中包含我正在使用的数据示例。

{'Account Created': 'about 3 hours ago',
 'Followers': 13,
 'Following': 499,
 'Screen Name': 'XXXXXXXXXX',
 'Status': 'Alive',
 'Tweets': 12,
 'Twitter ID': 0000000000L}

这直接来自插入时出错的 to_dict 输出。我将它直接复制到“测试”字典中，效果很好。如果我打印出每个字典的值，我会得到以下内容......

to_dict = ['Alive', 'a_aheref77', 'about 3 hours ago', 12, 13, 499, 0000000000L, ObjectId('551bd8cfae89e9370851aa64')]

test = ['Alive', 'XXXXXXXX', 'about 3 hours ago', 499, 13, 12, 0000000000, ObjectId('551bd6fdae89e9370851aa63')]

唯一的区别（据我所知）是 Long int，有趣的是，当我执行 Mongo 插入时，它在文档中显示该字段为“Number Long”。希望这有助于澄清 som。

4

2 回答 2

3

看看odo图书馆。特别是 mongodb 文档。Pandas 不太可能to_mongo在不久的将来开发任何类型的方法，所以 Odo 是这种功能应该去的地方。这是一个简单的示例DataFrame：

In [13]: import pandas as pd

In [14]: from odo import odo

In [15]: df = pd.DataFrame({'a': [1, 2, 3], 'b': list('abc')})

In [17]: m = odo(df, 'mongodb://localhost/db::t')

In [18]: list(m.find())
Out[18]:
[{u'_id': ObjectId('551bfb20362e696200d568d9'), u'a': 1, u'b': u'a'},
 {u'_id': ObjectId('551bfb20362e696200d568da'), u'a': 2, u'b': u'b'},
 {u'_id': ObjectId('551bfb20362e696200d568db'), u'a': 3, u'b': u'c'}]

你可以通过做得到所需的deps和odo

conda install odo pymongo --channel blaze

或者

pip install odo
于 2015-04-01T14:07:29.000 回答
-1

Python 整数存储为任意精度数，Mongodb 不支持。您需要先将它们转换为普通的 int64 或字符串对象。当您手动复制和粘贴代码时，它可能会起作用，因为 Python 解释器将整数正确转换为 int64。

于 2016-01-04T16:34:40.300 回答