-1

我有一个如下所示的哈希列表。

import pandas as pd
import datetime

rows = [{
          "version" : "v1",
          "timestamp" : "2013-06-04T06:00:00.000Z",
          "event" : {
            "campaign_id" : "cid2504649263",
            "country" : "AU",
            "region" : "Cairns",
            "impressions" : 3000
          }
        },
        {
          "version" : "v1",
          "timestamp" : "2013-06-04T06:00:00.000Z",
          "event" : {
            "campaign_id" : "cid2504649263",
            "country" : "AU",
            "region" : "Cairns",
            "impressions" : 3000
          }
        },

        {
          "version" : "v1",
          "timestamp" : "2013-06-04T07:00:00.000Z",
          "event" : {
            "campaign_id" : "cid2504649263",
            "country" : "AU",
            "region" : "Cairns",
            "impressions" : 3000
          }
        }
            ]

hash_data = []
for row in rows:
    ts = row['timestamp']
    meta = row['event']
    ts = datetime.datetime.strptime(ts,'%Y-%m-%dT%H:%M:%S.000Z')
    meta['utcdt']=ts
    hash_data.append(meta)

data = pd.DataFrame(hash_data)
print data.values
grouped = data.groupby(['utcdt','campaign_id','region','country']).sum()
print grouped.values

[['cid2504649263' 'AU' 3000 'Cairns' datetime.datetime(2013, 6, 4, 6, 0)]
 ['cid2504649263' 'AU' 3000 'Cairns' datetime.datetime(2013, 6, 4, 6, 0)]
 ['cid2504649263' 'AU' 3000 'Cairns' datetime.datetime(2013, 6, 4, 7, 0)]]

我的问题是这个。我需要按时间汇总数据。数据应如下所示。我如何在熊猫中做到这一点？

[
 ['cid2504649263' 'AU' 6000 'Cairns' datetime.datetime(2013, 6, 4, 6, 0)]
 ['cid2504649263' 'AU' 3000 'Cairns' datetime.datetime(2013, 6, 4, 7, 0)]]

如果使用以下：

grouped = data.groupby(['utcdt','campaign_id','region','country']).sum()
print grouped.values

[[ 6000.]
 [ 3000.]]
4

2 回答 2

0

您正在寻找drop_duplicates：

In [11]: data.drop_duplicates()
Out[11]:
     campaign_id country  impressions  region               utcdt
0  cid2504649263      AU         3000  Cairns 2013-06-04 06:00:00
2  cid2504649263      AU         3000  Cairns 2013-06-04 07:00:00

顺便说一句，0.11.1 将带有一个实验read_json功能，它将直接从 json（文件、url 或字符串）创建一个 DataFrame...

于 2013-06-11T02:08:20.980 回答
0

首先使用 Pandas DataFrame、data = DataFrame(rows)、 函数来有效地组织您的数据。然后您可以使用data.groupby(['timestamp'])按时间“汇总您的数据”。

这是一个关于如何使用 pandas 的交互式教程。广泛的教程列表位于此处。它将带您轻松完成所有基础知识，并让您完成您想做的分析。

于 2013-06-11T02:09:47.580 回答