我遇到了几个讨论 ijson 以在 python 中加载巨大的 JSON 文件的线程,因为这是不消耗所有内存的方法。
我的文件大小约为 1.4 GB,它有几个节点(见下图),我只对一个保存大部分数据的节点(c_driver_location)感兴趣。
我的目标是:我只想提取 c_driver_location 节点数据并将其插入到 mysql db 表中(它将有四列:id、longitude、latitude、timestamp)。
表 ddl:
创建表 drv_locations_backup7May2017 (id bigint unsigned auto_increment 主键, drv_fb_id varchar(50), 纬度 DECIMAL(10, 8) NOT NULL, 经度 DECIMAL(11, 8) NOT NULL, timestamp int )
我的问题是:我运行了附加代码的第一部分(直到连接到 mysql 之前),但它运行了 20 个小时,仍然没有完成对 json 的解析。(我在较小的文件上进行了测试,效果很好)。
有没有一种最佳方法可以让这更快、更高效?
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
import ijson
import pymysql.cursors
import pymysql
filename = "D:\json_file.json"
drv_col_list = ['drv_fb_id','latitude','longitude','timestamp']
drv_df = DataFrame(columns = drv_col_list)
drv_df.timestamp = drv_df.timestamp.astype(int)
counter = 0
with open(filename, 'r') as fd:
parser = ijson.parse(fd)
for prefix, event, value in parser:
if prefix == 'c_driver_location' and str(event) == 'map_key':
drv_fb_id = value
counter = counter + 1
elif prefix.endswith('.latitude'):
latitude = value
elif prefix.endswith('.longitude'):
longitude = value
elif prefix.endswith('.timestamp'):
timestamp = value
elif prefix.endswith(drv_fb_id) and str(event) == 'end_map':
drv_df = drv_df.append(pd.DataFrame({'drv_fb_id':drv_fb_id,'latitude':latitude,'longitude':longitude,'timestamp':timestamp},index=[0]),ignore_index=True)
connection = pymysql.connect(host='53.000.00.00',
port = 3306,
user='user',
password='abcdefg',
db ='newdb',
# charset='utf8mb4',
cursorclass=pymysql.cursors.DictCursor)
# write to mysql
drv_df.to_sql(con=connection, name='drv_locations_backup7May2017', if_exists='replace', flavor='mysql')
connection.close()