我正在尝试使用 100 GB 磁盘和 15GB RAM 虚拟机在 GCP AI Platform 中加载 1 GB Pandas Dataframe,但出现以下错误:
MemoryError: Unable to allocate 1.16 GiB for an array with shape (20, 7762852) and data type object
您知道为什么虚拟机是 100 GB 磁盘用于 15 GB RAM 时分配不执行吗?
df_event = pd.concat([pd.read_csv(os.getcwd() + '/data/lead_inscrit_train.csv.gz',
compression='gzip',
sep=';',
quotechar='"',
quoting=csv.QUOTE_ALL,
dtype=str,
parse_dates=["date"]
),
pd.read_csv(os.getcwd() + '/data/lead_inscrit_test.csv.gz',
compression='gzip',
sep=';',
quotechar='"',
quoting=csv.QUOTE_ALL,
dtype=str,
parse_dates=["date"]
)]
, axis=0)