csv - CKAN：上传到数据存储失败；资源太大，无法下载

Question

当我尝试将大型 csv 文件上传到 CKAN 数据存储时，它失败并显示以下消息

Error: Resource too large to download: 5158278929 > max (10485760).

我更改了资源上传到的最大兆字节数

ckan.max_resource_size = 5120

在

/etc/ckan/production.ini

我还需要更改什么才能将大型 csv 上传到 ckan。

截屏：

Answer 1

该错误消息来自 DataPusher，而不是来自 CKAN 本身：https ://github.com/ckan/datapusher/blob/master/datapusher/jobs.py#L250 。不幸的是，DataPusher 的最大文件大小似乎被硬编码为 10MB：https ://github.com/ckan/datapusher/blob/master/datapusher/jobs.py#L28 。不支持将较大的文件推送到 DataStore。

两种可能的解决方法可能是：

1. 使用DataStore API自己添加数据。

2. MAX_CONTENT_LENGTH将我在上面链接到的 DataPusher 源代码中的行更改为更大的内容。