5

按照这个简单的教程http://www.louisaslett.com/RStudio_AMI/和视频指南http://www.louisaslett.com/RStudio_AMI/video_guide.html我已经在 EC2 上设置了一个 RStudio 环境。

唯一的问题是，我无法上传大文件（> 1GB）。

我可以上传小文件就好了。

当我尝试通过 RStudio 上传文件时，它给了我以下错误：

来自服务器的意外空响应

有谁知道我如何上传这些大文件以在 RStudio 中使用？这就是我首先使用 EC2（处理大数据）的全部原因。

4

4 回答 4

6

好的，所以我自己也遇到了同样的问题，这非常令人沮丧，但最终我意识到这里发生了什么。无论您的实例大小如何，AWS 的默认主目录大小都小于 8-10GB。因为这是试图上传到家里，所以没有足够的空间。有经验的 linux 用户不会落入这个陷阱，但希望任何其他遇到此问题的 Windows 新用户都能看到这一点。如果您上传到实例上的不同驱动器，则可以解决此问题。由于 Louis Aslett Rstudio AMI 基于此 8-10GB 空间，因此您必须将工作目录设置在此之外，即主目录。从 Rstudio 服务器界面看不直观。虽然这是一个高级论坛，而且这是一个新手错误，但我希望没有人删除这个问题，因为我花了几个月的时间在这个问题上，我认为其他人也会这样做。我希望这对你有意义？

于 2016-07-02T04:29:43.087 回答
4

您没有对 Amazon 服务器的 shell 访问权限吗？不要依赖 RStudio 的上传（合理地可能有 2Gb 限制）并使用适当的 unix 开发工具：

rsync -avz myHugeFile.dat amazonusername@my.amazon.host.ip:

在您的本地 PC 命令行上（安装 cygwin 或其他 unixy 兼容系统）会将您的大文件传输到您的亚马逊服务器，如果中断将从该点恢复，也会压缩数据以进行传输。

对于像这样的 Windows gui，WinSCP 是我们在 Linux 之前糟糕的过去所做的事情。

于 2014-07-26T07:12:13.577 回答
1

这可能与您的 Web 服务器有关。您是使用 nginx 还是 apache 作为您的 Web 服务器。如果是这样，您可以修改 nginx 服务器中的上传功能。如果您在 Web 服务器的前端运行 nginx，我建议您在 nginx.conf 文件中进行以下修复。

http {
    ...
    client_max_body_size 100M;
}

https://www.tecmint.com/limit-file-upload-size-in-nginx/

于 2020-02-27T17:00:50.923 回答
0

我对 5GB 文件也有类似的问题。对我有用的是使用 SQLite 创建一个包含我需要的 csv 文件的数据库。使用 SQLite 代码来创建数据库。然后我使用 RStudio 中的一个函数与本地数据库进行通信。这样，我就能够引入 csv 文件。如果您愿意，我可以追踪我使用的 R 代码。

于 2019-07-20T02:34:49.587 回答