问题标签 [mget]

该网站下载 GLEIF 黄金副本和 Delta 文件。

有下载我想用 python 脚本自动检索的数据的按钮。通常当我想下载一个文件时，我使用mget或类似的，但这在这里不起作用（至少我认为不会）。

出于某种我无法理解的原因，数据的生产者似乎想强迫人们手动下载文件。我真的需要自动化它以减少我的用户（坦率地说对我来说）的步骤数量，因为除了这些文件之外还有很多文件，我希望尽可能多地自动化（所有这些文件）。

所以我的问题是 - 是否有某种 python 包可以做这种事情？如果不是 python 包，是否还有其他有用的工具？我不得不相信这是一个普遍的烦恼。

我发布这个是希望有人可以解释这里的行为。也许这可以为其他人节省一些时间来追踪如何修复类似的错误。

答案很可能在Hadley Wickham 和 Lionel Henry 的这个小插曲中的某个地方。然而，像我这样的人需要数周的学习才能将这些点联系起来。

我正在从远程数据库运行许多查询，然后将它们组合到一个 data.table 中。我将“part_”前缀添加到每个单独的查询结果的名称中，并使用ls()data.tablemget()来rbindlist()组合它们。

这有效：

我学会了这种方法，可能是从内存中的列表 data.tables 并按行组合 (rbind)，知道如何确定是一件很有帮助的事情。

为了可读性，我通常更喜欢使用 magrittr 管道（或与 data.table 链接），尤其是像这样的项目，因为我使用 dplyr 来查询数据库。然而，这段代码会导致错误：

错误读取Error: value for ‘part_a’ not foundwhere part_a 是返回的字符向量中的第一个对象名称ls()。

搜索该错误消息，我在这个 data.table Github issue 中遇到了讨论。通过阅读，我尝试在 mget() 中设置“inherits = TRUE”，如下所示：

那行得通。ls()因此，在传递 to的结果时会发生错误mget()。鉴于在 mget() 中嵌套 ls() 有效，我的猜测是它与管道和“环境的封闭框架”有关。

在写这篇文章时，我在使用 mget() 将 data.table 与 rbindlist() 连接时遇到了 Unexpected 错误消息。从那里的讨论中我发现这也有效。

同样，我希望有人可以为希望了解更多关于 R 环境如何工作的人们解释正在发生的事情。

编辑：添加可重现的示例

根据对可重现答案的请求，使用这三个 data.tables 运行上面的代码（data.frames 或 tibbles 的行为相同）应该可以做到。

我们通过通配符从远程服务器中提取数千个文件（超过 10,000 个）。文件很小，传输本身的性能很好。但是，隐含的“ls .856 ”性能很糟糕。假设文件列表逻辑具有隐式排序，因此大量文件具有很大的开销。理想情况下，mget 将在找到第一个匹配项后立即开始传输。

关于如何更好地做到这一点的任何建议或想法？

我尝试过搜索，但找不到我想要的确切内容，也许我什至不知道要搜索什么...

我需要 FTP 来自多个站点的各种 csv 文件，每个站点都有不同的凭据。我可以使用以下内容一一完成，但是我需要为 30 个站点执行此操作，并且不想复制粘贴所有这些。

写这篇文章的最佳方式是什么，如果你能告诉我如何或给我指出一个很好的答案。

对于加分（我可能不得不问一个单独的问题），mget 不能在 linux 到 linux 上工作，只能从 linux 到 windows 工作。我也尝试过 curl 但也没有运气。

非常感谢。

ps不确定它是否有所作为，但我将每 15 分钟将其作为 cron 作业运行一次。我对那部分没意见；）

我使用计算机“A”远程访问计算机“B”。

我想获取 directory1 中的所有文件，包括计算机“A”上的子目录。

但是当我使用 mget -R * 时，会显示注释（不是常规文件，没有这样的文件或目录）

下面是我的脚本。当我使用脚本时它会显示评论。

目录及文件信息：Directory1在RootDirectory/test01.sh~test05.sh，Directory2在Directory1/test06.sh~test07.sh在Directory2

我不能使用'wget'。我能做什么？感谢帮助 ：）

由于我想将多个数据帧绑定在一起以检索一个大帧，因此我使用 mget(ls(pattern="")) 按模式绑定行。这通常工作得很好，除了以下示例：

如您所见，其中一个数据框 (Accuracy_3) 显示不同的名称模式。我希望当我在 Accuracy 之后用空格定义模式时，这个框架会被忽略，只有前两个框架​​会绑定在一起，

然而，这不是这里发生的事情。即使我用空格定义模式，也可以为带有下划线的模式完成绑定。为什么会发生这种情况，我该如何避免这种情况？