5

我正在尝试从网站将大量 csv 文件读入 R。Thra 是多年的每日（仅限工作日）文件。所有文件都具有相同的数据结构。我可以使用以下逻辑成功读取一个文件：

# enter user credentials
user     <- "JohnDoe"
password <- "SecretPassword"
credentials <- paste(user,":",password,"@",sep="")
web.site <- "downloads.theice.com/Settlement_Reports_CSV/Power/"

# construct path to data
path <- paste("https://", credentials, web.site, sep="")

# read data for 4/10/2013
file  <- "icecleared_power_2013_04_10"
fname <- paste(path,file,".dat",sep="")
df <- read.csv(fname,header=TRUE, sep="|",as.is=TRUE)

但是，我正在寻找有关如何一次读取目录中所有文件的提示。我想我可以生成一系列日期，并在循环中构造上面的文件名并使用 rbind 附加每个文件，但这似乎很麻烦。此外，在没有文件的周末和节假日尝试阅读时也会出现问题。

下图显示了 Web 浏览器中的文件列表：

浏览器中的文件列表第 1 部分

…………

浏览器中的文件列表第 2 部分

有没有办法扫描路径（从上面）以获取目录中首先满足特定条件的所有文件名的列表（即以“icecleared_power_”开头，因为该位置中也有一些文件具有不同的我不想读入的起始名称）然后在该列表中循环 read.csv 并使用 rbind 追加？

任何指导将不胜感激？

4

4 回答 4

6

我会首先尝试抓取相关数据文件的链接，并使用生成的信息来构建包含用户登录等的完整下载路径。正如其他人所建议的那样，lapply批量下载会很方便。

这是一种提取 URL 的简单方法。显然，修改示例以适合您的实际情况。

在这里，我们将使用该XML包来识别 Amelia 包 ( http://cran.r-project.org/src/contrib/Archive/Amelia/ ) 的 CRAN 档案中的所有可用链接。

> library(XML)
> url <- "http://cran.r-project.org/src/contrib/Archive/Amelia/"
> doc <- htmlParse(url)
> links <- xpathSApply(doc, "//a/@href")
> free(doc)
> links
                   href                    href                    href 
             "?C=N;O=D"              "?C=M;O=A"              "?C=S;O=A" 
                   href                    href                    href 
             "?C=D;O=A" "/src/contrib/Archive/"  "Amelia_1.1-23.tar.gz" 
                   href                    href                    href 
 "Amelia_1.1-29.tar.gz"  "Amelia_1.1-30.tar.gz"  "Amelia_1.1-32.tar.gz" 
                   href                    href                    href 
 "Amelia_1.1-33.tar.gz"   "Amelia_1.2-0.tar.gz"   "Amelia_1.2-1.tar.gz" 
                   href                    href                    href 
  "Amelia_1.2-2.tar.gz"   "Amelia_1.2-9.tar.gz"  "Amelia_1.2-12.tar.gz" 
                   href                    href                    href 
 "Amelia_1.2-13.tar.gz"  "Amelia_1.2-14.tar.gz"  "Amelia_1.2-15.tar.gz" 
                   href                    href                    href 
 "Amelia_1.2-16.tar.gz"  "Amelia_1.2-17.tar.gz"  "Amelia_1.2-18.tar.gz" 
                   href                    href                    href 
  "Amelia_1.5-4.tar.gz"   "Amelia_1.5-5.tar.gz"   "Amelia_1.6.1.tar.gz" 
                   href                    href                    href 
  "Amelia_1.6.3.tar.gz"   "Amelia_1.6.4.tar.gz"     "Amelia_1.7.tar.gz"

为了演示，假设最终我们只需要 1.2 版本的包的链接。

> wanted <- links[grepl("Amelia_1\\.2.*", links)]
> wanted
                  href                   href                   href 
 "Amelia_1.2-0.tar.gz"  "Amelia_1.2-1.tar.gz"  "Amelia_1.2-2.tar.gz" 
                  href                   href                   href 
 "Amelia_1.2-9.tar.gz" "Amelia_1.2-12.tar.gz" "Amelia_1.2-13.tar.gz" 
                  href                   href                   href 
"Amelia_1.2-14.tar.gz" "Amelia_1.2-15.tar.gz" "Amelia_1.2-16.tar.gz" 
                  href                   href 
"Amelia_1.2-17.tar.gz" "Amelia_1.2-18.tar.gz"

您现在可以按如下方式使用该向量：

wanted <- links[grepl("Amelia_1\\.2.*", links)]
GetMe <- paste(url, wanted, sep = "")
lapply(seq_along(GetMe), 
       function(x) download.file(GetMe[x], wanted[x], mode = "wb"))

更新（在评论中澄清您的问题）

上面示例中的最后一步将指定的文件下载到您当前的工作目录（用于getwd()验证该目录的位置）。相反，如果您确定read.csv对数据有效，您还可以尝试修改匿名函数以直接读取文件：

lapply(seq_along(GetMe), 
       function(x) read.csv(GetMe[x], header = TRUE, sep = "|", as.is = TRUE))

但是，我认为更安全的方法可能是首先将所有文件下载到单个目录中，然后使用read.delimorread.csv或其他任何方法来读取数据，类似于@Andreas 建议的那样。我说更安全，因为它在文件未完全下载等情况下为您提供了更大的灵活性。在这种情况下，您不必重新下载所有内容，只需下载未完全下载的文件。

于 2013-04-11T18:44:21.967 回答
1

您可以尝试使用命令“download.file”。

### set up the path and destination
path <- "url where file is located"
dest <- "where on your hard disk you want the file saved"

### Ask R to try really hard to download your ".csv"
try(download.file(path, dest))

解决这个问题的诀窍是弄清楚文件之间的“url”或“path”如何系统地变化。很多时候，网页的构建使得“url”是系统的。在这种情况下，您可能会创建一个 url 的向量或数据框，以在 apply 函数内部进行迭代。

所有这些都可以夹在“lapply”中。“数据”对象就是我们迭代的任何东西。它可以是 URL 的向量或年份和月份观察的数据框，然后可用于在“lapply”函数中创建 URL。

### "dl" will apply a function to every element in our vector "data"
  # It will also help keep track of files which have no download data
dl <- lapply(data, function(x) {
        path <- 'url'
        dest <- './data_intermediate/...'
        try(download.file(path, dest))
      })

### Assign element names to your list "dl"
names(dl) <- unique(data$name)
index     <- sapply(dl, is.null)

### Figure out which downloads returned nothing
no.download <- names(dl)[index]

然后，您可以使用“list.files()”将所有数据合并在一起，假设它们属于一个 data.frame

### Create a list of files you want to merge together
files <- list.files()

### Create a list of data.frames by reading each file into memory
data  <- lapply(files, read.csv)

### Stack data together
data <- do.call(rbind, data)

有时，您会注意到下载后文件已损坏。在这种情况下，请注意 download.file() 命令中包含的选项“mode”。如果文件以二进制格式存储，您可以设置 mode = "w" 或 mode = "wb"。

于 2013-04-11T18:08:39.677 回答
1

@MikeTP，如果所有报告都以“icecleared_power_”开头，并且日期是业务日期，则包“timeDate”提供了一种创建业务日期向量的简单方法，如下所示：

require(timeDate)
tSeq <- timeSequence("2012-01-01","2012-12-31") # vector of days
tBiz <- tSeq[isBizday(tSeq)] # vector of business days

和

paste0("icecleared_power_",as.character.Date(tBiz))

给你连接的文件名。

如果网站在文件命名方面遵循不同的逻辑，我们需要更多信息，如 Ananda Mahto 所观察到的。

请记住，当您使用 timeDate 创建日期向量时，您可以比我的简单示例更复杂。您可以考虑假期时间表、证券交易所日期等。

于 2013-04-11T18:35:22.600 回答
0

另一种解决方案

for( i in seq_along(stations)) {
     URL<-""
      files<-rvest::read_html(URL) %>% html_nodes("a") %>% html_text(trim = T) 
      files<-grep(stations[i],files ,ignore.case = TRUE, value = TRUE )   
      destfile<- paste0("C:/Users/...",files)
      download.file(URL,destfile, mode="wb") 
   }
于 2022-01-14T12:45:12.377 回答