0

我正在尝试从此处提供的一些免费的 NASDAQ 100 Twitter 数据集中提取每家公司的数据。一旦构建和策划，最终目标是使用数据框运行一些建模实验。我想要的基本数据框形式是：

ATVI  49.02   0.44   0.91   7193022   .3 
ADBE  119.91  0.31   0.26   1984225   .1 
AKAM  64.2    0.65   1.02   1336622   .1 
ALXN  126.55  0.86   0.67   2182253   .2
GOOG  838.68  3.31   0.4    1261517  1.0 
AMZN  853     2.5    0.29   2048187  1.0

对于每家公司，有六个 .xlsx 文件（解压缩到单独的目录中），每个 excel 文件里面有多个工作表。目前，我只是尝试从每家公司的六个 excel 电子表格中的每一个中提取第一个工作表。所有这些工作表都有两列，行数不同，数据标签位于不同的行上，例如文件 1，公司 1：

Keyword             $AAPL -
Total tweets        166631
Total audience      221363515
Contributors        42738
Original tweets     91614
Replies             4964
RTs                 70053
Images and links    43361

文件 2，公司 1：

Keyword                        $AAPL -
Total audience                 221363515
Contributors                   42738
Total tweets                   166631
Total potential impressions    1.250.920.501
Measured data from             2016-04-02 18:06
Measured data to               2016-06-15 12:23
Tweets per contributor         3,90
Impressions / Audience         5,65
Measured time in seconds       6373058
Measured time in minutes       106218
Measured time in hours         1770
Measured time in days          74
Tweets per second              0.026146161
Tweets per minute              1.568769655
Tweets per hour                94.1261793
Tweets per day                 2259.028303

我正在尝试readxl按照这篇文章中的建议实施，然后将每个公司的数据放入一行数据框 [下]。现在，我将第一个路径设置为我的目录，然后运行代码，然后设置第二个路径并再次运行它以添加新行（我知道这不是最佳的，见下文）。

library(readxl)

#create empty dataframe to assemble all the rows
cdf <- data.frame()

#setwd('...\\NASDAQ_100\\aal_2016_06_15_12_01_41')
#setwd('...\\NASDAQ_100\\aapl_2016_06_15_14_30_09')

#constructing list of all .xlsx files in current directory
file.list <- list.files(pattern='*.xlsx')

#using read_excel function to read each file in list and put in a dataframe of lists 
df.list <- lapply(file.list, read_excel)

#converting the dataframe of lists to a 77x2 dataframe
df <- as.data.frame(do.call(rbind, df.list),stringsAsFactors=FALSE)

#transposing the dataframe to prepare to stack multiple companies data in single dataframe
df <- t(df)

#making sure that the dataframe entry values are numeric
df <- transform(df,as.numeric)

#appending the 2nd row with the actual data into the dataframe that will have all companies' data
cdf <- rbind(cdf,df[2,])

样本输出：

> cdf[,1:8]
            X1        X2    X3    X4   X5    X6    X7        X8
$AAL      6507  14432722  1645  5211  459   837   938  14432722
$AAPL - 166631 221363515 42738 91614 4964 70053 43361 221363515

经过检查，我发现我从其他各种帖子中收集的列中有一些级别是因为我导入数据的方式以及我尝试添加stringsAsFactors=FALSE到的原因as.data.frame，但显然这不是解决方案：

> cdf[,2]
     $AAL   $AAPL - 
 14432722 221363515 
Levels: 14432722 Total audience 221363515

根据文档，这不是read_excel. 有没有办法仍然使用它，但避免这些级别？

一旦我解决了这个问题，我希望在一个基本的 for 循环中得到它来遍历所有解压缩的子目录：

dir.list <- list.dirs(recursive = F)

for (subdir in dir.list) {

  file.list <- list.files(pattern='*.xlsx')

  df.list <- lapply(file.list, read_excel)

  df <- as.data.frame(do.call(rbind, df.list),stringsAsFactors=FALSE)

  df <- t(df)

  df <- transform(df,as.numeric)

  cdf <- rbind(cdf,df[2,])

}

但这会产生> cdf data frame with 0 columns and 0 rows? 我知道没有一个代码是优雅或紧凑的（并且 rbind 在 for 循环中是不明智的），但这是我能够拼凑起来的。我非常乐于接受样式更正和替代方法，但如果它们的上下文在此处描述的整体问题/解决方案中得到解释，将不胜感激（即：不仅仅是“使用包 xyz”或“读取 ldply()的文档”）。

谢谢，

4

2 回答 2

1

我想你的 df.list 包含带有因子而不是字符串的 data.frames，这可能是导致后续 rbind 出现问题的原因。你能试一下吗：

df.list <- lapply(file.list, function(x) {
             as.data.frame(read_excel(x), stringsAsFactors=FALSE)
           })

这样 df.list 中的 data.frames 不应包含因子。

于 2017-03-12T09:36:43.870 回答
1

文件中的数据.xlsx似乎存储在键（第 1 列）和值（第 2 列）结构中。我将使用readxlanddata.table读取数据并最初以长键/值格式存储它（第三列指示公司）。然后我会将 ( dcast) 长格式转换为宽格式，以便每个键都有自己的列：

library(readxl)
library(data.table)

# Get list of files
file.list <- list.files(path = ".", pattern = "*.xlsx")

# Iterate over files
dt_list <- lapply(seq_along(file.list), function(x) {
  # Read sheet 1 as data.table
  dt <- data.table(read_excel(file.list[x], sheet = 1))
  # Get company based on name of second column
  company <- gsub(colnames(dt)[2], pattern = "[^A-Z]*", replacement = "")
  # Set company and file_name (optional for debugging)
  dt[, ":="(company = company, file_name = file.list[x])]
  setnames(dt, c("key", "value", "company", "file_name"))
  dt
})
dt <- rbindlist(dt_list, use.names = TRUE)

# Get rid of file_name and remove duplicates
dt[, file_name := NULL]
dt <- unique(dt)

# Optional filtering on key
# dt <- dt[key %in% c("Total tweets", "Total audience")]

# Use dcast to make wide format table with one row per company
dt_wide <- dcast(dt, formula = company~key)

dt_wide 的内容（与 AAPL 和 ATVI）：

    company Average contributor followers Average contributor following Contributor followers median ...
 1:    AAPL                       5197,58                        832,06                       141,00 ...
 2:    ATVI                       9769,01                       1389,17                       562,00 ...

您可以使用转换dt_wide为标准data.framedf <- as.data.frame(dt_wide)

于 2017-03-13T02:16:43.177 回答