2

我有一个文件，它有超过一亿行，并且分散在字段中，有额外的制表符分隔符。由于涉及的文件很大，我需要将有问题的行读入 R，同时忽略其他行。

在某些行中带有额外分隔符的示例 txt 文件：

text_file <-"My\tname\tis\tAlpha\nMy\tname\tis\t\t\tBravo\nMy\tname\tis\tCharlie\nMy\tname\tis\t\t\tDelta\nMy\tname\tis\tEcho"

我尝试的第一件事是使用“readLines”函数，但是虽然我可以指定要在其上停止的行，但仍然会读取到该点为止的所有其他内容，这仍然可能太多了

readLines(textConnection(text_file), n = 4)

[1] "My\tname\tis\tAlpha"     "My\tname\tis\t\t\tBravo" "My\tname\tis\tCharlie"   "My\tname\tis\t\t\tDelta"

然后我意识到，如果我将分隔符指定为可能永远不会出现的东西，我也可以使用其他数据集导入函数。data.table 包中的“fread”函数非常适合这个，因为它是处理像我这样的大型数据集的最快方法，但是当我尝试它时，数据的格式是我无法真正进一步使用的格式：

library(data.table)
library(stringi)

lines <- fread(text_file, sep = NULL, header = FALSE, skip = 1, nrows = 3)

> lines
                        V1
1: My\tname\tis\t\t\tBravo
2:   My\tname\tis\tCharlie
3: My\tname\tis\t\t\tDelta

> invalid_delimiter_rows <- which(stri_count_regex(lines, "\\t") != 3)
Warning message:
In stri_count_regex(lines, "\\t") :
  argument is not an atomic vector; coercing

最好在导入后我不必转换此数据，但是当我尝试将其更改为字符向量或列表时，它的格式仍然不正确（连接被视为字符串的一部分，而不是函数）。我可以解决这个问题的最节省计算时间的方法是什么？

> class(lines)

[1] "data.table" "data.frame"

> as.character(lines)

[1] "c(\"My\\tname\\tis\\t\\t\\tBravo\", \"My\\tname\\tis\\tCharlie\", \"My\\tname\\tis\\t\\t\\tDelta\")"
4

1 回答 1

1

让我们复制这个过程直到fread()导入：

# your example string
text_file <-"My\tname\tis\tAlpha\nMy\tname\tis\t\t\tBravo\nMy\tname\tis\tCharlie\nMy\tname\tis\t\t\tDelta\nMy\tname\tis\tEcho"

# import
library(data.table)
lines <- fread(text_file, sep = NULL, header = FALSE, skip = 1, nrows = 5)
lines
                        V1
1: My\tname\tis\t\t\tBravo
2:   My\tname\tis\tCharlie
3: My\tname\tis\t\t\tDelta
4:      My\tname\tis\tEcho

当你尝试

as.character(lines)
[1] "c(\"My\\tname\\tis\\t\\t\\tBravo\", \"My\\tname\\tis\\tCharlie\", \"My\\tname\\tis\\t\\t\\tDelta\", \"My\\tname\\tis\\tEcho\")"

它将全部转换data.table为字符，因此每一列都将是一个连接向量。见下文：

as.character(data.table(lines$V1, lines$V1))
[1] "c(\"My\\tname\\tis\\t\\t\\tBravo\", \"My\\tname\\tis\\tCharlie\", \"My\\tname\\tis\\t\\t\\tDelta\", \"My\\tname\\tis\\tEcho\")"
[2] "c(\"My\\tname\\tis\\t\\t\\tBravo\", \"My\\tname\\tis\\tCharlie\", \"My\\tname\\tis\\t\\t\\tDelta\", \"My\\tname\\tis\\tEcho\")"

您想要的是 extract just lines$V1，它已经是一个字符向量。

lines$V1
[1] "My\tname\tis\t\t\tBravo" "My\tname\tis\tCharlie"   "My\tname\tis\t\t\tDelta" "My\tname\tis\tEcho"
于 2019-03-10T21:31:48.977 回答