4

我正在尝试使用 RecordLinkage 包生成一个唯一的 ID 列。在处理较小的数据集（<= 1,000,000）时，我已经成功地做到了这一点，但是对于在包中使用不同（但相似）函数的较大数据集（> 1,000,000），我无法重现此结果。尽管记录中可能存在一些错误（接近匹配）或重复，但我得到了多个标识符变量，我想为其生成唯一 ID。

给定一些标识符数据框：

data(RLdata500)
df_identifiers <- RLdata500

这是较小日期集的代码（有效）：

df_identifiers <- df_identifiers %>% mutate(ID = 1:nrow(df_identifiers))
rpairs <- compare.dedup(df_identifiers)
p=epiWeights(rpairs)
classify <- epiClassify(p,0.3)
matches <- getPairs(object = classify, show = "links", single.rows = TRUE)

# this code writes an "ID" column that is the same for similar identifiers
classify <- matches %>% arrange(ID.1) %>% filter(!duplicated(ID.2))
df_identifiers$ID_prior <- df_identifiers$ID

# merge matching information with the original data
df_identifiers <- left_join(df_identifiers, matches %>% select(ID.1,ID.2), by=c("ID"="ID.2"))

# replace matches in ID with the thing they match with from ID.1
df_identifiers$ID <- ifelse(is.na(df_identifiers$ID.1), df_identifiers$ID, df_identifiers$ID.1)

这种方法在这里讨论。但是在使用其他函数时，当应用于更大的数据集时，此代码似乎不可扩展。例如，大数据等价物compare.dedupis RLBigDataDedup，其RLBigData类支持类似的功能，如epiWeights, epiClassify,getPairs等。在这种情况下替换compare.dedup为RLBigDataDedup不起作用。

考虑以下对大型数据集的尝试：

df_identifiers <- df_identifiers %>% mutate(ID = 1:nrow(df_identifiers))
rpairs <- RLBigDataDedup(df_identifiers)
p=epiWeights(rpairs)
( . . . )

在这里，剩下的代码几乎与第一个相同。尽管epiWeights并按预期epiClassify在课堂上工作，但事实并非如此。该函数不使用参数。因此，所有后续代码都不起作用。RLBigDatagetPairsgetPairsshow = "links"

在使用类中较大的数据集时，是否需要采取不同的方法来生成一列唯一 ID RLBigData，或者这只是一个限制？

4

1 回答 1

2

首先，导入以下库：

library(RecordLinkage)
library(dplyr)
library(magrittr)

考虑 RecordLinkage 包中的这些示例数据集：

data(RLdata500)
data(RLdata10000)

假设我们关心这些匹配变量和阈值：

matching_variables <- c("fname_c1", "lname_c1", "by", "bm", "bd")
threshold <- 0.5

SMALL 数据集的记录链接如下：

RLdata <- RLdata500
df_names <- data.frame(RLdata[, matching_variables])
df_names %>%
  compare.dedup() %>%
  epiWeights() %>%
  epiClassify(threshold) %>%
  getPairs(show = "links", single.rows = TRUE) -> matching_data

在这里，可以应用以下 SMALL 数据操作来将适当的 ID 附加到给定的数据集（与此处相同的代码）：

RLdata_ID <- left_join(mutate(df_names, ID = 1:nrow(df_names)),
                       select(matching_data, id1, id2) %>%
                         arrange(id1) %>% filter(!duplicated(id2)),
                       by = c("ID" = "id2")) %>%
  mutate(ID = ifelse(is.na(id1), ID, id1)) %>%
  select(-id1)
RLdata$ID <- RLdata_ID$ID

LARGE 数据集的等效代码如下：

RLdata <- RLdata10000
df_names <- data.frame(RLdata[, matching_variables])
df_names %>%
  RLBigDataDedup() %>%
  epiWeights() %>%
  epiClassify(threshold) %>%
  getPairs(filter.link = "link", single.rows = TRUE) -> matching_data

在这里，可以应用以下 LARGE 数据操作来将适当的 ID 附加到给定的数据集（类似于此处的代码）：

RLdata_ID <- left_join(mutate(df_names, ID = 1:nrow(df_names)),
                       select(matching_data, id.1, id.2) %>%
                         arrange(id.1) %>% filter(!duplicated(id.2)),
                       by = c("ID" = "id.2")) %>%
  mutate(ID = ifelse(is.na(id.1), ID, id.1)) %>%
  select(-id.1)
RLdata$ID <- RLdata_ID$ID
于 2017-07-25T21:49:48.093 回答