0

我想从我的大 .xdf 文件 trans.xdf 中删除重复记录。这是文件详细信息：

File name: /poc/revor/data/trans.xdf
Number of observations: 1000000000
Number of variables: 5
Number of blocks: 40
Compression type: zlib
Variable information:
Var 1: CARD_ID, Type: character
Var 2: SE_NO, Type: character
Var 3: r12m_cv, Type: numeric, Low/High: (-2348.7600, 40587.3900)
Var 4: r12m_roc, Type: numeric, Low/High: (0.0000, 231.0000)
Var 5: PROD_GRP_CD, Type: character

以下是该文件的示例数据：

CARD_ID SE_NO   r12m_cv r12m_roc    PROD_GRP_CD
900000999000000000          1045815024  110 1   1
900000999000000000          1052487253  247.52  2   1
900000999000000000          9999999999  38.72   1   1
900000999000000000          1090389768  1679.96 16  1
900000999000000000          1091226035  0   1   1
900000999000000000          1091241208  538.68  4   1
900000999000000000          9999999999  83  1   1
900000999000000000          1091468041  148.4   3   1
900000999000000000          1092640358  3.13    1   1
900000999000000000          1093468692  546.29  1   1

我尝试使用 rxDataStep 函数来使用它的 transform 参数在 .xdf 文件上调用 unique() 函数。下面是相同的代码：

uniq_dat <- function( dataList )
{
    datalist <- unique(datalist)
    return(datalist)
}

rxDataStepXdf(inFile = "/poc/revor/data/trans.xdf",outFile = "/poc/revor/data/trans.xdf",transformFunc = uniq_dat,overwrite = TRUE)

但是出现以下错误：

Error in unique(datalist) : object 'datalist' not found

Error in transformation function: Error in unique(datalist) : object 'datalist' not found

Error in rxCall("RxDataStep", params) :

所以任何人都可以指出我在这里做的错误，或者是否有更好的方法从 .Xdf 文件中删除重复记录。我避免将数据加载到内存数据帧中，因为数据非常庞大。

我正在通过 HDFS 在 Revolution R Environment 中运行上述代码。

如果可以通过任何其他方法获得相同的结果，那么将理解相同的示例。

我在这里先向您的帮助表示感谢 ：）

干杯，

阿米特

4

1 回答 1

0

您可以删除为 rxSort() 函数提供 removeDupKeys=TRUE 参数的重复值。例如，对于您的情况：

XdfFilePath <- file.path("<your file's fully qualified path>/trans.xdf")
rxSort(inData = XdfFilePath,sortByVars=c("CARD_ID","SE_NO","r12m_cv","r12m_roc","PROD_GRP_CD"), removeDupKeys=TRUE)

如果要根据特定键列删除重复记录，例如，基于 SE_NO 列，请将键值设置为 sortByVars="SE_NO"

于 2018-09-11T10:22:24.100 回答