performance - 使用 EmEditor 优化列数据中的多元素排序/去重

Question

在处理大型分隔文件时，目前对列中的元素进行排序/去重的最简单方法（通常使用分号分隔的元素，但可以是任何字符）似乎是通过“拆分列方法” document.SplitColumn，然后使用组合线方法document.CombineLines（使用相关的方法参数根据需要进行排序/去重）。

当文件不是很大时，这可以正常工作，但我想知道是否有更快/更优化的方式在较大的分隔文件（百万+行）上执行此常见任务，特别是通过宏/方法。

Answer 1

请将 EmEditor 更新到 v20.1.901 或更高版本，并使用此表单：

document.SplitColumn("3",";",eeSplitIntoNone,"A+",eeRemoveDuplicates | eeSortIgnorePrefix | eeSortStable,0);

这种新eeSplitIntoNone类型实际上不会拆分，而只会对元素的重复项进行排序或删除。