5

我想聚集大量的数据记录。我正在处理的数据是字符串类型的。聚类过程需要很长时间。
让我们假设我想将一组电子邮件数据记录聚类到一个集群中，其中同一个人写的电子邮件被分配到同一个集群中（考虑到一个人可能以不同的方式写他/她的名字）。
我想执行多阶段聚类：

  • 基于名称的第一阶段聚类，如果两个记录之间的名称距离小于阈值，我们将考虑这些聚类，否则......
  • 数据记录进入基于其他属性（名称除外）的第二阶段聚类。

计算成对距离。现在我处于集群阶段。我想使用以下代码进行dbscan聚类：

function [IDX, isnoise] = dbscan_strings(X,epsilon,MinPts)
C = 0;
n = size(X,1); 
IDX = zeros(n,1);
D = pdist2(X,X,@intersection);
visited = false(n,1);
isnoise = false(n,1);
for i = 1:n
    if ~visited(i)
        visited(i) = true;
        Neighbors = RegionQuery(i);
        if numel(Neighbors)<MinPts
            % X(i,:) is NOISE
            isnoise(i) = true;
        else
            C = C+1;
            ExpandCluster(i,Neighbors,C);
        end
    end
end

function ExpandCluster(i,Neighbors,C)
    IDX(i) = C;
    k = 1;
    while true
        j = Neighbors(k);
        if ~visited(j)
            visited(j) = true;
            Neighbors2 = RegionQuery(j);
            if numel(Neighbors2)>=MinPts
                Neighbors = [Neighbors Neighbors2];   %#ok
            end
        end
        if IDX(j)==0
            IDX(j) = C;
        end
        k = k + 1;
        if k > numel(Neighbors)
            break;
        end
    end
end

function Neighbors = RegionQuery(i)
    Neighbors = find(D(i,:)<=epsilon);
end
end

我需要帮助将以下聚类过程变成一个多阶段过程，其中X包含具有所有属性的数据记录。让我们假设这X{:,1}是具有名称属性的数据记录，因为名称包含在第一列中。

注意：我会给帮助我的人 50 分的赏金。

4

1 回答 1

3

不要一次做所有事情！

你正在计算很多你从来不需要的东西，这让事情变得很慢。例如，一个好的 DBSCAN 不使用距离函数，而是使用索引。

对于名称，仅适用于唯一名称！你应该有许多完全相同的名字，但你最终会一次又一次地计算相同的距离。

所以首先，只构建一组唯一的名称。对此执行相似性匹配（但我建议为此使用 OpenRefine 而不是 Matlab！）。确定要合并的名称后，为每个名称组构建一个新的数据矩阵。然后运行你想要的任何集群。好的候选者可能是 HDBSCAN 和 OPTICSXi（看看 ELKI 中可用的聚类算法，它可能有最广泛的选择）。也许只从一个普通的通用名称开始，以了解算法的参数。不要一次聚集所有子集。

于 2016-09-10T14:18:59.047 回答