我试图分析英国自行车事故的数据，以找到统计黑点。这是来自另一个网站的数据示例。http://www.cycleinjury.co.uk/map
我目前正在使用 SQLite 存储约 100k 经纬度位置。我想将附近的位置组合在一起。此任务称为聚类分析。
我想通过忽略孤立事件来简化数据集，而只显示在一个小区域内发生了不止一次事故的集群的起源。
我需要克服 3 个问题。
链- 如何避免拾取附近点的链？
密度- 如何考虑循环人口密度？伦敦骑自行车的人比布里斯托尔的人口密度要高得多，因此伦敦似乎有更多的后备站。
我想避免这样的“连锁”场景：
相反，我想找到集群：
伦敦截图（我手绘了一些集群）......
布里斯托尔屏幕截图 - 密度低得多 - 如果不考虑相对密度，在该区域运行的相同程序可能找不到任何黑点。
任何指针都会很棒！
好吧，您的问题描述与DBSCAN 聚类算法（维基百科）完全一样。它避免了连锁效应，因为它要求它们至少是 minPts 对象。
至于密度的差异，这就是OPTICS（维基百科）应该解决的问题。不过，您可能需要使用不同的方式来提取集群。
好吧，好吧，也许不是 100% - 你可能想要有单个热点，而不是“密度连接”的区域。在考虑 OPTICS 图时，我认为您只对小而深的山谷感兴趣，而不是对大山谷感兴趣。您可能可以使用 OPTICS 扫描“至少 10 起事故”的局部最小值。
更新：感谢指向数据集的指针。这真的很有趣。所以我没有将其过滤到骑自行车的人，但现在我正在使用所有 120 万条带坐标的记录。我已经将它们输入ELKI进行分析，因为它非常快，而且它实际上可以使用大地距离（即纬度和经度）而不是欧几里得距离，以避免偏差。我已经启用了带有 STR批量加载的 R*-tree 索引，因为这应该有助于大大降低运行时间. 我正在使用 Xi=.1、epsilon=1 (km) 和 minPts=100（仅寻找大型集群）运行 OPTICS。运行时间约为 11 分钟，还不错。OPTICS 图当然是 120 万像素宽，所以它不再适合完全可视化。考虑到巨大的阈值，它确定了 18 个集群，每个集群有 100-200 个实例。接下来我将尝试可视化这些集群。但绝对要为您的实验尝试较低的 minPts。
所以这里是发现的主要集群：
请注意，这些只是从集群中获取的随机点。计算例如集群中心和半径可能是明智的，但我没有这样做。我只是想看看那个数据集，它看起来很有趣。
下面是一些截图，minPts=50，epsilon=0.1，xi=0.02：
请注意，使用 OPTICS，集群可以是分层的。这是一个细节：
首先，您的示例非常具有误导性。您有两组不同的数据，并且您无法控制数据。如果它出现在一个链条中，那么您将获得一个链条。
这个问题并不完全适合数据库。您必须编写代码或找到在您的平台上实现此算法的包。
有许多不同的聚类算法。一个，k-means，是一种迭代算法，您可以在其中寻找固定数量的集群。k-means 需要对数据进行几次完整的扫描，瞧，你有你的集群了。索引并不是特别有用。
另一个通常适用于稍微较小的数据集的方法是层次聚类——将两个最接近的东西放在一起，然后构建聚类。索引在这里可能会有所帮助。
不过，我建议您仔细阅读kdnuggets 之类的网站，以了解哪些软件（免费和其他）可用。