3

我正在评估 vaex 中描述的交互式异常值选择用例：大图：~2000 万个样本，千兆字节的数据

基本上，我有一些单独的点是异常值，我想在图表上看到它们以手动选择它们并进一步检查它们。

问题是如果数据集的其余部分太大，单个点就会变得不可见。

如何使这些单独的点可见？

例如，如果我生成一个包含 10 亿个点且中心顶部有一个异常值的数据集：

import h5py
import numpy

size = 1000000000

with h5py.File('1b.hdf5', 'w') as f:
    x = numpy.arange(size + 1)
    x[size] =  size / 2
    f.create_dataset('x', data=x, dtype='int64')
    y = numpy.arange(size + 1) * 2
    y[size] =  3 * size / 2
    f.create_dataset('y', data=y, dtype='int64')
    z = numpy.arange(size + 1) * 4
    z[size] = -1
    f.create_dataset('z', data=z, dtype='int64')

然后在 Jupyter 笔记本上显示：

import vaex
df = vaex.open('1b.hdf5')
df.plot_widget(df.x, df.y, backend='bqplot')

我在 Jupyter 上得到了这个：

在此处输入图像描述

所以我看不到应该在中心顶部的异常值。

但是，我可以选择它，因为我知道它在哪里，并且它确实显示在selection=True方法上。它只是没有显示出来。

有一些例子：https://vaex.readthedocs.io/en/latest/tutorial.html#Smaller-datasets-/-scatter-plot看起来很明显，但我尝试添加额外的参数c="red", alpha=0.5, s=4，plot_widget但它没有工作，大概这个后端不支持它们。

也许有一种方法可以配置bqplot来改变它的绘图风格？

在 vaex 2.0.2 上测试。

4

1 回答 1

3

这可能是小部件的布局问题。看着顶部，我发现它似乎被剪掉了。但是，如果缩小，您应该能够看到它。

假设你这样做了，你可能不会看到太多，因为 vaex 的 plot_widget 不会绘制符号（否则它无法显示 10 亿个点），它会显示一个热图。

如果要查看低密度区域，可能需要显示在 log 中（通过 f='log'，或者打开左侧的抽屉并选择它）。如果你在日志中显示，它为空的区域将是-inf，它将显示为透明。因此，您现在应该能够更轻松地看到“异常像素”，特别是如果您降低分辨率（通过 shape=128）。

使用这两个选项：

df.plot_widget(df.x, df.y, f='log', shape=128, backend='bqplot')

输出如下所示：

在此处输入图像描述

离群点在中心顶部变得清晰可见。

于 2019-08-21T07:11:41.397 回答