我正在使用 Vaex 并寻找性能提示。
我的用例如下：
我有一个大数据框 - 我们称之为
large_df（只有几列但有数千万行，在生产中，数据集将大于 10 倍）。其中一列称为key，这是一个 64 个字符的字母数字字符串。此数据帧的内容存储在多个 HDF5 文件中。我通过做来创建数据框vaex.open_many(<path/to/hdf5 files/)。在每个请求中，代码都会收到少量（在 10 秒内）要在 中查找的键
large_df。然后我基本上必须查找large_df以获取keys 与输入键列表匹配的行，然后对生成的匹配 df 进行一些处理（这会小得多）。
根据我的阅读，Vaex 应该非常适合我的用例，但是我一直在努力获得我所期望的性能。
我的代码基本上是这样的：
import vaex
df = vaex.open_many(</path/to/hdf5 files>)
df = df[df.key.isin(<list of input keys>)].to_pandas_df()
当所有 HDF5 文件提前缓存在磁盘上时，此代码在 i3.8xlarge 实例上大约需要 80 秒。代码在 Docker 容器内运行，CPU 上限为 30（可用的 32 个）。我阅读了有关 Vaex 如何很好地处理字符串的文章，乍一看，这似乎是 Vaex 应该能够轻松并行化并以超过 80 秒的速度计算的任务类型。
我还尝试将一列预索引short_id到包含large_df. 基本上，这是一个整数，表示key列中的前 4 个字符。然后，我尝试在进行完整字符串比较之前对 df 进行预过滤。此代码如下所示：
import vaex
df = vaex.open_many(</path/to/hdf5 files>)
short_ids = [alphanumeric_string_to_int(key) for key in <input keys>]
df = df[df.short_id.isin(short_ids)] # filter df down to a smaller size
df = df[df.key.isin(<list of input keys>)].to_pandas_df()
这缩短了大约 10 秒，但这似乎应该让事情变得更快。我觉得我遗漏了一些明显的东西来说明如何快速完成这个任务。
我能做些什么？请帮忙 - 谢谢！