3

我是一名 ML 程序员,我正在构建一个高频交易模型。投入生产后,我需要直接从市场获取数据。我正在使用influxdb 数据库,即时间序列数据库(TSDB),但我不知道如何实时捕获数据。我知道存在一种我们可以使用的设计模式,称为Change Data Capture (CDC)我们可以在InfluxDB-Python中使用 CDC吗?InfluxDB 与Debezium一起使用还是单独使用是更好的解决方案吗?

4

1 回答 1

1

为了捕获实时数据源,我会求助于 websocket 客户端,例如https://pypi.org/project/websocket-client和/或推送客户端(https://pusher.com/),只要数据源提供合适的数据馈送。如果没有,我必须使用他们的 REST API 自己构建它。

现在,在数据源和 InfluxDB 之间有一个基于 Python 的 CDC 组件作为目标数据库也是可能的。

于 2018-06-05T02:16:29.893 回答