python - 使用 Python 进行实时数据处理

Question

我正在开发一个项目，该项目将使用来自 Twitter Stream API 的数据并计算某些主题标签。但是我很难理解我需要什么样的架构。我应该使用 Tornado 还是有更合适的框架？

Answer 1

这真的取决于你想用推文做什么。简单地阅读推文流并不是我见过的问题。事实上，这可以在 AWS 微实例上完成。我什至在实时提要上运行更高级的回归算法。如果您尝试处理一组历史推文，则会出现可伸缩性问题。由于推文的生成速度如此之快，因此处理历史推文可能会非常缓慢。那是你应该尝试并行化的时候。