python - 在 Storm Bolt 中使用外部库 (Python) 的限制

Question

我想实现一个 Bolt ( https://github.com/nathanmarz/storm )，它使用 scikit 机器学习 API ( http://scikit-learn.org/ )对元组进行一些繁重的处理

例如 -

from sklearn import decomposition
from sklearn import datasets

trans_corpus = vectorizer.fit_transform(corpus)
tfidf = text.TfidfTransformer().fit_transform(trans_corpus)
...
...

这可能吗 ？在集群中的每个节点上安装 sklearn 及其所有依赖项是否足够？

Answer 1

从理论上讲，除非我不知道 scikit 有什么奇怪的地方，否则它应该是可能的。您只需要构建您的拓扑，以便您可以用 Python 编写螺栓，我怀疑您已经知道这是可能的并且有很多示例。