我正在尝试在 Hadoop 基础架构上使用 Python 中的 Map-Reduce 部署时间序列模型,而不使用 StatsModel 包。但是由于我是 Map-Reduce 编程的新手,所以我无法弄清楚如何实现一个。我做了一些关于滚动窗口方法的阅读。但仍然无法了解如何实现它。
我的数据集看起来像这样 -
我正在尝试在 Hadoop 基础架构上使用 Python 中的 Map-Reduce 部署时间序列模型,而不使用 StatsModel 包。但是由于我是 Map-Reduce 编程的新手,所以我无法弄清楚如何实现一个。我做了一些关于滚动窗口方法的阅读。但仍然无法了解如何实现它。
我的数据集看起来像这样 -
代码分为四个部分,映射器、组合器、reducer 和包含所有类的文件 (slidingwindow.py)。我们使用滑动窗口方法来计算预测。组合器将所有预测成功的条目标记为“F”,而无法填充窗口的条目标记为“B”和“E”。reducer 预测标记为“B”和“E”的条目并产生输出。
可以在此处找到指向 python 文件的链接 -
https://github.com/abhiray92/mapreduce_arima/tree/main/Linux_Server