python - Apache Spark 中的 psutil

Question

我正在使用 PySpark 1.5.2。我UserWarning Please install psutil to have better support with spilling发出命令后得到.collect()

为什么会显示此警告？

我该如何安装psutil？

Answer 1

pip install psutil

如果您需要专门为 python 2 或 3 安装，请尝试使用pip2or pip3；它适用于两个主要版本。这是 psutil 的 PyPI 包。

Answer 2

您可以在以下链接中克隆或下载 psutil 项目： https ://github.com/giampaolo/psutil.git

然后运行 ​​setup.py 安装 psutil

在 'spark/python/pyspark/shuffle.py' 中可以看到以下代码：

def get_used_memory():
    """ Return the used memory in MB """
    if platform.system() == 'Linux':
        for line in open('/proc/self/status'):
            if line.startswith('VmRSS:'):
                return int(line.split()[1]) >> 10

    else:
        warnings.warn("Please install psutil to have better "
                      "support with spilling")**
        if platform.system() == "Darwin":
            import resource
            rss = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
            return rss >> 20
        # TODO: support windows

    return 0

所以我想如果你的操作系统不是 linux，那么建议使用 psutil。