0

我按照以下链接在 AWS EMR 集群上设置 JupyterHub 的教程进行操作：https ://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/

我让集群启动并运行，但现在我的问题是如何进行压力/负载测试？（即模拟 100 个用户同时通过笔记本运行）。

在课堂环境中，我有大约 30 个用户 sshed 到我的集群中运行笔记本练习，但是当更多的人开始执行笔记本中的代码块时，速度大大放缓。发生的事情是一些 python 库的导入需要很长时间，一些练习停止工作或只是挂起。Cloudwatch 显示存在网络瓶颈。

基本上我要问的是我怎样才能去调试这样的东西？模拟多个用户进入 EMR 集群、打开 jupyter 笔记本并同时运行代码块的最佳方法是什么？

4

1 回答 1

1

您应该查看（并做出贡献？）像这样的项目，该项目 旨在对 JupyterHub 进行负载测试，并且应该再次迁移到 jupyterHub 组织。

请注意，在您的情况下，您并不是真的希望测试 JupyterHub，而是在测试您的集群；只需并行运行 N 个脚本并导入您的库，就可以进行负载测试。

于 2017-10-05T18:38:49.517 回答