问题标签 [starcluster]

使用starcluster时，是否可以在SSH进入主节点时指定端口号？例如：

使用处理高统计数据并执行长时间复杂计算的python应用程序。

当用户请求时，创建了一个异步线程并开始计算并以相等的间隔将结果保存在数据库中，而在主线程中，我们一直在寻找数据库中的更改并使用结果更新用户。

现在我被要求使用与 AWS 配合使用的 MIT 的 Starcluster。我已经创建了主集群和从集群，现在我的问题是如何使用 MPI4py 在节点（从）机器上执行计算以及在主服务器上执行所有其他操作？

我没有写任何代码，但我找到了一个例子，它展示了它在负载平衡的意义上是如何工作的，

• https://gist.github.com/brantfaircloth/2379572

有什么方法可以在节点机器上调用特定的 api 来在节点机器上执行任务？

我正在使用带有Ipython插件的 starcluster 。当我使用负载平衡模式从 Ipython 笔记本运行 Kmeans 集群时。它始终是具有 100% CPU 使用率的 Master。其他 EC2 实例从不承担负载。

我尝试使用大型数据集和 20 个节点。结果是相同的所有负载都在主服务器上。我尝试使用 node001 直接查看，但即便如此，主控也承担了所有负载。

我是否配置任何错误。我需要在配置中设置禁用队列吗？如何在所有实例上分配负载。

模板文件

代码

我正在遵循 StarCluster配置说明，我想创建一个新用户供 StarCluster 使用。我的问题是 StarCluster 运行所需的最小 IAM 权限集是什么？

是否需要该AmazonEC2FullAccess政策（如此所示）或是否存在较不全面的政策。

我正在尝试在现场实例上运行 mapreduce 作业。我使用 StarClusters 及其 hadoop 插件启动我的实例。我上传数据没有问题，然后将其放入 HDFS，然后将结果从 HDFS 复制回来。我的问题是有没有办法直接从 s3 加载数据并将结果推回 s3？（我不想手动将数据从 s3 下载到 HDFS 并将结果从 HDFS 推送到 s3，有没有办法在后台进行）？

我正在使用标准的 MIT starcluster ami

如何在 Starcluster 集群中安装 Freeimage 库，以便与 scikit-image 模块一起使用？

我使用 Starcluster 在 AWS 上设置了一个集群，并且我想运行一些脚本，该脚本需要使用 scikit-image 模块加载 .jp2 图像，这可以通过 Freeimage 库来完成。执行此操作的命令是： skimage.io.imread("path/to/image.jp2", plugin='freeimage). 当我在我的机器上运行它时，这有效。

我已经使用 Starcluster 配置文件中的 Python 包插件在我的集群中安装了 scikit-image，如 Starcluster文档中所示：

我还按照文档中的说明将以下软件包安装到我的集群中

但是当我skimage.io.imread("path/to/image.jp2", plugin='freeimage)在集群中运行时，我收到以下错误消息：

我正在使用 OS X。

当您尝试将节点添加到现有的 Starcluster 集群时，某些插件可能会失败，具体取决于您是在主节点还是辅助节点。

如果你的插件有类似的东西：

当您添加一个节点时

以前的表格不起作用。

那么如何尝试区分主节点和辅助节点的插件操作。

如何从插件内部检查我是否在 master 中？我尝试使用nodes列表索引但不起作用。

我在使用 sun Grid Engine 分发作业的集群（starcluster）上使用 numpy 运行相同作业的多次重复。我的每个节点都有 2 个核心（AWS 上的 c3.large）。所以说我有 5 个节点，每个节点有 2 个核心。

numpy 中的矩阵运算一次能够使用多个核心。我发现 SGE 将发送 10 个作业一次运行，每个作业使用一个核心。这导致作业的运行时间更长。看htop，看起来每个核心上的两个工作都在争夺资源。

我如何告诉 qsub 为每个节点分配 1 个作业。这样当我提交作业时，一次只会运行 5 个，而不是 10 个？

我正在尝试使用StarCluster和 ipyparallel 设置集群。当我尝试运行以下命令时，出现以下错误。我从未见过以这种方式丢失堆栈跟踪的 python 错误。

我收到以下错误：

甚至不确定从哪里开始调试。

如果有人知道为什么实际上没有带有错误的 Traceback，那将会很有帮助。我以前从未见过这种追溯。

这是主节点上 pip freeze 的输出

这是来自唯一从节点的 pip freeze

是否有人在提出大于 200 个节点的集群时遇到问题？每当我尝试时，我都会收到以下错误：

我正在使用 starcluster 开发分支0.95.6，因为它支持较新的 c4 ec2 实例。

Bellow 是我的星团配置，其中 XXXX 代替了私人信息：