问题标签 [starcluster]

我需要在 Google Compute Engine 上设置和运行“令人尴尬”的并行作业。我正在寻找工具来促进这一点。

在 EC2 上，我使用 MIT 的 Starcluster 来设置集群，然后将作业提交给 SGE。

Google Compute Engine 是否有类似的工具可用？

如果没有，我可能会手动设置一个 Condor 集群来完成这些工作。嗡嗡声杀。

我一直在 SGE 集群上运行并行、独立的模拟，并希望过渡到使用 EC2。我一直在查看 StarCluster 的文档，但由于我缺乏经验，我仍然遗漏了一些东西。

1) 我的代码是用 C 编写的并使用 GSL——我需要在虚拟机上安装 GSL 并在那里编译，还是可以预编译代码？是否有任何教程涵盖了 EC2 的这种确切用法？

2) 我可能需要运行 10,000 个 CPU 小时的代码，但我可以轻松地将其设置为尽可能多的短实例或更少、更长的作业。鉴于这些要求，EC2 真的是最佳选择吗？如果是这样，StarCluster 是否是满足我需求的最佳界面？

非常感谢。

EC2 ubuntu 上的 Starcluster 停止工作。我不知道有任何故意的配置更改或其他任何事情，也无法找到太多帮助。如果有人有任何建议，你能告诉我吗？启动、终止甚至列出集群都会出错。以下是我尝试列出集群时遇到的错误：

我正在尝试使用 StarCluster 和稍后的 BioCoductor AMI 在 AWS 上设置 R 集群。目标是使用雪在多个节点上运行一些并行计算。

但是，我一开始就在 WINDOWS 7 64 位上安装 StarCluster（可能是原因）。

我做了什么：（http://star.mit.edu/cluster/docs/latest/installation.html）

1. 安装 Python 2.7.5
2. 将 c:\Pyhton\Scripts 目录添加到 PATH（甚至重新启动）
3. 安装 setuptools 0.6rc11
4. pycrypto 2.3
5. 在 c:\Python\Scripts 中打开 CMD 提示符并执行：easy_install StarCluster

但是它以错误结束。看起来它没有使用正确的文件夹

有人有想法吗？

I am trying to get StarCluster's tab completion to work. Quoting the documentation:

to enable StarCluster bash-completion support for every shell you open, add the following line to your ~/.bashrc file:

But I can not find the script file anywhere. I searched my machine, and I also search the starcluster github project. I can't find it anywhere.

Where is the file located?

我正在使用 starcluster 命令 put 将文件移动到我的 AWS 集群中。问题是，如果我将文件添加到目录然后想要上传它，我需要创建这些文件的列表，或者重新复制所有内容。我想要类似于 rsync 的东西。有没有办法在 StarCluster 中做到这一点？

我的客户有许多 EC2 实例正在运行，还有一个 VPC（虚拟私有云）正在运行。

我正在使用一个名为 Starcluster 的平台来启动节点，我需要知道它们是在 VPC 中还是只是普通的 EC2 节点。我怎样才能做到这一点？

Amazon 的 VPC 控制台位于此地址： https ://console.aws.amazon.com/vpc/home?region=us-east-1

显示：
1 VPC
3 运行实例

但据我所知，其中一些正在运行的实例是非 VPC 实例。提示？

我正在并行化 sklearn 网格搜索，扫描三个参数，但我在重构项目以使用 ipython.parallel 时遇到了麻烦。我目前的想法是创建一个简单的函数：

• 接受一个岭参数
• 下载数据集以训练模型
• 训练模型，在 S3 上保存分数和生成的模型？

作为一种并行化网格搜索的方法，这是否有意义？

如果是这样，有没有办法在我的本地机器和远程引擎之间共享代码？

例如，我有一个包含许多不同模块的源代码树：

使用 StarCluster，我在 EC2 上部署了一个集群，并希望并行化在 ridge 参数上运行 sklearn gridsearch 的过程。但是，我没有发现与远程引擎共享所有本地模块的简单方法。是否有这样做的模式，或者我应该如何重组我的思维？

我正在运行一个小型 StarCluster 并使用它来运行 IPython Notebook。每次我在笔记本中编写的代码中出现错误时，都会在笔记本输出的末尾添加以下错误消息：

除此之外，它似乎运行良好，但我不知道为什么会发生这种情况/我如何才能更多地了解它为什么这样做

我正在尝试开发一个 GUI 应用程序，用于在Amazon Elastic Compute 2中创建和删除弹性Starcluster集群。到目前为止，我已经设法从图形应用程序创建和使用这些集群，但是当我尝试删除集群时遇到了问题。以下是我用来将命令插入控制台的方法（来自我的应用程序）：

问题是系统要求我使用我的应用程序中使用的方法进行是/否确认，我无法通过该确认。到目前为止，我尝试了以下方法：

但是系统一直在等待答案，忽略了应用程序中引入的命令。以下是请求确认的实际应用程序的日志：

我将不胜感激有关此事的任何想法或想法。如果您认为有必要给出适当的答案，请随时询问更多信息。