问题标签 [aws-ebs]

有人可以澄清一下在 EMR 集群（transcient / on-demand cluster）中拥有 EBS 卷的用例是什么。

在 EMR 中使用 EBS 卷有什么好处？因为 EBS 也会随着 EMR 集群的终止而被删除。

我计划设置一个 EMR 集群来运行基于 Spark 的 ETL 作业，并请寻找一些输入。我可以使用 EMRFS/S3，但只是想知道为什么我们在 EMR 中有 EBS。

谢谢。

我有一个有状态的卡夫卡。我需要扩大磁盘大小，我尝试使用 k8s 1.9 的自动调整大小功能

这里：https ://kubernetes.io/docs/concepts/storage/persistent-volumes/#expanding-persistent-volumes-claims

我确实激活了功能门和准入插件，我认为这是可行的，因为我可以在修改后成功更改 pvc 的大小。

但是什么也没发生，我将 PVC 的大小从 50Gi 修改为 250Gi。

pvc 中的容量确实发生了变化，但在 AWS 上没有变化，EBS 卷仍然是 50gb，pod 中的 df -h 仍然显示 50gb

我错过了什么 ？我必须在 aws 上手动调整大小吗？

谢谢你

我有一个VMware VM其操作系统原始磁盘备份到AWS S3. 我可以AMI使用import-image. 我不能import-image每次都使用，因为它非常慢，而且因为我正在创建一个应用程序，您可以在其中将您的虚拟机备份到AWS云，在第一次备份中FULL备份将需要更长的时间，但随后的INCREMENTAL备份应该花费更少的时间（取决于更改的数据量）。我在每次备份期间创建 AMI，即 FULL 或 INCREMENTAL 备份。

因此，完全备份需要时间是可以解释的，但对于增量备份应该需要更少的时间。

问题是，在增量备份期间从原始数据创建 AMI 时，AWS 不知道在完整备份期间已经创建了一个 AMI（以及相应的 EBS 快照），应该使用（或比较）最新数据以查找数据更改因此应该仅从更改的数据中创建 AMI，这反过来会花费更少的时间。

所以，我有以下选择：

1) import-snapshotAPI = 将原始 OS 磁盘转换为EBS snapshot文件。

2) 复制 OS 磁盘数据 = 创建 aEBS volume并将其附加到正在运行的EC2 instance. 然后将所有操作系统磁盘原始数据复制到该卷。然后从EBS volume. 从 中EBS snapshot，我们可以创建AMI.

我已经尝试了这两个选项，但每次尝试从 启动EC2 instance时AMI，都会出现以下错误：

在浏览了各种论坛后，我才知道如果在从快照创建 AMI 时不匹配AKI，则会发生上述错误。从创建快照的源 EC2 实例ARI中获取正确的 AKI 和 ARI （正如 AWS 所期望的那样）。

就我而言，我没有从正在运行的快照创建快照，EC2 instance而是从 VMWare VM OS 磁盘创建快照。

我发现import-imageAPI 在创建 AMI 时也会创建快照。所以，我比较了 import-image 创建的快照和我使用 option-1 和 option-2 创建的快照。

我比较了其中的文件列表/boot/及其 md5sum。我发现 AWS import-imageAPI 创建的快照有“ initramfs-3.10.0-327.36.3.el7.x86_64.img.vmimport ”文件，并修改了 /boot/grub2 目录中的许多文件。

根据 AWS 文档https://docs.aws.amazon.com/vm-import/latest/userguide/vm-import-ug.pdf，AWS修改文件系统： - 直接在操作系统中安装 Citrix PV 驱动程序或修改 initrd/ initramfs 以包含它们， - 修改 /etc/fstab， - 修改 grub 引导加载程序设置，例如默认条目和超时。

那么，我是否还需要对我的 EBS 卷进行上述更改？如何进行这些更改（代码、脚本、工具等）？

如果有人有，请提出任何更好的选择。

我探索Packer但发现它需要 source_ami 来创建 AMI，因此不适用于我，因为我不是从源 AMI 创建 AMI，如果我错了，请纠正我。

我有一个关于 AWS 使用的问题列表，我不确定我是否得到了正确的答案，或者我是否使用了可用的最佳实践。

在使用 AWS 之前，我在我的 Macbook 中拥有或执行以下操作： - 维护一个小型 .odb 数据库（大约 100MB），但预计一年内会增长到几 GB。- 有一些 R 脚本来进行网页抓取并将数据导入数据库。- 有另外几个 R 脚本从数据库中提取数据并进行分析。

鉴于不断增长的数据量和必须执行更复杂的分析，我的 Macbook 总是负载很重，我决定在需要时切换到 AWS 以获得更好的计算能力。我正在使用 AWS 免费套餐，以下是我迄今为止使用 AWS 成功完成的工作：

1. 我创建了一个 EC2 实例，并且可以从我的 S3 存储桶中检索文件。
2. 我可以使用我的 R 脚本执行分析并将结果保存在我的 S3 存储桶中。

这是我的问题清单：

1. 维护一个~1GB大小的数据库，直接放到S3里面，每次都把整个文件加载到R里好不好？还是试试RDS服务？</p>

2. EC2 实例和我的 S3 存储桶之间的数据传输是否收费？（即我在一个实例和 S3 之间传入和传出 10GB 数据与 1000GB 相比是否重要？）我不知道在哪里可以找到这条信息.

3. 使用EC2实例进行网页抓取，是否需要对互联网连接收费？或者费用仅适用于我选择使用的实例类型，无论我执行计算还是网页抓取？</p>

4. 我还阅读了一些关于 AWS EBS 的文章，但我对 S3、EBS 或设置 RDS 之间的区别感到很困惑。

随着我编写更多的 R 脚本来废弃不同的公开可用数据进行分析，我预计我的数据量会成倍增长。在计算能力方面，目前我需要的比我的 MacBook 提供的更多，主要是做一些并行处理和分析。以后我也会测试一些机器学习算法。

任何建议都会很有用。

如何清除 Amazon AWS EBS 卷的内容。我希望将其恢复为出厂状态。

我不打算删除卷本身，而是将它与我​​当前使用的同一实例重用。

我在 aws 上部署了一个 jhipster 应用程序，使用jhipster aws. 但是当我尝试连接到 EC2 实例时，它会发出以下警告：

警告

您可能无法连接到此实例，因为端口 22 可能需要打开才能访问。您当前的安全组没有打开端口 22。

实例未与密钥对关联 此实例未与密钥对关联。如果没有密钥对，您将需要使用有效的用户名和密码组合登录到此实例。

请指点一下。

我正在尝试使用 Node.js 应用程序从弹性 beanstalk 连接到 MongoDB atlas。在 Mongo atlas 上，出于测试原因，我公开打开了连接（将 0.0.0.0/0 添加到白名单中）并且 AWS 安全组允许所有流量。我仍然可以从本地主机连接到 MongoDB 地图集，但不能从 AWS EBS 连接。

我正在尝试使用 boto3 根据描述过滤快照，但描述过滤器似乎不起作用。见下文：

如果我随后获取快照描述并使用它进行搜索，我将一无所获：

OwnerId 和 snapshotId 已经被修改，但 VolumeId 实际上是vol-fffffff由于快照是来自不同区域的快照的副本。

描述过滤器不匹配是否有原因？根据文档，description是过滤的有效字段 - https://boto3.readthedocs.io/en/latest/reference/services/ec2.html#EC2.Client.describe_snapshots

我已经启动了一个ec2RHEL 实例并附加EBS了卷。

我如何知道何时从/tmpor/opt或任何其他目录访问数据，是否从or访问数据？Instance StoreEBS

我在标准 Docker for AWS 堆栈上部署了一项服务（使用此模板）。docker stack deploy -c docker-compose.yml pos我使用这个 compose 文件进行部署：

然后我更改数据库中的一些数据并强制更新服务docker service update --force pos_postgres_vanilla

问题是我更改的数据在更新后不会持续存在。我注意到每次更新时都会运行 postgres initdb 脚本，所以我认为它是相关的。

有什么我做错了吗？