问题标签 [capacity-planning]

我需要了解如何为 AWS 进行容量规划以及使用什么样的基础设施组件。我以下面的例子为例。

我需要设置一个基于 nodejs 的服务器，它使用 kafka、redis、mongodb。将有 250 台设备连接到服务器并每 10 秒发送一次数据。每个数据包的大小约为 10kb。我将使用 64 位 ubuntu 映像

我需要估计的，

• MongoDB 需要至少 3 台服务器来实现冗余。如何估计所需的 VM 和 EBS 卷的大小，例如应该是 m4.large、m4.xlarge 还是其他？默认 EBS 卷大小为 30GB。
• 运行其他应用程序组件（包括 nodejs、kafka 和 redis 的 3-4 个进程）的 VM 的大小应该是多少？例如应该是 m4.large、m4.xlarge 还是其他？
• 我可以在自动缩放组中只保留一个应用程序服务器，并随着负载的增加而增加，或者我应该至少使用 2 个吗？

我想大致了解，鉴于设备的数量、数据包大小和数据频率，我们如何去估计要考虑的 VM 以及要考虑的存储量以及可能还有其他考虑因素

我对 ELK 堆栈非常陌生，并试图了解它。我想了解如果如何规划 100GB/天数据保留 30 天的容量，如何规划。数据主要是访问日志、应用日志、事件。我将需要运行一些正则表达式来填充数据字段（除非有任何默认分隔符支持）。我打算保留它的 3 个副本。

如果这需要多少台服务器和什么类型的配置，请有人指导我吗？

首先十分感谢 。

根据kafka 文档，6gb 的堆内存分配对于代理来说已经足够了。但是，即使分配了 9 GB 的堆空间，我的 Kafka 部署也经常出现堆空间不足的问题。

所以我的问题是：

• 哪些生产者和消费者配置会影响堆空间？
• 每个主题的主题数和分区数如何影响它？
• 如何计算我的 kafka 设置所需的堆空间？

我正在为我们的项目设置一个 apache ignite 集群。对于容量规划，我使用此处提供的指南https://apacheignite.readme.io/docs/capacity-planning

但是规划中没有提到缓存记录的 TTL 将如何影响所需的内存。有人可以帮助我了解在规划缓存容量时如何考虑 TTL 吗？

我有一个在 Openshift 的 Tomcat 8 服务器中运行的 Web 应用程序（soap 服务）。有效负载大小相对较小，只有 5-10 个元素，流量也很小（每天 300 个调用，一次最多 5-10 个线程）。我对 Pod 资源限制有点困惑。如果我要为我的应用程序使用 min 1 和 max 3 pod，我如何为每个 pod 提供最小和最大 cpu 和内存限制？

在我们的集群中，我们的最小容器大小为 8 GB，大多数配置单元查询使用 1 个容器。（但肯定可能不会使用分配的所有内存）一些 spark 作业只使用 2GB 或 4GB，根据观察，我们不会为所有查询使用那么多内存。仍然所有容器都用完了。

那么，无论如何我们可以有效地管理。

我们总共有 30 个 vcore，总共 275 GB 内存，因为我们必须为每个容器分配 1 个 vcore，即装瓶到 30 个容器

有没有办法可以有效地利用所有 8gb 的容器？或增加容器数量或做一些其他事情。任何建议都会有所帮助

我在根队列下有 4 个队列，配置如下。

我已经按属性设置了容量yarn.scheduler.capacity.root.<queue-name>.capacity和最大容量yarn.scheduler.capacity.root.<queue-name>.maximum-capacity。

我的理解是，以上两个属性分别设置了绝对容量和绝对最大容量。这意味着队列流的 100% 等于集群总容量的 70%，它最多可以填充队列容量的 100%，也就是集群总容量的 70%。

现在，问题是当队列“流”被填满 66.4%（即当已用容量：66.4% 和绝对已用容量：46.5%）时，新作业进入挂起状态，通过说在队列“流”中提交“等待 AM 容器被分配、启动并注册到 RM”。

当我在 yarn UI 上检查队列配置时，它显示 Configured Max Capacity: 70.0% & Absolute Configured Max Capacity: 70.0% 但根据配置，队列“流”可以填充到 Used Capacity: 100% & Absolute Used Capacity: 70%

任何想法，为什么新作业无法利用队列流的容量直到 100%？

我正在开发一个弹性搜索集群，以满足以下要求，

我在 16 核 64 GB 计算机的 3 节点集群中尝试了 200tps 而不是 2000tps。但它甚至没有为一个月的数据加载一个简单的仪表板。我搜索了互联网，但找不到合适的文档来为如此大的数据集创建弹性搜索集群。

有人可以帮我吗？

我正在解决一个我有设计转变的问题。我正在采取的方法是

1. 班次开始和结束时间 - 已经定义。（我有 7 小时的 10 个班次重叠）
2. 我在 R 中使用 lpsolver 来计算 FTE 数字。

在已定义的 10 个班次中，我希望算法仅给我 4 个班次的 FTE，这意味着，我想添加一个约束为否。班次数为 4。选择哪个班次没有限制

我当前的代码如下

请让我知道如何添加对要考虑的班次数量的限制

谢谢

我有一个高性能的软件服务器应用程序，预计在接下来的几个月内流量会增加。

我想知道使用什么方法或方法来衡量服务器是否仍有能力处理这种增加的负载？