问题标签 [scaleout-hserver]

我一直在阅读有关使用 hadoop 进行实时处理的内容，并偶然发现了这个http://www.scaleoutsoftware.com/hserver/

从文档的内容来看，看起来他们使用 hadoop 工作/从节点实现了一个内存数据网格。我在这里有几个问题

1. 据我了解，如果我有一个 100 GB 大小的数据，我将至少需要 100 GB 的 ram 跨集群上的所有节点仅用于数据 + 用于任务跟踪器的额外 ram、数据节点守护进程 + 用于 hServer 服务的额外 ram在所有这些节点上运行。我的理解正确吗？

2. 该软件声称他们可以通过改善 hadoop 中的延迟问题来进行实时数据处理。是因为，它允许我们将数据写入内存网格而不是 HDFS？

我是大数据技术的新手。如果有些问题是幼稚的，请道歉。

我们计划将我们的 C++ 内存数据库应用程序移植到 Java 中。我们希望将 Hazelcast 用作 Java 用语中的内存数据库解决方案。

具有 40TB 数据的系统所需的吞吐量是每秒 30k 次读取和写入。由于内存中的数据量很大，一旦系统出现故障，我们就不能在吞吐量上妥协。

使用 C++ 的内部实现为我们提供了将这些数据与磁盘存储一起存储在共享内存中的灵活性。一旦应用程序重新启动，我们可以通过将进程附加回共享内存文件来恢复它。

我们能否在 Hazelcast 中也提供类似的功能？或者是否有一些类似的内存数据网格解决方案可以提供此功能？

我们在 SQL Server 2012 Enterprise Edition 中使用分布式分区视图在多个服务器上扩展我们的数据。现在我们面临的问题是如何在不关闭服务器的情况下将新节点（服务器）添加到扩展的数据库服务器系统中，这样我们的用户也可以在此过程中使用它们。

例如，我们有 4 台带有横向扩展数据的服务器。当我们添加新的空服务器时，应该重新组织分区列的 CHECKING。但在此过程中，分区视图不起作用。

高可用性、Always On 或故障转移群集方法似乎无法解决问题。

所以我的问题是如何在线添加新节点？

我对使用 SQL 服务器作为背板的设计架构感到困惑。我的问题是我可以将 Redis 用作背板，并且还可以让 SQL 将我的用户信息与 SignalR 消息分开。

我对我的 SQL Server 数据库适合该图表的位置感到非常迷茫。是否就像在 Web 配置中添加我的连接字符串一样简单，并且当用户需要点击它的 db 时，它总是连接到 Redis for SignalR？还是因为背板是所有数据发送的终点，所以这种设计架构是不可能的？

我想问的最后一件事是我是否最终只使用 SQL 作为带有信号器的横向扩展设计。如果在某个时候背板成为瓶颈，那将如何扩展？我唯一的选择是垂直还是水平缩放？

请看这张图表的新图片，

我在我们的应用程序中集成了 SignalR，它工作得很好。几天前，由于一些要求，我们不得不支持我们的应用程序的横向扩展——因此我们选择了使用 Redis 的 SignalR 横向扩展。

但是，自从集成后，SignalR 本身就停止了工作，我们得到的错误是：NO TRANSPORT 可以成功初始化。尝试为自动初始化指定不同的传输或根本不指定。

应用的方法： - 尝试使用不同版本的 SignalR，如在线建议 - 没有帮助 - 增加连接超时 - 没有帮助

需要一些帮助来解决这个问题。也欢迎提出使用任何其他方法的建议。

[Update1] 添加代码片段

如需更多参考，我点击了此链接：https ://docs.microsoft.com/en-us/aspnet/signalr/overview/performance/scaleout-with-redis

[更新2]

目前我将整个 gitlab EE 作为单个容器运行。我需要扩展服务，以便它可以同时支持更多用户和更多操作/拉/推/合并请求等。

• 我需要运行自己的redis集群

• 我需要单独运行一个 PG 集群

• 我需要集成elasticsearch进行搜索

但是我怎样才能扩展剩余的核心 gitlab 服务。他们是否支持横向扩展架构。

• gitlab 主力
• 独角兽（gitlab rails）
• sidekiq ( gitlab rails )
• 意大利
• gitlab 外壳

我是否可以在 GCP（谷歌云平台）中使用 dataproc 工作节点为自动横向扩展设置完全自定义的指标？

我想在 GCP 中通过 dataproc 运行 Spark 分发处理。但问题是，我只想根据完全定制的指标数据水平扩展工作节点。我对此感到好奇的原因是可以预测预期要处理的未来数据。

now / now+1 / now+2 / now+3
1GB / 2GB / 1GB / 3GB <=== 预期数据量（公制）

那么我可以根据未来的预期数据量预测横向扩展/缩减吗？提前致谢。