问题标签 [private-cloud]

我们正在使用 Java/Java Batch 将大容量大型机批处理应用程序迁移到分布式/云。当前的应用程序处理大量文件（VSAM 和 FLAT - 总共 100 多个来自不同来源的文件）和 IO 模块。我们正在考虑将这些数据加载到 Oracle 数据库中，然后进行检索和处理。因此，将有数百万笔事务影响 Oracle DB。

我们担心 Oracle 的性能，因为在批处理窗口期间有数百万个事务访问数据库。

我们正在考虑的其他方法是使用文件本身。

使用 NAS 存储，即使在读取/写入文件时，争论也是通过网络进行的。

在云环境中，我们是否会对基于文件的处理有任何不利影响。

我们如何根据大小/负载来扩展应用程序？

在现代世界中，这些应用程序如何在基于云/云友好的情况下迁移/重新架构。

由于某种原因，使用 Hadoop/Spark 集群不是一种选择。

有什么建议么？谢谢！！

我有一个在本地云上运行的 Hadoop 集群，每个数据节点有 8 个磁盘，所有磁盘都分配给 Hadoop。我还想在这些节点上设置一个 Kubernetes 集群并使用本地存储。为此，我决定在每个数据节点的一个磁盘中使用一个目录来进行 Kubernetes 持久声明。我知道这可能会造成磁盘争用，但将来我可能会处理它。

我的问题是，如果我想使用 rook 来处理 Kubernetes 上的存储，因为该目录已经有一个文件系统（这里是 HDFS），是否可行？我的意思是 rook 在每个数据节点上都接受这个目录吗？

谢谢，

更新 ：

我们的数据中心托管了一个私有云，它是 AWS 的精简版。我们已经公开了 EC2 API 以允许用户使用 awscli 创建 VM。

我正在尝试使用 Terraform 创建 VM，对于初始测试，我创建了一个 .tf 文件，如下所示：

这是运行 terraform plan 后的错误消息

我们还没有实现 sts，查询总是转到 AWS 云而不是私有云 API 服务器。

我错过了什么？

考虑我目前居住在一个组织 X 中，该组织拥有自己的网络和子网（172.16.0.0/16），从中它为组织中的每台机器分配一个 privateIP。我有一个分配给我的实例（Ubuntu），我正在运行开放堆栈，我的机器私有 IP 是 172.16.34.56/32。

在我的实例上，我安装了 open-stack 并通过它启动了一些 VMS。

我的问题是我可以将我的组织分配一个私有 IP 给在开放堆栈上运行的虚拟机，以便可以从组织中的任何地方访问它。

有什么方法可以将 OpenStack 链接到其他服务器吗？在我的情况下，我有一个 pfsense 服务器作为我的防火墙配置，Zimbra 作为我的邮件服务器，创伤作为存储服务器，显然都在 VirtualBox 中，我有 OpenStack 服务器所以我的问题在这里我可以将 Zimbra 和 pfsense 和 truenas 链接到 OpenStack 服务器吗请大家回答我我遇到了很多麻烦无法在互联网上的任何地方找到答案。如果可以，请链接我有用的文章

我正在寻找一个场景，我可以访问在 OPENSTACK Rocky 版本中创建的实例，其 IP 直接在创建的网络上（inst-1 在 172.6.0.0/24 网络上启动）得到一个 172.6.0.5 的 IP 地址 所以我想直接从控制器机器 ping 172.6.0.5 而不使用浮动 ip。

我通过为实例关联一个浮动 ip 以从外部访问 VM 来了解提供商网络概念。但我正在检查另一种直接从控制器访问 VM IP 的方法。如果您对此有任何建议，有人可以帮助我。

提前致谢。

如果我们看一下 NIST 对云计算的定义，那么云的部分基本特征是位置独立性。这也适用于本网站上的其他问题和回复，它始终是云与本地。示例 然而，在同一篇论文中，私有云的描述说：

..它可能存在于场所内或场所外...

但是，私有云如何既是本地云又是云呢？这个 NIST 定义是我在其他研究论文中看到的有关云计算的定义的基础，也用于在此处回答有关云计算的其他问题。 所以它似乎非常相关并被接受到今天。

所以是的，问题就在标题中，这个定义如何工作？私有“云”如何在本地？

我们将我们的应用程序部署到 PCF。有时，某些功能会起作用（例如上传文件的能力），有时则不起作用。这有点零星，我们也在不同的浏览器上尝试过。用户也没有快速点击按钮。我们使用 SQLServer 作为我们的数据库，但我认为这可能是因为我们没有足够的 RAM，这将是我们的下一个测试。可能是什么问题？否则，解决此问题的最佳方法是什么？

以下是我们的容器规格：

• 磁盘配额：2G
• 内存：2G
• 堆栈：cflinuxfs3
• 超时：180

抱歉，如果我听起来没有经验。我也没有所有信息，因为我不是部署团队的一员（但我可以获得错误日志）。

我正在使用 GCP 处理和存储从模拟物联网设备发送的数据。数据（应该）在以下路径中流动：

[使用 mqtt 客户端模拟 IoT 设备] -> [IoT 核心设备] -> [IoT 核心注册表] -> [pub/sub 主题] -> [pub/sub 订阅] -> [cloud dataflow pub/sub 订阅 BigQuery 模板] -> [BigQuery 表]

我所在的公司有一些 GCP 配置（它在 VPC 上），这要求我为 DataFlow 指定一个子网才能运行。当数据流在指定子网后运行时，它什么也不做。它不会从订阅中提取数据，也不会输出任何错误消息。它显然不知道数据正在发送到主题和订阅。我还尝试了 BigQuery 模板的云数据流发布/订阅主题，但它也没有任何作用。我已验证数据正在发送到订阅。

解决此问题的最佳方法是什么？我不知道为什么这两个组件之间没有通信。

我正在尝试为基于 CDP 私有云 1.4.3 的企业构建数据湖。（云厌恶，落后于时代十年 - 都是真的，但这些都是我的限制。）自从我在这个平台上构建架构已经很长时间了，所以我想对我的选择提出一些反馈：

数据湖架构

文件系统：OzoneFS - 修复 HDFS 的限制

对于原始数据湖：

• 数据格式：Parquet（可能是 Hive）
• 数据库引擎：Hive 查询 Parquet
• 从外部数据源到原始数据湖的 ETL：Sqoop - 不是 NiFi，因为 ETL 非常庞大

对于已处理的数据湖：

• 数据格式：实木复合地板

• 数据库引擎：Spark

• ETL 进出处理数据湖：Spark，因为转换很复杂

探索性查询：Impala

目录：阿特拉斯

保安：游侠

调度：Oozie - 不是 NiFi，因为 Oozie 更擅长重试

任何仍在使用这个平台的人，或者记得那个时代最先进的人的反馈，都将受到欢迎。你会做出什么不同的选择吗？根据用例决定备选方案的标准？