问题标签 [lambda-architecture]

我有一个 flink 流作业，它从 Kafka 读取并写入文件系统中的适当分区。例如，作业被配置为使用写入 /data/date=${date}/hour=${hour} 的 bucketing sink。

如何检测分区是否已准备好使用，以便相应的气流管道可以在那一小时之上进行一些批处理？

我正在使用 Lambda 架构。Batch & Speed 层位于 AWS EMR 上。Serving Layer 位于 AWS ECS 上，这是一个简单且非常精简的 REST 服务器，可聚合 Batch/Speed 层的视图并返回给客户端。服务层位于 AWS ALB 和 AWS WAF 之后。

如果我错了，请修改我的方式，但我认为在 Serving 层之上使用 API Gateway 没有意义。我错过了什么吗？请您对此的想法。

我对 API Gateway 用例的理解：

1. 横切关注点，即授权、安全、API 流量管理。
2. 减少流量，即用户在调用 API 网关时只需支付一次网络延迟（或慢速内网）价格，所有其他内部请求都应该是快速的。+ SSL 终止。
3. 内部 URI 隐藏在 API Gateway 后面。这是管理 API 版本控制的合适场所。

但在 Lambda 架构中，一切都隐藏在 Serving 层之后。意味着所有横切关注点都将在单个服务中。我说的是授权、安全和版本控制。对于版本控制，如果需要（Web、Android 和 iOS），我将为每个客户端创建单独的端点。这样对吗？

安全和流量管理的某些部分可以在 AWS WAF 和 AWS ELB 上完成。

对于哪些用例，我应该使用 API Gateway？

这主要是一个研究问题，因为我似乎无法找到可以为我的用例运行 Terraform 的地方。

我想构建一个 Web 前端，我可以输入配置的详细信息，单击一个按钮，前端会告诉 Terraform 构建基础架构。我知道我可以使用 cli，或者创建一个 .tf 文件，然后使用 Jenkins 运行它。但我正在寻找一种方法，通过 lambda 调用等事件基本上调用 Terraform cli 命令。

我应该为此使用云提供商 sdks 吗？

有没有人做过这样的事情，如果有，你能分享你的经验吗？

如您所知，Kappa 架构是 Lambda 架构的某种简化。Kappa 不需要批处理层，相反，速度层必须保证历史数据重新计算的计算精度和足够的吞吐量（更多的并行性/资源）。

当您需要基于历史数据进行分析时，Kappa 架构仍然需要两个服务层。例如，年龄小于 2 周的数据存储在 Redis（流服务层），而所有较旧的数据都存储在 HBase（批处理服务层）的某个位置。

何时（由于 Kappa 架构）我必须将数据插入批处理服务层？ 如果流层将数据立即插入批处理和流服务层 - 那么延迟数据到达呢？还是流媒体层应该定期备份速度服务层到批量服务层？

示例：假设数据源是 Kafka，数据由 Spark Structured Streaming 或 Flink 处理，接收器是 Redis 和 HBase。何时写入 Redis 和 HBase？

我对项目的上述主题有疑问：我有一个带有传感器的简单系统，我从中获取信息，然后我需要决定是使用 Lambda 架构还是 Kappa 架构。我想说是否可以在两种架构中使用 Flink（用于实时事件），对吗？是否可以存在一个不同的框架来适应上述 Flink 的使用，但用于管理 lambda 架构的其他队列流的周期性时间事件？

对于恢复：

Lambda 架构：

传感器->实时事件->Flink->消息代理A->数据存储

传感器->周期性事件->?->消息代理B->数据存储

卡帕架构：

传感器->实时事件->Flink->消息代理->数据存储

传说：建议一下？与架构和事件管理相适应的框架