我正在寻找关于我们如何实现短期队列（主题）来执行 ETL 的建议，在 ETL 完成后，队列（主题）和数据不再需要。
这是场景..在运行特定作业的情况下，它必须运行查询以从数据库中提取数据（假设是 teradata）并将其加载到主题中。然后将启动一个 spark 作业，它将处理该主题中的所有记录并停止 spark 作业。之后不再需要该主题和数据。
为此，我将 Kafka 和 Redis 流视为 2 个选项，在我看来 Redis steam 是最合适的工具，因为它易于创建主题和销毁。对于 Kafka，我发现它需要额外的自定义处理程序来创建主题和删除主题等，也不想利用太多主题来利用 Kafka。
如果我们有另一个替代和更好的解决方案，我很高兴收到您的来信。