python - 托管 AWS 服务（例如 Managed Airflow (MWAA)）能否在完全本地的数据资源上用于云中？

Question

是否可以将数据完全保留在本地，同时仍然利用 Amazon Managed Workflows for Apache Airflow (MWAA) 等云端托管服务？或者这是否需要将某种数据传输到云端？

执行这种混合方法是否存在其他安全问题？

Answer 1

是和否。

Airflow 让您可以随时随地“连接”一切。这意味着您可以定义与操作前提/云资源的连接并构建查询/写入它的 ETL。也就是说，正如您所提到的，在某些情况下，安全或授权问题与 Airfow 本身无关，但与您组织的政策更相关。

例如：如果您添加一个连接来查询财务数据库，这意味着您的所有 Airflow 用户都可以根据需要使用该数据库。没有内置的授权机制来指定谁被授权，谁不是。这可能是麻烦的根源，因为您不希望所有 Airflow 用户都能够查询敏感数据。如果您的操作前提资源被设计为不允许来自外部地址的任何访问（允许/拒绝列表等...），则可能会出现另一个问题

总结 - Airflow 允许您这样做。根据贵公司有关资源和访问控制的程序，可能会出现问题。我建议你做一个 POC - 了解它如何为你的组织工作，如果提出的具体问题询问他们，看看是否有解决方法。

我可以说，为了保护受限访问数据库，我们所做的只是使用了两个不同的 Airflow 实例。这意味着受保护的连接仅在一个实例中定义，因此我们只是将权限处理从资源级别移至 Airflow 级别。