protocol-buffers - Thrift、Avro 和 ProtoBuf 数据治理

Question

我们有一个从主要事务系统到其他下游（例如数据分析和机器学习团队）的数据流用例。

其中一个要求是确保数据源可以控制谁可以读取哪一列，以及数据的潜在生命周期，以确保在源数据删除时（例如用户删除帐户），清除位于另一个域中的数据，我们需要确保所有下游的数据都被删除。

当我们在考虑 Thrift、Avro 和 ProtoBuf 时，我们可以使用哪些通用框架来进行此类数据治理？这些协议是否支持围绕数据授权、生命周期进行此类数据治理的元数据？

Answer 1

让我说清楚：

protobuf 不是安全设备；对于拥有正确工具的人来说，它与 xml 或 json 一样可读，但有一个小问题是不确定如何解释某些值；

它与 JSON 或 XML 没有太大区别。它只是一种界面语言。当然，它有encoding，它有点不同并且更可定制，但它绝不会遇到安全问题。确保发送者和接收者之间的通道安全取决于您。