我在这里的演讲中遇到的这两个陈述的区别和含义是什么:
1. Traditional databases enforce schema during load time.
和
2. Hive enforces schema during read time.
您谈到了 Hadoop 和其他 NoSQL 策略如此成功的原因之一,所以我不确定您是否希望获得一篇论文,但它就在这里!数据分析中额外的灵活性和敏捷性可能促成了“数据科学”的爆炸式增长,只是因为它通常使大规模数据分析更容易。
传统的关系数据库在存储数据时会考虑到模式。它知道第二列是一个整数,它知道它有 40 列,等等。因此,您需要提前指定您的模式并妥善规划。这是“写入时的模式”——也就是说,在将数据写入数据存储时应用模式。
Hive(在某些情况下)、Hadoop 和许多其他 NoSQL 系统通常都是关于“读取模式”的——当从数据存储中读取数据时应用模式。考虑以下原始文本行:
A:B:C~E:F~G:H~~I::J~K~L
有几种方法可以解释这一点。~
可能是分隔符,也:
可能是分隔符。谁知道?读取模式时,没关系。您在分析数据时决定架构是什么,而不是在编写数据时决定。这个例子有点荒谬,因为你可能永远不会遇到这种情况,但它希望能说明问题。
读取模式后,您只需将数据加载到数据存储中,然后考虑如何解析和解释。在这个解释的核心,阅读模式意味着先写你的数据,然后再弄清楚它是什么。写入模式意味着首先弄清楚您的数据是什么,然后再写入。
这里有一个权衡。其中一些是主观的和我自己的观点。
写入模式的好处:
写入模式的缺点:
阅读模式的好处:
读取模式的缺点: