2

我有一些可能非常大(高达千兆字节)的大量文本(日志文件)。它们与我存储在数据库中的实体相关联,我试图弄清楚我应该将它们存储在 SQL 数据库中还是外部文件中。

对于 MySQL 中的 LONGTEXT 字段,数据库中的存储似乎限制为 4GB,并且可能其他数据库也有类似的限制。此外,存储在数据库中可能会在查看这些数据时排除任何类型的搜索——我必须加载数据的全长来呈现它的任何部分,对吧?

所以看起来我倾向于将这些数据存储在数据库之外:我对在数据库中存储大 blob 的疑虑是否有效,如果我要将它们存储在数据库之外,那么是否有任何框架/库帮忙?

(我在 python 工作,但也对其他语言的技术感兴趣)

4

2 回答 2

2

你的疑虑是有道理的。

几年前,DB 获得了处理大型二进制和文本字段的能力,但在每个人都尝试过之后,我们放弃了。

问题源于这样一个事实,即您对大型对象的操作往往与您对原子值的操作非常不同。因此代码变得困难且不一致。

因此,大多数退伍军人只是将它们存储在文件系统中,并在数据库中使用指针。

于 2011-01-14T02:48:45.850 回答
0

我知道 php/mysql/oracle/prob 更能让你处理大型数据库对象,就好像你有一个文件指针一样,它可以解决内存问题。

于 2011-01-14T00:48:17.780 回答