问题标签 [storage]

我想用 Greasemonkey 抓取一个网站，想知道是否有比使用 GM_setValue 更好的方法来临时存储值。

我想做的是在社交网络中抓取我的联系人并从他们的个人资料页面中提取 Twitter URL。

我目前的计划是在它自己的选项卡中打开每个配置文件，使其看起来更像一个普通的浏览者（即浏览器将加载 css、scrits 和图像）。然后用 GM_setValue 存储 Twitter URL。抓取完所有个人资料页面后，使用存储的值创建一个页面。

不过，我对存储选项不太满意。也许有更好的方法？

我已经考虑将用户配置文件插入当前页面，以便我可以使用相同的脚本实例处理它们，但我不确定 XMLHttpRequest 看起来是否与普通用户发起的请求没有区别。

我正在构建一个网络应用程序来处理用户和客户之间的内部电子邮件和其他常见的中小型文本块。存储这些数据的最佳方法是什么？在数据库（MySQL）中还是作为数千个单独的文件？压缩它（PHP 的 gzcompress() 或 MySQL 的压缩特性）怎么样？

这将不是一个公共应用程序，因此用户负载将是最小的（一次少于 20 个用户）。然而，应用程序中每天都会有大量的通信来回进行，所以我预计随着时间的推移数据量会增长得相当大（这就是我想压缩它的原因）。

我想将数据保存在数据库中以便于访问和移植，但是我在这里看到的一些关于图像的线程建议使用文件存储。你怎么看？

谢谢你，赛斯

编辑澄清：我不需要对文本进行任何形式的搜索，这就是为什么我倾向于压缩它以节省空间。

背景：

我们有一个很久以前实施的内部文件存储系统。无论出于何种原因，都选择了使用数据库作为文档的存储机制。

我的问题是这样的：

存储文档的最佳做法是什么？有哪些替代方案？优缺点都有什么？ 答案不必是特定于技术或平台的，它更多的是一般的最佳实践问题。

我的想法：

数据库不适用于文档存储。文件系统或第 3 方文档管理系统可能更有用。数据库中的文档存储很昂贵。操作很慢。这些是逻辑假设吗？也许这是最好的，但在我看来，我们有更好的选择。oracle BFILE（指向 NAS 或 SAN 上的文档的链接）是否比 BLOB / CLOB 更好？

细节：

• 文档有多种类型（pdf、word、xml）
• 中间层代码是用 .net 2.0 / c# 编写的
• 文档以 BLOB 格式存储在 Oracle 10g 数据库中并进行压缩（NAS 存储）
• 文件大小风靡一时
• 文档数量正在急剧增长，并且没有放缓的迹象
• 在高峰期，插入通常是每小时数百次
• 高峰期的检索速度通常为每小时数千
• NAS存储和SAN存储可用

更新（来自以下问题）：

• 我的背景是发展
• 有关于存储在数据库中文件旁边的文件的相关元数据

我正在编写一个严格读取文本文件（.txt）的java应用程序。这些文件可以包含超过 120,000 个单词。

该应用程序需要存储所有 +120,000 个单词。它需要将它们命名为 word_1、word_2 等。它还需要访问这些词以对它们执行各种方法。

这些方法都与字符串有关。例如，将调用一个方法来说明 word_80 中有多少个字母。将调用另一种方法来说出 word_2200 中的特定字母。

此外，有些方法会比较两个单词。例如，将调用一个方法来比较 word_80 和 word_2200 并需要返回哪个有更多的字母。将调用另一种方法来比较 word_80 和 word_2200，并且需要返回两个词共享的特定字母。

我的问题是：由于我几乎只使用字符串，最好将这些单词存储在一个大的 ArrayList 中吗？几个小的 ArrayList？或者我应该使用许多其他存储可能性之一，如向量、哈希集、链接列表？

我的两个主要问题是 1.) 访问速度，以及 2.) 拥有尽可能多的预建方法供我使用。

提前谢谢你的帮助！！

哇！感谢大家对我的问题提供如此快速的答复。你所有的建议都对我帮助很大。我正在考虑并考虑您反馈中提供的所有选项。

请原谅我的任何模糊；让我解决你的问题：

1. 问）英语？
   A）文本文件实际上是用英文写的书。在第二语言中出现的单词是罕见的——但并非不可能。我将文本文件中非英语单词的百分比设置为 .0001%

2. 问）家庭作业？
   A）我现在微笑着看着我的问题的措辞。是的，它确实类似于学校作业。但不，这不是家庭作业。

3. 问）重复？
   一）是的。可能每五个左右的词，考虑连词，文章等。

4. 问）访问？
   A）随机和顺序。一种方法当然有可能随机定位一个单词。一种方法同样可能希望在 word_1 和 word_120000 之间按顺序查找匹配的单词。这就引出了最后一个问题……</p>

5. Q) 遍历整个列表？
   一）是的。

另外，我计划发展这个程序来对单词执行许多其他方法。我再次为我的模糊性道歉。（细节确实使世界变得不同，不是吗？）

干杯!

我正在建立一个网站，用户可以上传图像然后“使用”它们。我想要的是关于如何管理临时上传的一些想法和想法。

例如，用户上传了一张图片，但决定不对它做任何事情，然后就离开了网站。然后我要么将文件上传到服务器，要么将其加载到服务器内存，但我怎么知道什么时候可以删除图像？首先，我想只是有一个临时的上传文件夹，它会定期清空，但感觉一定有更好的东西？

顺便说一句，我正在使用 cakePHP 和 MySQL。虽然图像存储在服务器上，但只有位置存储在 dbb。

我想知道是否有人试图将 mosso CloudFiles 与在 Google AppEngine 上运行的应用程序集成（mosso 不提供测试沙箱，所以我无法在不注册的情况下检查自己）？查看代码，由于 AppEngine 环境中的 httplib 和 urllib 限制，这似乎不起作用，但也许有人修补了 cloudfile？

平台并不像理论那么重要。作为记录，它是 ASP.NET（3.5 SP1 上的 C#）、SQL Server 2005。为了论证，我有无限的空间（文件系统和数据库）和无限的带宽。

我正在开发一个项目，该项目将允许多个用户上传他们自己的图像，这些图像可以由该用户管理并由所有用户查看。我正在尝试确定最好的存储机制是什么。我的想法是，我希望避免将它们直接存储在数据库中，尽管我可以看到存储有关图像的信息。

我看到的是用户会上传图片。服务器将为图像创建一个唯一的名称，将其存储到文件系统中，并将有关该图像的关系数据存储在数据库中（即，当它被上传时，与用户的关联，对标题的引用等）。将这些存储在磁盘上是未来能够迁移到 CDN 的一步。

有没有人使用过这样的方法或可以推荐不同的方法？是否应该有某种文件夹结构，例如每个用户的文件夹以帮助文件访问时间？

对于任何反馈，我们都表示感谢！

除了因为会话存储对于不止一页来说是会话全局的，为什么还要使用视图状态来保存值？

从客户端到服务器来回发送除了一些小的查询字符串（如值）之外的任何类型的信息似乎有点荒谬。我的意思是浪费带宽（！），只是为了存储目的。会话虽然跨多个页面是全局的，但似乎是视图状态的完全优越的替代方案。

特别是对于 asp.net ajax 控件和变体，视图状态可能很快变得臃肿，跟踪所有这些不同控件和 html 元素的各种状态和变量。

但是，为什么还有页面变量和对象的视图状态存储呢？

也许我错过了页面视图状态存储的另一个很好的用途，有人知道吗？

谢谢阅读！

编辑：每个人都有一个很好的答案，对不起，如果我没有选择你的。

可能重复：
Lucene.Net 和 SQL Server

我需要存储和索引文件，例如 PDF 和办公文件。目前我正在使用 Sql Server 2k8 使用带有 IFilters 的全文搜索来执行此任务。我的问题是：这是“最好”的方式吗？例如，我应该切换到 Lucene 进行索引吗？

我正在.NET 中为用户配置文件上的演示图像编写上传功能。我正在两种不同的方式之间进行选择，并想就利弊提出建议和意见。

1. 将图像直接存储在文件系统上

2. 将图像存储在数据库中

到目前为止，我主要是第一个选项 - 在用户名之后命名图像，因为每个用户只能有一个演示图像。然后我在指定路径中检查用户是否有图像，如果没有则显示默认的“无图像”-图像。

我喜欢它的另一件事是它节省了数据库中的空间——如果没有额外的二进制负载，数据库将非常沉重。

我敢肯定还有其他方面我没有考虑过，所以我想听听您对此的看法。如果有人对这个问题有完全不同的解决方案，也请分享！