问题标签 [in-memory]

我有一个相当庞大的项目，我正在尝试改进内存中的数据。本质上，我有一大堆对象，其中包含原语和其他存在于休眠状态的对象。大部分非 dao 代码依赖于通过休眠的延迟加载来动态地对对象进行水合。但是，由于一切都存在于内存中，我的对象没有加载，并且我得到了休眠延迟加载异常。

我可以通过手动浸入休眠和水合休眠对象来手动实现休眠延迟加载，但是该对象的对象图很大，包含数百种需要初始化和设置的类型。这似乎不切实际，我正在寻找一个可行的解决方案来解决这个问题。如果有人对此类问题或类似问题有任何提示、提示、解决方案或故事，我将不胜感激。

非常感谢。

有相当多的独立和不那么独立的研究比较了传统的 RDBMS，但我还没有设法在内存数据库中找到任何好的材料。我主要对专门用于 OLTP 的那些感兴趣。

到目前为止，我设法找到了有关 TimesTen 和 MySQL Cluster 的通用白皮书，但我还没有看到正面对比。还有其他替代品（例如来自 IBM），但更不容易获得的材料。

本质上，我有一个非常大的列表，其中包含相对较大的字典。

所以基本上，我有一个非常大的内存集合。

然后我手动将此集合序列化为 XML，并通过 http 发送。不用说，XML 太大了，有时太大了，我什至在尝试发送它之前就得到了 OutOfMemory 异常。

在 .NET 中，我将如何计算潜在的内存使用量。例如，在这种情况下，我必须通过一次仅处理少量 Collection 将 XML 分解成块。

如何有效地即时计算每个“块”的大小。我不想选择一个任意数字，例如“一次处理 100 个项目”，我想知道每个块应该有多大，以逐案为基础。

干杯

更新

尽管@Jacob 为这个特定问题提供了最佳解决方案，但该应用程序的概念结构本身存在缺陷。

实际上，解决方案是执行消息的一部分，以便在使用集合时计算消息的潜在大小。

然后，您一个接一个地发送每个可接受大小的单元。

但这只是一个技巧。真正的解决方案是要么找到一种不传递大消息的方法，要么完全使用完全不同的协议。

如果你想使用 SOAP，这里有一篇关于这个主题的有趣帖子，但是我决定找到一种方法来绕过发送如此多的数据。

我在让 .Filter() 方法在亚音速下工作时遇到了一些问题，而且我经常遇到如下错误：

我正在拨打如下电话 - 这是正确的使用方式吗？似乎没有关于使用此方法的文档

提前致谢

是否有任何用于分布式内存缓存、分布式任务、发布/订阅消息传递的库？我在 Java 中使用过 Hazelcast，我想要类似的东西。

我知道 Memcached 是一个内存缓存，甚至是分布式的，但它缺少消息传递和远程任务。

我只需要一些东西来协调服务器集群，而不使用传统的 RPC 和套接字编程。

目前正在从事一个以称为 SNOMED 的医学命名法为中心的项目。snomed 的核心是三个关系数据集，它们的长度分别为 350,000、110 万和 130 万条记录。我们希望能够快速查询此数据集以获取我们希望具有某种形状或形式的自动完成/建议的数据输入部分。

它目前位于 MySQL MyISAM DB 中，仅用于开发目的，但我们想开始使用一些内存选项。目前包括索引在内的大小为 30MB + 90MB + 70MB。MEMORY MySQL 引擎和 MemCached 是显而易见的，所以我的问题是您会建议其中哪一个，或者那里有更好的东西？

如果这有所作为，我们主要在应用程序级别使用 Python。此外，我们正在一台小型专用服务器上运行，很快就会迁移到 4GB DDR2。

编辑：附加信息

我们有兴趣保持快速的建议和自动完成。对这些类型的查询来说表现良好的东西是可取的。snomed 中的每个术语通常都有几个同义词、缩写和首选名称。我们将大量查询该数据集（包括索引在内的大小为 90MB）。我们还在考虑建立一个倒排索引以加快速度并返回更多相关结果（许多术语很长“整个基底蜕膜的盘绕动脉（身体结构）”）。Lucene 或其他一些全文搜索可能是合适的。

我在我的项目中使用 SQLite ADO.NET，以便我可以使用内存数据库进行单元测试。我想要一个我的真实数据库的副本，但它是跨服务器的。从我所读到的，看来我必须为 SQLite 连接字符串的数据源指定“：memory”。我的问题是我什至不知道是否可以将远程数据库加载到不是 SQLite 数据库的内存中，或者如何做到这一点？关于如何做到这一点的任何想法？它不是一个大的数据库——最多可能 5 兆。感谢您的输入！

是否有 log4j 的 appender 只存储日志事件列表（用于单元测试，以验证没有写入错误日志）？

我正在使用 Datamapper，它允许您指定系统上数据库文件的路径，或者仅指定字符串“memory”，然后使用“in-memory”数据库。但是，我不知道这意味着什么。

“内存中”数据库是纯粹基于内存的，还是在某个时候被序列化到文件系统？

内存数据库有什么好处？

仅仅是为了提高效率——通过消除文件系统访问的成本吗？

假设我在内存中有一组 C++ 对象，并想使用 SQL 语句查询它们。我愿意实现某种类型的接口来公开对象的属性，例如数据库行的列。是否有可用的库来完成此操作？本质上，我试图在不使用 .NET 平台的情况下完成类似 LINQ 的事情。