问题标签 [scalability]

如果在一个会话中上传和处理 500000 条数据记录是正常操作（C# .NET 3.5 + MS SQL 2005），您如何组织信息管理系统的 DB 层、业务逻辑和跨平台 API？

我对经过生产验证的分页模式特别感兴趣，这些模式在并发性、可伸缩性和可靠性方面表现良好。

有没有人有任何想法，在什么方向挖掘？

• 开源项目（不管语言和平台，只要不是Ook）
• 图书
• 文章
• 谷歌关键词
• 论坛或新闻组

任何帮助将不胜感激！

更新：

• 简单的分页（即：SQL 2005 中的行号）不起作用，因为数据库有很多并发更改。在页面请求之间删除或插入的项目会自动使当前页面索引无效。

我们都听说过很多关于 Rails 中的扩展问题。

我只是好奇在 Rails 框架中处理 HTTP 请求的实际成本是多少。意思是，对于每个进来的请求，必须发生什么？有类解析吗？配置？建立数据库连接？

在 Windows 服务器环境中运行的 ASP.NET 应用程序的最佳 MemCache 解决方案是什么？为什么？

这是我遇到的问题，我有一组可以很快增长的日志。它们每天都被拆分成单独的文件，并且这些文件可以很容易地增长到一个演出的大小。为了帮助缩小规模，超过 30 天左右的条目将被清除。

问题是当我想在这些文件中搜索某个字符串时。现在，Boyer-Moore 搜索速度慢得令人难以置信。我知道像 dtSearch 这样的应用程序可以使用索引提供非常快速的搜索，但我不确定如何在不占用日志已经占用两倍空间的情况下实现它。

有什么我可以查看的资源可以提供帮助吗？我真的在寻找一种标准算法，它可以解释我应该做什么来构建索引并使用它来搜索。

编辑：
Grep 不起作用，因为此搜索需要集成到跨平台应用程序中。我无法将任何外部程序加入其中。

它的工作方式是有一个带有日志浏览器的 Web 前端。这与自定义 C++ Web 服务器后端对话。该服务器需要在合理的时间内搜索日志。目前搜索几场日志需要很长时间。

编辑 2：其中一些建议很棒，但我必须重申，我不能集成另一个应用程序，它是合同的一部分。但为了回答一些问题，日志中的数据与接收到的医疗保健特定格式的消息或与这些相关的消息不同。我希望依赖索引，因为虽然重建索引可能需要一分钟，但目前搜索需要很长时间（我已经看到它最多需要 2.5 分钟）。此外，很多数据在记录之前就被丢弃了。除非打开某些调试日志记录选项，否则会忽略一半以上的日志消息。

搜索基本上是这样的：Web 表单上的用户会看到最新消息的列表（当他们滚动时从磁盘流式传输，是的 ajax），通常，他们会想要搜索包含一些信息的消息它，可能是患者 ID，或者他们发送的一些字符串，因此他们可以将字符串输入到搜索中。搜索被异步发送，自定义 Web 服务器一次线性搜索 1MB 的日志以获取某些结果。当日志变大时，此过程可能需要很长时间。这就是我要优化的。

对于包含动态内容和个性化的复杂 Web 应用程序，服务器的良好响应时间是多少（不包括网络延迟和浏览器渲染时间）？我正在考虑 Facebook、Amazon、MyYahoo 等网站。一个相关的问题是后端服务的良好响应时间是多少？

我目前在日常工作中负责的 ASP.NET 应用程序在单个服务器内的扩展能力方面已经达到了极限。显然，我们正在努力将会话移出进程和测试并希望部署日期临近。我想借鉴人们在 Windows 中使用内置负载平衡与设备解决方案（例如 Baracudda、Coyote Point、F5 等）的经验。您是否从一个开始并转向另一个，为什么？

提前感谢的想法和建议...

Google BigTable 和 Amazon SimpleDB 等新的学校数据存储范例是专门为可扩展性而设计的。基本上，不允许连接和非规范化是实现此目的的方式。

然而，在这个主题中，共识似乎是大表上的连接不一定必须太昂贵，并且非规范化在某种程度上被“高估”了为什么这些上述系统不允许连接并强制将所有内容放在一起单表实现可扩展性？是需要存储在这些系统中的大量数据（数 TB）吗？
数据库的一般规则是否根本不适用于这些规模？是因为这些数据库类型是专门为存储许多相似的对象而定制的吗？
还是我错过了更大的图景？

有一个我正在定制的婴儿床（商业现成的）应用程序，其中几个页面需要很长时间才能加载某些数据分布。（在这种情况下，页面加载大约需要 3 分钟......而且时间呈指数增长）。

显然这是不可接受的，但是否有研究表明我可以指出可接受的响应时间是多少？

我想要一些很好的研究，可能会讨论响应时间。

我正在创建一个数据库，并首先进行原型设计和基准测试。我正在使用 H2，一个开源的、商业免费的、可嵌入的、关系型的 Java 数据库。我目前没有对任何列进行索引。

数据库增长到 5GB 左右后，它的批量写入速度翻了一番（写入速度减慢了原来的 2 倍）。我每毫秒用一个新的、干净的数据库写大约 25 行，现在我写了 7GB 大约 7 行/毫秒。我的行由一个 short、一个 int、一个 float 和一个 byte[5] 组成。

我不太了解数据库内部结构，甚至对 H2 的编程方式也不太了解。我还想指出，我并不是在说 H2，因为这是我测试过的其他 DBMS 的问题。

如果没有索引开销，哪些因素可能会减慢这样的数据库速度？它主要与文件系统结构有关吗？根据我的结果，我假设 Windows XP 和 ntfs 处理文件的方式使得随着文件的增长将数据附加到文件末尾的速度变慢。

我经常惊叹于我如何能够随时随地从世界任何地方访问 www.google.com，并如此快速地获得返回页面。

当然，他们压缩输出并保持最小的设计——这很有帮助。

但他们必须同时点击数百万次点击位于 DNS 列为“www.google.com”的网络上的框。

所有设置了 Apache 或其他 Web 服务器的人都知道，在您开始同时获得几千个连接之前，一切都很棒而且超级快，更不用说数百万了！

那么，他们是如何做到的呢？我猜他们有一整套服务器机器，但你永远不会知道。刚才我去 Verizon 时，网址是 www22.verizon.com。你永远不会看到“www22.google.com”，永远不会。

任何想法他们使用什么特定技术，或者我们非谷歌凡人可以使用什么技术来做同样的事情？