1

假设,我想开发堆栈溢出网站。假设每天有 100 万个请求,我如何估算支持该网站所需的商品硬件数量。是否有任何案例研究可以解释这种情况下可能的性能改进?

我知道 I/O 瓶颈是大多数系统的主要瓶颈。提高 I/O 性能的可能选项有哪些?我认识的几个是

  1. 缓存
  2. 复制
4

3 回答 3

2

您可以通过多种方式提高 I/O 性能,具体取决于您用于存储设置的内容:

  1. 如果您的应用在其 I/O 中显示良好的空间局部性或使用大文件,请增加文件系统块大小。
  2. 使用RAID 10(条带化 + 镜像)实现性能 + 冗余(磁盘故障保护)。
  3. 使用快速磁盘(性能方面:SSD > FC > SATA)。
  4. 在一天中的不同时间隔离工作负载。例如,夜间备份,白天正常应用 I/O。
  5. 关闭文件系统中的时间更新
  6. 如果在 NFS 服务器上存储数据,则缓存 NFS 文件句柄,即Haystack (Facebook)。
  7. 将小文件组合成更大的块,即BigTableHBase
  8. 避免非常大的目录,即同一目录中有很多文件(而是在层次结构中的不同目录之间划分文件)。
  9. 使用集群 存储系统(是的,不完全是商品硬件)。
  10. 尽可能优化/设计您的应用程序以进行顺序磁盘访问。
  11. 使用内存缓存。:)

您可能想查看StackOverflow Architecture的“经验教训”部分。

于 2010-01-14T20:29:50.680 回答
1

每天 100 万个请求是 12/秒。堆栈溢出足够小,您可以(通过有趣的规范化和压缩技巧)将其完全放入 64 GByte Dell PowerEdge 2970 的 RAM 中。我不确定缓存和复制应该在哪里发挥作用。

如果您对标准化有足够的思考,可以使用 256GB 的 PowerEdge R900。

如果您不喜欢单点故障,您可以连接其中的几个,然后通过套接字推送更新(最好在单独的网卡上)。即使是 12K/秒的峰值负载也不应该成为主存系统的问题。

避免 I/O 瓶颈的最好方法是不做 I/O(尽可能)。这意味着一个类似于 prevayler 的架构,具有批量写入(丢失几秒钟的数据没问题),基本上是一个日志文件,并且对于复制也将它们写出到一个套接字。

于 2010-01-14T20:46:04.717 回答
1

看看这个方便的工具:

http://www.sizinglounge.com/

以及来自戴尔的另一份指南:

http://www.dell.com/content/topics/global.aspx/power/en/ps3q01_graham?c=us&l=en&cs=555

如果您想要自己的类似 stackoverflow 的社区,您可以注册StackExchange

你可以在这里阅读一些案例研究:

高可扩展性 - Rackspace 现在如何使用 MapReduce 和 Hadoop 来查询 TB 级数据 http://highscalability.com/how-rackspace-now-uses-mapreduce-and-hadoop-query-terabytes-data

http://www.gear6.com/gear6-downloads?fid=56&dlt=case-study&ls=Veoh-Case-Study

于 2010-01-14T20:19:19.853 回答