问题标签 [scalability]

我正在开发一个基于论坛的网站，该网站还支持现场消息传递（即用户可以向其他用户发送私人消息），我想做的是通知成员是否有新消息，例如通过以粗体显示收件箱链接以及消息数量，例如Inbox(3)

我有点困惑如何为在服务器场上运行的网站实现这一点，用每个请求查询数据库对我来说似乎有点过头了，所以这是不可能的，可能应该为此使用共享缓存，我倾向于认为这是许多站点的共同功能，包括许多大型站点（在服务器场上运行），我想知道他们如何实现这一点，任何想法都会受到赞赏。

我正在开发一个软件即服务 (SAAS) 应用程序，该应用程序允许公司管理供应商信息。

有哪些供应商/供应商可以提供账单服务，包括管理发票、订阅、续订和提醒缴费？

我发现从头开始构建它需要很多时间。

除了计费，为了成功发布此应用程序，我还应该考虑哪些其他主要组件/注意事项？

我有以下注意事项，欢迎提出任何建议：

1) 基础设施：为了可扩展性和维护，我使用云计算，这样我就不用管理基础设施，尤其是在需求增加时扩大规模。

2) 安全：我发现如果我使用专用服务器，我必须为安全支付更多的费用，例如防火墙。因此，使用云计算将使我的应用程序能够在安全平台上“骑行”。

问候

我正在寻找具有以下要求的云计算服务：

• 无需管理服务器
• 即时可用性
• 自动缩放
• 运行任务至少几分钟的能力

除了进程只能运行 30 秒之外，Google App Engine 似乎满足了所有这些要求。

我的应用程序是一个网站，可在用户请求时为用户执行一些繁重的计算。我希望负载在一半时间内接近于零，并且最多同时运行数百个任务。

这样的事情存在吗？

编辑：这些是我已经看过的服务，以及为什么它们对我不起作用：

• Amazon EC2 - 需要服务器管理，我无法在几秒钟内从 0 台服务器变为 1 台服务器
• Amazon MapReduce - 启动需要几分钟。如果它在几秒钟内可用，这将是我会使用的
• Microsoft Azure - 正如 Alan 所说，它仍然需要服务器管理
• Google App Engine - 任务只能持续 30 秒

我是 SOA 领域的新手。因此，我正在研究一些“SOA 框架/技术”，并试图了解如何利用它们来构建一个高度可扩展的（Facebook 类）网站。

我想在这里解决几个“痛点”：

1. 可组合性（+ 管理依赖项，Pub/Sub）
2. 服务的语言无关
3. 可扩展性和性能
4. 高可用性

我研究了一些可以回答上述标准子集的技术：

1. Thrift - Facebook 的跨平台 RPC 平台
2. WCF - 支持 SOAP、JSON 和 REST，因此它可以被认为是语言互操作的。生成可用于生成 java 代理的WSDL文件。
3. Microsoft DSS - 只是将它包含在我的调查中，但它似乎并不相关，因为它是高度状态驱动的和特定于 .NET 的。
4. 网页服务

现在，我了解了如何从上述内容中获得可组合性和语言独立性的某些方面。但是，我还没有找到很多关于如何使用上述/其他工具来实现可扩展性和高可用性的具体信息（不是嗡嗡声）。所以最后我得到了我的问题：

如何利用 SOA 技术来解决我上面定义的问题？我在哪里可以找到这方面的技术指南？我寻找的不仅仅是系统图，而是实际的库、代码示例、APIS ......

社交网站可能会为用户、朋友和活动维护表格......

他们如何使用这些表以高效且可扩展的方式计算好友事件？

我试图找出扩展我的网站的最佳方式，我对 mssql 将如何扩展有疑问。

目前表的方式是：

cache_id - int - 标识符
cache_name - nvchar 256 - 与 event_id 一起用于查找
cache_event_id - int - 基本上是一种分组方式
cache_creation_date - datetime
cache_data - varbinary(MAX) - 数据大小从 2k 到 5k

存储的数据是一个字节数组，这基本上是我网站上页面的缓存实例（压缩）。

我看到存储的不同方式是：
1）1个大表，它将包含数千万条记录，并且很容易变成几千兆字节的大小。
2) 包含上述数据的多个表，这意味着每个表将包含 200k 到一百万条记录。

该表中的数据将用于显示网页，因此任何超过 200 毫秒的记录在我看来都是不好的（我知道有些人认为 1-2 秒的页面加载是可以的，但我认为这很慢并且想要做我最好保持较低）。

所以归结为，是什么降低了 SQL 服务器的速度？
是表的大小（磁盘空间）
还是行数
在什么时候使用多个数据库服务器不再具有成本效益？


如果几乎不可能预测这些事情，我接受它作为回复。我不是 DBA，我基本上是在尝试设计我的数据库，所以当它包含大量数据时，我不必在以后重新设计它。

是否有众所周知的跨服务器场同步任务的最佳实践？例如，如果我有一个基于论坛的网站在服务器场上运行，并且有两个版主试图执行一些需要写入数据库中的多个表的操作，并且这些版主的请求正在由服务器中的不同服务器处理农场，如何实现一些锁定功能以确保他们不能同时对同一个项目执行该操作？

到目前为止，我正在考虑使用数据库中的表进行同步，例如检查表中项目的 ID，如果不存在则插入并继续，否则返回。也可能为此使用共享缓存，但我目前没有使用它。

还有什么办法吗？

顺便说一句，我使用 MySQL 作为我的数据库后端。

我需要设置一个 MySQL 环境，该环境将支持随着时间的推移添加许多独特的数据库（实际上是数千个）。我假设在某些时候我需要开始添加 MySQL 服务器，并且希望我的环境事先为这种情况做好准备，以便轻松过渡到第 2、第 3、第 100 个服务器。

并且只是为了让它变得有趣，如果解决方案被建模以便查询数据库的应用程序将所有查询发送到单个地址并接收结果，那将非常方便。它应该不知道服务器的数量和位置。数据库名称是唯一的，可用于确定哪个服务器拥有数据库。

我已经进行了一些研究，MySQL Proxy 成为主要候选者，但我无法找到任何关于使其按上述方式执行的具体信息。

任何人？

对于具有隐含可扩展性、首选 Pythonic 的简单应用程序，我应该使用什么 HTTP 框架？我希望能够在已经部署的应用程序中顺利添加新功能。

我有兴趣比较各种可扩展性和并发性方法，包括 CCR 和 DSS 框架模型。我会对与 Hadoop 和 Erlang 风格的并发性进行比较特别感兴趣