问题标签 [cloud]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
sql-server - 关于如何在十亿行表上扩展和改进“基于枢轴的查询”的执行时间的建议,每天增加一百万
我们公司正在开发一个内部项目来解析文本文件。这些文本文件由使用常规表达式提取的元数据组成。十台计算机 24/7 全天候解析文本文件,并为高端 Intel Xeon SQL Server 2005 数据库提供提取的元数据。
简化的数据库模式如下所示:
有许多不同的文本文件类型,里面有不同的元数据。对于每个文本文件,我们都有一个Item
,对于每个提取的元数据值,我们都有一个Attribute
.
Items_Attributes
allow us to avoid duplicate Attribute
values which avoids database size to increase x^10.
This particular schema allows us to dynamically add new regular expressions and to obtain new metadata from new processed files no matter which internal structure they have.
Additionally this allow us to filter the data and to obtain dynamic reports based on the user criteria. We are filtering by Attribute
and then pivoting the resultset (http://msdn.microsoft.com/en-us/library/ms177410.aspx). So this example pseudo-sql query
would return a pivoted table like this
The application has been running for months and performance decreased terribly at the point is no longer usable. Reports should take no more than 2 seconds and Items_Attributes
table 每周平均增加 10,000,000 行。一切都已正确索引,我们花费了大量时间分析和优化查询执行计划。
所以我的问题是,您将如何扩展它以减少报告执行时间?
我们提出了这个可能的解决方案:
- 购买更多硬件并设置 SQL Server 集群。(我们需要关于正确的“集群”策略的建议)
- 使用像 HBase 这样的键/值数据库(我们真的不知道是否能解决我们的问题)
- 使用 ODBMS 而不是 RDBMS(我们一直在考虑 db4o)
- 将我们的软件迁移到云端(我们的经验为零)
- 在运行时静态生成报告。(我们真的不想)
- 常见报表的静态索引视图(性能几乎相同)
- 非规范化架构(我们的一些报告在单个查询中涉及多达 50 个表)
cloud - 云计算也可以扩展后端吗?
我正在为 Web 应用程序选择一个平台。
我了解云计算如何扩展前端服务器,但它们如何处理数据库服务器?
开发人员需要做些什么来实现这一点吗?
cloud - 云托管是否适合 1 人开发团队?
我正在构建一个 .NET MVC Web 应用程序。云托管是否适合单人表演?
由于 StackOverflow 运行一个简单的 2 节点设置,并且每天可以轻松完成 100 万次页面查看,云托管在达到那个水平之前是否有意义?
你认为云托管真的会带走服务器托管方面的东西吗?
mysql - 云计算和MYSQL可以结合吗?
Web 服务器的主要瓶颈通常位于数据库中,在我的例子中是 MYSQL。
更具体地说,全文搜索和主从复制。
sphinx 是全文搜索的可能解决方案,因此主从复制是
最后的痛苦。
云计算技术能否显着提升性能,
例如,通过亚马逊提供的服务?
只是一个疯狂的猜测!
编辑:MySQL 和 Google App Engine 怎么样?
virtualization - 虚拟化和云计算——从哪里开始?
虚拟化和云计算。
我知道这些都是非常含糊不清的词,意味着很多不同的东西。它们也是今天讨论最多的话题。然而,因为它们太新了,所以没有在学校教授它们。我很幸运有几个关于虚拟化技术的讲座并阅读了一篇关于它的论文。我现在想更多地了解这两个主题,因为我知道它们是“热门”主题之一,而保持在“前沿”方面是我作为开发人员必须做的事情。
我应该从哪里开始学习虚拟化和云计算?
从文章到学术论文到博客再到书籍,任何东西都会很棒。
我想学习从架构到云部署
的所有知识因为我在这两个领域都缺乏知识,所以我不知道我应该期待什么。
请填写我:)
收藏品
文章/论文:
Sun 的云计算文章
Xen 和虚拟化艺术
Google 的分布式系统教育网站
在新闻中:
Sys-Con 虚拟化
silverlight - 与 Silverlight 一起使用的基于云的良好文件存储平台是什么?
我正在开发一个 Silverlight 应用程序,该应用程序允许用户将一些文件上传到假设的基于云的文件存储,然后允许用户稍后查看有关这些文件的一些数据(比文件存储更多的功能)。理想情况下,我想使用免费的按用户存储,例如 SkyDrive,但我似乎无法找到该服务的 API(并在其他地方阅读堆栈溢出时编程访问违反了他们的 TOS)。是否有任何服务符合此要求?我听说过 Amazon S3,但我知道这会花一些钱——有什么免费的吗?
编辑: Mesh 可以选择吗? 什么是 LiveMesh 对象及其与 Silverlight 3.0 的联系
distributed - 开源分布式计算/云计算框架
我想知道是否有人知道任何好的开源分布式计算项目?我有一个计算密集型程序,可以从分布式计算中受益(例如 seti@home 等),我想知道是否有人见过这样的东西,或者我会从头开始开发它吗?
cloud - 云计算和网格计算有什么区别?
云计算和网格计算之间的显着区别是什么?两者的精确定义和目标应用领域是什么?我正在寻找概念性见解以及技术性。
就像Windows Azure是一个云操作系统一样,我们有没有这样的网格计算?
过去我从事分布式和并行计算方面的工作,我使用 PVM 和 MPI 等库来处理分布。出于好奇,我想知道网格计算是否是通过互联网扩展的分布式计算?
php - PHP将外部下载传递给用户
我想知道 PHP 中是否有任何方法可以将外部下载传递给用户?我想对脚本执行的操作取决于某些条件,从服务器 A 或服务器 B 向用户发送文件。但是,我不希望用户知道到任一服务器的直接 url。
例如:用户访问(在服务器 C 上):http ://example.com/download?id=1234 服务器 A 的归档地址: http ://servera.com/1234.exe 服务器 B 的归档地址:http: //serverb.com/1234.exe
有没有办法,当有人访问http://example.com/download?id=1234时,在不给用户直接 URL 的情况下向他们发送其他服务器的下载?我知道我可以做一个文件([此处的外部文件])。但我不希望所有带宽都通过服务器 C。服务器 C 几乎只是一个重定向。
谢谢,詹姆斯
amazon-s3 - 如何更新 Amazon 的 CDN (CloudFront) 上的文件?
有什么方法可以更新存储在 Amazon CloudFront(Amazon 的 CDN 服务)上的文件?似乎它不会对我们制作的文件进行任何更新(例如删除文件并使用与以前相同的文件名存储新文件)。我是否必须显式触发更新过程以从边缘服务器中删除文件以发布新文件内容?
谢谢你的帮助