问题标签 [data-processing]

我习惯于规划复杂性在于用户交互的软件。我学到的敏捷软件工程原理非常适合这种场景。当大部分计划都围绕用户交互进行时，用户故事很容易写出来。

我现在正在开发一个系统，用户唯一的干预就是点击开始按钮并在发生错误时读取错误。

该系统的所有其他工作都在数据处理和非常繁重的数据处理中。在这个处理工作流程中，我有大约 5 种不同的数据转换要计划。

这些流程本质上是松散耦合的，因此它们应该易于规划为不同的流程，然后进入工作流程。即便如此，规划数据驱动流程的问题仍然存在，但规模较小。

我该如何规划这样的数据驱动流程？此类软件是否有任何已知的设计流程？

我正在将一个复杂的过程从 SQL 移到一个 .NET 应用程序。我采取了一种蛮力方法，只从 SQL 中提取所需的数据，然后存储在数据表中。使用带步进的管道模式，我分解了可以并行完成的进程（不依赖于其他进程，也不处理相同的数据位）。

一切都很好，但我想知道是否有一个内存中的 sql 解决方案，它的性能比 DataSet/DataTable 结构更好。我们一次讨论 50k 行，最多支持 1m 行数据（读取 5b 行）。1 行（包含所有支持的数据行）的行大小可能约为 1K 平均（由于大字符串）。

我的问题专门针对 DataSet 的性能、内存开销和持久性。我需要将每个阶段的数据序列化到磁盘以进行恢复。

将行映射到强类型模型会更好吗？我不需要数据集的任何关系或其他好处；我使用并行处理替换了大部分搜索功能。

数据仅使用原始类型，没有 blob、流、地理等。

我正在编写一个由手表内置的加速度计控制的应用程序。我希望其中一个命令是“疯狂地挥动你的正手”。我如何检测它并测量它的持续时间？

所以我有几个表（python，但我对任何可以做到这一点的语言/程序持开放态度）：

我想知道是否可以将此表与交易股票表进行比较：

并找到连贯性、逻辑模式……在类似的函数中最可取

x 是表中的位置

当然，对于股票，我只想知道可以预测“未来”的模式，但这不会改变问题的重点：

如何在数据集中找到这样的模式？

是否有任何命令/工具/脚本可以对ec2-describe-imagesor的庞大输出进行分类ec2-describe-instances。

我有一个大约 100 台服务器的列表，其中包含每一个细节。我想将它们分类在合适的标题下，例如 - RESERVATION, INSTANCE, BLOCKDEVICE, TAG（输出中可用的任何类别）。

这是一个与如何在matlab中找出匹配两条曲线的比例因子有关的后续问题？ 我使用以下代码来计算比例因子以匹配两条曲线

我使用 fmincon 来优化结果。

当我用函数测试我的数据时，

X1 = [ - 0.3 -0.24 -0.18 -0.12 -0.06 0 0.06 0.12 0.18 0.24 0.3 0.36 0.42 0.48 0.54 0.6 0.66 0.72 0.78 0.84 0.9 0.96 1.02 1.08 1.14 1.2 1.26 1.32 1.38 1.44 1.5 1.56 1.62 1.68 1.74 1.8 1.86 1.92 1.98 2.04] Y1 = [0.00 0.00 0.00 0.01 0.03 0.09 0.13 0.14 0.14 0.14 0.16 0.22 0.22 0.22 0.26 0.34 0.41 0.41 0.52 0.52 0.62 0.72 0.81 0.91 0.95 0.95 0.99 0.98 0.98 0.96 0.96 0.96 0.90 0.90 0.82 0.74 0.74 0.66 0.66 0.58 0.58 0.52 0.47 0.47 0.47 0.47 0.47 0.40 0.22; 30 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40 0.40;

X2 = [ - 0.3 -0.24 -0.18 -0.12 -0.06 0 0.06 0.12 0.18 0.24 0.3 0.36 0.42 0.48 0.54 0.6 0.66 0.72 0.78 0.84 0.9 0.96 1.02 1.08 1.14 1.2 1.26 1.32 1.38 1.44 1.5 1.56 1.62 1.68 1.74 1.8 1.86 1.92 1.98 2.04]; Y2 = [0.00 0.00 0.00 0.00 0.05 0.15 0.15 0.13 0.11 0.11 0.13 0.18 0.24 0.33 0.43 0.54 0.66 0.76 0.84 0.90 0.93 0.94 0.94 0.91 0.87 0.81 0.75 0.69 0.63 0.55 0.49 0.43 0.37 0.32 0.27 0.23 0.19 0.16 0.13 0.10];

错误消息显示如下：

？？？在 172 NaN 处使用 ==> interp1 时出错，这不是 X 的合适值。

==> sqrError 中的错误 2 y2sampledInx1 = interp1(coeffs(1)*x2,y2,x1);

==> @(c)sqrError(c,x1,y1,x2,y2) 中的错误

==> nlconst 在 805 处出错 f = feval(funfcn{3},x,varargin{:});

==> fmincon 中的错误 758 [X,FVAL,LAMBDA,EXITFLAG,OUTPUT,GRAD,HESSIAN]=...

==>coeffs 中的错误 = fmincon(@(c) sqrError(c,x1, y1, x2, y2),A0,[],[],[],[],LB,UB,[],options);

代码有什么问题以及我应该如何解决它。谢谢您的帮助。

我有名称为AdminController的控制器，其中我有方法create_school_head：

我也有视图create_school_head：

路由.rb

现在它传递数据来创建用户控制器的方法。我想在AdminController的其他方法中提交按钮后从这个表单发送数据，例如在方法process_school_head中。我怎样才能做到这一点？

我开发了 RoR 应用程序，但遇到了我无法解决的问题。我有 2 个模型 - User和Teacher。

我还可以查看用户和教师填写数据的表格。从此表单提交数据后，进入我的控制器的其他方法 - create_teacher。我还有其他方法new_teacher，在这种方法中，我对表单有自己的看法。

我的观点new_teacher.html.erb

我有两个问题：

1) 我如何显示所有错误（针对用户和教师）？那可能吗？

2) 当我从create_teacher方法重定向到admins_new_teacher_path时，是否可以将我的数据保存在表单中？

我正在寻找用于异步数据处理的 PHP 组件。

基本上我需要的是显示一个带有进度条的页面，该进度条用javascript刷新，显示一些数据处理的进度。

在后端，您将定义数据处理限制。这是调用处理单个项目的开始、结束和函数。

在 CMS 和框架上有很多解决方案。我正在寻找可以包含在我的应用程序中的原始 PHP 内容。

我有 HTK 从 .wav 文件生成的 MFCC（梅尔频率倒谱系数）文件。我需要的是从 MFCC 中提取一个时间跨度。当 MFCC 文件代表 90 分钟长度的音频时，我想获得例如 MFCC 音频的第三分钟。

HTK 书说 MFCC 文件由一个标题和一个连续的样本序列组成。但是以字节为单位确定样本的确切大小似乎并不容易。

是否有文件解析器？（当然有，在 HTK 中，但我没有设法弄清楚如何使用二进制文件来完成这项任务。）

或者是否有一种简单的方法来确定样本和标题的大小，以便能够简单地将文件分开？