问题标签 [batching]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
779 浏览

ado.net - 在没有 DataAdapters 的 ADO.NET 中进行批处理

是否可以在 ADO.NET 中实现多个存储过程调用的批处理(执行更新/删除)而不使用 DataAdapters?

0 投票
2 回答
1933 浏览

msbuild - MSBuild:Items + Batching + CreateItem + Transforms 问题

我有一个 msbuild 项目,这让我想知道为什么结果会是这样。并不是说它会引起问题或任何类似的事情,但我想尝试更好地理解它。

所以我有两个唯一的主要路径,并且在每个路径中我都有两个在每个唯一路径中具有相同名称的目录。在 target1 中,我对 PathDir 中项目的标识进行批处理,然后对包含在唯一目录中找到的公共文件夹名称的项目 SubDirectory 执行转换,以创建一个包含完整路径的新项目。所以无论如何,在那之后,目标的输出如下:

目标1:

目标 2:

所以我猜我的问题是......为什么 target1 只显示包含它正在批处理的目录的目录?我知道这可能与批处理有关,但这就是我所知道的。

0 投票
3 回答
470 浏览

sql - 分组相似记录 Sql Server 2008

我将编写一个查询来实现如下所示:

表名:应用程序

我必须根据 App_type 按顺序对 App_Id 进行分组并创建一批记录。需要注意的重要一点是,我必须在创建批次时维护 AppId 的 SEQUENCE。一个批次可以拥有的最大记录数取决于批次大小参数(比如现在将批次大小设置为 3)。创建批处理后,将详细信息插入另一个名为 ApplicationBatch 的表中。所以我想要一个类似的输出:

表名:ApplicationBatch

还有一件事我必须以最有效和优化的方式设计查询,因为应用程序表中可以有超过百万条记录。

更新:

目前我有 Application 表(在我上面的原始问题中定义),我想根据 Application 表中的数据填充 ApplicationBatch 表。

0 投票
3 回答
364 浏览

design-patterns - 批处理和批量处理模式

我从数据库查询的数据看起来很像以下

我应该为每个站点(站点 A、B 和 C)启动实例,然后进行处理,例如,对于站点 A,处理 file2.txt、file23.txt 和 file29.txt。这种“处理”可以按某种顺序发生,但必须是一个接一个(不是同时的)。

所以我的第一个任务是整理站点 - 并为每个站点创建实例。我该怎么做呢?

PS:我认为对于处理部分,我应该使用某种迭代器模式...我更喜欢任何现代编译器语言的解决方案...例如 c#、vb、c++ 等...

0 投票
5 回答
2258 浏览

apache-flex - 如何防止 RemoteObject 将 AMF 消息批处理在一起?

我正在使用 Google AppEngine 和 PyAMF 来提供 RemoteObject 支持。在我的 Flex 代码中,我一次调用了多个 RemoteObject 方法,这往往会将 AMF 消息批处理到单个 HTTP 请求中。

大多数时候这很好,但 AppEngine 对每个请求应用了一些严格的限制(在这种情况下,我遇到了 DeadlineExceededError - 最多 30 秒)。许多服务方法预计需要超过 10 秒,如果这些由 RemoteObject 批处理成 1 个 HTTP .. 你会看到这是怎么回事。

现在您可以说重构您的服务调用,这也在继续,但并不是这里真正提出的问题。有没有办法防止 Flex RemoteObject 在这种情况下批量处理 AMF 请求?

我已经在这个主题上进行了大量的谷歌搜索,并提出了 bupkis。在我看来,我需要实现一个自定义版本mx.messaging.channels.AMFChannel或类似性质的东西,这对于像这样的功能来说似乎太硬核了..

有人有任何指示/见解吗?

0 投票
2 回答
5819 浏览

nhibernate - 为什么 NHibernate 拒绝批量插入?

针对 SQL Server 2008 使用 NHibernate 2.1.2.4000。目标表没有触发器或无关索引。很简单:

我的实体映射是:

现在,考虑以下测试用例:

以下是使用 NHibernate 执行插入时的一些示例输出:

作为一个比较点,您会看到我还实现了一个基于 BCP 的解决方案。这是一些示例输出:

显然,BCP 解决方案比 NH 解决方案快几英里。同样明显的是,批处理会影响 BCP 解决方案的速度,但不会影响 NH 解决方案的速度。当使用 NHibernate 进行插入时,NHProf 显示如下:

替代文字 http://img9.imageshack.us/img9/8407/screenshotac.png

只有INSERTs,没有SELECTs。有趣的是,NHProf 从来没有给我这个警告

我已经尝试adonet.batch_size根据上面的测试用例在我的配置文件和代码中指定。

现在,我不希望 NH 解决方案能够达到 BCP 解决方案的速度,但我至少想知道为什么批处理不起作用。如果启用批处理功能足够好,那么我可能会在 BCP 上使用 NH 解决方案,以保持代码库更简单。

谁能解释为什么 NH 拒绝遵守 ADO.NET 批处理,以及我能做些什么来解决它?我读过的所有分散的 NH “文档”都指出,您需要做的就是指定adonet.batch_size并(最好)使用无状态会话,但我正在做这两件事。

谢谢

0 投票
1 回答
252 浏览

java - Java中的通用QoS消息批处理和压缩

我们有一个用 Java 编写的自定义消息传递系统,我想实现一个基本的批处理/压缩功能,基本上在重负载下它会将一堆推送响应聚合成一个推送响应。

本质上:

  • 如果我们检测到过去一秒内发送了 3 条消息,则开始批处理响应并安排一个计时器在 5 秒内触发
  • 计时器会将接下来 5 秒内收到的所有消息响应聚合成一条消息

在我只是在 Java 中寻找最好的例子之前,我确信这已经实现了。我不是在寻找一个完整的消息传递层,只是每秒检测基本消息并安排一些任务(显然我可以自己轻松编写这个我只是想将它与任何现有算法进行比较以确保我不会错过任何边缘情况或我已尽可能简化问题)。

是否有构建基本 QoS 批处理/节流/压缩实现的好的开源示例?

0 投票
2 回答
1041 浏览

msbuild - 三个独立变量上的 MSBuild 批处理

我一直在编写一个基于 MSBuild 的构建系统,并且到了项目的最后,我需要通过批处理三个变量来运行一个 msbuild 文件 88 次:

配置=调试;测试版;释放; 评估
平台 = x86;x64
语言 = CN;CS; 德; CN; ES; 法兰西; 它; J.P; KO; PL; 台湾

我要构建:
“调试 x86 CN”,“调试 x86 CS”,...“调试 x86 TW”
“调试 x64 CN”,...

当然,我可以定义其中的 88 个:

然后基于元数据进行批处理。但多么拖累!我可以在代码中创建 88 种排列,因此添加语言就像向 ItemGroup 添加三个字符一样简单:

0 投票
2 回答
2612 浏览

c# - 批处理中的nhibernate和实体框架有什么区别?

我想选择上述形式之一。批处理中的nhibernate和实体框架有什么区别?

0 投票
1 回答
161 浏览

c# - NHibernate如何实现批处理操作?

NHibernate 用于批处理操作的解决方案是什么?