问题标签 [batching]

在我使用 .Net 4.6 的 WPF 应用程序中，我有一个以高速率（每秒数百个）触发新数据点的事件，但并非一直如此。此数据显示在图表中。

我想每 50 毫秒更新一次图表，而不是在每个新数据点之后。
为了实现这一点，我Buffer(TimeSpan.FromMilliseconds(50))从 Rx 中使用，理论上效果很好。但是，如果没有创建新的数据点，我的订阅者也会每 50 毫秒被调用一次，这不是我想要的。

我创建了一个小示例应用程序来测试它：

您需要添加“Rx-Linq”NuGet 包以使其运行或使用以下小提琴：https ://dotnetfiddle.net/TV5tD4

在那里，您会看到几个“收到的 0 个元素”，这是我想避免的。我知道我可以简单地检查e.Count == 0，但是当我使用多个这样的缓冲区时，这对我来说似乎不是最优的。

如果元素可用，有没有办法只创建新的缓冲元素块？
我也愿意使用其他方法来解决我的按时间批处理事件的问题 - 我已经研究过 TPL Dataflows BatchBlock，但这似乎只支持基于计数的块大小。

So here is what I need , I have two files , the first one is this: 1)

In the second file is this: 2)

So I want to replace %idVendor% with 3edd , but in the other file

NOTE: the other file is not a bat file

我目前正在使用 Apache Derby 将数据存储到本地数据库。由于我可以处理数千条记录，因此我想批量提交以提高效率。

但是如果我的批量大小是 50，如果我只有 20 条记录，我该如何提交到数据库？

非常感谢！

用例

使用 Apache Storm 将 Kafka 消息持久化到 S3

到目前为止的故事

• 我尝试使用 secor（https://github.com/pinterest/secor），工作正常，达到目的。但是对于经理来说，这可能是一种维护过度的行为（正如他们所说的那样，他总是对的）
• 我们已经有 Apache Kafka-Apache Storm 稳定集群，因此计划利用该基础设施。

议程和问题

• 来自 Kafka 的消息将在 Storm bolt 中进行批处理，并以文件的形式写入本地磁盘

• 在一定的时间间隔和/或大小标准之后，它将被上传到 S3

• 为了管理故障，每个螺栓应该能够跟踪 Kafka 分区并在理想情况下每个元组偏移，因为螺栓将随机分布在整个集群中。

• Partition / Offsets 可以持久化到 Zookeeper，但首先如何从 Tuple 中获取它们？除了将它们转发到 Kafka Spout 之外，还有其他方法吗？

我有一个包含一系列承诺的数组，每个内部数组可以有 4k、2k 或 500 个承诺。

总共有大约 60k 个 promise，我也可以用其他值对其进行测试。

现在我需要执行Promise.all(BigArray[0]).

一旦第一个内部数组完成，我需要执行下一个Promise.all(BigArray[1])等等。

如果我尝试执行Promise.all(BigArray)它会抛出：

我需要依次执行每个 Promise，而不是并行执行，我认为这就是 Node 所做的。我不应该使用新的库但是愿意考虑答案！。

编辑：

这是一段示例代码：

我已阅读Batch,Batch,Batch。

在批处理过程中，主要有两件事：

1 提交n个三角形

2 设置状态

那么哪一个更耗时？

或者 SetState 本身实际上根本不重要。只是因为一旦状态改变，我们必须再次提交三角形？

我以前使用过storm，我需要更多的批处理功能，所以我在storm中搜索了批处理。我发现了实时进行微批处理的 Trident。

但不知何故，我无法弄清楚 Trident 如何处理微批处理（流量、批处理大小、批处理间隔）以知道它确实有我需要的东西。

我想做的是收集/保存喷口在一个间隔内发出的元组，并在另一个时间间隔内将它们重新发送到下游组件/螺栓/功能。（例如，spout 每秒发出一个元组，下一个 trident 函数将收集/保存元组并每分钟发出 50 个元组到下一个函数。）

有人可以指导我在这种情况下如何应用三叉戟吗？或者使用风暴功能的任何其他适用方式？

调用 sensor.getFifoMaxEventCount()) 和 sensor.getFifoReservedEventCount()) 都返回 0，这意味着传感器不支持批处理。然而我的加速度计支持使用相同的方法进行批处理。有人知道为什么像陀螺仪这样重要的传感器不支持批处理吗？

编辑：指南针有同样的问题。

如果您看到 bulk.rejected 计数很高，因为 bulk.queue 的大小远高于 bulk.active，您会采取什么一般措施？（假设您可以轻松扩展集群）

例如使用http://localhost:9200/_cat/thread_pool?v

10.XX.XXX.XXX 10.XX.XXX.XXX 12 667845 208511 0 0 0 0 0 0

1. 横向扩展主节点（添加更多主机，具有相同的 VM 大小）
2. 扩展主节点（保持相同的机器数量，但将 VM 大小增加到更高的内存、更高的 CPU）
3. 横向扩展数据节点
4. 扩展数据节点
5. 横向扩展客户端节点
6. 扩展客户端节点
7. 减少编号。每批次的文档数（但它会增加对集群的总请求数）

它很可能是上述的倍数，在这种情况下，如果您可以指定更好的顺序，例如 4 -> 2 -> 6。请随时建议您可能采取的其他步骤。

我是批处理脚本的新手，在这里我尝试将我的文本文件分成每 100 万行的块。块文件按我的预期生成，但在输出文件内容中我缺少感叹号（！），甚至在感叹号之后跳过了立即列。请帮助我将原始文件中的数据分成块！

它是一个制表符分隔符文件。

截屏