问题标签 [batching]

如何在 Riak 中插入地图列表？我也可以通过 Solr 查询列表。

这是我的目标数据模型：

当前的数据模型分别保存每个订单项目，导致大量的 Riak 写入。当我们的消息系统开始每秒推送数千条消息时，这将成为瓶颈。所以这里的意图（有点 POC）是将每个客户的所有订单项目合并到一个"orders"列表中，并作为一个资源持续存在......类似于一个批次。

关于这一点，Riak 是否支持任何类型的批量插入？我无法找到解决方案，所以我通过合并数据手动执行此操作。

我是张量流的初学者。我有一个包含 43 个输入和一个输出的数据集。我将创建一个小批量数据来运行深度学习。

这是我的输入：

我从一个 matlab 文件中给它们喂食，看着：

我将有随机批次而不是调用 0:100 记录。我看见

但是，我无法意识到它是如何工作的。你能否指导我如何做到这一点。

谢谢， 阿夫辛

我被要求寻找最有效的方法来获取 DataTable 输入并使用 C# 将其写入 SQL Server 表。问题是解决方案必须始终使用 ODBC 连接，这排除了 sqlBulkCopy。该解决方案还必须适用于所有 SQL Server 版本，直至 SQL Server 2008 R2。

我认为最好的方法是使用以下 SQL 语法一次使用 1000 行的批量插入：

INSERT INTO dbo.Table1(Field1, Field2) SELECT Value1, Value2 UNION SELECT Value1, Value2

我已经编写了代码检查与 DataTable 输入对应的表是否已经存在于 SQL Server 上，如果不存在则创建一个。

我还编写了代码来创建 INSERT 语句本身。我正在努力的是如何从数据表中的行动态构建 SELECT 语句。如何访问行中的值来构建我的 SELECT 语句？我想我还需要检查每一列的数据类型，以确定这些值是否需要用单引号 (') 括起来。

这是我当前的代码：

任何建议将不胜感激。此外，如果有一种比我建议的更简单的方法，那么任何细节都会很棒。

我有

问题是我可能有大量任务，每个任务都向 GitHub 发送请求。

由于我是一个好公民，我不想在 GitHub 上一次发送 1000 多个查询，因此我想一次将这些请求批处理 10 个，然后执行我的内部代码。

有没有简单的方法可以做到这一点？

我一直在尝试使用 png 文件做 mnist 教程，并且已经将大多数事情都做到了有意义的地步。

代码的要点在这里，但是我将介绍它的作用以及问题发生的位置。

我有一个函数可以生成可以提供给 slice_input_producer 的文件名。

这表现如预期。

在正文中，我运行此函数进行训练和测试，并将它们转换为张量，将这些张量传递给 slice_input_producer

这部分也可以正常工作。

这就是事情变得奇怪的地方。

变量 asdf 在愤怒中被重命名，因为它是坏消息的承载者。请参阅此处的计划是使用不同的队列进行培训和测试。我计划为一个单独的 int 提供 feed_dict ，它可以作为一个临时布尔值在两者之间切换。

但是，在运行它时，我收到错误消息：“您必须使用 dtype int32 为占位符张量 'Placeholder' 提供一个值”，这很奇怪，因为我正在提供它。

使用“print(foo.eval(feed_dict={asdf:0,keep_prob:1.0)) 我能够注意到一些有趣的现象。当我评估声明为“图像，标签”的单个变量时，切换似乎工作正常从“read_images_from_disk(input_queue)”中出来

但是，如果我尝试评估紧随其后的批处理，我会收到上述错误。

为了实现这一点，我在批处理方面做错了什么？有没有更好的方法在测试集和训练集之间进行切换？宇宙万物的生命意义何在？我指望你 StackOverflow。你是我唯一的希望。

我正在尝试在 GKE 上部署 TF Serving，并尝试制作一个高度可用的在线预测系统。我试图通过将多个请求批处理在一起来优化延迟。然而，延迟似乎受到影响而不是改善。

• 该模型是一个 CNN，长度约为 50 的输入向量。
• TF Serving 在具有 6 个标准节点的 Kubernetes 集群上运行
• 我尝试了大小为 5 和 10 的批次。我没有使用 TF Serving 的批处理实现，我只是发送了一个带有形状数组的请求，(batch_size, input_size)而不是(1, input_size)

我的直觉是，即使批处理在与 GPU 一起使用以使用其吞吐量时带来最大的好处，但与 CPU 一起使用不应使其变慢。减速如下图所示 - req/s 是相当预测/s 即 20 将分为 4 个或 2 个对服务器的请求。

我理解这不会将工作负载均匀地分布在集群上以获得较少数量的请求 - 但即使在查看 60 或 120 时，延迟也会更高。

知道为什么会这样吗？

这是我正在使用的一段代码：

http://pastebin.com/Gp6SVYJR

由于我还是新手使用 tensorflow，我认为尝试创建一个可以识别人类和黄瓜之间差异的程序是一个好主意。我从 Image-Net 中提取图像，并将人类图片放入human/并将黄瓜照片放入cucumber/

我创建了一个我认为该程序正在采取的步骤的列表：

1. 制作一组文件路径和键，然后对其进行洗牌。

2. 批量创建文件路径。

3. 批处理中的文件路径被转换为图像，调整为 250x250，并添加到图像批处理数组中。（此时键和图像仍然对齐）。

4. 图像批次和关键批次送入阵列。

5. 在所有 epoch 结束时，它针对每个图像中的 10 个测试网络。

当我运行 use_network() 时，我在控制台中得到以下输出：

第一个数组是输出节点，第二个数组是输出的 tf.argmax()，第三个是预期的。

实际的学习似乎也很小，这是学习的输出：

我试图做以下尝试改变事情：

1. 使图像更小，例如 32x32，和/或黑白。看看较小的图像是否会导致预测发生变化。

2. 改变 reduce_sum 和 reduce_mean 之间的成本方程，以及 sigmoid_cross_entropy 到 softmax_cross_entropy 之间的内部方程。

关于为什么它不起作用，我有一些想法，它们如下：

1. 只是糟糕的代码

2. 输入数据太大，没有足够的节点/层来处理。

3. 图像和关联的密钥在某处被打乱。

我正在尝试更改批处理中的字符串。替换字符串在批处理范围之外非常有用。

在我的示例中，我试图替换部分目录。

谢谢

I am working on a 360 video player app for VR Platform and looking forward to optimise it for mobile platforms. At this time I have a question regarding static batching.

Lets say I have a sphere which would never move even if the world ends. But a video is being played on it. That means texture of its material is being updated once a frame.

Do I mark this sphere as static for batching or leave it?

If I mark a moving object as static, would that affect performance?

KitKat 引入了传感器批处理，但我无法在批处理模式下从传感器读取数据。

我的代码：

日志：

我希望在每秒钟结束时收到 20 个事件，而不是每 0.05 秒 1 个事件

根据传感器批处理

当 max_report_latency_ns>0 时，传感器事件不需要一检测到就上报。只要没有事件延迟超过 max_report_latency_ns 纳秒，它们就可以暂时存储在硬件 FIFO 中并分批报告。也就是说，自上一批次以来的所有事件都会被记录并立即返回。这减少了发送到 SoC 的中断数量，并允许 SoC 在传感器捕获和批处理数据时切换到低功耗模式（空闲）。

请帮忙

谢谢