问题标签 [batchsize]

我从某个地方读到，如果您选择一个 2 次方的批大小，训练会更快。这是什么规则？这适用于其他应用程序吗？可以提供参考论文吗？

我有这个解码器模型，它应该将成批的句子嵌入（batchsize = 50，hidden size=300）作为输入，并输出一批预测句子的热表示：

但是，当我使用以下命令运行它时：

我得到他以下错误：

预期 hidden[0] 大小 (1, 1, 300)，得到 (1, 50, 300)

为了使模型期望成批的隐藏状态，我缺少什么？

我正在使用 tensorflow 的 Estimator API，并希望创建自定义批次进行训练。

我有如下示例

所以一个例子可以有任意数量的固定大小的句子。现在我想构建大小取决于批次中句子数量的批次。否则我必须使用批量大小 1，因为某些示例可能有“批量大小”句子，并且大批量大小不适合 GPU 内存。

例如：我有一个批量大小为 6 和句子数量为 [5, 3, 3, 2, 2, 1] 的示例。然后我将示例分组到批次 [5]、[3, 3] 和 [2, 2, 1]。请注意，最后一批中的示例“1”将被填充。

我编写了一个算法，将示例分组到此类批次。现在我无法将批次输入 tf.data.Dataset。

我尝试过使用tf.data.Dataset.from_generator，但该方法似乎需要单独的示例，如果生成器产生像 [example1，example2] 这样的批次，我会收到错误消息。

如何为数据集提供自定义批次？有没有更优雅的方法来解决我的问题？

更新：我假设我无法正确提供输出形状参数。以下代码工作正常。

如果我改为生成一个数组并取消注释 output_shapes 我得到一个错误“int() 参数必须是一个字符串、一个类似字节的对象或一个数字，而不是 'dict'”

假设我有一个大小为 50000 的生成器/列表。而且，我想将其用作：

如果我想一次处理 20,000 个项目/或者我希望线程/cpu 将 20,000 个项目作为单个任务处理，您能否告诉我 batch_size 和 pre_dispatch 的正确值是多少？

我目前正在做语义分割，但是我的数据集非常小，

我只有大约 700 张带有数据增强功能的图像，例如，翻转可以

使其成为2100张图像。

不确定这是否足以完成我的任务（四个语义分割

类）。

我想使用批量归一化和小批量梯度下降

真正让我摸不着头脑的是，如果批量太小，

批量归一化效果不佳，但批量较大，

它似乎相当于全批次梯度下降

我想知道#of 样本和批量大小之间是否存在标准比率？

我正在尝试keras.util.Sequence用我的班级覆盖SequenceGenerator(Sequence)并将其传递给fit_generator，但fit_generator引发了错误ValueError

这是我的自定义类

import os import numpy as np from keras.utils import Sequence from batchGenerator import BatchGenerator

从设置导入 batch_size、train_folder、test_folder

在 jupyter notebook 中，我导入了以下内容

最后，你是 fit_generator 调用

我收到以下错误：

我不知道为什么会这样，但是在https://keras.io/models/sequential/

validation_data：这可以是

• 验证数据的生成器或序列对象
• 元组 (x_val, y_val)
• 元组 (x_val, y_val, val_sample_weights)

批量大小是指在监督学习中神经工作训练的样本数量，但是，在强化学习的背景下批量大小的含义是什么？它也指样品吗？如果是这样，那么这些样本在强化学习背景下的意义是什么？

TF Object Detection API grabs all GPU memory by default, so it's difficult to tell how much I can further increase my batch size. Typically I just continue to increase it until I get a CUDA OOM error.

PyTorch on the other hand doesn't grab all GPU memory by default, so it's easy to see what percentage I have left to work with, without all the trial and error.

Is there a better way to determine batch size with the TF Object Detection API that I'm missing? Something like an allow-growth flag for model_main.py?

这是我的问题，

将时间序列视为熊猫数据框，例如市场的价格数据，我想对其进行洗牌，但不是将每一行分开，我想将一组行作为一个顺序部分，然后将这些顺序洗牌并取回来自它的数据框。对于我们的示例，假设我想将数据保留一整周，因为它在一个序列中，但是将周信息随机排列，然后将这些每周数据（内部未更改）组合在一起以获得新图表！我想要的最终产品与原始产品具有相同的结构，这些排序的部分被打乱了。

我对 pandas 和 python 完全陌生。任何人都可以帮助和指导我以一种有效的方式来专门处理大数据大小吗？

谢谢

I am getting confused in how to use placeholder for batch training. In my code, input image is of size 3 x 3. In order to do batch training, I am setting tf.placeholder(tf.float32,shape=[None,3,3]).

When I try to give batches of 3x3 as an input, TensorFlow gives an error that

Below is the code