问题标签 [cntk]

我有一个关于阅读器的 randomizationWindow 参数的快速问题。它在文档中说它控制内存中的数据量 - 但我有点不清楚它会对数据的随机性产生什么影响。如果训练数据文件以一种数据分布开始，以另一种完全不同的分布结束，设置小于数据大小的随机化窗口是否会导致提供给训练器的数据不是来自同质分布？我只是想仔细检查一下。

Can we better document what the different parameters for Progress Printer's constructor mean?

https://cntk.ai/pythondocs/cntk.utils.html#module-cntk.utils.progress_print

我正在编写本教程：

https://github.com/Microsoft/CNTK/blob/master/Tutorials/CNTK_201B_CIFAR-10_ImageHandsOn.ipynb

测试/训练数据文件是简单的制表符分隔的文本文件，包含图像文件名和正确的标签，如下所示：

如何从小批量中提取原始标签？

我试过这段代码：

但是，正如您在上面看到的，结果不是带有标签的数组。

获取标签的正确代码是什么？

此代码有效，但随后它使用不同的文件格式而不是 ImageDeserializer。

文件格式：

工作代码：

使用 ImageDeserializer 时如何获取输入中的标签？

我正在编写本教程：

https://github.com/Microsoft/CNTK/blob/master/Tutorials/CNTK_201B_CIFAR-10_ImageHandsOn.ipynb

测试/训练数据文件是简单的制表符分隔的文本文件，包含图像文件名和正确的标签，如下所示：

假设我创建了一个这样的小批量：

如何获取测试数据文件第一列中的图像文件名？

我试过这段代码：

但是，这会导致打印图像本身的字节。

我在这里查看文档： https ://github.com/Microsoft/CNTK/wiki/Multiple-GPUs-and-machines

根据文本：“Data-Parallel SGD 可以使用或不使用 1bit-SGD。”

但是，在本文档之后，只有一个使用 1-bit SGD 的数据并行相关部分：“Data-Parallel Training with 1-bit SGD”，代码如下：

如果我选择不使用 1-bit SGD（跳过上面调用中的相关参数），我认为我仍然应该获得 data_parallel_distributed_learner 的并行化好处。你能确认是这种情况吗？

谢谢

所以我将随机化窗口设置为 100,000。在我的日志中，我可以看到它在 0 个错误和很多错误之间摇摆不定，这让我怀疑数据是否真的是随机的。训练数据由序列组成，其中输入通常是大约 50 个标记，输出是大约 99% 的序列的 6 个标记，另外 1% 中可能有大约 400 个标记（这些序列是最重要的学习如何输出，当然）。似乎不止一个较长的序列可能会聚集在一起，这就是错误率可能突然上升的原因。那可能吗？

似乎不可能将预训练的嵌入加载到层。看这里

我做的解决方法如下：

embeddings.txt 具有以下格式，其中行数是我使用的词汇表中的单词数，列数是我为嵌入选择的维度：-0.05952413007617 0.12596195936203 -0.189506858587265 ... -0.0871662572026253 -0.095480620115 -0.126074999570847 ... ...

以上似乎是正确的解决方法吗？我开始了一个训练课程，与训练嵌入层时相比，参数数量减少了，这可能是一个很好的指示。

假设我有一个小批量作为这段代码的结果：

我怎样才能得到这个小批量的索引作为原始数据的参考？假设我的测试数据集是 100 行。我如何知道 100 行原始行中有哪 10 行在 minibatch 中？

我下载了 cntk 2.0 beta 7。在执行 .\install.ps1 时，出现 install.ps1 未进行数字签名的错误：

Windows PowerShell 版权所有 (C) 2016 Microsoft Corporation。版权所有。

PS C:> cd .\local\cntk\Scripts\install\windows\ PS C:\local\cntk\Scripts\install\windows> .\install.ps1 .\install.ps1 : 文件 C:\local\cntk\ Scripts\install\windows\install.ps1 无法加载。文件 C:\local\cntk\Scripts\install\windows\install.ps1 未进行数字签名。您不能在当前系统上运行此脚本。有关运行脚本和设置执行策略的详细信息，请参阅 http://go.microsoft.com/fwlink/?LinkID=135170上的 about_Execution_Policies 。在 line:1 char:1 + .\install.ps1 + ~~~~~~~~~~~~~ + CategoryInfo : SecurityError: (:) [], PSSecurityException + FullyQualifiedErrorId : UnauthorizedAccess

如果我启动 powershell -executionpolicy unrestricted install.ps1 能够运行但没有安装任何东西，这里是输出：

Microsoft Cognitive Network Toolkit 是否有任何推荐或最低系统要求？我在 git 上的任何地方都找不到此信息。