问题标签 [dl4j]

我想使用 GloVe 嵌入英语句子。训练时显示错误“java.lang.RuntimeException：java.lang.UnsupportedOperationExceptionat”

手套嵌入是将英文文本编码为向量的无监督模型。Dl4j 是一个 java 库。在训练 Glove 模型时，会出现此错误。

我计划在以下格式的数据集上使用 dl4j：

{“文章”：[{“abstractText”：“text..”，“journal”：“journal..”，“meshMajor”：[“mesh1”，...，“meshN”]，“pmid”：” PMID", "title":"title..", "year":"YYYY"},..., {..}]}

字段 meshMajor 包含类标签，其余是模型的输入。输入特征是文本数据。

我想知道是否有任何内置的 JSON 数据集迭代器，如 CSV 迭代器。我在 github 上发布的示例中进行了查找，但找不到一个。如果没有可用的，有人可以提供一些关于实现它的指示。

谢谢！

我正在尝试在DL4J 库中运行OpenBLAS预设，但我遇到了问题SetNumThreads.allocate()

库实现build.gradle：

和 multiDexEnabled true。

当我在我的 android 应用程序中运行此方法时：

我收到此错误消息：

我正在尝试分配一个比 RAM 更大的大型内存映射二维数组，并且由于内存不足错误而不断失败。我正在使用 java8、linux-amd64 和 nd4j 1.0.0-beta4。根据文档（https://deeplearning4j.org/docs/latest/deeplearning4j-config-memory），我的理解是我应该能够分配一个比 RAM 大得多的数组，因为它将使用临时文件和然后依靠操作系统根据需要进行分页（例如使用 mmap）

更新 - 重新启动后我得到了一些间歇性的成功 - 我想知道大型阵列分配例程是否需要一些基本的 RAM 量？也许归零？我回来汇报...

我尝试了一些不同的策略选项，确保临时文件所在的磁盘有足够的空闲空间，并进行了一些调试以查看内存分配代码的内部情况，但无济于事。抱怨没有足够的物理内存似乎总是失败 - 这是正确的，没有足够的内存来做到这一点，这就是重点

这是输出到free,

我运行 main 方法，但无法分配数组：

我正在尝试在 Android Studio 中构建这个项目https://github.com/deeplearning4j/dl4j-examples/tree/master/android/DL4JIrisClassifierDemo，我得到：

我已经尝试了此问题中评论中的所有选项Gradle sync failed: Connection denied并且我似乎无法让它工作......我不知道问题是什么，我什至禁用了我的防病毒和防火墙，并且我还是明白了Connect to 127.0.0.1:8118 [/127.0.0.1] failed。Internet 选项--> 连接--> LAN 设置不显示任何代理，另外在 Android Studio 中，HTTP 代理设置设置为“无代理”，所以我真的不知道还有什么可以考虑作为这个选项工作。请给我您对此的见解/想法/经验...

我使用 Android Studio 3.3.2。

我第一次在 DL4J 中使用 Arbiter 来尝试优化 MultiLayerNetwork。我的问题很简单：这两种方法有什么区别？ MultiLayerSpace.Builder.addLayer(LayerSpace<?> layerSpace) MultiLayerSpace.Builder.layer(LayerSpace<?> layerSpace)

我试过查阅建造者的文档，但没有提供任何解释。据我所知，这两种方法的工作方式完全相同。

“我是神经网络和 DL4j 的新手，我想用 CSV 训练神经网络并构建线性回归。如何解决这些错误“无法解析方法'.iterations 和 getFeatureMatrix()'”？

“以前我试图这样做，但在‘种子’中有另一个错误”。

参数：

加载数据：

网络配置：

日志

建造

我刚刚阅读了论文Distributed Representations of Sentences and Documents。在情感分析实验部分，它说，“在学习了训练句子及其子短语的向量表示后，我们将它们输入逻辑回归以学习电影评分的预测因子。” 所以它使用逻辑回归算法作为分类器来确定标签是什么。

然后我转到 dl4j，我阅读了示例“ParagraphVectorsClassifierExample”，代码显示如下：

它演示了 doc2vec 如何将任意文档与标签相关联，但它隐藏了幕后的实现。我的问题是：逻辑回归也这样做吗？如果不是，那是什么？我怎样才能通过逻辑回归来做到这一点？

我正在使用 Apache Hadoop、Spark 和 DL4J 开展分布式深度学习项目。

我的主要问题是在 spark 上启动我的应用程序时，它会进入运行状态并且永远不会超过 10% 的进度我收到此警告

这最后 3 行不停地运行

实际上我只有 1 个主节点和 1 个从节点，安装了Hadoop和Spark

• Master的内存为 8GB，配备英特尔 i5 6500
• Slave是 4GB RAM 和 intel i3 4400

检查HDFS的 WebUI 和日志文件后，我可以看到HDFS工作没有问题 Yarn WebUI 和日志还显示 Yarn 与 1 DATANODE一起工作正常

在这里你可以检查我的代码，看看它卡在哪里

纱线站点.xml

spark-defult.conf：

我怀疑有任何资源问题，所以我尝试设置属性，例如将spark.executor.cores和 s park.executor.instances设置为1 我还尝试更改 yarn 和 spark 上下的内存分配（我不确定它是如何工作的）

来自 spark.deploy.master....的日志

来自 spark.deploy.worker....的日志

我无法将我的模型转换为可以通过 android-studio 部署在 android 应用程序上的模型。我的模型解释如下：

然后通过 .save 函数保存：

如何在安卓应用上打开这个模型？我已经看到 tflite 在 LSTM 方面存在问题，并且我尝试使用 dl4j 加载它失败了。