问题标签 [bigdl]

我正在尝试使用 Intel Bigdl 实现图像分类。它使用 mnist 数据集进行分类。因为，我不想使用 mnist 数据集，所以我编写了另一种方法，如下所示：

图像工具.py

现在，当我尝试使用如下真实图像获取数据时：

分类.py

我收到以下错误

() 中的 TypeError Traceback (最近一次调用 >last)

2 # 获取MNIST并将其存储到Sample的RDD中，请相应地编辑“mnist_path”。

3 路径 = "/home/fusemachine/Hyper/person"

----> 4 (train_data, test_data) = get_data(sc,path)

5 打印 train_data.count()

6 打印 test_data.count()

/home/fusemachine/Downloads/dist-spark-2.1.0-scala-2.11.8-linux64-0.1.1-dist/imageUtils.py in get_data(sc, path)

31 test_labels = test_data.map(λ x : x[1])

---> 33 training_mean = np.mean(train_images)

34 training_std = np.std(train_images)

35 rdd_train_images = sc.parallelize(train_images)

/opt/anaconda3/lib/python2.7/site-packages/numpy/core/fromnumeric.pyc in mean(a, axis, dtype, out, keepdims)

2884通

2885 其他：

-> 2886 返回平均值（轴=轴，dtype=dtype，out=out，**kwargs）

2887

第2888章

TypeError: mean() 得到了一个意外的关键字参数“dtype”

我想不出解决办法。还有其他 mnist 数据集的替代方案。这样我们就可以直接处理真实的 Image 了？谢谢

在一个由 Apache Spark 服务支持的 Python 3.5 笔记本中，我使用pip. 删除该安装并尝试安装 BigDL 0.3 版时，我收到此错误：（添加换行符以提高可读性）

但是，这些目录都不存在：

怎么了？删除旧软件包后如何安装新版本的软件包？

我想在关于云端数据科学体验的笔记本中使用英特尔 BigDL 。

我该如何安装它？

当我运行 BigDL ( https://bigdl-project.github.io/0.4.0/ ) 文本分类器示例 ( https://github.com/intel-analytics/BigDL/tree/master/pyspark/bigdl/models/ textclassifier）与单节点 PySpark 我收到以下错误。任何想法如何解决这个问题？

配置：

爪哇：

PySpark：

运行示例的命令：

错误：

在 PySpark 本地节点中运行 BigDL 示例：https ://bigdl-project.github.io/0.4.0/#ProgrammingGuide/optimization/：

导致以下异常。其他然后 B​​igDL 测试在 PySpark 中工作。环境：openjdk 版本 "1.8.0_141, Python 3.5.3 (default, Jan 19 2017, 14:11:04) [GCC 6.3.0 20170118] on linux

有任何想法吗？BigDL 是一个活跃的项目，积极维护吗？

运行后pip install BigDL==0.8.0，from bigdl.util.common import *从 python 运行完成没有问题。

但是，使用以下任一 SparkSession：

或者

我收到以下错误。

除了'spark.submit.pyFiles'上面的配置，在 SparkSession 成功启动后，我尝试spark.sparkContext.addPyFile("util.zip") 了“util.zip”包含https://github.com/intel-analytics/BigDL/tree/master/pyspark/bigdl中的所有 python 文件的位置/实用程序。

我还压缩了此文件夹中的所有内容https://github.com/intel-analytics/BigDL/tree/master/pyspark/bigdl (branch-0.8) 并指向该文件.config('spark.submit.pyFiles', '/path/to/bigdl.zip')，但这也没有工作。

如何让 SparkSession 查看这些文件？

你好！ 亲爱的成员我​​想使用 Bigdl 训练模型，我有泡菜对象文件（，pck）形式的医学图像数据集。泡菜文件是 3D 图像（3D 数组）

我试图通过使用 BigDl python API 将其转换为 spark 数据帧

它抛出错误

在这两种情况下，我都在 python 3.5 和 2.7 上执行了这段代码，我得到了错误

在使用 BigDL 和 Spark 训练具有一个隐藏层的自动编码器后，我想提取具有大小为 128 的“编码”隐藏层的隐藏层输出。我该怎么做？

我正在使用 BigDL + Analytics-Zoo 对时间序列数据进行异常检测。
当我在训练后尝试使用 .save() 方法保存模型
时，出现异常：“这是一个已弃用的方法。请改用 saveModel。”

通常，弃用是一个警告，但在这里它作为异常抛出，所以我想知道这是异常的真正原因吗？或者这背后还有其他原因吗？如果我调用 ' ' 方法，它可以工作，但我的问题是，如果 API不受支持saveModel，为什么还要保留一个方法？.save()

.

我一直在尝试在带有 scala 的 TransE 上使用 BigDL 库中的优化器（SGD，Adagrad）。我当前的实现以顺序方式使用小批量。我按照这个例子优化了嵌入（作为张量）而不创建分层模型。我的代码有点类似于这个例子。我目前的问题是，无论我运行多少个时期，我的损失都会达到一个平稳点（保证金的价值）。有了这个，我在测试中的 hit@10 并不是那么好。有人能给出任何想法，为什么损失会达到一个平稳点，如果这会产生糟糕的测试结果？PS我检查了我的损失计算，这很好。我唯一可以控制我的实现的地方是优化器。

提前致谢。