apache-spark - 在 Qubole 中运行 TensorFlow

Question

我正在尝试在 Qubole 中使用 Spark python Notebook 训练 LSTM。当我尝试拟合模型时，我收到以下错误。

I tensorflow/core/platform/cpu_feature_guard.cc:137] 您的 CPU 支持未编译此 TensorFlow 二进制文件以使用的指令：SSE4.1 SSE4.2 AVX

为什么会发生此错误，我该如何克服？

Answer 1

这不是错误，而是警告。预构建的 tensorflow 二进制文件没有使用各种 CPU 指令扩展进行编译，因为不是每个人都拥有它们。当 TensorFlow 启动时，它会检查您的机器上有哪些扩展可用，以及编译二进制文件时使用了哪些扩展。如果你的机器有一些二进制文件没有编译的扩展，它会让你知道这一点。如果您进行大量 CPU 计算并关心最终性能，您可以使用机器上存在的扩展自己构建 tensorflow。