python - 如何在 BlueData 上使用 Tensorflow 从 datatap 读取和写入？

Question

我希望能够直接从 TensorFlow使用 BlueData 的datatap 。

使用 pyspark，我可以执行以下操作：

df.write.parquet('dtap://OtherDataTap/airline-safety_zero_incidents.parquet')

请注意，我不需要设置任何库 - 它已准备好开箱即用。

从 Tensorflow 通过 DataTap 读取/写入数据需要做什么？

Answer 1

根据文档：http ://docs.bluedata.com/40_datatap-tensorflow-support

import tensorflow as tf
import os
from tensorflow.python.framework.versions import CXX11_ABI_FLAG

CXX11_ABI_FLAG

bdfs_file_system_library = os.path.join("/opt/bluedata","libbdfs_file_system_shared_r1_9.so")
tf.load_file_system_library(bdfs_file_system_library)

with tf.gfile.Open("dtap://TenantStorage/tmp/tensorflow/dtap.txt", 'w') as f:
    f.write("This is the dtap test file")

with tf.gfile.Open("dtap://TenantStorage/tmp/tensorflow/dtap.txt", 'r') as f:
    content = f.read()