6

在pyarrowpyarrow.Tensor中，将 a （例如从 a 创建numpy.ndarray）写入 Parquet 文件的建议方法是什么？甚至可以不必经过pyarrow.Tableand pandas.DataFrame？

4

2 回答 2

7

Parquet 的数据模型是表格的，因此张量/ndarray 必须在某处转换为表格形式。我们没有任何内置的便利功能来帮助解决这个问题，但请随时在问题跟踪器https://issues.apache.org/jira/projects/ARROW上提出特定的功能请求

于 2017-10-17T21:12:55.680 回答
2

Parquet 格式针对具有嵌套数据的表进行了优化，即它期望数据表示为命名列。这与 n 维列的想法有点相反。对于张量，最好选择不同的格式。

于 2017-10-18T05:47:02.970 回答