3

我的 pandas 数据框中有一个列表列以及 int、string 等列。我能够转换字符串、日期、整数和时间戳列。我想知道如何将 array() 应用于列表列。

fields = [
    pa.field('id', pa.int64()),
    pa.field('secondaryid', pa.int64()),
    pa.field('date', pa.timestamp('ms')),
    pa.field('emails', pa.array())
]

my_schema = pa.schema(fields)

table = pa.Table.from_pandas(sample_df, schema=my_schema, preserve_index=False)

它要求为数组传递一个对象。我想知道如何将字符串类型数组的模式应用于“电子邮件”列，请记住我将表格写成镶木地板格式，因此空数组将导致 SegFault。最好的方法是什么？

4

1 回答 1

3

您需要提供pa.list_(pa.string())而不是pa.array. pa.array是pyarrow.Array实例的构造函数。这是保存任何类型数据的主要对象。与此相反，pa.list_()是 LIST 类型的构造函数。作为其单一参数，它需要具有组成列表元素的类型。

在 Arrow 术语中，数组是保存类型化数据的最简单的结构。它由许多连续内存的缓冲区组成。主缓冲区始终是一个位图，指示行是有效还是空。取决于数组的类型。该数据将有一个缓冲区（例如对于整数），对于更复杂的类型将有多个缓冲区。相反，术语列表用于描述存储在数组中的数据类型。LIST 意味着一列中的单个单元格/行可以包含多个相同类型的值。

于 2018-08-19T09:21:36.773 回答