1

在 Pandas 中，我可以自己指定分类类型的级别：

MyCat = pd.CategoricalDtype(categories=['A','B','C'], ordered=True)
my_data = pd.Series(['A','A','B'], dtype=MyCat)

这意味着

  1. 我可以确保不同的列和集合使用相同的 dtype
  2. 我可以指定级别的排序。

有没有办法用 Polars 做到这一点？我知道您可以使用字符串缓存功能以不同的方式实现 1)，但是如果可以直接指定我的 dtype/levels，我很感兴趣。我不知道有什么方法可以实现 2)，但是我认为 Arrow 中的分类 dtypes 确实允许可选排序，所以也许有可能？

4

1 回答 1

0

不是直接的，但我们可以影响全局字符串缓存的填充方式。全局字符串缓存只是为添加的每个新类别增加一个计数器。

因此，如果我们从一个空缓存开始，并按照我们认为重要的顺序进行预填充，那么后面的类别将使用缓存的整数。

这是一个例子：


import string
import polars as pl

with pl.StringCache():
    # the first run will fill the global string cache counting from 0..25
    # for all 26 letters in the alphabet
    pl.Series(list(string.ascii_uppercase)).cast(pl.Categorical)
    
    
    # now the global string cache is populated with all categories
    # we cast the string columns
    df = (pl.DataFrame({
        "letters": ["A", "B", "D"],
        "more_letters": ["Z", "B", "J"]
    }).with_column(pl.col(pl.Utf8).cast(pl.Categorical))
      .with_column(pl.col(pl.Categorical).to_physical().suffix("_real_category"))
     )

print(df)


shape: (3, 4)
┌─────────┬──────────────┬───────────────────────┬────────────────────────────┐
│ letters ┆ more_letters ┆ letters_real_category ┆ more_letters_real_category │
│ ---     ┆ ---          ┆ ---                   ┆ ---                        │
│ cat     ┆ cat          ┆ u32                   ┆ u32                        │
╞═════════╪══════════════╪═══════════════════════╪════════════════════════════╡
│ A       ┆ Z            ┆ 0                     ┆ 25                         │
├╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ B       ┆ B            ┆ 1                     ┆ 1                          │
├╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┼╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌╌┤
│ D       ┆ J            ┆ 3                     ┆ 9                          │
└─────────┴──────────────┴───────────────────────┴────────────────────────────┘
于 2022-02-02T14:18:31.833 回答