palantir-foundry - 在 Foundry Transforms 中保存 CSV 文件

Question

是否可以在 Foundry Code Repositories transforms-python 语言中保存 CSV 文件，而不是以 Parquet 格式保存它们？

Answer 1

是的，这可以通过在调用write_dataset函数时指定输出数据集格式来完成。您还可以在拨打电话时包含压缩选项。例如：

@transform(
    my_input = Input('/path/to/input/dataset'),
    my_output = Output('/path/to/output/dataset')
)
def compute_function(my_input, my_output):
    my_output.write_dataframe(
        my_input.dataframe(),
        output_format = "csv",
        options = {
            "compression": "gzip"
        }
    )