amazon-athena - 更改 to_sql 方法使用的文件格式

Question

这可以按预期工作并创建一个新表。但是数据是以只有 spark 可以读取的格式存储的。如何以 csv 格式存储数据？

from pyathena.pandas.util import to_sql

to_sql(
    mrdf,
    "mrdf_table3",
    conn,
    "s3://" + bucket + "/tutorial/s3dir3/",
    schema="hunspell",
    index=False,
    if_exists="replace",
)

我尝试 了flavor="csv"或flavor="textfile"但生成的文件仍然不可读。

---

更新：连接字符串

from pyathena import connect
bucket = "hunspell"

conn = connect(
    aws_access_key_id="XXX",
    aws_secret_access_key="XXX",
    s3_staging_dir="s3://" + bucket + "/tutorial/staging/",
    region_name="us-east-1",
)