0

我正在创建一个这样的数据框: concatdatafile = pd.concat(datafile, axis=0, ignore_index=True, sort=False)

然后在发布前检查一些字段数据类型:

 logger.info("  *** concatdatafile['FS Seal Time (sec)'].dtypes={}".format(concatdatafile['FS Seal Time (sec)'].dtypes))
        logger.info("  *** concatdatafile['FS Cool Time (sec)'].dtypes={}".format(concatdatafile['FS Cool Time (sec)'].dtypes))
        

我的下一条语句是写:

response_wr = wr.s3.to_parquet(df=concatdatafile, path=s3_outputpath + 'full_data/', dataset=True,
                                        partition_cols=["MachineId", "year_num", "month_num", "day_num"], database='myDB',
                                        table='myDBTable', mode='append')

当我在 Glue 中运行此代码时,我得到: 日志截图 1

(注意:我在运行之前清除了胶水定义,所以它会有新的元数据)

但在 Glue 表中,我看到字段类型更改如下:
日志截图 2

问题:...为什么不尊重我发布的数据类型?它看到数据看起来像双打(目前),但这无关紧要。以后的数据将是字符串,所以我希望它不会覆盖我发送的类型。

4

0 回答 0